오차행렬, FP, FN, F-score, Threshold

Accuracy for Classification 의 함정.

1-10까지의 handwriting 다중 분류 모델을 변형하여,

label을 3일때만 구분하는 (0,0,1,0,0,0,0,0,0,0) 로 바꾸고 fitting 을 시켜도

accuracy는 0.93이 나온다. 0을 찍어도 accuracy가 잘 나올 수 있다는 이상한 사실.

즉,  불균형한 데이터, unbalanced 데이터,  정답의 분포에 따라 모델의 성능을 잘 평가하지 못할 수 있다. .

그렇기 때문에 분류 문제에서는 정확도 외에 다양한 평가 척도를 사용한다.

 

 

오차행렬 (confusion_matrix)

from sklearn.metrics import confusion_matrix

코로나의 경우.. 

건강하고 음성 (TN)	건강하고 양성 (FP)    >> 정밀도 (Precision)
안건강하고 음성 (FN)  >>  민감도 (Recall, Sensitivity)	안건강하고 음성 (TP)

• 일단, precision과 Recall의 값은 클수록 정확하다는 뜻. TP가 많고, 각각의 FP나 FN이 작다는 뜻이므로.
• 암환자(recall)는 recall 점수가 높은 모델이 좋고, 스팸메일(precision)은 precision이 높은 모델이 좋음

The F1 score ranges from 0 to 1, with a higher score indicating better performance. A score of 1 indicates perfect precision and recall, while a score of 0 indicates that the model's predictions are completely incorrect.

The F1 score is a useful metric to evaluate the performance of classification models, particularly when the classes are imbalanced or when both precision and recall are important. It is often used in conjunction with other metrics like accuracy, precision, and recall to give a more complete picture of a model's performance.

 

임계치 (Threshold)

Threshold를 넘어가면 양성으로 판정함

• 암환자는 recall이 중요하다 = 애매하면 양성으로 판단하는것이 좋다 = Threshold값을 낮추는게 좋다
• 스팸멜은 precision이 중요하다 = 애매하면 음성으로 판단하는 것이 좋다 = Threshold값을 높이는것이 좋다

 

 

https://kylo8.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EC%98%A4%EC%B0%A8%ED%96%89%EB%A0%AC-%EC%A0%95%ED%99%95%EB%8F%84-%EC%A0%95%EB%B0%80%EB%8F%84%EC%9E%AC%ED%98%84%EC%9C%A8

[ML] 머신러닝 모델의 오차행렬, 정확도, 정밀도, 재현율 구하기