분류성능평가지표 : F1-score , Accuracy, ROC curve, AUC curve

2022.12.07 - [ML] - 오차행렬, FP, FN, F-score, Threshold

 

Confusion Matrix

TN : 4 / FP : 1

FN : 1 / TP : 2

from sklearn.metrics import confusion_matrix
# assume y_true and y_pred are your true and predicted labels, respectively
y_true = [0, 1, 1, 0, 1, 1, 0, 0]
y_pred = [0, 1, 0, 0, 1, 1, 0, 1]
cm = confusion_matrix(y_true, y_pred)

>> array([[4, 1],
          [1, 2]])

Precision이나 Recall은

모두 실제 Positive인 정답을 모델이 Positive라고 예측한 경우에 관심이 있으나,

바라보고자 하는 관점만 다름

Precision (정밀도) : 모델이 P라고 한 것(TP+FP) 중에서 정말 P (TP)인 비율. 

Positive 정답률 (Positive Predictive Value)라고도 얘기함. 

모델이 스팸이라고 진단한 것 중 찐스팸인 것

모델이 양성이라고 진단한 것 중 찐양성인 것

 

Recall (재현율) : 사실은 P (TP+FN)인 것 중에서 모델이 T(TP)라고 예측한 것.

즉, 다시돌려도 P라고 재현될 수 있는 것.

sensitivity 민감도, hit rate 라고도 불림.

사실은 스팸중에 모델이 스팸이라고 진단한 것.

사실은 양성중에 모델이 양성이라고 진단한 것.

 

 

Accuracy(정확도) : 전체 경우의 수 중에 맞은 것.

F1 score : Precision 과 Recall 의 조화 평균

데이터 label이 불균형 구조일 때, 모델의 성능을 정확하게 평가할 수 있으며, 성능을 하나의 숫자로 표현할 수 있음

https://sumniya.tistory.com/26

https://sumniya.tistory.com/26

 

분류성능평가지표 - Precision(정밀도), Recall(재현율) and Accuracy(정확도)