혼동 행렬

혼동 행렬 (Confusion Matrix)

from sklearn.metrics import * # sklearn.metrics 모듈에서 모든 함수 불러오기
confusion_matrix(y_test, y_pred) # 혼동행렬(정답, 예측 순)

실제 \ 예측	음성 (0)	양성 (1)
음성 (0)	진음성 (True Negative)	위양성 (False Positive)
양성 (1)	위음성 (False Negative)	진양성 (True Positive)

진/위 양성/음성

혼동행렬에서 양성/음성은 예측을 기준으로 말함
현실에서는 실제로 어떤지 알 수 없는 경우가 많음
진(True) -> 예측이 맞음
위(False) -> 예측이 틀림

정확도 (Accuracy)

전체 중에 예측이 맞은 비율

\frac{T P + T N}{T P + T N + F P + F N}

특별히 음성/양성 구분에 관심이 없는 경우 사용
그러나 대부분은 양성에 더 관심이 있음

accuracy_score(y_test, y_pred)

정밀도 (Precision)

양성 예측 중에 맞은 비율

\frac{T P}{T P + F P}

양성 예측이 중요한 경우 (예: 채용, 투자, 추천, 결혼 등)

precision_score(y_test, y_pred)

재현도 (Recall)

실제 양성 중 찾아낸 비율

\frac{T P}{T P + F N}

양성을 찾아 내는 것이 중요한 경우 (예: 방역)
의학 등에서는 민감도(specificity)라고도 함
또는 TPR(True Positive Rate)

recall_score(y_test, y_pred)

특이도 (Specificity)

실제 음성 중 찾아낸 비율

\frac{T N}{T N + F P}

음성을 찾아 내는 것이 중요한 경우 (예: 방역)
대체로 양성 예측을 보수적으로 하면 특이도가 높아진다
FPR(False Positive Rate):

FPR = \frac{F P}{T N + F P} = 1 - specificity

recall_score(y_test, y_pred, pos_label=0)

특이도가 낮을 경우 문제점

질병 검사에서는 음성이 양성보다 훨씬 많음
특이도가 낮으면 정밀도가 떨어짐

예) 실제 양성이 1%인 경우

실제 \ 예측	음성	양성
실제 음성	9900	0
실제 양성	2	98

특이도 100%, 민감도 98%, 정밀도 100%

실제 \ 예측	음성	양성
실제 음성	9504	396
실제 양성	10	90

특이도 96%, 민감도 90%, 정밀도 18.5%

F1

정밀도(p)와 재현도(r)의 조화 평균

\frac{{}{2} p r} p + r = \frac{2}{{} \frac{1}{p} + \frac{1}{r}}

조화평균: 역수의 평균의 역수
비율, 속도 등을 평균낼 때는 산술평균 대신 조화평균을 사용

f1_score(y_test, y_pred)

퀴즈

	예측
	음성	양성
실제 음성	521	115
실제 양성	373	629

TP: 진양성
TN: 진음성
FP: 위양성
FN: 위음성

문제 1 / 8맞음: 0힌트: 0틀림: 0채점중: 0남음: 8

아래에서 정확도(accuracy) 공식을 골라보세요

○(TP + TN) / (TP + TN + FP + FN)
○TP / (TP + FP)
○TP / (TP + FN)
○TN / (TN + FP)

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

아래에서 정확도(accuracy) 공식을 골라보세요

전체 예측 중에서 올바르게 예측한 비율을 의미합니다.

(TP + TN) / (TP + TN + FP + FN)TP / (TP + FP)TP / (TP + FN)TN / (TN + FP)

(TP + TN) / (TP + TN + FP + FN)

위 혼동행렬의 정확도(accuracy)를 소수점 둘째 자리까지 계산하세요.

정확도(accuracy) 공식은 다음과 같습니다: (TP + TN) / (TP + TN + FP + FN)

0.702075702075702

아래에서 정밀도(precision) 공식을 골라보세요

모델이 Positive라고 예측한 것들 중에서 실제로 Positive인 것의 비율입니다.

(TP + TN) / (TP + TN + FP + FN)TP / (TP + FP)TP / (TP + FN)TN / (TN + FP)

TP / (TP + FP)

위 혼동행렬의 정밀도(precision)를 소수점 둘째 자리까지 계산하세요.

정밀도(precision) 공식은 다음과 같습니다: TP / (TP + FP)

0.8454301075268817

아래에서 재현도(recall) 공식을 골라보세요

실제 Positive인 것들 중에서 모델이 Positive라고 예측한 것의 비율입니다. 민감도(Sensitivity)라고도 합니다.

(TP + TN) / (TP + TN + FP + FN)TP / (TP + FP)TP / (TP + FN)TN / (TN + FP)

TP / (TP + FN)

위 혼동행렬의 재현도(recall)를 소수점 둘째 자리까지 계산하세요.

재현도(recall) 공식은 다음과 같습니다: TP / (TP + FN)

0.627744510978044

아래에서 특이도(specificity) 공식을 골라보세요

실제 Negative인 것들 중에서 모델이 Negative라고 예측한 것의 비율입니다.

(TP + TN) / (TP + TN + FP + FN)TP / (TP + FP)TP / (TP + FN)TN / (TN + FP)

TN / (TN + FP)

위 혼동행렬의 특이도(specificity)를 소수점 둘째 자리까지 계산하세요.

특이도(specificity) 공식은 다음과 같습니다: TN / (TN + FP)

0.8191823899371069