從 TP/TN/FP/FN 看懂六項評估指標

Positive = 偵測為 Spam

Positive 不是「好」,而是代表系統要偵測的目標。

FPR:2/10,000 Ham

假設: 50,000 封來信

14,700TP 抓對
300FN 漏抓
7FP 誤抓
34,993TN 放對

實際 Spam 15,000 封(30%)|實際 Ham 35,000 封(70%)

Precision精確率

99.95%

被抓成 Spam 的郵件,有多少真的就是 Spam?

TP ÷ (TP+FP) = 14,700 ÷ 14,707

系統共抓出 14,707 封,其中 14,700 封抓對、7 封是 Ham 誤抓。

Recall召回率

98%

所有真正的 Spam,有多少被成功抓到?

TP ÷ (TP+FN) = 14,700 ÷ 15,000

實際有 15,000 封 Spam,系統抓到 14,700 封、漏掉 300 封。

Specificity特異度

99.98%

所有真正的 Ham,有多少被正確放行?

TN ÷ (TN+FP) = 34,993 ÷ 35,000

實際有 35,000 封 Ham,系統放對 34,993 封;每萬封誤抓 2 封。

Accuracy準確率

99.39%

全部郵件中,系統總共判斷對多少?

(TP+TN) ÷ 全部 = 49,693 ÷ 50,000

抓對 Spam 14,700 封,加上放對 Ham 34,993 封,共判斷正確 49,693 封。

F1 ScoreF1 分數

98.97%

「抓得準」與「抓得齊」的綜合表現如何?

2 × Precision × Recall ÷ (Precision+Recall)

綜合 Precision 99.95% 與 Recall 98%;任一項偏低,都會拉低 F1。

FPRFalse Positive Rate/偽陽性率 -- 或我們常簡稱誤判率

0.02%

所有真正的 Ham,有多少被錯誤判成 Spam?

FP ÷ (FP+TN) = 7 ÷ 35,000

35,000 封 Ham 中誤抓 7 封,即每萬封誤抓 2 封。FPR=1-Specificity:1-99.98%=0.02%。

Precision抓到的 Spam 有多準
Recall真正的 Spam 抓得多齊
Specificity正常郵件放行得多正確
Accuracy全部郵件判斷對多少
F1 ScorePrecision 與 Recall 的平衡
FPR正常郵件被誤抓的比例