好記性不如爛筆頭——關(guān)于精確度、召回率、F值、準(zhǔn)確率

將數(shù)據(jù)挖掘中這些評(píng)測(cè)指標(biāo)的基本概念做一整理，忘了的時(shí)候還可以來(lái)查一查。

精確度，有時(shí)也叫正確率，是英文中的precision而不是accuracy。表示正確識(shí)別為此類的樣本數(shù)目（TP）/識(shí)別為此類的樣本總數(shù)目（TP+FP）。FP就是那些原本不是此類但被錯(cuò)誤的分為此類的樣本數(shù)目。

召回率，這個(gè)名稱容易使人把它和召回缺陷產(chǎn)品的比率聯(lián)想到一起，完全不是一碼事。所以另外一種翻譯的名稱更合適：查全率。表示正確識(shí)別為此類的樣本數(shù)目（TP）/真實(shí)情況下的此類的樣本數(shù)目（TP+FN）。那么真實(shí)情況包括哪些呢？一部分自然是正確分類的TP，另一部分就是那些被錯(cuò)誤地分到了其他類的樣本數(shù)目（FN）

所以，公式：
P=TP/(TP+FP)
R=TP/(TP+FN)

還是舉個(gè)例子吧。網(wǎng)上多數(shù)介紹僅用兩個(gè)分類舉例，所以容易把FP和FN錯(cuò)誤的當(dāng)成一個(gè)數(shù)，其實(shí)應(yīng)該是多個(gè)數(shù)的和。這里我舉個(gè)3分類的例子。假定我們有24個(gè)樣本，真實(shí)情況是10個(gè)red類，8個(gè)yellow類，6個(gè)blue類。

用weka做了個(gè)例子，假定系統(tǒng)給出的結(jié)果如下：
 a b c   <-- classified as
 9 1 0 | a = red
 1 7 0 | b = yellow
 1 1 4 | c = blue

是這樣看的：橫向?yàn)檎鎸?shí)情況，縱向?yàn)楣ぞ叻诸惤Y(jié)果。即：有11個(gè)樣本被當(dāng)作red類。而這11個(gè)樣本中，有9個(gè)確實(shí)是red類，還有一個(gè)其實(shí)是yellew，另一個(gè)其實(shí)是blue；有9個(gè)樣本被當(dāng)作yellow類。這9個(gè)樣本當(dāng)中，有7個(gè)確實(shí)是yellow，還有一個(gè)其實(shí)是red，另一個(gè)其實(shí)是blue；有4個(gè)樣本被當(dāng)作blue類。而這4個(gè)樣本也確實(shí)是blue。

那么根據(jù)前面的公式，可以對(duì)red、yellow、blue分別計(jì)算正確率和查全率了。

P(red)=9/11  R(red)=9/10
P(yellow)=7/9  R(yellow)=7/8
P(blue)=4/4  R(blue)=4/6

那么我們從直觀上感覺(jué)一下分類的好壞，正確率雖然很關(guān)鍵，但光有正確率是不夠的。比如blue，正確率是100%，但其實(shí)只是把2/3的數(shù)據(jù)挑出來(lái)了，還有1/3搞錯(cuò)了。那么更極端的假想一下，如果某一類實(shí)際上有10000個(gè)樣本，最后只分出一個(gè)，對(duì)是對(duì)了。此時(shí)正確率還是100%，但我們能認(rèn)為這個(gè)分類結(jié)果是可以接受嗎？顯然不行。所以P值和R同時(shí)要比較高才好。于是有了F指標(biāo)：

F=2*P*R/(P+R)

最后再來(lái)說(shuō)說(shuō)accuracy，這個(gè)通常翻譯成準(zhǔn)確率。也是一個(gè)綜合指標(biāo)：
A=(TP + TN)/(P+N)，表示正確分類的樣本數(shù)目/所有樣本總數(shù)目。同樣，這個(gè)分子的寫法也容易讓人誤認(rèn)為是兩個(gè)數(shù)的和，其實(shí)不止。
對(duì)于上面那個(gè)例子來(lái)說(shuō)，準(zhǔn)確率應(yīng)該是:
A=(9+7+4)/(10+8+6)