TF-IDF算法的原理是什么

本篇內(nèi)容主要講解“TF-IDF算法的原理是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“TF-IDF算法的原理是什么”吧!

概念

• TF-IDF（term frequency–inverse document frequency）

• 是一種用于資訊檢索與資訊探勘的常用加權(quán)技術(shù)。

• TF-IDF是一種統(tǒng)計(jì)方法，用以評(píng)估一字詞對(duì)于一個(gè)文件集或一個(gè)語料庫(kù)中的其中一份文件的重要程度。

• 字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時(shí)會(huì)隨著它在語料庫(kù)中出現(xiàn)的頻率成反比下降。

• TF-IDF加權(quán)的各種形式常被搜尋引擎應(yīng)用，作為文件與用戶查詢之間相關(guān)程度的度量或評(píng)級(jí)。除了TF-IDF以外，因特網(wǎng)上的搜尋引擎還會(huì)使用基于連結(jié)分析的評(píng)級(jí)方法，以確定文件在搜尋結(jié)果中出現(xiàn)的順序。

原理

• 詞頻 (term frequency, TF)

• 指的是某一個(gè)給定的詞語在一份給定的文件中出現(xiàn)的次數(shù)。這個(gè)數(shù)字通常會(huì)被歸一化（分子一般小于分母 區(qū)別于IDF），以防止它偏向長(zhǎng)的文件。（同一個(gè)詞語在長(zhǎng)文件里可能會(huì)比短文件有更高的詞頻，而不管該詞語重要與否。）

• 逆向文件頻率 (inverse document frequency, IDF) 是一個(gè)詞語普遍重要性的度量。某一特定詞語的IDF，可以由總文件數(shù)目除以包含該詞語之文件的數(shù)目，再將得到的商取對(duì)數(shù)得到。

• 某一特定文件內(nèi)的高詞語頻率，以及該詞語在整個(gè)文件集合中的低文件頻率，可以產(chǎn)生出高權(quán)重的TF-IDF。因此，TF-IDF傾向于過濾掉常見的詞語，保留重要的詞語。

• 逆向文件頻率（inverse document frequency，IDF）

• 一個(gè)詞語普遍重要性的度量。某一特定詞語的IDF，可以由總文件數(shù)目除以包含該詞語之文件的數(shù)目，再將得到的商取對(duì)數(shù)得到：

• 其中：|D|：語料庫(kù)中的文件總數(shù)

• ：包含詞語 的文件數(shù)目（即 如果該詞語不在語料庫(kù)中，就會(huì)導(dǎo)致被除數(shù)為零，因此一般情況下使用

• 然后

• 某一特定文件內(nèi)的高詞語頻率，以及該詞語在整個(gè)文件集合中的低文件頻率，可以產(chǎn)生出高權(quán)重的TF-IDF。因此，TF-IDF傾向于過濾掉常見的詞語，保留重要的詞語。

TFIDF的主要思想是

• 如果某個(gè)詞或短語在一篇文章中出現(xiàn)的頻率TF高，并且在其他文章中很少出現(xiàn)，則認(rèn)為此詞或者短語具有很好的類別區(qū)分能力，適合用來分類。TFIDF實(shí)際上是：TF * IDF，TF詞頻(Term Frequency)，IDF反文檔頻率(Inverse Document Frequency)。TF表示詞條在文檔d中出現(xiàn)的頻率（另一說：TF詞頻(Term Frequency)指的是某一個(gè)給定的詞語在該文件中出現(xiàn)的次數(shù)）。IDF的主要思想是：如果包含詞條t的文檔越少，也就是n越小，IDF越大，則說明詞條t具有很好的類別區(qū)分能力。如果某一類文檔C中包含詞條t的文檔數(shù)為m，而其它類包含t的文檔總數(shù)為k，顯然所有包含t的文檔數(shù)n=m+k，當(dāng)m大的時(shí)候，n也大，按照IDF公式得到的IDF的值會(huì)小，就說明該詞條t類別區(qū)分能力不強(qiáng)。（另一說：IDF反文檔頻率(Inverse Document Frequency)是指果包含詞條的文檔越少，IDF越大，則說明詞條具有很好的類別區(qū)分能力。）但是實(shí)際上，如果一個(gè)詞條在一個(gè)類的文檔中頻繁出現(xiàn)，則說明該詞條能夠很好代表這個(gè)類的文本的特征，這樣的詞條應(yīng)該給它們賦予較高的權(quán)重，并選來作為該類文本的特征詞以區(qū)別與其它類文檔。這就是IDF的不足之處.

• 在一份給定的文件里，詞頻（termfrequency，TF）指的是某一個(gè)給定的詞語在該文件中出現(xiàn)的頻率。這個(gè)數(shù)字是對(duì)詞數(shù)(termcount)的歸一化，以防止它偏向長(zhǎng)的文件。（同一個(gè)詞語在長(zhǎng)文件里可能會(huì)比短文件有更高的詞數(shù)，而不管該詞語重要與否。）對(duì)于在某一特定文件里的詞語來說，它的重要性可表示為：

• 

• 以上式子中 是該詞在文件 中的出現(xiàn)次數(shù)，而分母則是在文件 中所有字詞的出現(xiàn)次數(shù)之和。

到此，相信大家對(duì)“TF-IDF算法的原理是什么”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！