TF-IDF是一種核算方法,，用以評價一字詞關(guān)于一個文件集或一個語料庫中的其間一份文件的重要程度,。字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時會隨著它在語料庫中出現(xiàn)的頻率成反比下降,。TF-IDF加權(quán)的各種形式常被搜索引擎運用,，作為文件與用戶查詢之間相關(guān)程度的衡量或評級。除了TF-IDF以外,，因特網(wǎng)上的搜索引擎還會運用根據(jù)鏈接剖析的評級方法,，以確認文件在搜尋效果中出現(xiàn)的次序。

“TF-IDF”算法的原理

TFIDF的首要思維是：假設(shè)某個詞或短語在一篇文章中出現(xiàn)的頻率TF高,，并且在其他文章中很少出現(xiàn),，則以為此詞或許短語具有很好的類別差異才干，適宜用來分類,。TFIDF實際上是：TF * IDF,，TF詞頻(Term Frequency)，IDF逆向文件頻率(Inverse Document Frequency),。TF表明詞條在文檔d中出現(xiàn)的頻率,。IDF的首要思維是：假設(shè)包含詞條t的文檔越少，也就是n越小,，IDF越大,，則說明詞條t具有很好的類別區(qū)別能力。

假設(shè)某一類文檔C中包含詞條t的文檔數(shù)為m,，而其它類包含t的文檔總數(shù)為k,，明顯全部包含t的文檔數(shù)n=m+k，當m大的時分,，n也大,，按照IDF公式得到的IDF的值會小，就說明該詞條t類別區(qū)別能力不強,。

可是實際上,，假設(shè)一個詞條在一個類的文檔中頻繁出現(xiàn)，則說明該詞條能夠很好代表這個類的文本的特征,，這樣的詞條應該給它們賦予較高的權(quán)重,，并選來作為該類文本的特征詞以區(qū)別與其它類文檔。這就是IDF的不足之處. 在一份給定的文件里,，詞頻(term frequency,，TF)指的是某一個給定的詞語在該文件中出現(xiàn)的頻率,。這個數(shù)字是對詞數(shù)(term count)的歸一化，以避免它傾向長的文件,。(同一個詞語在長文件里或許會比短文件有更高的詞數(shù),，而不管該詞語重要與否。)

“TF-IDF”算法的的概念與網(wǎng)站運用

一,、TF詞頻的概念與建議

TF是指詞頻,，查詢的關(guān)鍵詞在文檔中出現(xiàn)的次數(shù)核算。相關(guān)文檔是這樣介紹的,，假定查詢關(guān)鍵詞在同一個文檔中出現(xiàn)的次數(shù)越多，代表這個關(guān)鍵詞越重要,，越能代表文檔的主題意思,，文章主題與關(guān)鍵詞意思越接近，那么做怎樣運用這個知識點呢?

假定有一篇文章的標題是：“服務(wù)外包”,，從字面上了解,，文章首要是以服務(wù)為中心，“外包”為拓展詞,。假定文章內(nèi)容里服務(wù)出現(xiàn)20次,，服務(wù)出現(xiàn)25次，外包出現(xiàn)10次,，按照TF詞頻的規(guī)則,，那么服務(wù)是文章主題，這個很好理解,。

實際上有些時分寫文章時,，在意思很清晰的情況下，會省掉主詞,。比如服務(wù)外包價格,、服務(wù)外包流程、服務(wù)外包公司介紹,，會縮寫成：外包價格,、外包流程、外包公司介紹,。這樣會導致外包出現(xiàn)的次數(shù)大于服務(wù),，TF詞頻則會以為外包是主題，出現(xiàn)錯誤的判別,。

那既然是這樣,，做關(guān)鍵詞布局的時候，應該要恰當考慮主關(guān)鍵詞的出現(xiàn)頻率大于副詞,。當然搜索引擎判別網(wǎng)頁主題有許多維度,，這兒只是單從TF詞頻的視點考慮，個人以為這樣做會縮短搜索引擎判別網(wǎng)頁主題的時間，對來說是有利的,。

第二,、怎樣快速了解“IDF逆文檔頻率”

這個概念假設(shè)看文檔的話有點難了解，最初筆者看百度百科好幾次才了解,。涉及到雜亂的公式在這兒就不講,，結(jié)合TF一起來了解，TF-IDF的意思是,，一篇文章中某關(guān)鍵詞出現(xiàn)的次數(shù)越多,，且在搜索引擎的資料庫中包含該關(guān)鍵詞文檔數(shù)越少，則說明這個關(guān)鍵詞越能代表此網(wǎng)頁的主題,。

舉個比如來說明,，假定有一篇文章，有兩個關(guān)鍵詞：“整站營銷”和“服務(wù)”,，在文章中,，這兩個關(guān)鍵詞出現(xiàn)的資料都是20次，可是在百度的資料庫中,，包含整站營銷的文檔總共有一千萬個,，包含服務(wù)的文檔有五百萬個，那么則說明,，服務(wù)越能代表這文章的意思,。或許搜索引擎資料庫中包含關(guān)鍵詞的文檔數(shù)量相同,，文章中出現(xiàn)次數(shù)越多的關(guān)鍵詞越能代表網(wǎng)頁主題,。

從的層面講，IDF這個值是客觀存在的

不必去深究,，只需了解不同關(guān)鍵詞之間的文檔數(shù)多少就行,，以百度為例，搜索任何一個關(guān)鍵詞,，在搜索框下面會有一個：“百度為您找到相關(guān)效果約XXX個”的這樣句子,，里邊的數(shù)值能夠作為文檔數(shù)參閱。每個搜索引擎的包含關(guān)鍵詞的文檔數(shù)或許不相同,，可是整體的相對比例值應該是差不多的,。并且隨著時間的推移，文檔數(shù)也會不斷發(fā)作改變,。

注：內(nèi)容源自網(wǎng)絡(luò),，僅供分享交流，侵刪,。