TF-IDF是一種核算方法，用以評價(jià)一字詞關(guān)于一個(gè)文件集或一個(gè)語料庫中的其間一份文件的重要程度,。字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加,，但同時(shí)會(huì)隨著它在語料庫中出現(xiàn)的頻率成反比下降。TF-IDF加權(quán)的各種形式常被搜索引擎運(yùn)用,，作為文件與用戶查詢之間相關(guān)程度的衡量或評級,。除了TF-IDF以外，因特網(wǎng)上的搜索引擎還會(huì)運(yùn)用根據(jù)鏈接剖析的評級方法,，以確認(rèn)文件在搜尋效果中出現(xiàn)的次序,。

“TF-IDF”算法的原理

TFIDF的首要思維是：假設(shè)某個(gè)詞或短語在一篇文章中出現(xiàn)的頻率TF高，并且在其他文章中很少出現(xiàn),，則以為此詞或許短語具有很好的類別差異才干,，適宜用來分類。TFIDF實(shí)際上是：TF * IDF,，TF詞頻(Term Frequency),，IDF逆向文件頻率(Inverse Document Frequency)。TF表明詞條在文檔d中出現(xiàn)的頻率,。IDF的首要思維是：假設(shè)包含詞條t的文檔越少,，也就是n越小，IDF越大,，則說明詞條t具有很好的類別區(qū)別能力。

假設(shè)某一類文檔C中包含詞條t的文檔數(shù)為m,，而其它類包含t的文檔總數(shù)為k,，明顯全部包含t的文檔數(shù)n=m+k，當(dāng)m大的時(shí)分,，n也大,，按照IDF公式得到的IDF的值會(huì)小,，就說明該詞條t類別區(qū)別能力不強(qiáng)。

可是實(shí)際上,，假設(shè)一個(gè)詞條在一個(gè)類的文檔中頻繁出現(xiàn),，則說明該詞條能夠很好代表這個(gè)類的文本的特征，這樣的詞條應(yīng)該給它們賦予較高的權(quán)重,，并選來作為該類文本的特征詞以區(qū)別與其它類文檔,。這就是IDF的不足之處. 在一份給定的文件里，詞頻(term frequency,，TF)指的是某一個(gè)給定的詞語在該文件中出現(xiàn)的頻率,。這個(gè)數(shù)字是對詞數(shù)(term count)的歸一化，以避免它傾向長的文件,。(同一個(gè)詞語在長文件里或許會(huì)比短文件有更高的詞數(shù),，而不管該詞語重要與否。)

“TF-IDF”算法的的概念與網(wǎng)站運(yùn)用

一,、TF詞頻的概念與建議

TF是指詞頻,，查詢的關(guān)鍵詞在文檔中出現(xiàn)的次數(shù)核算。相關(guān)文檔是這樣介紹的,，假定查詢關(guān)鍵詞在同一個(gè)文檔中出現(xiàn)的次數(shù)越多,，代表這個(gè)關(guān)鍵詞越重要，越能代表文檔的主題意思,，文章主題與關(guān)鍵詞意思越接近,，那么做怎樣運(yùn)用這個(gè)知識(shí)點(diǎn)呢?

假定有一篇文章的標(biāo)題是：“服務(wù)外包”，從字面上了解,，文章首要是以服務(wù)為中心,，“外包”為拓展詞。假定文章內(nèi)容里服務(wù)出現(xiàn)20次,，服務(wù)出現(xiàn)25次,，外包出現(xiàn)10次，按照TF詞頻的規(guī)則,，那么服務(wù)是文章主題,，這個(gè)很好理解。

實(shí)際上有些時(shí)分寫文章時(shí),，在意思很清晰的情況下,，會(huì)省掉主詞。比如服務(wù)外包價(jià)格,、服務(wù)外包流程,、服務(wù)外包公司介紹，會(huì)縮寫成：外包價(jià)格、外包流程,、外包公司介紹,。這樣會(huì)導(dǎo)致外包出現(xiàn)的次數(shù)大于服務(wù)，TF詞頻則會(huì)以為外包是主題,，出現(xiàn)錯(cuò)誤的判別,。

那既然是這樣，做關(guān)鍵詞布局的時(shí)候,，應(yīng)該要恰當(dāng)考慮主關(guān)鍵詞的出現(xiàn)頻率大于副詞,。當(dāng)然搜索引擎判別網(wǎng)頁主題有許多維度，這兒只是單從TF詞頻的視點(diǎn)考慮,，個(gè)人以為這樣做會(huì)縮短搜索引擎判別網(wǎng)頁主題的時(shí)間,，對來說是有利的。

第二,、怎樣快速了解“IDF逆文檔頻率”

這個(gè)概念假設(shè)看文檔的話有點(diǎn)難了解,，最初筆者看百度百科好幾次才了解。涉及到雜亂的公式在這兒就不講,，結(jié)合TF一起來了解,，TF-IDF的意思是，一篇文章中某關(guān)鍵詞出現(xiàn)的次數(shù)越多,，且在搜索引擎的資料庫中包含該關(guān)鍵詞文檔數(shù)越少,，則說明這個(gè)關(guān)鍵詞越能代表此網(wǎng)頁的主題。

舉個(gè)比如來說明,，假定有一篇文章,，有兩個(gè)關(guān)鍵詞：“整站營銷”和“服務(wù)”，在文章中,，這兩個(gè)關(guān)鍵詞出現(xiàn)的資料都是20次,，可是在百度的資料庫中，包含整站營銷的文檔總共有一千萬個(gè),，包含服務(wù)的文檔有五百萬個(gè),，那么則說明，服務(wù)越能代表這文章的意思,?；蛟S搜索引擎資料庫中包含關(guān)鍵詞的文檔數(shù)量相同，文章中出現(xiàn)次數(shù)越多的關(guān)鍵詞越能代表網(wǎng)頁主題,。

從的層面講,，IDF這個(gè)值是客觀存在的

不必去深究，只需了解不同關(guān)鍵詞之間的文檔數(shù)多少就行,，以百度為例,，搜索任何一個(gè)關(guān)鍵詞,，在搜索框下面會(huì)有一個(gè)：“百度為您找到相關(guān)效果約XXX個(gè)”的這樣句子,，里邊的數(shù)值能夠作為文檔數(shù)參閱,。每個(gè)搜索引擎的包含關(guān)鍵詞的文檔數(shù)或許不相同，可是整體的相對比例值應(yīng)該是差不多的,。并且隨著時(shí)間的推移,，文檔數(shù)也會(huì)不斷發(fā)作改變。

注：內(nèi)容源自網(wǎng)絡(luò),，僅供分享交流,，侵刪。