管理學(xué)信息檢索課件

信息檢索模型信息檢索模型檢索系統(tǒng)的基本模式網(wǎng)頁互聯(lián)網(wǎng)匹配檢索結(jié)果用戶需求網(wǎng)頁采集分析處理第三講檢索模型建立索引索引庫檢索系統(tǒng)的基本模式網(wǎng)頁互聯(lián)網(wǎng)匹配檢索結(jié)果用戶需求網(wǎng)頁采集分第信息檢索模型模型對真實的處理過程的理想化的抽象的描述。數(shù)學(xué)模型用數(shù)學(xué)語言和數(shù)學(xué)方法來描述過程研究過程的屬性、作出判斷、得到結(jié)論信息檢索模型是一個形式框架，該框架支持信息檢索過程的所有主要階段，包括：文本表示、用戶需求表示需求與文本的匹配檢索到的文本排序信息檢索模型模型信息檢索模型的定義一個四元組：D,Q,F,R(qi,dj)D是文獻(xiàn)的邏輯視圖（文獻(xiàn)的表示）Q是用戶需求的邏輯視圖（查詢）F是一種機(jī)制，用于構(gòu)建D、Q和它們之間的關(guān)系R(qi,dj)是排序函數(shù)，輸出一個與查詢qi和文獻(xiàn)表示dj有關(guān)的實數(shù)信息檢索模型的定義一個四元組：D,Q,F,R(qi,d基本概念文獻(xiàn)（Document）泛指各種機(jī)器可讀的記錄，通常指一篇文章特征項（IndexTerm）也稱為索引項、標(biāo)引詞等從一篇文本（查詢）抽出的代表該文本（查詢）內(nèi)容的基本語言單位讓我們高舉中國特色社會主義偉大旗幟，更加緊密地團(tuán)結(jié)在黨中央周圍，萬眾一心，開拓奮進(jìn)，為奪取全面建設(shè)小康社會新勝利、譜寫人民美好生活新篇章而努力奮斗！讓、我們、高舉、中國特色、社會主義、偉大、旗幟、更加、緊密地、團(tuán)結(jié)、在、黨中央、周圍、萬眾一心、開拓、奮進(jìn)、為、奪取、全面、建設(shè)、小康、社會、新、勝利、譜寫、人民、美好、生活、新、篇章、而、努力、奮斗基本概念文獻(xiàn)（Document）讓我們高舉中國特色社會讓、我基本概念權(quán)重不是所有的詞對于表示文本內(nèi)容具有同樣的重要性wi,j表示文本dj中的標(biāo)引詞ki的權(quán)值（假設(shè)獨立）ki表示標(biāo)引詞，t是系統(tǒng)中標(biāo)引詞的數(shù)目K所有標(biāo)引詞的集合，K={k1,k2,…,kt}wi,j=0表示ki在dj中沒有出現(xiàn)文本dj可以用標(biāo)引詞向量來表示，dj={w1,j,w2,j,…,wt,j}gi(dj)返回t維向量dj中標(biāo)引詞ki的權(quán)重，gi(dj)=wi,j基本概念權(quán)重模型的分類按所使用的數(shù)學(xué)方法分類基于集合論布爾模型基于線性代數(shù)向量空間模型基于概率論概率模型模型的分類按所使用的數(shù)學(xué)方法分類布爾模型（基于集合論）D（文獻(xiàn)表示）表示為不帶權(quán)重的標(biāo)引詞的集合，或者說，二值的標(biāo)引詞權(quán)重wi,j＝0或者wi,j＝1Q（查詢）表示為標(biāo)引詞的布爾表達(dá)式用and、or、not連接標(biāo)引詞構(gòu)成查詢F（聯(lián)系機(jī)制）布爾表達(dá)式轉(zhuǎn)換為集合表達(dá)式布爾算子and（∧）、or（∨）、not（?）替換為交（∩）、并（∪）、補(bǔ)（ˉ）R（排序）對于每個標(biāo)引詞ki，得到一個文本的集合Dki＝{dj|wi,j=1}在結(jié)果集合里的文本是相關(guān)的，其他是不相關(guān)的布爾模型（基于集合論）D（文獻(xiàn)表示）布爾模型舉例布爾模型舉例布爾模型評價簡單，定義清晰文本或者相關(guān)或者不相關(guān)，沒有強(qiáng)弱之分將文本分為兩個集合，相關(guān)的，不相關(guān)的，因此不需要排序可能會導(dǎo)致結(jié)果非常少或者非常多布爾模型評價簡單，定義清晰布爾模型的實現(xiàn)輸入：各種文檔（PDF,DOC,TXT,HTML,XML…）輸出：索引表處理過程格式轉(zhuǎn)換文檔編號結(jié)構(gòu)分析檢索最小單元識別細(xì)結(jié)構(gòu)化構(gòu)建索引空間保存文件布爾模型的實現(xiàn)輸入：各種文檔（PDF,DOC,TXT,向量空間模型（基于線性代數(shù)）D（文獻(xiàn)表示）文本表示為帶權(quán)重的標(biāo)引詞的集合，dj={w1,j,w2,j,…,wt,j}權(quán)重表示該標(biāo)引詞與該文本的相關(guān)程度Q（查詢）查詢也表示為帶權(quán)重的標(biāo)引詞的集合，q={w1,q,w2,q,…,wt,q}權(quán)重表示標(biāo)引詞與用戶需求的相關(guān)程度F（聯(lián)系機(jī)制）文本和查詢有同樣的表示（t維空間的向量）查詢被當(dāng)作為假想的文本向量空間模型（基于線性代數(shù)）D（文獻(xiàn)表示）向量空間模型（基于線性代數(shù)）R（排序）用向量夾角的余弦計算dj和q的相似度向量空間模型（基于線性代數(shù)）R（排序）從文本到向量空間從文本到向量空間文本的向量表示示例文本的向量表示示例夾角余弦計算舉例夾角余弦計算舉例常用的相似度計算方法常用的相似度計算方法特征項的權(quán)重設(shè)定索引過程首先要從文獻(xiàn)中抽取重要詞，把它們映射到特征項集中，進(jìn)行權(quán)重計算。由于文獻(xiàn)中不同詞匯的出現(xiàn)頻率隨文章的內(nèi)容和作者的習(xí)慣而不同，因此，最初的索引系統(tǒng)都是從應(yīng)用詞頻開始的。實際應(yīng)用中顯得有些粗糙為什么中頻詞好？兩個閾值怎么選?。康牵@些思想為信息檢索系統(tǒng)中項的選取奠定了基礎(chǔ)特征項的權(quán)重設(shè)定索引過程首先要從文獻(xiàn)中抽取重要詞，把它們映射為什么中頻詞好簡單地把所有的詞匯都作為文獻(xiàn)的特征項，檢索效果并不很好不同的詞匯對文獻(xiàn)的表示作用不同一般說來，常用詞在所有文獻(xiàn)中都有著較高的頻率，區(qū)分度低罕用詞在文獻(xiàn)集中的出現(xiàn)次數(shù)較少，難以確定它們的統(tǒng)計規(guī)律，相關(guān)度低而中等頻率的詞匯常常與文獻(xiàn)所表示的主題相關(guān)，區(qū)分度較高，表示能力最強(qiáng)，最有價值。為什么中頻詞好簡單地把所有的詞匯都作為文獻(xiàn)的特征項，檢索效果有價值的特征項有價值的特征項應(yīng)具備以下特征：相關(guān)度與文獻(xiàn)內(nèi)容有關(guān)，以便在需要時進(jìn)行索引項的檢索區(qū)分度能將一篇文獻(xiàn)與其它文獻(xiàn)區(qū)分開怎么度量項頻率tf（文獻(xiàn)內(nèi)頻率）反比文獻(xiàn)頻率idf（inversedocumentfrequency）有價值的特征項有價值的特征項應(yīng)具備以下特征：項頻率tf一個項的重要性隨著它在文獻(xiàn)中的出現(xiàn)頻率的提高而提高我們應(yīng)該采用某種依項的出現(xiàn)頻率單調(diào)遞增函數(shù)來估算權(quán)重項在文獻(xiàn)中出現(xiàn)的次數(shù)稱為項頻率（termfrequency,tf），根據(jù)項頻率計算項的重要性的函數(shù)稱為項頻率因子，簡稱tf因子。項頻率tf一個項的重要性隨著它在文獻(xiàn)中的出現(xiàn)頻率的提高而提常用的tf因子原始tf因子：直接用項頻率tf作為tf因子對數(shù)tf因子：1+ln(tf)二元tf因子：不考慮項頻率tf，其值根據(jù)項是否在文獻(xiàn)中出現(xiàn)為1或0（出現(xiàn)時為1，否則為0）。改進(jìn)的tf因子：0.5+0.5*tf/文獻(xiàn)中的最大tf大規(guī)模的測試表明，對數(shù)tf因子的效果最好常用的tf因子原始tf因子：直接用項頻率tf作為tf因子反比文獻(xiàn)頻率idf在許多篇文獻(xiàn)中出現(xiàn)的項的區(qū)分度小于僅在很少幾篇文獻(xiàn)中出現(xiàn)的項這表明應(yīng)該用一個依項在其中出現(xiàn)的文獻(xiàn)數(shù)目單調(diào)遞減函數(shù)來評估項的重要性基于這個原因，人們提出反比文獻(xiàn)頻率因子，簡稱idf因子一般用log(N/nk)或各種變形來計算。其中，N是文獻(xiàn)總數(shù)，nk是第k個特征項在其中出現(xiàn)的文獻(xiàn)數(shù)，稱為項的文獻(xiàn)頻率反比文獻(xiàn)頻率idf在許多篇文獻(xiàn)中出現(xiàn)的項的區(qū)分度小于僅在很少tf.idftf.idftf.idftf.idftf.idf示例tf.idf示例tf.idf示例tf.idf示例向量空間模型評價使用了更高級的數(shù)學(xué)工具，同樣清晰標(biāo)引詞加權(quán)相似度有強(qiáng)弱之分可以排序結(jié)果數(shù)量可控top10,top20,…布爾模型簡單，定義清晰相似度沒有強(qiáng)弱之分不排序可能會導(dǎo)致結(jié)果非常少或者非常多向量空間模型評價使用了更高級的數(shù)學(xué)工具，同樣清晰布爾模型向量空間模型評價項之間線性無關(guān)的假設(shè)在自然語言中，詞或短語之間存在著十分密切的聯(lián)系，即存在“斜交”現(xiàn)象，很難滿足假定條件，對計算結(jié)果的可靠性造成一定的影響將復(fù)雜的語義關(guān)系，歸結(jié)為簡單的向量結(jié)構(gòu)，丟失了許多有價值的線索向量空間模型評價項之間線性無關(guān)的假設(shè)布爾模型（基于集合論）D（文獻(xiàn)表示）表示為不帶權(quán)重的標(biāo)引詞的集合，或者說，二值的標(biāo)引詞權(quán)重wi,j＝0或者wi,j＝1Q（查詢）表示為標(biāo)引詞的布爾表達(dá)式用and、or、not連接標(biāo)引詞構(gòu)成查詢F（聯(lián)系機(jī)制）布爾表達(dá)式轉(zhuǎn)換為集合表達(dá)式布爾算子and（∧）、or（∨）、not（?）替換為交（∩）、并（∪）、補(bǔ)（ˉ）R（排序）對于每個標(biāo)引詞ki，得到一個文本的集合Dki＝{dj|wi,j=1}在結(jié)果集合里的文本是相關(guān)的，其他是不相關(guān)的布爾模型（基于集合論）D（文獻(xiàn)表示）基本概念文獻(xiàn)（Document）泛指各種機(jī)器可讀的記錄，通常指一篇文章特征項（IndexTerm）也稱為索引項、標(biāo)引詞等從一篇文本（查詢）抽出的代表該文本（查詢）內(nèi)容的基本語言單位讓我們高舉中國特色社會主義偉大旗幟，更加緊密地團(tuán)結(jié)在黨中央周圍，萬眾一心，開拓奮進(jìn)，為奪取全面建設(shè)小康社會新勝利、譜寫人民美好生活新篇章而努力奮斗！讓、我們、高舉、中國特色、社會主義、偉大、旗幟、更加、緊密地、團(tuán)結(jié)、在、黨中央、周圍、萬眾一心、開拓、奮進(jìn)、為、奪取、全面、建設(shè)、小康、社會、新、勝利、譜寫、人民、美好、生活、新、篇章、而、努力、奮斗基本概念文獻(xiàn)（Document）讓我們高舉中國特色社會讓、我模糊集模糊集的運(yùn)算模糊集模糊集的運(yùn)算向量空間模型評價使用了更高級的數(shù)學(xué)工具，同樣清晰標(biāo)引詞加權(quán)相似度有強(qiáng)弱之分可以排序結(jié)果數(shù)量可控top10,top20,…標(biāo)引詞相互獨立當(dāng)今最流行的檢索模型布爾模型簡單，定義清晰相似度沒有強(qiáng)弱之分不排序可能會導(dǎo)致結(jié)果非常少或者非常多獨立嗎？向量空間模型評價使用了更高級的數(shù)學(xué)工具，同樣清晰布爾模型獨立廣義向量空間模型標(biāo)引詞并不獨立標(biāo)引詞之間如何聯(lián)系正交變換標(biāo)準(zhǔn)正交基廣義向量空間模型標(biāo)引詞并不獨立從文本到向量空間—多少維的向量？從文本到向量空間—多少維的向量？維數(shù)急劇上升隨著數(shù)據(jù)庫表的記錄的增大，特征值會變得很大。對應(yīng)的文檔向量空間大小的維數(shù)會急劇上升。如：對于一個含有100個記錄的表來說，其文檔向量空間大小的維數(shù)達(dá)到1000是很正常的但如此大或更大維數(shù)的向量之間運(yùn)算的時間復(fù)雜度會很高，直接影響查快率。維數(shù)急劇上升隨著數(shù)據(jù)庫表的記錄的增大，特征值會變得很大。對應(yīng)奇異值分解第一個矩陣X中的每一行表示意思相關(guān)的一類詞，其中的每個非零元素表示這類詞中每個詞的重要性（或者說相關(guān)性），數(shù)值越大越相關(guān)。最后一個矩陣Y中的每一列表示同一主題一類文章，其中每個元素表示這類文章中每篇文章的相關(guān)性。中間的矩陣則表示類詞和文章類之間的相關(guān)性。因此，只要對關(guān)聯(lián)矩陣A進(jìn)行一次奇異值分解，就可以同時完成了近義詞分類和文章的分類。（同時得到每類文章和每類詞的相關(guān)性）。奇異值分解第一個矩陣X中的每一行表示意思相關(guān)的一類詞，其中的檢索系統(tǒng)的基本模式網(wǎng)頁互聯(lián)網(wǎng)匹配檢索結(jié)果用戶需求網(wǎng)頁采集分析處理建立索引索引庫檢索系統(tǒng)的基本模式網(wǎng)頁互聯(lián)網(wǎng)匹配檢索結(jié)果用戶需求網(wǎng)頁采集分建相關(guān)反饋Dr：檢索出的文獻(xiàn)中，用戶認(rèn)可的Dn：檢索出的文獻(xiàn)中，用戶沒有認(rèn)可的相關(guān)反饋Dr：檢索出的文獻(xiàn)中，用戶認(rèn)可的概率模型（基于概率論）D（文獻(xiàn)表示）文本表示為帶權(quán)重的標(biāo)引詞的集合，dj={w1,j,w2,j,…,wt,j}二值的標(biāo)引詞權(quán)重wi,j＝0或者wi,j＝1Q（查詢）查詢也表示為帶權(quán)重的標(biāo)引詞的集合，q={w1,q,w2,q,…,wt,q}二值的標(biāo)引詞權(quán)重wi,q＝0或者wi,q＝1F（聯(lián)系機(jī)制）理想結(jié)果集R條件概率概率模型（基于概率論）D（文獻(xiàn)表示）概率模型（基于概率論）R（排序）概率模型（基于概率論）R（排序）概率模型評價標(biāo)引詞只有二值權(quán)重標(biāo)引詞相互獨立R的確定人工干預(yù)隨機(jī)概率模型評價標(biāo)引詞只有二值權(quán)重[管理學(xué)]信息檢索課件信息檢索模型信息檢索模型檢索系統(tǒng)的基本模式網(wǎng)頁互聯(lián)網(wǎng)匹配檢索結(jié)果用戶需求網(wǎng)頁采集分析處理第三講檢索模型建立索引索引庫檢索系統(tǒng)的基本模式網(wǎng)頁互聯(lián)網(wǎng)匹配檢索結(jié)果用戶需求網(wǎng)頁采集分第信息檢索模型模型對真實的處理過程的理想化的抽象的描述。數(shù)學(xué)模型用數(shù)學(xué)語言和數(shù)學(xué)方法來描述過程研究過程的屬性、作出判斷、得到結(jié)論信息檢索模型是一個形式框架，該框架支持信息檢索過程的所有主要階段，包括：文本表示、用戶需求表示需求與文本的匹配檢索到的文本排序信息檢索模型模型信息檢索模型的定義一個四元組：D,Q,F,R(qi,dj)D是文獻(xiàn)的邏輯視圖（文獻(xiàn)的表示）Q是用戶需求的邏輯視圖（查詢）F是一種機(jī)制，用于構(gòu)建D、Q和它們之間的關(guān)系R(qi,dj)是排序函數(shù)，輸出一個與查詢qi和文獻(xiàn)表示dj有關(guān)的實數(shù)信息檢索模型的定義一個四元組：D,Q,F,R(qi,d基本概念文獻(xiàn)（Document）泛指各種機(jī)器可讀的記錄，通常指一篇文章特征項（IndexTerm）也稱為索引項、標(biāo)引詞等從一篇文本（查詢）抽出的代表該文本（查詢）內(nèi)容的基本語言單位讓我們高舉中國特色社會主義偉大旗幟，更加緊密地團(tuán)結(jié)在黨中央周圍，萬眾一心，開拓奮進(jìn)，為奪取全面建設(shè)小康社會新勝利、譜寫人民美好生活新篇章而努力奮斗！讓、我們、高舉、中國特色、社會主義、偉大、旗幟、更加、緊密地、團(tuán)結(jié)、在、黨中央、周圍、萬眾一心、開拓、奮進(jìn)、為、奪取、全面、建設(shè)、小康、社會、新、勝利、譜寫、人民、美好、生活、新、篇章、而、努力、奮斗基本概念文獻(xiàn)（Document）讓我們高舉中國特色社會讓、我基本概念權(quán)重不是所有的詞對于表示文本內(nèi)容具有同樣的重要性wi,j表示文本dj中的標(biāo)引詞ki的權(quán)值（假設(shè)獨立）ki表示標(biāo)引詞，t是系統(tǒng)中標(biāo)引詞的數(shù)目K所有標(biāo)引詞的集合，K={k1,k2,…,kt}wi,j=0表示ki在dj中沒有出現(xiàn)文本dj可以用標(biāo)引詞向量來表示，dj={w1,j,w2,j,…,wt,j}gi(dj)返回t維向量dj中標(biāo)引詞ki的權(quán)重，gi(dj)=wi,j基本概念權(quán)重模型的分類按所使用的數(shù)學(xué)方法分類基于集合論布爾模型基于線性代數(shù)向量空間模型基于概率論概率模型模型的分類按所使用的數(shù)學(xué)方法分類布爾模型（基于集合論）D（文獻(xiàn)表示）表示為不帶權(quán)重的標(biāo)引詞的集合，或者說，二值的標(biāo)引詞權(quán)重wi,j＝0或者wi,j＝1Q（查詢）表示為標(biāo)引詞的布爾表達(dá)式用and、or、not連接標(biāo)引詞構(gòu)成查詢F（聯(lián)系機(jī)制）布爾表達(dá)式轉(zhuǎn)換為集合表達(dá)式布爾算子and（∧）、or（∨）、not（?）替換為交（∩）、并（∪）、補(bǔ)（ˉ）R（排序）對于每個標(biāo)引詞ki，得到一個文本的集合Dki＝{dj|wi,j=1}在結(jié)果集合里的文本是相關(guān)的，其他是不相關(guān)的布爾模型（基于集合論）D（文獻(xiàn)表示）布爾模型舉例布爾模型舉例布爾模型評價簡單，定義清晰文本或者相關(guān)或者不相關(guān)，沒有強(qiáng)弱之分將文本分為兩個集合，相關(guān)的，不相關(guān)的，因此不需要排序可能會導(dǎo)致結(jié)果非常少或者非常多布爾模型評價簡單，定義清晰布爾模型的實現(xiàn)輸入：各種文檔（PDF,DOC,TXT,HTML,XML…）輸出：索引表處理過程格式轉(zhuǎn)換文檔編號結(jié)構(gòu)分析檢索最小單元識別細(xì)結(jié)構(gòu)化構(gòu)建索引空間保存文件布爾模型的實現(xiàn)輸入：各種文檔（PDF,DOC,TXT,向量空間模型（基于線性代數(shù)）D（文獻(xiàn)表示）文本表示為帶權(quán)重的標(biāo)引詞的集合，dj={w1,j,w2,j,…,wt,j}權(quán)重表示該標(biāo)引詞與該文本的相關(guān)程度Q（查詢）查詢也表示為帶權(quán)重的標(biāo)引詞的集合，q={w1,q,w2,q,…,wt,q}權(quán)重表示標(biāo)引詞與用戶需求的相關(guān)程度F（聯(lián)系機(jī)制）文本和查詢有同樣的表示（t維空間的向量）查詢被當(dāng)作為假想的文本向量空間模型（基于線性代數(shù)）D（文獻(xiàn)表示）向量空間模型（基于線性代數(shù)）R（排序）用向量夾角的余弦計算dj和q的相似度向量空間模型（基于線性代數(shù)）R（排序）從文本到向量空間從文本到向量空間文本的向量表示示例文本的向量表示示例夾角余弦計算舉例夾角余弦計算舉例常用的相似度計算方法常用的相似度計算方法特征項的權(quán)重設(shè)定索引過程首先要從文獻(xiàn)中抽取重要詞，把它們映射到特征項集中，進(jìn)行權(quán)重計算。由于文獻(xiàn)中不同詞匯的出現(xiàn)頻率隨文章的內(nèi)容和作者的習(xí)慣而不同，因此，最初的索引系統(tǒng)都是從應(yīng)用詞頻開始的。實際應(yīng)用中顯得有些粗糙為什么中頻詞好？兩個閾值怎么選?。康?，這些思想為信息檢索系統(tǒng)中項的選取奠定了基礎(chǔ)特征項的權(quán)重設(shè)定索引過程首先要從文獻(xiàn)中抽取重要詞，把它們映射為什么中頻詞好簡單地把所有的詞匯都作為文獻(xiàn)的特征項，檢索效果并不很好不同的詞匯對文獻(xiàn)的表示作用不同一般說來，常用詞在所有文獻(xiàn)中都有著較高的頻率，區(qū)分度低罕用詞在文獻(xiàn)集中的出現(xiàn)次數(shù)較少，難以確定它們的統(tǒng)計規(guī)律，相關(guān)度低而中等頻率的詞匯常常與文獻(xiàn)所表示的主題相關(guān)，區(qū)分度較高，表示能力最強(qiáng)，最有價值。為什么中頻詞好簡單地把所有的詞匯都作為文獻(xiàn)的特征項，檢索效果有價值的特征項有價值的特征項應(yīng)具備以下特征：相關(guān)度與文獻(xiàn)內(nèi)容有關(guān)，以便在需要時進(jìn)行索引項的檢索區(qū)分度能將一篇文獻(xiàn)與其它文獻(xiàn)區(qū)分開怎么度量項頻率tf（文獻(xiàn)內(nèi)頻率）反比文獻(xiàn)頻率idf（inversedocumentfrequency）有價值的特征項有價值的特征項應(yīng)具備以下特征：項頻率tf一個項的重要性隨著它在文獻(xiàn)中的出現(xiàn)頻率的提高而提高我們應(yīng)該采用某種依項的出現(xiàn)頻率單調(diào)遞增函數(shù)來估算權(quán)重項在文獻(xiàn)中出現(xiàn)的次數(shù)稱為項頻率（termfrequency,tf），根據(jù)項頻率計算項的重要性的函數(shù)稱為項頻率因子，簡稱tf因子。項頻率tf一個項的重要性隨著它在文獻(xiàn)中的出現(xiàn)頻率的提高而提常用的tf因子原始tf因子：直接用項頻率tf作為tf因子對數(shù)tf因子：1+ln(tf)二元tf因子：不考慮項頻率tf，其值根據(jù)項是否在文獻(xiàn)中出現(xiàn)為1或0（出現(xiàn)時為1，否則為0）。改進(jìn)的tf因子：0.5+0.5*tf/文獻(xiàn)中的最大tf大規(guī)模的測試表明，對數(shù)tf因子的效果最好常用的tf因子原始tf因子：直接用項頻率tf作為tf因子反比文獻(xiàn)頻率idf在許多篇文獻(xiàn)中出現(xiàn)的項的區(qū)分度小于僅在很少幾篇文獻(xiàn)中出現(xiàn)的項這表明應(yīng)該用一個依項在其中出現(xiàn)的文獻(xiàn)數(shù)目單調(diào)遞減函數(shù)來評估項的重要性基于這個原因，人們提出反比文獻(xiàn)頻率因子，簡稱idf因子一般用log(N/nk)或各種變形來計算。其中，N是文獻(xiàn)總數(shù)，nk是第k個特征項在其中出現(xiàn)的文獻(xiàn)數(shù)，稱為項的文獻(xiàn)頻率反比文獻(xiàn)頻率idf在許多篇文獻(xiàn)中出現(xiàn)的項的區(qū)分度小于僅在很少tf.idftf.idftf.idftf.idftf.idf示例tf.idf示例tf.idf示例tf.idf示例向量空間模型評價使用了更高級的數(shù)學(xué)工具，同樣清晰標(biāo)引詞加權(quán)相似度有強(qiáng)弱之分可以排序結(jié)果數(shù)量可控top10,top20,…布爾模型簡單，定義清晰相似度沒有強(qiáng)弱之分不排序可能會導(dǎo)致結(jié)果非常少或者非常多向量空間模型評價使用了更高級的數(shù)學(xué)工具，同樣清晰布爾模型向量空間模型評價項之間線性無關(guān)的假設(shè)在自然語言中，詞或短語之間存在著十分密切的聯(lián)系，即存在“斜交”現(xiàn)象，很難滿足假定條件，對計算結(jié)果的可靠性造成一定的影響將復(fù)雜的語義關(guān)系，歸結(jié)為簡單的向量結(jié)構(gòu)，丟失了許多有價值的線索向量空間模型評價項之間線性無關(guān)的假設(shè)布爾模型（基于集合論）D（文獻(xiàn)表示）表示為不帶權(quán)重的標(biāo)引詞的集合，或者說，二值的標(biāo)引詞權(quán)重wi,j＝0或者wi,j＝1Q（查詢）表示為標(biāo)引詞的布爾表達(dá)式用and、or、not連接標(biāo)引詞構(gòu)成查詢F（聯(lián)系機(jī)制）布爾表達(dá)式轉(zhuǎn)換為集合表達(dá)式布爾算子and（∧）、or（∨）、not（?）替換為交（∩）、并（∪）、補(bǔ)（ˉ）R（排序）對于每個標(biāo)引詞ki，得到一個文本的集合Dki＝{dj|wi,j=1}在結(jié)果集合里的文本是相關(guān)的，其他是不相關(guān)的布爾模型（基于集合論）D（文獻(xiàn)表示）基本概念文獻(xiàn)（Document）泛指各種機(jī)器可讀的記錄，通常指一篇文章特征項（IndexTerm）也稱為索引項、標(biāo)引詞等從一篇文本（查詢）抽出的代表該文本（查詢）內(nèi)容的基本語言單位讓我們高舉中國特色社會主義偉大旗幟，更加緊密地團(tuán)結(jié)在黨中央周圍，萬眾一心，開拓奮進(jìn)，為奪取全面建設(shè)小康社會新勝利、譜寫人民美好生活新篇章而努力奮斗！讓、我們、高舉、中國特色、社會主義、偉大、旗幟、更加、緊密地、團(tuán)結(jié)、在、黨中央、周圍、萬眾一心、開拓、奮進(jìn)、為、奪取、全面、建設(shè)、小康、社會、新、勝利、譜寫、人民、美好、生活、新、篇章、而、努力、奮斗基本概念文獻(xiàn)（Document）讓我們高舉中國特色社會讓、我模糊集模糊集的運(yùn)算模糊集模糊集的運(yùn)算向量空間模型評價使用了更高級的數(shù)學(xué)工具，同樣清晰標(biāo)引詞加權(quán)相似度有強(qiáng)弱之分可以排序結(jié)果數(shù)量可控top10,top20,…標(biāo)引詞相互獨立當(dāng)今最流行的檢索模型布爾模型簡單，定