【畢業(yè)學(xué)位論文】（Word原稿）中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用-計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)網(wǎng)絡(luò)與分布式系統(tǒng)

碩士研究生學(xué)位論文 題 目 ： 中文 網(wǎng)頁 信息 檢索 測試集 的 構(gòu)建 、分析 及 應(yīng)用 姓 名 ： 學(xué) 號 ： 10448237 院 系： 信息科學(xué)技術(shù)學(xué)院 專 業(yè)： 計(jì)算機(jī)軟件與理論 研究方向 ： 計(jì)算機(jī)網(wǎng)絡(luò)與分布式系統(tǒng) 導(dǎo) 師 ： 李 曉 明 教授 二 七年五 月 版權(quán)聲 明 任何收存和保管本論文各種版本的單位和個人，未經(jīng)本論文作者同意，不得將本論文轉(zhuǎn)借他人，亦不得隨意復(fù)制、抄錄、拍照或以任何方式傳播。否則，引起有礙作者著作權(quán)之問題，將可能承擔(dān)法律責(zé)任。 I 摘 要 隨著 迅速發(fā)展 ， 息檢索技術(shù)成 為 研究者廣泛關(guān)注的話題 ，但 缺少合適的測試評測機(jī)制 制約了中文 網(wǎng)頁 信息檢索技術(shù)的發(fā)展 。 參考國外測試集的構(gòu)建經(jīng)驗(yàn)， 我們 構(gòu)建 了 大規(guī)模中文網(wǎng)頁 信息 檢索 測試集 并 組織了文網(wǎng)頁檢索評測， 希望在國內(nèi)外各個研究小組的共同參與下建立并完善 起推動中文 網(wǎng)頁 信息 檢索技 術(shù)的發(fā)展。 本文 在信息檢索評測領(lǐng)域 有如下貢獻(xiàn)： 1 實(shí)施并構(gòu)建了大規(guī)模中文網(wǎng)頁 信息 檢索 測試集 本研究詳細(xì)介紹了測試集的 三個 部分 文檔集、查詢主題集和相關(guān)文檔集 的 構(gòu)建 過程 ， 實(shí)施 過程致力于使測試集具有較高的質(zhì)量 。 構(gòu)建 了三個 測試集： 括 285 個 主題提取 主題 和 1,185 個 導(dǎo)航搜索 主題 ，并對 主題 構(gòu)建了相關(guān)文檔集。 該系列測試集在 文 網(wǎng)頁 檢索評測 中被 指定為測試集， 供數(shù)十家研究機(jī)構(gòu)使用。本 文 提出的構(gòu)建測試集的方法為以后的研究提供了參考。 2 對 試集 的 三個部分 進(jìn)行了分析 ， 研究 結(jié)果 表明 試集具有可用性，能作為進(jìn)一步信息檢索與評測研究的基礎(chǔ)。 首先， 文檔集 在 網(wǎng)站規(guī)模 上近似 服從 布，網(wǎng)頁出度 近似 服從冪級數(shù) 規(guī) 律 ，與真實(shí)的 點(diǎn)相似；其次， 詢主題大部分是 4 個漢字 、 2 個詞 構(gòu)成 的詞組 ，這與查詢?nèi)罩局械牟樵冊~統(tǒng)計(jì)規(guī)律 相似 ， 在一定程度上能反映真實(shí)的檢索情況 ， 題難易度均勻分布 ，兼顧了難、中、易三類主題 ； 最后， 相關(guān)判斷完整性分別約為 80%和 66%，基于它的評測結(jié)果是可靠的 ， 而對 相關(guān)文檔集 一致性進(jìn)行分析 得到的結(jié)論是： 相 關(guān) 判斷 的第二個步驟“檢查”是必要的。 3 組織了 文網(wǎng)頁檢索評測， 將 試集應(yīng)用于評測中。 我們給國內(nèi)信息檢索研究者提供了一個標(biāo)準(zhǔn) 規(guī)范 的評測平臺 ， 對從 2004 年開始的歷屆評測情況進(jìn)行了總結(jié)，詳細(xì)介 紹了評測流程、評測任務(wù)、檢索結(jié)果提交格式等 ，對評測結(jié)果進(jìn)行了分析 。評測相關(guān)的數(shù)據(jù)都放在評測網(wǎng)站 ， 包括歷屆的評測通知、評測指南、 提交的檢索結(jié)果及 技術(shù)報(bào)告等 。 另外還 提供了 鏈接提取等工具，幫 助信息檢索研究者更好的使用 關(guān)鍵詞 ： 信息檢索 ， 評測，測試集 ，文檔集，查詢主題 ，相關(guān)判斷 I I a by of to of we eb we R 1. A of in 85 ,185 in WT be to of eb 2. of is 1) eb in of 2) of up by is to 3) of is 0% 6% on is is 3. We eb WT a R of is at , 錄 第一章 引言 . - 1 - 研究背景 . - 1 - 本文主要貢獻(xiàn) . - 2 - 本文組織 . - 4 - 第二章 相關(guān)研究 . - 5 - 測試集 . - 5 - 早期測試集 . - 7 - 試集 . - 8 - 其它的 測試集 . - 11 - 評測項(xiàng)目 . - 11 - 評測指標(biāo) . - 12 - 第三章 構(gòu)建 . - 15 - 引言 . - 15 - 文檔集的構(gòu)建 . - 16 - 文檔集構(gòu)建的幾點(diǎn)考慮 . - 16 - 構(gòu)建過程及結(jié)果 . - 16 - 查詢主題集的構(gòu)建 . - 18 - 構(gòu)建流程 . - 18 - 題的構(gòu)建 . - 20 - 題的構(gòu)建 . - 23 - 構(gòu)建結(jié)果 . - 25 - 相關(guān)文檔集 的構(gòu)建 . - 25 - 初步評測 . - 27 - 檢查 . - 28 - 構(gòu)建結(jié)果 . - 28 - 第四章 析 . - 30 - 文檔集分析 . - 30 - V 網(wǎng)站規(guī)模分布 . - 30 - 網(wǎng)頁出度分布 . - 31 - 相關(guān)文檔數(shù)分布 . - 32 - 查詢主題集分析 . - 33 - 題長度 . - 33 - 題難易度 . - 34 - 相關(guān)文檔集分析 . - 37 - 相關(guān)文檔集完整性 . - 38 - 相關(guān)文檔集一致性 . - 42 - 第五章 文網(wǎng)頁檢索評測 . - 47 - 引言 . - 47 - 屆評測情 況 . - 47 - 測流程 . - 50 - 評測任務(wù) . - 50 - 務(wù) . - 50 - 務(wù) . - 51 - 檢索結(jié)果提交 . - 51 - 評測 結(jié)果及分析 . - 53 - 評測結(jié)果 . - 53 - 有效的檢索技術(shù) . - 54 - 第六章 總結(jié)與展望 . - 56 - 總結(jié) . - 56 - 展望 . - 57 - 參考文獻(xiàn) . - 58 - 致謝 . - 61 - 目錄 圖 2信息檢索評測系統(tǒng)示意圖 . - 6 - 圖 2檔示例 . - 9 - 圖 2 查詢主題示例 . - 10 - 圖 2信息檢索性能評測示意圖 . - 13 - 圖 3搜狗網(wǎng)頁分類目錄 . - 19 - 圖 3題示例 . - 20 - 圖 3搜狗網(wǎng)頁分類目錄瀏覽圖 . - 21 - 圖 3索界面 . - 22 - 圖 3題示例 . - 23 - 圖 3覽工具界面 . - 24 - 圖 3相關(guān)判斷工具主界面 . - 26 - 圖 4網(wǎng)站規(guī)模分布 . - 31 - 圖 4網(wǎng)頁出度分布 . - 31 - 圖 4題字?jǐn)?shù) . - 34 - 圖 4題詞數(shù) . - 34 - 圖 4題難易度 . - 35 - 圖 4D 主題難易度 . - 36 - 圖 4題相關(guān)文檔數(shù)變化 . - 39 - 圖 4題相關(guān)文檔數(shù)變化 . - 39 - 圖 4新發(fā)現(xiàn)的相關(guān)文檔數(shù)變化 . - 41 - 圖 4 相關(guān)性 . - 42 - 圖 5號文件格式 . - 48 - 圖 5號文件的格式 . - 48 - 圖 5務(wù)提交結(jié)果格式示例 . - 52 - 圖 5務(wù)提交結(jié)果格式示例 . - 52 - 目錄 表 2早期測試集 . - 8 - 表 3檔集 . - 18 - 表 3相關(guān)判斷初步評測統(tǒng)計(jì) . - 27 - 表 3務(wù)相關(guān)文檔數(shù)統(tǒng)計(jì) . - 29 - 表 3常見問題及解決方法 . - 29 - 表 4實(shí)際相關(guān)文檔對照表 . - 32 - 表 4相關(guān)文檔數(shù)在文檔集上的分布 . - 33 - 表 4主題難易度與相關(guān)文檔數(shù)的相關(guān)性 . - 37 - 表 4主題隨相關(guān)文檔 數(shù)變化的分布 . - 44 - 表 4相關(guān)文檔集中的文檔數(shù) . - 44 - 表 4相關(guān)判斷的重疊度 . - 45 - 表 4評測結(jié)果相關(guān)性 . - 45 - 表 5測數(shù)據(jù)統(tǒng)計(jì)表 . - 48 - 表 5測參加單位 . - 49 - 表 5務(wù)評測結(jié)果統(tǒng)計(jì)表 . - 53 - 表 5務(wù)評測結(jié)果統(tǒng)計(jì)表 . - 53 - 北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 1 - 第一章 引言 研究背景 長久以來，人們對信息的需求從未間斷過。 20 世紀(jì) 40代 ，人們開始了對信息進(jìn)行檢索的活動 ， 1951 年 首次提出了 “ 信息檢索（ ”的 概念 ： “ 信息檢索是信息的潛在用戶將信息需求轉(zhuǎn)換為一張文獻(xiàn)來源信息列表的過程或方法，而這 些文獻(xiàn)包含有對其有用的信息 ” 1。 自從 1945 年 出利用信息技 術(shù)來解決“使大量信息更容易獲取的難題”后，信息檢索 技術(shù)就 迅速發(fā)展起來 ， 其研究領(lǐng)域也 從 最初的科學(xué)技術(shù)領(lǐng)域擴(kuò)展到人類活動的各個方面。 20 世紀(jì) 90 年代， 隨著 迅速發(fā)展， 人們進(jìn)入了一個信息極度豐富的社會， 息檢索技術(shù)成 為 研究者廣泛關(guān)注 的話題 ， 以搜索引擎為代表的信息檢索技術(shù)已經(jīng)取得了巨大的成功， 百度等搜索 引擎已經(jīng)深入到人們?nèi)粘W(xué)習(xí)和工作中，成為獲取信息不可或缺的工具。而 如何評測 這些 檢索系統(tǒng)的性能 也越來越受到關(guān)注 。 實(shí)際上， 檢索系統(tǒng)評測 自 信息檢索系統(tǒng) 誕生以來 就從未間斷過。信息檢索評測 對系統(tǒng)的研究、設(shè)計(jì)與發(fā)展一直有著顯著的影響力。通過評測，研究者能 夠 驗(yàn)證系統(tǒng)的效益、比較各種檢索技術(shù)的優(yōu)劣，不斷改進(jìn)檢索系統(tǒng)，使系統(tǒng)的性能更加完善 ，能正確 引導(dǎo)研究發(fā)展方向 ?；谟脩糁饔^使用感受的評測方法不客觀、不可靠，所以必須采用一套客 觀的評測體系，這種評測不受人主觀感覺的影響，并且評測結(jié)果通常都成立。一般的，這種評測體系具有以下特點(diǎn)：明確的形式化研究任務(wù)、公開的訓(xùn)練與測試數(shù)據(jù)、公開的評測比較。 早期檢索系統(tǒng)評測最著名的研究是 1950 年代末期開始進(jìn)行的驗(yàn) 2。它開創(chuàng)了以測試集（ 合評測指標(biāo)（ 評測系統(tǒng)的模式。所謂測試集，是一種在規(guī)范化環(huán)境中測試系統(tǒng)性能的機(jī)制，包括查詢問題（ 文檔集（ 及相關(guān)判斷（ 個部分。評測指標(biāo)則一般采用 查準(zhǔn)率 和 查全 率。 驗(yàn) 首北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 2 - 開規(guī)范化評測之先河，它的評測模式 為后續(xù)的評測研究奠定了基礎(chǔ)， 至今仍占有舉足輕重的地位。 驗(yàn) 之后的二十多年間，也有研究機(jī)構(gòu)做了類似 實(shí)驗(yàn) ， 構(gòu)建了一些測試 集 ， 但這些 早期的測 試集規(guī)模通常不大，與真實(shí)的檢索環(huán)境之間存在著較大差異?；谶@樣的 測試集所開發(fā)的檢索系統(tǒng)，在實(shí)際應(yīng)用中往往受到極大的限制。這些測試集 存在兩個根本缺陷：一是缺少在相同的測試數(shù)據(jù)上使用相同評測方法的跨系統(tǒng)公開評測；二是缺少真實(shí)的大規(guī) 模測試集。 但是， 構(gòu)建大型測試集需要耗費(fèi)相當(dāng)可觀的人力 物力，這對大多數(shù)單位來說是不堪負(fù)荷的 。 為了促進(jìn)信息檢索技術(shù)的發(fā)展， 美國國防部高級研究項(xiàng)目計(jì)劃局 （ 稱 和 美國國家標(biāo)準(zhǔn)與技術(shù)局（ 稱 1992 年共同舉辦了文本檢索會議（ 稱 3， 4。 過構(gòu)建 大型的測試集，提出不同的評測項(xiàng)目 和評測指標(biāo)等，提供不同檢索技術(shù)與檢索系統(tǒng)之間的標(biāo)準(zhǔn)評測環(huán)境。參加 評測單位除了要提交系統(tǒng)的運(yùn)行結(jié)果之外 ，還可以參加研討會，與會者可以分享結(jié)果。 得了國際性的威望，在信息檢索評測領(lǐng)域起到了很好的示范作用。除了 ，已有針對不同語言設(shè)計(jì)的類似機(jī)制開始運(yùn)作，如歐洲各國聯(lián)合舉辦的 跨語言 評測 論壇 5、 法國信息技術(shù)局構(gòu)建 了 法文的 、 日本國立情報(bào)學(xué)研究所（ 稱 主 辦 的 評測會議 7等 等 。 反觀國內(nèi)，中文信息處理技術(shù)在最近幾十年 取得了長足發(fā)展，但專門針對中文的評測項(xiàng)目的缺乏使中文信息處理技術(shù)不能得到有效檢驗(yàn)。 缺乏大規(guī)模的中 文測試集是制約中文 網(wǎng)頁 信息檢索技術(shù)前進(jìn)的障礙 ， 因此，我們希望在國內(nèi)外各個研究小組的共同參與下建立并完善以中文為主的 網(wǎng)頁 信息檢索 測試集 一起推動中文 網(wǎng)頁 信息 檢索技術(shù)的發(fā)展 8。 本文主要貢獻(xiàn) 缺乏大規(guī)模的中文 網(wǎng)頁 測試集制約了中文檢索 技術(shù)的 發(fā)展，為了改變這種局面， 參考 年的成功經(jīng)驗(yàn)， 我們構(gòu)建了大規(guī)模中文網(wǎng)頁信息檢索測試集北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 3 - 在 全國搜索引擎和網(wǎng)上信息挖掘?qū)W術(shù)研討會 (簡稱 議 上 從 2004 年開始 舉辦了 中文 網(wǎng)頁 檢索評測項(xiàng)目 ，即 文 網(wǎng)頁 檢索評測 ， 網(wǎng)頁 檢索評測主要目的是通過 網(wǎng)頁測試集研究各種檢索技術(shù)的優(yōu)劣，以改進(jìn)檢索系 統(tǒng)在真實(shí) 網(wǎng)頁 環(huán)境下的性能 。 評測 有兩個子 任務(wù) ，分別是 務(wù)（ 主題提取任務(wù)） 和 導(dǎo)航搜索任務(wù) ）， 這兩個任務(wù) 能夠較好地反映 網(wǎng)頁 檢索中的用戶需求 。 其中 務(wù) 混合了 兩類 任務(wù)：主頁查詢 （ 和指定頁面查詢 （ 分別是查找主頁和查找指定頁面 。 本文在信息檢索評測領(lǐng)域 主要 有如下貢獻(xiàn)： 1 實(shí)施并構(gòu)建了大規(guī)模的中文 網(wǎng)頁 信息 檢索 測試集 本研究詳細(xì)介紹了測試集的 三個部分 文檔集、查詢主題集 （ 或稱為 主題集） 和相關(guān)文檔集 （或稱為相關(guān)判斷集） 的構(gòu)建過程。 為了使構(gòu)建的 文檔集 相對于 真實(shí) 有較高的代表性， 我們 根據(jù)中文網(wǎng)頁分布特點(diǎn)來確定網(wǎng)站的采樣策略和抓取策略 ， 通過 對初始站點(diǎn)列表的過濾、消重、采樣等環(huán)節(jié)的 處理， 最后構(gòu)建了三個測試集： 在構(gòu)建查詢主題時， 為了使主題的描述方式等方面 具有一定程度的一致性， 查詢 主題集每年由 23 位專門的構(gòu)建人員來構(gòu)建， 論文詳細(xì)講 解了主題構(gòu)建的流程、選取尺度 及 構(gòu)建技巧 等 ， 最后構(gòu)建了 285個 題 （ 評測中 保留了 231 個主題） 和 1,185 個 題 ； 相關(guān)文檔集的構(gòu)建在測試集中 是比較耗費(fèi)人力物力 的工作， 在構(gòu)建相關(guān) 文檔集 時采用了 初步評測和檢查 相結(jié)合的 方法 。 該 系列 測試集 在 文 網(wǎng)頁 檢索評測 中被 指定為測試集，供數(shù)十家研究機(jī)構(gòu)使用。本 文 提出的構(gòu)建測試集的方法為以后的研究提供了參考。 2 為了考查測試集的質(zhì)量，我們 對 試集的三個 組成部分 分別 進(jìn)行了分析 ，研究結(jié)果表明 試集具有可用性，能作為進(jìn)一步信息檢索與評測研究的基礎(chǔ)。 首先 ， 對文檔集從網(wǎng)站規(guī)模和網(wǎng)頁出度的角度 進(jìn)行了 分析 ， 發(fā)現(xiàn) 網(wǎng)站 規(guī)模 近似 服從 布，網(wǎng)頁 出度 近似 服從 冪級數(shù) 規(guī)律 ， 相對于真實(shí)的 一定的代表性 ； 其次 ， 對 務(wù)查詢主題從主題長度及主題難易度兩個方面進(jìn)行了分析，發(fā)現(xiàn) 詢主題大部分是由 4 個 漢 字 、 2 個詞構(gòu)成的詞組 ， 這北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 4 - 與查詢?nèi)罩局械牟樵?詞 統(tǒng)計(jì)規(guī)律相似 ， 說明了 主題 在一定程度上 能夠 反映真實(shí)的檢索情況 ， 并且構(gòu)建的 主題難易度均勻分布， 兼顧了難 、 中 、 易 三類 主題， 另外對主題難易度分析還發(fā)現(xiàn) 相同 主題在不同測試集上 的難易度 是沒有關(guān)聯(lián)的 ； 最后 ， 對 務(wù) 相關(guān)判斷 的 完整性和一致性 進(jìn)行了估計(jì)和分析 ， 得出如下兩個結(jié)論： 第一， 相關(guān) 判斷 完整性分別約為 80%和 66%，評測結(jié)果可靠性比較高 ； 第二， 相關(guān)判斷的第二個步驟“檢查”是必要的。 3組織了 文網(wǎng)頁檢索評測， 將 試集應(yīng)用于評測中。 該評測 給國內(nèi)的信息檢索研究者提供了一個標(biāo)準(zhǔn) 規(guī)范 的評測平臺， 提供統(tǒng)一的測試集、評 測項(xiàng)目和評測指標(biāo)，對參與評測的系統(tǒng)進(jìn)行評測。 我們 對 2004 年到 2007年間舉辦的四屆評測進(jìn)行了總結(jié)，包括 評測流程、評測任務(wù)、檢索結(jié)果提交格式及評測結(jié)果 等。評測相關(guān)的數(shù)據(jù)都放在評測網(wǎng)站 ， 包括歷屆的評測通知、評測指南、 查詢主題集、相關(guān)文檔集、參加評測單位提交的檢索結(jié)果及 技術(shù)報(bào)告等 ， 另外 我們還提供了鏈接提取等工具，幫助信息檢索研究者更好的使用 評測結(jié)果進(jìn)行了分析，發(fā)現(xiàn)利用 征 和 鏈接文本等 技術(shù)可以提高 網(wǎng)頁 檢索系統(tǒng)的性能。 本 文組織 本文 第一章 介紹了 本文 的 研究背景 及 本文 主要貢獻(xiàn) ； 第二章 是 相關(guān)研究， 介紹了 信息檢索評測 中的 測試集 、常見的 評測項(xiàng)目及 評測指標(biāo) 等 ； 第 三 章 介紹了 大規(guī)模中文網(wǎng)頁 信息檢索 測試集 構(gòu)建方法 ，詳細(xì)介紹了 文檔集、 查詢 主題集和 相關(guān)文檔 集的構(gòu)建過程 及構(gòu)建結(jié)果 ；第四 章對 三個 組成 部分分別進(jìn)行了分析； 第 五 章對 歷屆 測 進(jìn)行了總結(jié) ； 最后一章是本文的總結(jié)和工作展望 。 北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 5 - 第二章 相關(guān)研究 信息檢索評測自計(jì)算機(jī)信息檢索問世以來，就一直是一個熱門話題。在長期的評測實(shí)踐中，研究人員已經(jīng)總結(jié)出一些比較合理的評測方法和評測指標(biāo)，檢索評測研究的可行性明顯增強(qiáng)。系統(tǒng)評測有不同的評測研究類型 9，例如側(cè)重系統(tǒng)軟件功能的功能測試；側(cè)重系統(tǒng)的時間與空間復(fù)雜 度的系統(tǒng)性能評測等。在數(shù)據(jù)檢索系統(tǒng)中，時間與空間 復(fù)雜度是 考查 的重點(diǎn)。 信息檢索任務(wù)的特點(diǎn)是 用戶輸入的查詢請求常常是模糊的，檢索結(jié)果往往不是確切的答案，需要 對檢索結(jié)果按照它們與查詢請求的相關(guān)度進(jìn)行排序。 信息檢索系統(tǒng) 需要對 檢索結(jié)果 的準(zhǔn)確度進(jìn)行評測，這種類型的評測叫做檢索性能評測（ 。 在各種類型的 評測研究中，檢索性能評測是其中的研究重點(diǎn)和核心 。 檢索性能評測 分為實(shí)驗(yàn)室評測和真實(shí)環(huán)境的評測，雖然基于真實(shí)環(huán)境的評測是一種趨勢，但由于實(shí)驗(yàn)室在封閉環(huán)境下測試 的可重復(fù)性 和可擴(kuò)展性 ，實(shí)驗(yàn)室評測仍然占主導(dǎo)地位。 實(shí)驗(yàn)室評測通?；跍y試集和一定 的評測指標(biāo)來完成。 本章 第一節(jié) 介紹測試集 的 概念 及 幾個 重要的測試集 ，包括 早期測試集的代表I、 其它幾個 規(guī)模較小的測試集 及 近年 來規(guī)模較大且有影響力的測試集 ； 第二節(jié) 介紹 常見的 評測項(xiàng)目； 第三節(jié)介紹 常用的 評測指標(biāo)。 測試集 信息檢索研究者為了評測自己構(gòu)建的 系統(tǒng)的優(yōu)劣，通常會進(jìn)行一系列的實(shí)驗(yàn)來驗(yàn)證，而實(shí)驗(yàn)所需的測試資料，則依據(jù)各自的目的而獨(dú)立構(gòu)建。 為了使系統(tǒng)能夠在統(tǒng)一的測試集上進(jìn)行驗(yàn)證，出現(xiàn)了 很多 公開的 測試集， 如 I、 10， 11， 12， 13。 測試集 的存在 提高了評測的公平性 ，但早期的 測試集規(guī)模都不大，且同質(zhì)性較高，在實(shí)際運(yùn)用中存在著較大的限制。 1992 年開始構(gòu)建大規(guī)模的 測試集 3， 取得了國際性的威望，在信息檢索評測領(lǐng)域起到了很好的示范作用。除了 ，已有針對不同語言設(shè)計(jì)的類似機(jī)制開始運(yùn)作，如歐洲各國聯(lián)合舉辦的 語言 評測 論壇 5，法北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 6 - 國信息技術(shù)局則構(gòu)建了法文的 ，日本國立情報(bào)學(xué)研究所（ 稱 辦了 測會議 7等，我們則構(gòu)建中文 網(wǎng)頁 信息 檢索 測試集 。 測試集在整個信 息檢索評測中