【畢業(yè)學(xué)位論文】(Word原稿)中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用-計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)網(wǎng)絡(luò)與分布式系統(tǒng)_第1頁
【畢業(yè)學(xué)位論文】(Word原稿)中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用-計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)網(wǎng)絡(luò)與分布式系統(tǒng)_第2頁
【畢業(yè)學(xué)位論文】(Word原稿)中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用-計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)網(wǎng)絡(luò)與分布式系統(tǒng)_第3頁
【畢業(yè)學(xué)位論文】(Word原稿)中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用-計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)網(wǎng)絡(luò)與分布式系統(tǒng)_第4頁
【畢業(yè)學(xué)位論文】(Word原稿)中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用-計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)網(wǎng)絡(luò)與分布式系統(tǒng)_第5頁
已閱讀5頁,還剩66頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

碩士研究生學(xué)位論文 題 目 : 中文 網(wǎng)頁 信息 檢索 測試集 的 構(gòu)建 、分析 及 應(yīng)用 姓 名 : 學(xué) 號 : 10448237 院 系: 信息科學(xué)技術(shù)學(xué)院 專 業(yè): 計(jì)算機(jī)軟件與理論 研究方向 : 計(jì)算機(jī)網(wǎng)絡(luò)與分布式系統(tǒng) 導(dǎo) 師 : 李 曉 明 教授 二 七年五 月 版權(quán)聲 明 任何收存和保管本論文各種版本的單位和個人,未經(jīng)本論文作者同意,不得將本論文轉(zhuǎn)借他人,亦不得隨意復(fù)制、抄錄、拍照或以任何方式傳播。否則,引起有礙作者著作權(quán)之問題,將可能承擔(dān)法律責(zé)任。 I 摘 要 隨著 迅速發(fā)展 , 息檢索技術(shù)成 為 研究者廣泛關(guān)注的話題 ,但 缺少合適的測試評測機(jī)制 制約了中文 網(wǎng)頁 信息檢索技術(shù)的發(fā)展 。 參考國外測試集的構(gòu)建經(jīng)驗(yàn), 我們 構(gòu)建 了 大規(guī)模中文網(wǎng)頁 信息 檢索 測試集 并 組織了文網(wǎng)頁檢索評測, 希望在國內(nèi)外各個研究小組的共同參與下建立并完善 起推動中文 網(wǎng)頁 信息 檢索技 術(shù)的發(fā)展。 本文 在信息檢索評測領(lǐng)域 有如下貢獻(xiàn): 1 實(shí)施并構(gòu)建了大規(guī)模中文網(wǎng)頁 信息 檢索 測試集 本研究詳細(xì)介紹了測試集的 三個 部分 文檔集、查詢主題集和相關(guān)文檔集 的 構(gòu)建 過程 , 實(shí)施 過程致力于使測試集具有較高的質(zhì)量 。 構(gòu)建 了三個 測試集: 括 285 個 主題提取 主題 和 1,185 個 導(dǎo)航搜索 主題 ,并對 主題 構(gòu)建了相關(guān)文檔集。 該系列測試集在 文 網(wǎng)頁 檢索評測 中被 指定為測試集, 供數(shù)十家研究機(jī)構(gòu)使用。本 文 提出的構(gòu)建測試集的方法為以后的研究提供了參考。 2 對 試集 的 三個部分 進(jìn)行了分析 , 研究 結(jié)果 表明 試集具有可用性,能作為進(jìn)一步信息檢索與評測研究的基礎(chǔ)。 首先, 文檔集 在 網(wǎng)站規(guī)模 上近似 服從 布,網(wǎng)頁出度 近似 服從冪級數(shù) 規(guī) 律 ,與真實(shí)的 點(diǎn)相似;其次, 詢主題大部分是 4 個漢字 、 2 個詞 構(gòu)成 的詞組 ,這與查詢?nèi)罩局械牟樵冊~統(tǒng)計(jì)規(guī)律 相似 , 在一定程度上能反映真實(shí)的檢索情況 , 題難易度均勻分布 ,兼顧了難、中、易三類主題 ; 最后, 相關(guān)判斷完整性分別約為 80%和 66%,基于它的評測結(jié)果是可靠的 , 而對 相關(guān)文檔集 一致性進(jìn)行分析 得到的結(jié)論是: 相 關(guān) 判斷 的第二個步驟“檢查”是必要的。 3 組織了 文網(wǎng)頁檢索評測, 將 試集應(yīng)用于評測中。 我們給國內(nèi)信息檢索研究者提供了一個標(biāo)準(zhǔn) 規(guī)范 的評測平臺 , 對從 2004 年開始的歷屆評測情況進(jìn)行了總結(jié),詳細(xì)介 紹了評測流程、評測任務(wù)、檢索結(jié)果提交格式等 ,對評測結(jié)果進(jìn)行了分析 。評測相關(guān)的數(shù)據(jù)都放在評測網(wǎng)站 , 包括歷屆的評測通知、評測指南、 提交的檢索結(jié)果及 技術(shù)報(bào)告等 。 另外還 提供了 鏈接提取等工具,幫 助信息檢索研究者更好的使用 關(guān)鍵詞 : 信息檢索 , 評測,測試集 ,文檔集,查詢主題 ,相關(guān)判斷 I I a by of to of we eb we R 1. A of in 85 ,185 in WT be to of eb 2. of is 1) eb in of 2) of up by is to 3) of is 0% 6% on is is 3. We eb WT a R of is at , 錄 第一章 引言 . - 1 - 研究背景 . - 1 - 本文主要貢獻(xiàn) . - 2 - 本文組織 . - 4 - 第二章 相關(guān)研究 . - 5 - 測試集 . - 5 - 早期測試集 . - 7 - 試集 . - 8 - 其它的 測試集 . - 11 - 評測項(xiàng)目 . - 11 - 評測指標(biāo) . - 12 - 第三章 構(gòu)建 . - 15 - 引言 . - 15 - 文檔集的構(gòu)建 . - 16 - 文檔集構(gòu)建的幾點(diǎn)考慮 . - 16 - 構(gòu)建過程及結(jié)果 . - 16 - 查詢主題集的構(gòu)建 . - 18 - 構(gòu)建流程 . - 18 - 題的構(gòu)建 . - 20 - 題的構(gòu)建 . - 23 - 構(gòu)建結(jié)果 . - 25 - 相關(guān)文檔集 的構(gòu)建 . - 25 - 初步評測 . - 27 - 檢查 . - 28 - 構(gòu)建結(jié)果 . - 28 - 第四章 析 . - 30 - 文檔集分析 . - 30 - V 網(wǎng)站規(guī)模分布 . - 30 - 網(wǎng)頁出度分布 . - 31 - 相關(guān)文檔數(shù)分布 . - 32 - 查詢主題集分析 . - 33 - 題長度 . - 33 - 題難易度 . - 34 - 相關(guān)文檔集分析 . - 37 - 相關(guān)文檔集完整性 . - 38 - 相關(guān)文檔集一致性 . - 42 - 第五章 文網(wǎng)頁檢索評測 . - 47 - 引言 . - 47 - 屆評測情 況 . - 47 - 測流程 . - 50 - 評測任務(wù) . - 50 - 務(wù) . - 50 - 務(wù) . - 51 - 檢索結(jié)果提交 . - 51 - 評測 結(jié)果及分析 . - 53 - 評測結(jié)果 . - 53 - 有效的檢索技術(shù) . - 54 - 第六章 總結(jié)與展望 . - 56 - 總結(jié) . - 56 - 展望 . - 57 - 參考文獻(xiàn) . - 58 - 致謝 . - 61 - 目錄 圖 2信息檢索評測系統(tǒng)示意圖 . - 6 - 圖 2檔示例 . - 9 - 圖 2 查詢主題示例 . - 10 - 圖 2信息檢索性能評測示意圖 . - 13 - 圖 3搜狗網(wǎng)頁分類目錄 . - 19 - 圖 3題示例 . - 20 - 圖 3搜狗網(wǎng)頁分類目錄瀏覽圖 . - 21 - 圖 3索界面 . - 22 - 圖 3題示例 . - 23 - 圖 3覽工具界面 . - 24 - 圖 3相關(guān)判斷工具主界面 . - 26 - 圖 4網(wǎng)站規(guī)模分布 . - 31 - 圖 4網(wǎng)頁出度分布 . - 31 - 圖 4題字?jǐn)?shù) . - 34 - 圖 4題詞數(shù) . - 34 - 圖 4題難易度 . - 35 - 圖 4D 主題難易度 . - 36 - 圖 4題相關(guān)文檔數(shù)變化 . - 39 - 圖 4題相關(guān)文檔數(shù)變化 . - 39 - 圖 4新發(fā)現(xiàn)的相關(guān)文檔數(shù)變化 . - 41 - 圖 4 相關(guān)性 . - 42 - 圖 5號文件格式 . - 48 - 圖 5號文件的格式 . - 48 - 圖 5務(wù)提交結(jié)果格式示例 . - 52 - 圖 5務(wù)提交結(jié)果格式示例 . - 52 - 目錄 表 2早期測試集 . - 8 - 表 3檔集 . - 18 - 表 3相關(guān)判斷初步評測統(tǒng)計(jì) . - 27 - 表 3務(wù)相關(guān)文檔數(shù)統(tǒng)計(jì) . - 29 - 表 3常見問題及解決方法 . - 29 - 表 4實(shí)際相關(guān)文檔對照表 . - 32 - 表 4相關(guān)文檔數(shù)在文檔集上的分布 . - 33 - 表 4主題難易度與相關(guān)文檔數(shù)的相關(guān)性 . - 37 - 表 4主題隨相關(guān)文檔 數(shù)變化的分布 . - 44 - 表 4相關(guān)文檔集中的文檔數(shù) . - 44 - 表 4相關(guān)判斷的重疊度 . - 45 - 表 4評測結(jié)果相關(guān)性 . - 45 - 表 5測數(shù)據(jù)統(tǒng)計(jì)表 . - 48 - 表 5測參加單位 . - 49 - 表 5務(wù)評測結(jié)果統(tǒng)計(jì)表 . - 53 - 表 5務(wù)評測結(jié)果統(tǒng)計(jì)表 . - 53 - 北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 1 - 第一章 引言 研究背景 長久以來,人們對信息的需求從未間斷過。 20 世紀(jì) 40代 ,人們開始了對信息進(jìn)行檢索的活動 , 1951 年 首次提出了 “ 信息檢索( ”的 概念 : “ 信息檢索是信息的潛在用戶將信息需求轉(zhuǎn)換為一張文獻(xiàn)來源信息列表的過程或方法,而這 些文獻(xiàn)包含有對其有用的信息 ” 1。 自從 1945 年 出利用信息技 術(shù)來解決“使大量信息更容易獲取的難題”后,信息檢索 技術(shù)就 迅速發(fā)展起來 , 其研究領(lǐng)域也 從 最初的科學(xué)技術(shù)領(lǐng)域擴(kuò)展到人類活動的各個方面。 20 世紀(jì) 90 年代, 隨著 迅速發(fā)展, 人們進(jìn)入了一個信息極度豐富的社會, 息檢索技術(shù)成 為 研究者廣泛關(guān)注 的話題 , 以搜索引擎為代表的信息檢索技術(shù)已經(jīng)取得了巨大的成功, 百度等搜索 引擎已經(jīng)深入到人們?nèi)粘W(xué)習(xí)和工作中,成為獲取信息不可或缺的工具。而 如何評測 這些 檢索系統(tǒng)的性能 也越來越受到關(guān)注 。 實(shí)際上, 檢索系統(tǒng)評測 自 信息檢索系統(tǒng) 誕生以來 就從未間斷過。信息檢索評測 對系統(tǒng)的研究、設(shè)計(jì)與發(fā)展一直有著顯著的影響力。通過評測,研究者能 夠 驗(yàn)證系統(tǒng)的效益、比較各種檢索技術(shù)的優(yōu)劣,不斷改進(jìn)檢索系統(tǒng),使系統(tǒng)的性能更加完善 ,能正確 引導(dǎo)研究發(fā)展方向 ?;谟脩糁饔^使用感受的評測方法不客觀、不可靠,所以必須采用一套客 觀的評測體系,這種評測不受人主觀感覺的影響,并且評測結(jié)果通常都成立。一般的,這種評測體系具有以下特點(diǎn):明確的形式化研究任務(wù)、公開的訓(xùn)練與測試數(shù)據(jù)、公開的評測比較。 早期檢索系統(tǒng)評測最著名的研究是 1950 年代末期開始進(jìn)行的驗(yàn) 2。它開創(chuàng)了以測試集( 合評測指標(biāo)( 評測系統(tǒng)的模式。所謂測試集,是一種在規(guī)范化環(huán)境中測試系統(tǒng)性能的機(jī)制,包括查詢問題( 文檔集( 及相關(guān)判斷( 個部分。評測指標(biāo)則一般采用 查準(zhǔn)率 和 查全 率。 驗(yàn) 首北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 2 - 開規(guī)范化評測之先河,它的評測模式 為后續(xù)的評測研究奠定了基礎(chǔ), 至今仍占有舉足輕重的地位。 驗(yàn) 之后的二十多年間,也有研究機(jī)構(gòu)做了類似 實(shí)驗(yàn) , 構(gòu)建了一些測試 集 , 但這些 早期的測 試集規(guī)模通常不大,與真實(shí)的檢索環(huán)境之間存在著較大差異?;谶@樣的 測試集所開發(fā)的檢索系統(tǒng),在實(shí)際應(yīng)用中往往受到極大的限制。這些測試集 存在兩個根本缺陷:一是缺少在相同的測試數(shù)據(jù)上使用相同評測方法的跨系統(tǒng)公開評測;二是缺少真實(shí)的大規(guī) 模測試集。 但是, 構(gòu)建大型測試集需要耗費(fèi)相當(dāng)可觀的人力 物力,這對大多數(shù)單位來說是不堪負(fù)荷的 。 為了促進(jìn)信息檢索技術(shù)的發(fā)展, 美國國防部高級研究項(xiàng)目計(jì)劃局 ( 稱 和 美國國家標(biāo)準(zhǔn)與技術(shù)局( 稱 1992 年共同舉辦了文本檢索會議( 稱 3, 4。 過構(gòu)建 大型的測試集,提出不同的評測項(xiàng)目 和評測指標(biāo)等,提供不同檢索技術(shù)與檢索系統(tǒng)之間的標(biāo)準(zhǔn)評測環(huán)境。參加 評測單位除了要提交系統(tǒng)的運(yùn)行結(jié)果之外 ,還可以參加研討會,與會者可以分享結(jié)果。 得了國際性的威望,在信息檢索評測領(lǐng)域起到了很好的示范作用。除了 ,已有針對不同語言設(shè)計(jì)的類似機(jī)制開始運(yùn)作,如歐洲各國聯(lián)合舉辦的 跨語言 評測 論壇 5、 法國信息技術(shù)局構(gòu)建 了 法文的 、 日本國立情報(bào)學(xué)研究所( 稱 主 辦 的 評測會議 7等 等 。 反觀國內(nèi),中文信息處理技術(shù)在最近幾十年 取得了長足發(fā)展,但專門針對中文的評測項(xiàng)目的缺乏使中文信息處理技術(shù)不能得到有效檢驗(yàn)。 缺乏大規(guī)模的中 文測試集是制約中文 網(wǎng)頁 信息檢索技術(shù)前進(jìn)的障礙 , 因此,我們希望在國內(nèi)外各個研究小組的共同參與下建立并完善以中文為主的 網(wǎng)頁 信息檢索 測試集 一起推動中文 網(wǎng)頁 信息 檢索技術(shù)的發(fā)展 8。 本文主要貢獻(xiàn) 缺乏大規(guī)模的中文 網(wǎng)頁 測試集制約了中文檢索 技術(shù)的 發(fā)展,為了改變這種局面, 參考 年的成功經(jīng)驗(yàn), 我們構(gòu)建了大規(guī)模中文網(wǎng)頁信息檢索測試集北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 3 - 在 全國搜索引擎和網(wǎng)上信息挖掘?qū)W術(shù)研討會 (簡稱 議 上 從 2004 年開始 舉辦了 中文 網(wǎng)頁 檢索評測項(xiàng)目 ,即 文 網(wǎng)頁 檢索評測 , 網(wǎng)頁 檢索評測主要目的是通過 網(wǎng)頁測試集研究各種檢索技術(shù)的優(yōu)劣,以改進(jìn)檢索系 統(tǒng)在真實(shí) 網(wǎng)頁 環(huán)境下的性能 。 評測 有兩個子 任務(wù) ,分別是 務(wù)( 主題提取任務(wù)) 和 導(dǎo)航搜索任務(wù) ), 這兩個任務(wù) 能夠較好地反映 網(wǎng)頁 檢索中的用戶需求 。 其中 務(wù) 混合了 兩類 任務(wù):主頁查詢 ( 和指定頁面查詢 ( 分別是查找主頁和查找指定頁面 。 本文在信息檢索評測領(lǐng)域 主要 有如下貢獻(xiàn): 1 實(shí)施并構(gòu)建了大規(guī)模的中文 網(wǎng)頁 信息 檢索 測試集 本研究詳細(xì)介紹了測試集的 三個部分 文檔集、查詢主題集 ( 或稱為 主題集) 和相關(guān)文檔集 (或稱為相關(guān)判斷集) 的構(gòu)建過程。 為了使構(gòu)建的 文檔集 相對于 真實(shí) 有較高的代表性, 我們 根據(jù)中文網(wǎng)頁分布特點(diǎn)來確定網(wǎng)站的采樣策略和抓取策略 , 通過 對初始站點(diǎn)列表的過濾、消重、采樣等環(huán)節(jié)的 處理, 最后構(gòu)建了三個測試集: 在構(gòu)建查詢主題時, 為了使主題的描述方式等方面 具有一定程度的一致性, 查詢 主題集每年由 23 位專門的構(gòu)建人員來構(gòu)建, 論文詳細(xì)講 解了主題構(gòu)建的流程、選取尺度 及 構(gòu)建技巧 等 , 最后構(gòu)建了 285個 題 ( 評測中 保留了 231 個主題) 和 1,185 個 題 ; 相關(guān)文檔集的構(gòu)建在測試集中 是比較耗費(fèi)人力物力 的工作, 在構(gòu)建相關(guān) 文檔集 時采用了 初步評測和檢查 相結(jié)合的 方法 。 該 系列 測試集 在 文 網(wǎng)頁 檢索評測 中被 指定為測試集,供數(shù)十家研究機(jī)構(gòu)使用。本 文 提出的構(gòu)建測試集的方法為以后的研究提供了參考。 2 為了考查測試集的質(zhì)量,我們 對 試集的三個 組成部分 分別 進(jìn)行了分析 ,研究結(jié)果表明 試集具有可用性,能作為進(jìn)一步信息檢索與評測研究的基礎(chǔ)。 首先 , 對文檔集從網(wǎng)站規(guī)模和網(wǎng)頁出度的角度 進(jìn)行了 分析 , 發(fā)現(xiàn) 網(wǎng)站 規(guī)模 近似 服從 布,網(wǎng)頁 出度 近似 服從 冪級數(shù) 規(guī)律 , 相對于真實(shí)的 一定的代表性 ; 其次 , 對 務(wù)查詢主題從主題長度及主題難易度兩個方面進(jìn)行了分析,發(fā)現(xiàn) 詢主題大部分是由 4 個 漢 字 、 2 個詞構(gòu)成的詞組 , 這北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 4 - 與查詢?nèi)罩局械牟樵?詞 統(tǒng)計(jì)規(guī)律相似 , 說明了 主題 在一定程度上 能夠 反映真實(shí)的檢索情況 , 并且構(gòu)建的 主題難易度均勻分布, 兼顧了難 、 中 、 易 三類 主題, 另外對主題難易度分析還發(fā)現(xiàn) 相同 主題在不同測試集上 的難易度 是沒有關(guān)聯(lián)的 ; 最后 , 對 務(wù) 相關(guān)判斷 的 完整性和一致性 進(jìn)行了估計(jì)和分析 , 得出如下兩個結(jié)論: 第一, 相關(guān) 判斷 完整性分別約為 80%和 66%,評測結(jié)果可靠性比較高 ; 第二, 相關(guān)判斷的第二個步驟“檢查”是必要的。 3組織了 文網(wǎng)頁檢索評測, 將 試集應(yīng)用于評測中。 該評測 給國內(nèi)的信息檢索研究者提供了一個標(biāo)準(zhǔn) 規(guī)范 的評測平臺, 提供統(tǒng)一的測試集、評 測項(xiàng)目和評測指標(biāo),對參與評測的系統(tǒng)進(jìn)行評測。 我們 對 2004 年到 2007年間舉辦的四屆評測進(jìn)行了總結(jié),包括 評測流程、評測任務(wù)、檢索結(jié)果提交格式及評測結(jié)果 等。評測相關(guān)的數(shù)據(jù)都放在評測網(wǎng)站 , 包括歷屆的評測通知、評測指南、 查詢主題集、相關(guān)文檔集、參加評測單位提交的檢索結(jié)果及 技術(shù)報(bào)告等 , 另外 我們還提供了鏈接提取等工具,幫助信息檢索研究者更好的使用 評測結(jié)果進(jìn)行了分析,發(fā)現(xiàn)利用 征 和 鏈接文本等 技術(shù)可以提高 網(wǎng)頁 檢索系統(tǒng)的性能。 本 文組織 本文 第一章 介紹了 本文 的 研究背景 及 本文 主要貢獻(xiàn) ; 第二章 是 相關(guān)研究, 介紹了 信息檢索評測 中的 測試集 、常見的 評測項(xiàng)目及 評測指標(biāo) 等 ; 第 三 章 介紹了 大規(guī)模中文網(wǎng)頁 信息檢索 測試集 構(gòu)建方法 ,詳細(xì)介紹了 文檔集、 查詢 主題集和 相關(guān)文檔 集的構(gòu)建過程 及構(gòu)建結(jié)果 ;第四 章對 三個 組成 部分分別進(jìn)行了分析; 第 五 章對 歷屆 測 進(jìn)行了總結(jié) ; 最后一章是本文的總結(jié)和工作展望 。 北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 5 - 第二章 相關(guān)研究 信息檢索評測自計(jì)算機(jī)信息檢索問世以來,就一直是一個熱門話題。在長期的評測實(shí)踐中,研究人員已經(jīng)總結(jié)出一些比較合理的評測方法和評測指標(biāo),檢索評測研究的可行性明顯增強(qiáng)。系統(tǒng)評測有不同的評測研究類型 9,例如側(cè)重系統(tǒng)軟件功能的功能測試;側(cè)重系統(tǒng)的時間與空間復(fù)雜 度的系統(tǒng)性能評測等。在數(shù)據(jù)檢索系統(tǒng)中,時間與空間 復(fù)雜度是 考查 的重點(diǎn)。 信息檢索任務(wù)的特點(diǎn)是 用戶輸入的查詢請求常常是模糊的,檢索結(jié)果往往不是確切的答案,需要 對檢索結(jié)果按照它們與查詢請求的相關(guān)度進(jìn)行排序。 信息檢索系統(tǒng) 需要對 檢索結(jié)果 的準(zhǔn)確度進(jìn)行評測,這種類型的評測叫做檢索性能評測( 。 在各種類型的 評測研究中,檢索性能評測是其中的研究重點(diǎn)和核心 。 檢索性能評測 分為實(shí)驗(yàn)室評測和真實(shí)環(huán)境的評測,雖然基于真實(shí)環(huán)境的評測是一種趨勢,但由于實(shí)驗(yàn)室在封閉環(huán)境下測試 的可重復(fù)性 和可擴(kuò)展性 ,實(shí)驗(yàn)室評測仍然占主導(dǎo)地位。 實(shí)驗(yàn)室評測通?;跍y試集和一定 的評測指標(biāo)來完成。 本章 第一節(jié) 介紹測試集 的 概念 及 幾個 重要的測試集 ,包括 早期測試集的代表I、 其它幾個 規(guī)模較小的測試集 及 近年 來規(guī)模較大且有影響力的測試集 ; 第二節(jié) 介紹 常見的 評測項(xiàng)目; 第三節(jié)介紹 常用的 評測指標(biāo)。 測試集 信息檢索研究者為了評測自己構(gòu)建的 系統(tǒng)的優(yōu)劣,通常會進(jìn)行一系列的實(shí)驗(yàn)來驗(yàn)證,而實(shí)驗(yàn)所需的測試資料,則依據(jù)各自的目的而獨(dú)立構(gòu)建。 為了使系統(tǒng)能夠在統(tǒng)一的測試集上進(jìn)行驗(yàn)證,出現(xiàn)了 很多 公開的 測試集, 如 I、 10, 11, 12, 13。 測試集 的存在 提高了評測的公平性 ,但早期的 測試集規(guī)模都不大,且同質(zhì)性較高,在實(shí)際運(yùn)用中存在著較大的限制。 1992 年開始構(gòu)建大規(guī)模的 測試集 3, 取得了國際性的威望,在信息檢索評測領(lǐng)域起到了很好的示范作用。除了 ,已有針對不同語言設(shè)計(jì)的類似機(jī)制開始運(yùn)作,如歐洲各國聯(lián)合舉辦的 語言 評測 論壇 5,法北京大學(xué)碩士學(xué)位論文 中文網(wǎng)頁信息檢索測試集的構(gòu)建、分析及應(yīng)用 - 6 - 國信息技術(shù)局則構(gòu)建了法文的 ,日本國立情報(bào)學(xué)研究所( 稱 辦了 測會議 7等,我們則構(gòu)建中文 網(wǎng)頁 信息 檢索 測試集 。 測試集在整個信 息檢索評測中

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論