個(gè)性化元搜索引擎的研究與設(shè)計(jì).doc

I目錄目錄.I1引言.11.1課題背景.11.2研究的目的和意義.11.3國(guó)內(nèi)外現(xiàn)狀.21.3.1搜索引擎.21.3.2元搜索引擎.21.3.3元搜索引擎的分類(lèi).21.3.4元搜索引擎的性能評(píng)價(jià)指標(biāo)體系.31.3.5元搜索引擎的國(guó)內(nèi)外相關(guān)研究工作.41.4主要研究?jī)?nèi)容.41.5論文結(jié)構(gòu).52相關(guān)技術(shù).62.1引言.62.2常見(jiàn)元搜索引擎的原理及體系結(jié)構(gòu).62.3元搜索引擎的檢索結(jié)果合成技術(shù).62.3.1去重.72.3.2排序.72.3.3結(jié)果排序中的主要算法.72.3.4結(jié)果排序中存在的問(wèn)題.72.4元搜索引擎的檢索接口技術(shù).82.4.1統(tǒng)一的檢索界面.82.4.2查詢(xún)表達(dá)式轉(zhuǎn)換技術(shù).82.4.3成員搜索引擎的調(diào)度策略.8個(gè)性化元搜索引擎的研究與設(shè)計(jì)11引言1.1課題背景隨著Internet以及相關(guān)技術(shù)的發(fā)展和成熟，人們已經(jīng)進(jìn)入了信息量極大豐富的時(shí)代。自從1991的Internet誕生以來(lái)1，它已經(jīng)發(fā)展成為擁有約上億用戶和幾千萬(wàn)個(gè)站點(diǎn)、十幾億個(gè)網(wǎng)頁(yè)的巨大分布式信息空間，而且這數(shù)字仍以每四個(gè)月以第六個(gè)月翻一番的速度迅猛增長(zhǎng)。由InternetDomainSurvey統(tǒng)計(jì)，從1996年到2001年，Internet上的主機(jī)數(shù)量從兩千萬(wàn)增長(zhǎng)到一億四千萬(wàn)。Internet作為一個(gè)信息平臺(tái)在人們的生活和工作中發(fā)揮越來(lái)越重要的作用，人們?cè)絹?lái)越多地通過(guò)Internet獲取信息。然而在信息極大豐富的同時(shí)，用戶也面臨著信息過(guò)載和資源迷向的問(wèn)題。Internet上的信息過(guò)于龐雜，而且具有不穩(wěn)定和變動(dòng)快的特點(diǎn)，沒(méi)有也不可能有一個(gè)權(quán)威機(jī)構(gòu)能對(duì)這些信息進(jìn)行全面的整理和歸類(lèi)，因此，往往用戶面對(duì)五花八門(mén)、撲面而來(lái)的各種信息顯得無(wú)所適從，不知道如何去獲取自己需要的內(nèi)容。如何在浩瀚如海的信息空間里，快速查找并獲取所需的信息己成為信息時(shí)代最根本的問(wèn)題之一。網(wǎng)絡(luò)搜索引擎在網(wǎng)絡(luò)信息資源檢索中起到了重要的作用，它可以幫助用戶從數(shù)以?xún)|計(jì)的網(wǎng)絡(luò)信息庫(kù)中找到自己所需要的信息。搜索引擎是Internet上的一種在線服務(wù)方式，是一種用于幫助用戶查詢(xún)網(wǎng)絡(luò)信息的檢索工具。它以一定的策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，對(duì)信息進(jìn)行理解、提取、組織和處理，然后為用戶提供檢索服務(wù)，從而起到了信息導(dǎo)航的目的。1.2研究的目的和意義因特網(wǎng)上的信息浩如煙海，優(yōu)劣混雜，缺乏統(tǒng)一的組織和管理，給人們有效地查詢(xún)和利用信息帶來(lái)了很大的不便，搜索引擎就是為了開(kāi)發(fā)和利用這些網(wǎng)絡(luò)信息資源而產(chǎn)生的網(wǎng)絡(luò)信息查詢(xún)工具，它己經(jīng)成為因特網(wǎng)中最重要的部分，是目前網(wǎng)絡(luò)用戶獲取網(wǎng)上豐富信息資源的一個(gè)重要途徑，但傳統(tǒng)的獨(dú)立搜索引擎存在著信息資源覆蓋率低、檢索效率較低等問(wèn)題。因?yàn)槿魏我粋€(gè)獨(dú)立的搜索引擎都無(wú)法窮盡所有的Web信息資源，而且對(duì)于同一個(gè)查詢(xún)請(qǐng)求，不同的搜索引擎因其工作機(jī)制不同，得到的結(jié)果中重復(fù)率也較低。因此在很多情況下人們?yōu)榱双@得更高的查全率，需要同時(shí)使用具有不同數(shù)據(jù)搜索范圍的搜索引擎，這就增長(zhǎng)加了檢索的不便，元搜索引擎就是在這種情況下誕生并發(fā)展起來(lái)的?，F(xiàn)在己經(jīng)出現(xiàn)了一大批元搜索引擎，其中以英文元搜索引擎較多，發(fā)展較好，而中文搜索引擎發(fā)展緩慢。目前運(yùn)營(yíng)的元搜索引擎各具特色，功能各有側(cè)重，完全“理想”的尚不多見(jiàn)。另外很多主流的搜索引擎提供的服務(wù)沒(méi)有考慮每個(gè)個(gè)體用戶的需求，沒(méi)有考慮用戶的差異。本文就是要在研究現(xiàn)有元搜索引擎存在的局限性的基礎(chǔ)上，設(shè)計(jì)出一個(gè)結(jié)構(gòu)較合理，功能較優(yōu)越，同時(shí)能夠融合很多相關(guān)領(lǐng)域技術(shù)，體現(xiàn)個(gè)性查詢(xún)的元搜索引擎結(jié)構(gòu)模型，為查詢(xún)效率更高個(gè)性化元搜索引擎的研究與設(shè)計(jì)2的檢索工具的早日實(shí)現(xiàn)做出貢獻(xiàn)。1.3國(guó)內(nèi)外現(xiàn)狀1.3.1搜索引擎搜索引擎是指能夠自動(dòng)地對(duì)WWW資源進(jìn)行分析處理，并通過(guò)查詢(xún)?yōu)橛脩舴祷仄ヅ滟Y源的系統(tǒng)。它一般是Internet上的一個(gè)網(wǎng)站，它的主要任務(wù)是將互連網(wǎng)資源存儲(chǔ)于可供查詢(xún)的大型數(shù)據(jù)庫(kù)中。當(dāng)用戶輸入關(guān)鍵字查詢(xún)時(shí)，搜索引擎依據(jù)此關(guān)鍵子在索引數(shù)據(jù)庫(kù)中查找相關(guān)信息，若索引數(shù)據(jù)庫(kù)中有這方面的信息，則將信息反饋給用戶；若沒(méi)有則調(diào)用搜索方法進(jìn)行搜索，并在一定時(shí)間界限內(nèi)向用戶反饋信息。1.3.2元搜索引擎元搜索引擎是將現(xiàn)有的多個(gè)搜索引擎看成一個(gè)整體，為用戶提供一個(gè)統(tǒng)一的查詢(xún)界面，用戶的查詢(xún)請(qǐng)求由元搜索引擎根據(jù)知識(shí)庫(kù)中的信息，轉(zhuǎn)換為多個(gè)搜索引擎所能識(shí)別的格式，然后分別發(fā)送給各個(gè)調(diào)用的搜索引擎，由這些搜索引擎完成實(shí)際的信息檢索，最后元搜索引擎再把從各個(gè)搜索引擎返回的結(jié)果收集起來(lái)，進(jìn)行比較分析，合并冗余信息，去除重復(fù)信息，以一定的格式返回給用戶。一般元搜索引擎技術(shù)主要有三部分構(gòu)成4：查詢(xún)請(qǐng)求機(jī)制、檢索接口代理機(jī)制、檢索結(jié)果處理機(jī)制。查詢(xún)請(qǐng)求機(jī)制：實(shí)現(xiàn)用戶的個(gè)性化檢索設(shè)置的要求、成員搜索引擎的調(diào)度方案、檢索時(shí)間的限制、返回結(jié)果量的限制；檢索接口代理機(jī)制：實(shí)現(xiàn)將用戶的個(gè)性化查詢(xún)請(qǐng)求轉(zhuǎn)化為可被成員搜索引擎識(shí)別的固定格式；檢索結(jié)果處理機(jī)制：實(shí)現(xiàn)把調(diào)用的成員搜索引擎檢索到的結(jié)果去重、合并、排序和按一定的格式返回給用戶。1.3.3元搜索引擎的分類(lèi)元搜索引擎是一種基于搜索引擎的搜索引擎，又稱(chēng)為多元搜索引擎或集合式搜索引擎。它可以把多個(gè)搜索引擎集合在一起，提供一個(gè)統(tǒng)一的檢索界面，將查詢(xún)表達(dá)式同時(shí)提交給多個(gè)搜索引擎，并行檢索多個(gè)數(shù)據(jù)庫(kù)，再對(duì)返回的結(jié)果進(jìn)行去重、排序等二次加工后向用戶輸出搜索結(jié)果。元搜索引擎根據(jù)不同的標(biāo)準(zhǔn)可以劃分為不同的類(lèi)型5。根據(jù)檢索機(jī)制可以劃分為集中羅列式元搜索引擎和統(tǒng)一入口式元搜索引擎，以下對(duì)這兩種類(lèi)型的元搜索引擎作詳細(xì)介紹。集中羅列式元搜索引擎集中羅列式元搜索引擎按照一定的形式將所有的獨(dú)立搜索引擎集中呈現(xiàn)在頁(yè)面上，并提供了一個(gè)公共的檢索入口，但實(shí)際上用戶一次只進(jìn)入一個(gè)獨(dú)立搜索引擎。這個(gè)性化元搜索引擎的研究與設(shè)計(jì)3種類(lèi)型元搜索引擎的結(jié)果反饋?lái)?yè)面多直接引用原始搜索引擎的結(jié)果頁(yè)面。從表面上看，這類(lèi)元搜索引擎與獨(dú)立搜索引擎具有更多的相似點(diǎn)，它們的特點(diǎn)是：一次檢索一個(gè)搜索引擎。檢索結(jié)果直接調(diào)用原始獨(dú)立搜索引擎的結(jié)果頁(yè)面。只支持原始獨(dú)立搜索引擎支持的檢索語(yǔ)法統(tǒng)一入口式元搜索引擎統(tǒng)一入口式元搜索引擎為收錄的獨(dú)立搜索引擎建立了一個(gè)公共查詢(xún)?nèi)肟?，用戶發(fā)出檢索請(qǐng)求后，提問(wèn)表達(dá)式被分別提交給多個(gè)獨(dú)立搜索引擎，最終反饋的結(jié)果是多個(gè)獨(dú)立搜索引擎查詢(xún)結(jié)果的融合。根據(jù)結(jié)果顯示的不同，這類(lèi)元搜索引擎又可以分為直接調(diào)用原始頁(yè)面型、混合綜合型和分散綜合型。直接調(diào)用原始頁(yè)面型元搜索引擎，檢索結(jié)果直接來(lái)自原始搜索引擎站點(diǎn)的結(jié)果頁(yè)面?；旌暇C合型元搜索引擎，將各個(gè)獨(dú)立搜索引擎中查找的結(jié)果進(jìn)行融合，結(jié)果顯示以記錄為單位，記錄描述包括該記錄被檢出的來(lái)源。分散綜合型元搜索引擎，這種類(lèi)型與混合綜合型元搜索引擎在結(jié)果顯示上有所不同，它以獨(dú)立搜索引擎為單位進(jìn)行結(jié)果顯示，在同一個(gè)獨(dú)立搜索引擎得到的結(jié)果被集中列在該搜索引擎之下。1.3.4元搜索引擎的性能評(píng)價(jià)指標(biāo)體系作為一種搜索引擎，元搜索引擎也有搜索引擎的一些基本指標(biāo)，如查全率、查準(zhǔn)率、召回率、響應(yīng)速度、響應(yīng)時(shí)間、用戶負(fù)擔(dān)等。但是元搜索引擎?zhèn)€體差異很大，很難進(jìn)行精確的評(píng)價(jià)。元搜索引擎性能評(píng)價(jià)指標(biāo)體系主要包含四個(gè)部分6：獨(dú)立搜索引擎的調(diào)度策略有些元搜索引擎固定地調(diào)用幾個(gè)獨(dú)立搜索引擎，用戶不能修改。有些元搜索引擎的高級(jí)特性中讓用戶選擇調(diào)用哪些搜索引擎。這兩種策略都有不足之處，前一種將跟不上搜索引擎的發(fā)展潮流。后一種，對(duì)于不熟悉搜索引擎的用戶來(lái)說(shuō)可能選擇不到適合自己需要的搜索引擎。一些學(xué)者提出了通過(guò)遺傳算法實(shí)現(xiàn)獨(dú)立搜索引擎的自動(dòng)調(diào)度方法。這種算法如能融入到元搜索引擎系統(tǒng)中，必會(huì)大大提高系統(tǒng)的查準(zhǔn)率。是否提供足夠的檢索選項(xiàng)包括是否提供高級(jí)檢索服務(wù)，是否可以限定最長(zhǎng)檢索時(shí)間，是否可以設(shè)置每個(gè)搜索引擎返回的結(jié)果數(shù)量，是否可以設(shè)置每頁(yè)顯示的結(jié)果數(shù)目，是否可以設(shè)置標(biāo)題大小和摘要大小等。檢索選項(xiàng)越多，用戶使用的時(shí)候就越靈活。這也是衡量一個(gè)元搜索引擎性能的一個(gè)標(biāo)準(zhǔn)。但是由于元搜索引擎的檢索特性向它所調(diào)用的獨(dú)立搜索引擎檢索特性的轉(zhuǎn)換所具有的復(fù)雜性，許多元搜索引擎不提供復(fù)雜的檢索