信息檢索系統(tǒng)方案設(shè)計

1、實用文檔HX-2055信息檢索系統(tǒng)方案實用文檔目錄一項目意義. 2二系統(tǒng)設(shè)計 . 32.1 技術(shù)原理. 32.2 系統(tǒng)構(gòu)架. 5三系統(tǒng)功能. 63.1信息米集 . 63.2 中文自然語言處理 . 63.3 全文檢索功能 . 73.4 格式文件檢索 . 83.5 性能指標(biāo). 8實用文檔一項目意義隨著互聯(lián)網(wǎng)的快速發(fā)展，每天有數(shù)千萬條信息生成，包括文字信息、圖 片信息、視頻信息、語音信息等，通過白度、谷歌等大型商業(yè)搜索引擎可以 找到自己想要的信息，但是也存在很多弊端。白度、谷歌等大型商業(yè)搜索引擎的搜索原理是基于網(wǎng)絡(luò)爬蟲（Spider）在世界各地白萬臺服務(wù)器上爬取網(wǎng)頁數(shù)據(jù)，然后存儲到數(shù)據(jù)庫之后展現(xiàn)給查

2、 詢用戶，隨著網(wǎng)站數(shù)量以及網(wǎng)絡(luò)上信息更新的快速化，這些網(wǎng)絡(luò)爬蟲不能保 證把所有的信息都抓到，尤其是特殊行業(yè)的行業(yè)信息，即便是抓到了也不一 定能夠在眾多數(shù)據(jù)中展現(xiàn)出來。所以，對于一個部門來講，有必要存在一款 互聯(lián)網(wǎng)信息檢索系統(tǒng)來檢索某一個行業(yè)的信息，每天自動在各大行業(yè)網(wǎng)站、 政府網(wǎng)站等數(shù)據(jù)庫中檢索最新信息，通過自建的網(wǎng)絡(luò)爬蟲進行目標(biāo)數(shù)據(jù)的抓 取、存貯、歸類、展現(xiàn)。通過自己的信息檢索系統(tǒng)，可以讓自己部門每天輕松地獲得世界各地、 各個部門都發(fā)生了什么，有哪些新的政策，方便管理層在最新的信息數(shù)據(jù)下 快速做出正確的決定。據(jù)統(tǒng)計，內(nèi)部網(wǎng)上的信息每年以200%勺速度增長，其中發(fā)布到互聯(lián)網(wǎng) 上的信息只占到信息

3、量的1%-2%而98恕上的信息是發(fā)布在內(nèi)部網(wǎng)上的。 內(nèi)部網(wǎng)上的信息既有網(wǎng)頁形式的，也包含其他Word PDF XML等多種格式 的數(shù)據(jù)。因此，面對內(nèi)部網(wǎng)中海量異構(gòu)的信息資源，如何幫助用戶快速找到 他們所需要的信息是一個主要的技術(shù)挑戰(zhàn)。搜索引擎能幫助用戶方便、快捷、安全地獲取內(nèi)部網(wǎng)上的信息，在滿足 高效的同時，更重要的是保證了較高的查全率和查準(zhǔn)率， 能提供智能化的概 念擴展搜索，極大的提高工作效率。內(nèi)部網(wǎng)搜索引擎將組織中分散管理的信 息整合在一起，在組織層面上實現(xiàn)新的增值與共享， 從而有效實現(xiàn)組織內(nèi)容 利用的最優(yōu)目標(biāo)。搜索引擎的目標(biāo)是實現(xiàn)內(nèi)部網(wǎng)全文檢索。系統(tǒng)可對實施了內(nèi)部網(wǎng)站資源 進行爬行，無論

4、內(nèi)部網(wǎng)上的數(shù)據(jù)源在何地、 以何種形式存在，都能夠?qū)ζ淇?速地訪問，通過準(zhǔn)確的分詞建立索引，從而實現(xiàn)高質(zhì)量的搜索查詢。 搜索引 擎的主要目標(biāo)包括：(1)較高的查準(zhǔn)率。搜索系統(tǒng)支持按詞索引、按字索引，同時實現(xiàn)中 文自動分詞。(2)較高的查全率。搜索系統(tǒng)可搜索各類異構(gòu)的信息資源，包括傳統(tǒng) 的網(wǎng)頁信息、Word PDF XML等不同格式的文檔以及各類主流數(shù)據(jù)庫的表 中記錄。(3)智能化的檢索結(jié)果排序。安全搜索系統(tǒng)應(yīng)采用相關(guān)度分析技術(shù)， 將用戶需要的信息排在結(jié)果列表的前面，屏蔽無用和錯誤的信息。實用文檔二系統(tǒng)設(shè)計2.1技術(shù)原理HX-2055互聯(lián)網(wǎng)信息檢索系統(tǒng)(以下簡稱HX-2055)是針對特殊行業(yè)、 政

5、府部門、決策部門設(shè)計的一款高效率互聯(lián)網(wǎng)信息檢索系統(tǒng)，采用國際一流程序算法設(shè)計，系統(tǒng)構(gòu)架與谷歌和白度的搜索引擎擁有共同的技術(shù)特點，能夠保證系統(tǒng)對實時信息的快速采集、歸類、展現(xiàn)。在當(dāng)今信息爆炸的時代，每個單位或個人都在為信息的快速增長做出了 各種貢獻。信息的種類也在不斷的擴展，越來越多的非結(jié)構(gòu)化信息不斷出現(xiàn)， 包括企業(yè)的各種報表、帳單、電子文檔、網(wǎng)站的各種元素、圖片、傳真、掃 描影像，以及大量的多媒體的音頻、視頻信息等等。所有的存儲數(shù)據(jù)中，有85嘛用的是非結(jié)構(gòu)化格式的，非結(jié)構(gòu)化信息每三個月增長一倍。由于信息 格式的差異很大，所以基本無法整合為統(tǒng)一的接口供政府工作人員或廣大群 眾方便使用。全文檢索是

6、計算機程序通過掃描文章中的每一個詞， 對每一個詞建立一 個索引，指明該詞在文章中出現(xiàn)的次數(shù)和位置， 當(dāng)用戶查詢時根據(jù)建立的索 引查找，類似于通過字典的檢索字表查字的過程。全文檢索系統(tǒng)是按照全文檢索理論建立起來的用于提供全文檢索服務(wù) 的軟件系統(tǒng)。全文檢索系統(tǒng)的核心則具有建立索引、處理查詢返回結(jié)果集、 增加索引、優(yōu)化索引結(jié)構(gòu)等功能。HX-2055全文檢索系統(tǒng)的主要目標(biāo)是實現(xiàn) 文本索引的快速構(gòu)建(Index Construction),動態(tài)文檔集的索引維護(Index Maintenance)，短語查詢(Phrase Query),Top-K查詢的快速處理(Top-k Query Process)以

7、及各種檢索模型(IR Model)等。高性能和靈活的架構(gòu)也實用文檔校索子慕統(tǒng)信慰校紫布爾酉渤Cathefl訶甜春詢11動摘要字段K眠同義校宏自動枷關(guān)度圖1. HX-2055系統(tǒng)原理HX-2055可以實現(xiàn)對內(nèi)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)的信息抓取、 歸類、 展現(xiàn)。 對丁外 部網(wǎng)絡(luò)， HX-2055采用網(wǎng)絡(luò)爬蟲定時對各大行業(yè)網(wǎng)站、政府部門網(wǎng)站進行數(shù)據(jù)爬 取，通過對海量數(shù)據(jù)的挖掘可以建立龐大的外網(wǎng)數(shù)據(jù)庫，通過一流的數(shù)據(jù)整理算法，簡單、快捷、方便的展示給使用者。HX-2055也可以對內(nèi)部網(wǎng)絡(luò)進行數(shù)據(jù)的挖掘、分析、整理、展現(xiàn)。HX-2055通過基丁局域網(wǎng)的網(wǎng)絡(luò)爬蟲算法， 可以對政府、行業(yè)內(nèi)部網(wǎng)站、單位內(nèi)部服務(wù)器 資

8、源等數(shù)據(jù)源進行數(shù)據(jù)的抓取，包括內(nèi)部網(wǎng)絡(luò)的新政策、新聞通知、日常文檔、 文件資料等。使HX-2055全文檢索系統(tǒng)可以應(yīng)用在內(nèi)外網(wǎng)檢索、專業(yè)系統(tǒng)資料檢索、行業(yè)專業(yè)數(shù)據(jù)庫檢索。HIX1I ASP,l X ILN溢NoieJXKXLSFPT.PDF.OCRWPSJiML.ZIK RAR.MP3適配器抓ft計劍任赫制信息索引增星索寸1弟汁索弓多字段蜜引作腫分試編砰識圳容恭適前美詼詞分白動典采史了系統(tǒng)索引于牽統(tǒng)實用文檔HX-2055搜索引擎的系統(tǒng)體系架構(gòu)如圖所示引擎實現(xiàn)了下列主要功能：(1)爬行器：爬行器根據(jù)資源描述信息對內(nèi)部網(wǎng)中各種異構(gòu)的資源信息進行爬行，獲取所有能夠獲得的資源信息，資源信息的格式應(yīng)包括

9、：WetB貞、WordPDFExcel、PPT等格式的辦公文檔、各類主流數(shù)據(jù)庫的表中記錄。(2)索引器：通過中文分詞技術(shù)，對爬行到的資源信息進行解析，建立索 引文件。(3)搜索：用戶提交其搜索條件，搜索條件經(jīng)過特定處理后，在索引文件 中檢索出所有滿足搜索條件的資源。2.2系統(tǒng)構(gòu)架全文檢索系統(tǒng)統(tǒng)一搜索平臺的總體架構(gòu)采用三層(數(shù)據(jù)層、應(yīng)用層和表現(xiàn)層)可擴展的設(shè)計，使整個系統(tǒng)不受硬件平臺的限制，具有良好的擴展性和可管理性。搜索請求用戶提交搜索、安全過濾-F-數(shù)據(jù)源注冊、 資源 描述、策略描述*數(shù)據(jù)庫 爬行控制Web頁面數(shù)據(jù)電子._ 電子庫表_ 文檔_ 郵件。卜；r爬L 行J_器1 k1111A內(nèi)部網(wǎng)

10、站 數(shù)據(jù)源1/數(shù)據(jù)庫/數(shù)據(jù)源2文件系統(tǒng)./數(shù)據(jù)源3/郵件系統(tǒng) 數(shù)據(jù)源n /:內(nèi)部數(shù)1內(nèi)部網(wǎng)用戶返回結(jié)果據(jù)圖2 HX-2055內(nèi)部網(wǎng)絡(luò)搜索系結(jié)構(gòu)圖搜索結(jié)果排序?qū)嵱梦臋n垂且攫素系統(tǒng)軟件蓬株架構(gòu)圖垂且攫素系統(tǒng)軟件蓬株架構(gòu)圖囊現(xiàn)屆囊現(xiàn)屆_ _ _信息松索11服郭槽索1簡單栓霜 高級檢索）應(yīng)用服莠應(yīng)用服莠美健字檢京美健字檢京模搦檢索模搦檢索I組合檢索組合檢索I松索瓚板松索瓚板 預(yù)板管理預(yù)板管理系統(tǒng)管理系統(tǒng)管理日志管埋日志管埋詞典曾理詞典曾理數(shù)據(jù)堆護數(shù)據(jù)堆護用戶管理用戶管理枚齦營理枚齦營理索引管理索引管理索引創(chuàng)硅索引創(chuàng)硅I索引同步索引同步 索引弟略索引弟略I索引維護索引維護中間忤中間忤-Web I ng

11、i j Vebsphv-ra. TonKflt等等二系統(tǒng)功能3.1信息米集1、 采用多線程并發(fā)搜索技術(shù)。2、提供多種米集范圍控制方式，包括在指定網(wǎng)站內(nèi)，在指定域內(nèi)，以及在 指定IP地址范圍等方式。3、可以設(shè)置多種網(wǎng)站采集控制方式，包括采集的網(wǎng)頁大小、超時限制等。4、提供高效更新功能，對丁已經(jīng)采集過的網(wǎng)站，更新時只采集發(fā)生變化和 新加入的資源。5、 可以靈活設(shè)定采集結(jié)果的存儲方式，具有開放性。3.2中文自然語言處理1、 內(nèi)嵌自動分詞系統(tǒng)，有效提高了分詞準(zhǔn)確性。2、 在應(yīng)用層上，提供自動分類和摘要功能；3、 支持按詞索引、按字索引、按關(guān)鍵詞索引，適應(yīng)不同應(yīng)用環(huán)境的需求；4、內(nèi)嵌相似性檢索技術(shù)，提供

12、文章的相似性檢索和聚類功能。3.3全文檢索功能1、 支持Web Browser/Web Server檢索方式；實用文檔2、 智能中文分詞：采用先進的自動分詞系統(tǒng)，根據(jù)大量的語料統(tǒng)計和分析， 建立了上萬條的歧義排除規(guī)則，因此檢索“華人”不會把僅僅包含“中華人民共 和國”的文章檢索出來。3、 支持結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的混合檢索；4、 允許使用文中的任意字、詞、句和片段進行檢索；5、 全方位檢索手段：與、或、非、異或；6、 對數(shù)值、日期等特征字段可以進行比較和范圍檢索；7、 支持任意一致的通配符檢索（模糊檢索）；8、 支持多網(wǎng)站的全文檢索9、 具備中文自動分詞系統(tǒng)，能有效提高分詞準(zhǔn)確性10、 采

13、用智能中文分詞技術(shù)，建立高效索引庫11、 支持實時索引（1分鐘內(nèi)）12、 支持增量式實時索引13、 多線程設(shè)計，支持大量并發(fā)用戶訪問，每秒并發(fā)達到50個以上14、 支持在結(jié)果中查詢15、 支持GBK BIG5、UTF8 GB1803笄編碼，采用UTF8碼方式實現(xiàn)多語言 和多文種內(nèi)容的檢索及展現(xiàn)。16、 支持中文、英文和中英文混合檢索17、 多樣化排序，包括按抓取時間排序、按相關(guān)性排序18、 多種條件組合檢索：包括標(biāo)題、正文以及日期范圍檢索19、 支持關(guān)鍵詞邏輯表達式組合檢索20、檢索結(jié)果支持基于查詢關(guān)鍵詞的動態(tài)摘要21、支持檢索關(guān)鍵詞的局是顯小22、將所檢索到的信息可按設(shè)定的模版顯示23、檢索結(jié)果棋板自定義如：如文章標(biāo)題、文章欄目、簡介、作者、點擊率、時間以及文章類別等24、 支持根據(jù)自動分類的類目進行檢索25、 采用KNN SV；基礎(chǔ)的相關(guān)性算法實用文檔3.4格式文件檢索支持MS