Lucene寫搜索引擎.ppt

1、簡(jiǎn)單搜索引擎的設(shè)計(jì)與實(shí)現(xiàn),向永清 Email : 理科2號(hào)樓2320 北京大學(xué)信息科學(xué)技術(shù)學(xué)院 2020/11/11,Outline,搜索引擎基礎(chǔ)知識(shí) 搜索引擎基本結(jié)構(gòu) 一個(gè)簡(jiǎn)單的實(shí)例 開發(fā)環(huán)境的配置 簡(jiǎn)單爬蟲的編寫 簡(jiǎn)單索引器的編寫 簡(jiǎn)單檢索器的編寫 系統(tǒng)演示 小結(jié),搜索引擎基礎(chǔ)知識(shí),什么是搜索引擎？ 搜索引擎(search engine)是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序搜集互聯(lián)網(wǎng)上的信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)的系統(tǒng)。 為什么需要搜索引擎？ 互聯(lián)網(wǎng)上信息劇增 瀏覽器的出現(xiàn) PC處理能力大大提高,搜索引擎基礎(chǔ)知識(shí),基本工作原理 抓取網(wǎng)頁(yè) 即所謂的網(wǎng)絡(luò)爬蟲 處理網(wǎng)

2、頁(yè) 包括分詞、索引、排序等處理 提供檢索服務(wù) 快速、精確的檢索服務(wù),搜索引擎基礎(chǔ)知識(shí),幾個(gè)比較重要的階段 1990 ArchieFTP搜索 1994 Yahoo目錄搜索引擎 1998 Google全文搜索引擎 2000 Baidu中文全文搜索引擎 2007 kooxoo、aibang生活搜索,搜索引擎基礎(chǔ)知識(shí),搜索引擎分類 目錄搜索引擎：yohoo以及早期的sohu 全文搜索：Google、Baidu 元搜索引擎： 商業(yè)模式 競(jìng)價(jià)排名 點(diǎn)擊付費(fèi),搜索引擎基本結(jié)構(gòu),環(huán)境安裝與配置,安裝JDK，配置好環(huán)境變量，包括path和classpath JAVA_HOME = C:Program Files

3、Javajdk1.5.0 path = %JAVA_HOME%bin Classpath = %JAVA_HOME%libtools.jar;%JAVA_HOME%libdt.jar,環(huán)境安裝與配置,安裝tomcat,并配置環(huán)境變量 在classpath加入路徑C:Program FilesApache Software FoundationTomcat 5.0serverlibservlets-common.jar;這是tomcat servlet包所在路徑 下載Lucene2.1.0開發(fā)包，并配置classpath,Lucene2.1.0中開發(fā)包的路徑信息,搜索引擎基本結(jié)構(gòu),四個(gè)主要部分

4、搜索器 即 網(wǎng)絡(luò)爬蟲 索引器 用于建立倒排索引 分詞器 分詞處理 檢索器 用于排序返回結(jié)果,一個(gè)簡(jiǎn)單爬蟲,爬蟲的本質(zhì) 超鏈接分析器 實(shí)現(xiàn)方法 深度優(yōu)先或者寬度優(yōu)先搜索 實(shí)現(xiàn)代碼見clawer.java 該爬蟲僅實(shí)現(xiàn)對(duì)一個(gè)頁(yè)面的超鏈分析，讀者可以用深度或者寬度優(yōu)先策略來(lái)實(shí)現(xiàn)對(duì)整個(gè)互聯(lián)網(wǎng)的超鏈分析,建立索引類,索引類即一個(gè)簡(jiǎn)單索引器 利用Lucene的索引工具，主要三步： 1.分別建立對(duì)DocumentFieldIndexWriter 2.把field加入Document 3.把document加入IndexWriter 詳細(xì)代碼見TextFileIndexer.java,建立檢索類,檢索類就是一

5、個(gè)簡(jiǎn)單的檢索器 利用Lucene提供的分詞和檢索工具 IndexSearcher:是lucene中最基本的檢索工具，所有的檢索都會(huì)用到IndexSearcher工具; Query:查詢，lucene中支持模糊查詢，語(yǔ)義查詢，短語(yǔ)查詢，組合查詢等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuery等一些類。 QueryParser: 是一個(gè)解析用戶輸入的工具，可以通過(guò)掃描用戶輸入的字符串，生成Query對(duì)象。 Hits:在搜索完成之后，需要把搜索結(jié)果返回并顯示給用戶，只有這樣才算是完成搜索的目的。在lucene中，搜索的結(jié)果的集合是用Hits類的實(shí)例來(lái)表示的。 Analyzer:分析器,主要用于分析搜索引擎遇到的各種文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。,建立檢索類,在網(wǎng)頁(yè)中顯示接口 編寫一個(gè)