畢業(yè)答辯-搜索引擎的研究與實現(xiàn).ppt

畢業(yè)答辯,題目:搜索引擎的研究與實現(xiàn)專業(yè)：軟件工程答辯人：指導老師:,論文結(jié)構(gòu),第一章引言第二章搜索引擎介紹第三章網(wǎng)絡(luò)機器人第四章網(wǎng)絡(luò)索引器第五章網(wǎng)絡(luò)搜索程序第六章總結(jié),研究目的和意義,網(wǎng)絡(luò)中的資源非常豐富，但是如何有效地找到自己需要的信息卻是一件困難的事情。網(wǎng)絡(luò)搜索引擎應(yīng)運而生。本文首先詳細介紹了網(wǎng)絡(luò)搜索引擎的系統(tǒng)結(jié)構(gòu)，然后從網(wǎng)頁信息抓取、網(wǎng)頁內(nèi)容分析、網(wǎng)頁索引建立、用戶檢索與結(jié)果排序等方面進行詳細的說明。為了更加深刻的理解這種技術(shù)，本人還親自實現(xiàn)了一個自己的搜索引擎。,搜索引擎介紹-發(fā)展歷史,不知道大家時候在自己的搜索引擎首頁是否有設(shè)置過導航網(wǎng)站這個網(wǎng)址作為自己的首頁呢？其實這個網(wǎng)址就是搜索引擎第一代的代表。我們可以從這個導航網(wǎng)站這個網(wǎng)站里面看到，里面幾乎都是一些分類網(wǎng)址，幾乎在互聯(lián)網(wǎng)上的，這個網(wǎng)站里面都一應(yīng)俱全，從這里我們可以看出，這個網(wǎng)站是一個導航網(wǎng)站，也可以說分類目錄網(wǎng)站，用戶可以從這個分類目錄里找到自己想要的東西，這就是搜索引擎第一代。,第一代：分類目錄時代（人工時代）,搜索引擎介紹-發(fā)展歷史,到了這一代，搜索引擎查詢信息的方法則是通過用戶所輸入的查詢信息提交給服務(wù)器，服務(wù)器通過查閱，返回給用戶一些相關(guān)程度高的信息。這代的搜索引擎的信息檢索模型主要包括例如布爾模型、概率模型或者向量空間模型。通過這些模型來計算用戶輸入的查詢信息是否與網(wǎng)頁內(nèi)容相關(guān)程度高低，將相關(guān)度高的則返回給用戶。采取這種模式的搜索引擎主要是一些早期的搜索引擎，例如像AltaVista、Excite等等。這就是搜索引擎第二代。,第二代：文本檢索時代（海量自動獲取與排序清單）,搜索引擎介紹-發(fā)展歷史,這一代的搜索引擎所使用的方法大概是和我們今天的網(wǎng)站的外部鏈接形式基本相同，在當時，外部鏈接代表的是一種推薦的含義，通過每個網(wǎng)站的推薦鏈接的數(shù)量來判斷一個網(wǎng)站的流行性和重要性。然后搜索引擎再結(jié)合網(wǎng)頁內(nèi)容的重要性來和相似程度來改善用戶搜索的信息質(zhì)量。這就是第三代搜索引擎,第三代：整合分析時代（立體搜索與結(jié)果整合）,搜索引擎介紹-發(fā)展歷史,第四代，也就是我們所用的搜索引擎技術(shù)也是的互聯(lián)網(wǎng)上面用的對普遍的。主要是以用戶為中心。當客戶輸入查詢的請求時候，同一個查詢的請求關(guān)鍵詞在用戶的背后可能是不同查詢要求。甚至是同一個用戶，所查詢的關(guān)鍵詞一樣，也會因為所在的時間和所在的場合不同而返回的結(jié)果不同的所有主流搜索引擎，都在致力于解決同一個問題：怎樣才能從用戶所輸入的一個簡短的關(guān)鍵詞來判斷用戶的真正查詢請求。這一代搜索引擎主要是以用戶為中心。這就是第四代搜索引擎。,第四代：用戶中心時代,搜索引擎介紹-結(jié)構(gòu),搜索器：在互聯(lián)網(wǎng)中漫游，發(fā)現(xiàn)和搜集信息；索引器：理解搜索器所搜索到的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的索引表；檢索器：根據(jù)用戶的查詢在索引庫中快速檢索文檔，進行相關(guān)度評價，對將要輸出的結(jié)果排序，并能按用戶的查詢需求合理反饋信息；用戶接口：接納用戶查詢、顯示查詢結(jié)果、提供個性化查詢項。,搜索引擎介紹-結(jié)構(gòu),搜索引擎介紹-分布式,各檢索服務(wù)器之間相互共享資源，站點只向本自治區(qū)域內(nèi)的信息搜索機器人提供信息，減輕了網(wǎng)絡(luò)及各站點的負載。各代理之間的相互協(xié)作及查詢重定向使得提供的服務(wù)更完善。與Web本身的分布式特性相適應(yīng)，具有良好的可擴充性，便于維護。索引信息劃分到各自的索引數(shù)據(jù)庫中，使得各索引數(shù)據(jù)庫相對較小，查詢的響應(yīng)時間相對較短。部分檢索服務(wù)器發(fā)生故障時，其它部分能正常工作。,搜索引擎介紹-個性化,個性化搜索引擎指的是搜索引擎根據(jù)用戶搜索的歷史記錄，來返回更適合這個用戶的搜索結(jié)果。這些搜索歷史記錄包括用戶所搜索的關(guān)鍵詞，在搜索結(jié)果中的點擊情況，在各個網(wǎng)站的訪問情況，書簽情況等。搜索引擎掌握了這些用戶資料后進行分析，在用戶搜索新的關(guān)鍵詞時，能返回更有針對性的搜索結(jié)果，從而提高用戶體驗。而搜索引擎，它就是以一定的技術(shù)和策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，并對信息進行理解、提取和處理，為用戶提供Web搜索的服務(wù).,網(wǎng)絡(luò)機器人,網(wǎng)絡(luò)機器人,廣度優(yōu)先深度優(yōu)先,處理器,正文提取去除停用詞分詞,索引器,個性化搜索引擎指的是搜索引擎根據(jù)用戶搜索的歷史記錄，來返回更適合這個用戶的搜索結(jié)果。這些搜索歷史記錄包括用戶所搜索的關(guān)鍵詞，在搜索結(jié)果中的點擊情況，在各個網(wǎng)站的訪問情況，書簽情況等。搜索引擎掌握了這些用戶資料后進行分析，在用戶搜索新的關(guān)鍵詞時，能返回更有針對性的搜索結(jié)果，從而提高用戶體驗。而搜索引擎，它就是以一定的技術(shù)和策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，并對信息進行理解、提取和處理，為用戶提供Web搜索的服務(wù).,索引器-倒排索引,搜索程序,用戶在搜索框輸入關(guān)鍵詞后，排名程序調(diào)用索引庫數(shù)據(jù)，計算排名顯示給用戶，排名過程與用戶直接互動的。但是，由于搜索引擎的數(shù)據(jù)量龐大，雖然能達到每日都有小的更新，但是一般情況搜索引擎的排名規(guī)則都是根據(jù)日、周、月階段性不同幅度的更新。,Lucene,一個檢索框架基于java語言建立和查找索引,搜索引擎實現(xiàn),BS結(jié)構(gòu)Java語言實現(xiàn)使用Lucene框架使用Spring，Struts2，MyBatis,搜索引擎實現(xiàn),本地文章數(shù)據(jù)庫定時更新索引網(wǎng)絡(luò)頁面抓取搜索引擎界面和檢索,界面-首頁,界面-搜索結(jié)果,界面-添加文章,類結(jié)構(gòu),SearchObject-查找索引SearchEngineCore-建立索引Job-定時更新索引WebContent-抓取網(wǎng)頁SearchAction-處理查詢請求,爬蟲,Documentdoc=PackContentObject.convertContentToDoc(wc.getContentFromSite();,爬蟲,URLurl;Stringtemp;finalStringBuffersb=newStringBuffer();url=newURL(htmlurl);finalBufferedReaderin=newBufferedReader(newInputStream