基于Lucene的校園垂直搜索項(xiàng)目設(shè)計(jì)說明書

1、基于Lucene校園垂直搜索項(xiàng)目設(shè)計(jì)說明書背景介紹現(xiàn)在互聯(lián)網(wǎng)那么強(qiáng)大，幾乎沒有其不可達(dá)到的領(lǐng)域，尤其是搜索引擎扮演者非常重要角色，沒有出色的搜索引擎就用戶不能檢索到所需要的信息，沒有良好的搜索布局就不會(huì)有更系統(tǒng)的網(wǎng)頁數(shù)據(jù)，顯然好的搜索引擎必須要以更系統(tǒng)的數(shù)據(jù)源為前提。隨著互聯(lián)網(wǎng)的網(wǎng)頁成爆炸式增長，通用搜索引擎的不足日益突出，垂直搜索就成為了新軍力量突生猛漲，深受用戶的喜愛，大搜索門戶也相繼攻擊相關(guān)垂直分搜索，雨后春筍般冒出，技術(shù)也逐漸成熟了?？v觀很多出名的垂直搜索門戶，幾乎不見相關(guān)基于校園網(wǎng)的高校垂直搜索，也許此領(lǐng)域的利益可見期沒有像其他商業(yè)性強(qiáng)的領(lǐng)域那么短，但這方面人人網(wǎng)做出了客觀的成就，其

2、屬于高校真實(shí)社交區(qū)網(wǎng)絡(luò)，但是高校搜索做的不夠深，并沒有充分挖掘高校的潛力。曾經(jīng)一個(gè)搜索資深專家統(tǒng)計(jì)過：70%左右的信息不能被通用搜索檢索到；相信高校也是其中一個(gè)方面。隨著網(wǎng)絡(luò)的大力發(fā)展，高校的信息也隨之龐大起來，本項(xiàng)目的目的就是充分挖掘西安電子科技大學(xué)的信息，為了更好的為用戶服務(wù)。需求說明本項(xiàng)目的初期規(guī)劃是通過校內(nèi)搜索直接分頁展示所需正文信息，而不需要用戶進(jìn)入有關(guān)的鏈接網(wǎng)站或網(wǎng)頁，減少用戶記憶大量的網(wǎng)站名稱或其他資源。用戶可以通過這個(gè)搜索頁面就可以搜到全面精確的信息，這就是我們的希望結(jié)果。我們目前正在編碼實(shí)現(xiàn)未建索引的網(wǎng)絡(luò)爬蟲程序，網(wǎng)頁抓取，網(wǎng)頁解析，URL提取，數(shù)據(jù)元數(shù)據(jù)庫存儲(chǔ)，并在搜索頁面

3、檢索簡單的信息，這是我們的初步Demo，必須在五月初出爐。之后就要結(jié)合Lucene的API對(duì)已抓取的網(wǎng)頁建立索引，這部分還沒有布好局，不能輕易斷論。瀏覽過大概的流程，光索引詞的確立，索引文件存貯，索引合并優(yōu)化就挺難的，還有重要的分詞算法，也是需要研究并實(shí)現(xiàn)，在檢索模塊，也需要不少精力，尤其是適合高校的相似度匹配和排序算法，等待我們?nèi)L試。開發(fā)環(huán)境：基于Windows xp操作系統(tǒng)Tomcat Web 服務(wù)器MYSQL 數(shù)據(jù)庫Visial Studio 2005采用C+/C語言開發(fā)設(shè)計(jì)思路首先縱觀垂直搜索引擎的原理，主要由爬蟲模塊、索引模塊、檢索模塊、用戶接口等4個(gè)部分組成，如圖1所示。首先用爬

4、蟲模塊從初始的URL種子開始抓取，把抓取下來的網(wǎng)頁內(nèi)容進(jìn)行分析，確定所需要的信息后再抽取為結(jié)構(gòu)化數(shù)據(jù)，接著就對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行中文分詞和建立索引并生成索引庫，最后制作網(wǎng)頁供用戶通過查詢模塊進(jìn)行查詢。圖1：搜索引擎總框圖我們主要的任務(wù)是在爬蟲模塊，設(shè)計(jì)自己的網(wǎng)絡(luò)爬蟲，所以這部分比較詳細(xì)。網(wǎng)頁爬蟲模塊：網(wǎng)絡(luò)爬蟲流程如圖2所示。通用搜索一般都采用廣度優(yōu)先搜索，盡可能多的抓取網(wǎng)頁，越多越好，正體現(xiàn)其“廣”的典型特性；而對(duì)于垂直搜索，也采用廣度優(yōu)先，但限制搜索樹的層次，有人統(tǒng)計(jì)一般控制在3層，因?yàn)橹髮訑?shù)越增加而有用的網(wǎng)頁信息量迅速地遞減，也就是弊大于利，于是舍去更深層的抓取信息，但這樣做優(yōu)勢是簡單比較有

5、效抓取了大部分信息，同時(shí)避免了深度搜索的低效率，由于校園網(wǎng)的高速和信息網(wǎng)并非龐大，所以會(huì)設(shè)訪問層數(shù)為4；URL的匹配，是采用正則表達(dá)式匹配，正則表達(dá)式更有效，表達(dá)式簡短高校；數(shù)據(jù)存取，首先要對(duì)非結(jié)構(gòu)化的網(wǎng)頁信息進(jìn)行結(jié)構(gòu)化，本項(xiàng)目采用基于正則表達(dá)式和HTMPParser技術(shù)的模板提取法進(jìn)行結(jié)構(gòu)化信息提取，然后調(diào)用Lucene的API生成索引且存入數(shù)據(jù)庫中，采用ODBC技術(shù)接口連接數(shù)據(jù)庫。圖2：網(wǎng)絡(luò)爬蟲流程索引模塊和檢索模塊：采用開源的Lucene作為整體搜索框架，還有強(qiáng)大的API，符合本項(xiàng)目的組件就保留，不符的就需要更改完善或改善提高。其中Lucene的分析技術(shù)對(duì)英文很有效，但對(duì)中文分析幾乎沒有

6、什么利用價(jià)值，中文的復(fù)雜度，要考慮到語義環(huán)境，上下文結(jié)合，再者我們本項(xiàng)目的行業(yè)特點(diǎn)，特殊或者專用大量的教學(xué)和科研專業(yè)術(shù)語名詞，需要一定的具有高校特征的分詞詞庫和分詞技術(shù)，這里也需要大量的工作和一定的策略。目前中文分詞法較好的是基于詞典分此法，較出名的中文詞庫是中科院的標(biāo)注的算是完整的一個(gè)詞庫，所以我們會(huì)采用此詞庫。用戶接口模塊：采用JSP實(shí)現(xiàn)頁面設(shè)計(jì)，主要的技術(shù)是緩存方式和分頁方式，還有重要的排序衡量評(píng)價(jià)策略，這都需要探索適合高校的模式。創(chuàng)新點(diǎn)本項(xiàng)目的新穎點(diǎn)如下：第一、初步出發(fā)點(diǎn)是借助校園的速度優(yōu)勢，深度挖掘有關(guān)西電高校信息，再經(jīng)過整合處理，希望為西電的師生和很想了解西電的用戶提供精確的搜索信息平臺(tái)；第二、這點(diǎn)很重要，本項(xiàng)目可以說只是一個(gè)小的實(shí)踐基地，其延伸的范圍或應(yīng)用領(lǐng)域還是很廣的，從長遠(yuǎn)來看更有意義。假如要和騰訊的搜搜結(jié)合起來，還是有很大可能的，可以產(chǎn)生高校直通車產(chǎn)品。騰訊產(chǎn)品用戶本來一大部分的對(duì)象就是學(xué)生，相信高校是占其中很大部分，而且具有一定的獨(dú)立自主消費(fèi)能力，能夠創(chuàng)造更大的商業(yè)空間，等畢業(yè)進(jìn)入社會(huì)之后，其商業(yè)潛力更巨大。通過擴(kuò)展各大高校的校內(nèi)搜索搜集充實(shí)的資料，尤其是各大高校的火爆論壇，內(nèi)容豐富，更