統(tǒng)一搜索、檢索系統(tǒng)概要

1、統(tǒng)一搜索綜述 統(tǒng)一搜索產(chǎn)品是基于開源框架，針對網(wǎng)頁內(nèi)容，商品、多媒體以及應(yīng)用的搜索產(chǎn)品，包括爬蟲引擎，索引引擎、檢索引擎、智能推薦引擎、框計算接口平臺、運營支撐平臺等子系統(tǒng)和應(yīng)用組件。有核心的搜索引擎算法和專業(yè)的技術(shù)架構(gòu)做有力的支撐。定義 面向搜索用戶，提供信息檢索的入口和渠道，完成從接受搜索詞到返回搜索結(jié)果的關(guān)鍵流程，同時還要完成對搜索內(nèi)容的采集與分析、建立索引的工作。定位 統(tǒng)一搜索對網(wǎng)頁引入爬蟲抓取機制，與傳統(tǒng)數(shù)據(jù)庫方式內(nèi)容搜索，形成最鮮明的差異化優(yōu)勢；對垂直搜索采用開放平臺接入方式，各種數(shù)據(jù)和應(yīng)用可以主動與搜索平臺對接，使自己有機會來響應(yīng)搜索的需求。特點 統(tǒng)一搜索的主要發(fā)展方向有兩方面：

2、一是，擴大搜索范圍，增加更多的專業(yè)垂直搜索；二是，向移動端延伸，為移動端提供更多支撐。發(fā)展搜索引擎的算法來到了以用戶體驗至上的年代，我們選擇了在目前搜索引擎領(lǐng)域企業(yè)級應(yīng)用中最先進的開源框架solr基礎(chǔ)上，通過對其核心算法的改造和優(yōu)化，將其搜索引擎第三代算法：相關(guān)性算法加入用戶體驗元素，例如用戶點擊反饋因素及權(quán)重對網(wǎng)頁最終得分的影響等，實現(xiàn)了搜索引擎核心算法的升級和優(yōu)化。商城垂直搜索中的商品綜合排序算法從無到有，依據(jù)對商品排序需求的研究，結(jié)合已經(jīng)掌握的相關(guān)排序算法技術(shù)，創(chuàng)新出了適用于商品綜合排序的算法；商品智能推薦算法也已研究出一定規(guī)模。搜索引擎核心算法技術(shù)特點我們搜索引擎中的爬蟲引擎、日志采集

3、分析子系統(tǒng)、智能推薦引擎均采用的是以nutch、hadoop、redis、hbase、mahout等框架為基礎(chǔ)的分布式存儲、云計算的平臺和技術(shù)；索引引擎、檢索引擎等核心引擎采用的是以solr、Lucene為底層框架，包含了分布式集群部署、支撐高并發(fā)的主從式索引控制、根據(jù)配置文件定義數(shù)據(jù)解析等搜索引擎領(lǐng)域中最專業(yè)的技術(shù)手段。統(tǒng)一搜索產(chǎn)品賣點分析搜索引擎主體架構(gòu)采用的是面向接口，插件化、可擴展的開放架構(gòu)，它對外提供類似于Web-service的API接口。搜索引擎支撐系統(tǒng)的管理平臺采用的是以jQueryEasyUI+spring3+mybatis為基礎(chǔ)框架的架構(gòu)，保證了對非重點功能的易于開發(fā)；重點

4、和核心功能的易于解耦、易于擴展及性能上不增加額外開銷的保證。架構(gòu)特點產(chǎn)品特點搜索領(lǐng)域產(chǎn)品中框計算能力是一個非常重要的標識。我們已經(jīng)實現(xiàn)了基本的框計算能力，在主流門戶已經(jīng)上線的搜索產(chǎn)品中實現(xiàn)了普通直達搜索、商品直達搜索、一鍵辦理業(yè)務(wù)搜索、網(wǎng)頁搜索等多種搜索服務(wù)能力?？蛴嬎惚澈蟮馁Y源平臺，實現(xiàn)了基于普通業(yè)務(wù)直達的配置管理系統(tǒng)；一鍵辦理服務(wù)直達的接口規(guī)范，但離各種數(shù)據(jù)和應(yīng)用可以主動與框計算平臺對接這個要求還有較大的距離，需要進一步完善和包裝支撐框計算的后臺系統(tǒng)和工具。統(tǒng)一搜索產(chǎn)品賣點分析續(xù)統(tǒng)一搜索門戶綜合搜索功能架構(gòu)統(tǒng)一搜索門戶綜合搜索功能架構(gòu)搜索引擎子系統(tǒng)門戶搜索搜索框搜索首頁搜索結(jié)果頁高級搜索頁

5、面數(shù)據(jù)處理 網(wǎng)頁解析內(nèi)容分類數(shù)據(jù)去重數(shù)據(jù)輸出索引維護文本分詞索引生成索引分發(fā)基礎(chǔ)檢索直達搜索搜索提示分類搜索搜索推薦自然語言檢索組合檢索漸進檢索敏感詞過濾搜索結(jié)果匹配內(nèi)容提示檢索結(jié)果多維度排序搜索結(jié)果分類篩選數(shù)據(jù)源運營管理子系統(tǒng)推薦管理搜索結(jié)果管理搜索SEO管理詞庫管理搜索平臺管理搜索應(yīng)用視圖管理搜索應(yīng)用配置運行管理搜索應(yīng)用監(jiān)控維護統(tǒng)計分析權(quán)限管理參數(shù)配置工單管理統(tǒng)計分析搜索業(yè)務(wù)管理 直達管理推薦管理搜索結(jié)果管理搜索SEO管理詞庫管理信息采集爬蟲業(yè)務(wù)數(shù)據(jù)同步一級門戶移動商城各省門戶一級WAP客戶端擴展檢索接入層索引層應(yīng)用層展現(xiàn)層業(yè)務(wù)運營人員客戶n統(tǒng)一搜索采用總部一點建設(shè)，包括搜索引擎子系統(tǒng)和運

6、營管理子系統(tǒng)兩部分。n搜索引擎子系統(tǒng)包括：搜索門戶、數(shù)據(jù)處理、索引維護、信息采集、基礎(chǔ)檢索n運營管理子系統(tǒng)包括：管理門戶、業(yè)務(wù)運營管理、平臺運營管理、系統(tǒng)運營管理統(tǒng)一搜索門戶綜合搜索系統(tǒng)架統(tǒng)一搜索門戶綜合搜索系統(tǒng)架構(gòu)構(gòu)平臺運營管理人員客戶商戶n截至目前，統(tǒng)一搜索實現(xiàn)了搜索提示詞、智能糾錯、相關(guān)推薦、相關(guān)度排序、高級搜索、搜索直達、商品直達、熱門搜索詞、大家都在搜、搜索歷史、高亮提示、相關(guān)搜索詞、調(diào)研問卷、廣告等18項核心功能。搜索提示詞智能糾錯相關(guān)推薦相關(guān)度排序高級搜索多媒體搜索與或非搜索site指令搜索直達商品直達熱門搜索詞大家都在搜搜索歷史高亮提示相關(guān)搜索詞調(diào)研問卷廣告一鍵辦理功能統(tǒng)一搜索統(tǒng)一搜索18項核心功能項核心功能搜索首頁承載方頁面搜索入口承載方搜索詳情頁省公司H5頁面統(tǒng)一搜索H5頁面搜索結(jié)果頁 嵌入方式和入口形式由統(tǒng)一搜索提供整體方案，由統(tǒng)一搜索和承載方雙方共同協(xié)商確認。 搜索詳情頁，由省公司提供； 對于沒有開發(fā)能力的省公司，總部提供技術(shù)支持，指導(dǎo)開發(fā)。 除搜索框、搜索歷史、熱詞推薦、輸入提示等基本功能外，搜索首頁還主要承載直達內(nèi)容。 搜索結(jié)果頁作為核心頁面，對一鍵辦理、業(yè)務(wù)直達和商城商品接入等內(nèi)容都有不同的展現(xiàn)。n實現(xiàn)方式：統(tǒng)一搜索以嵌入的方式，為總部和省公司提供搜索服務(wù)能力，將統(tǒng)一