加強的企業(yè)級探尋解決方案

本文格式為Word版，下載可任意編輯——加強的企業(yè)級探尋解決方案探尋引擎技術(shù)方案

加強企業(yè)級探尋方案Solr

?一個真正的擁有動態(tài)域(DynamicField)和唯一鍵(UniqueKey)的數(shù)據(jù)模式(Data

Schema)?對Lucene查詢語言的強大擴展?支持對結(jié)果進(jìn)行動態(tài)的分組和過濾

?高級的可配置的文本分析（各種數(shù)據(jù)源解析），強大的全文檢索功能，高亮顯示檢索

結(jié)果，動態(tài)集群，數(shù)據(jù)庫接口和電子文檔（Word，PDF等）的處理?高度可配置和可擴展的緩存機制?性能優(yōu)化配置化解決?支持通過XML進(jìn)行外部配置?擁有一個管理界面及可監(jiān)控的日志

?支持高速增量式更新(FastincrementalUpdates)和快照發(fā)布(Snapshot

Distribution)，Solr服務(wù)器通信使用標(biāo)準(zhǔn)的HTTP和XML

Schema（模式）

?定義域類型和文檔的域?能夠驅(qū)動智能處理

?聲明式的Lucene分析器規(guī)范、?動態(tài)域能夠隨時增加域

?拷貝域功能允許對一個域進(jìn)行多種方式的索引，或者將多個域聯(lián)合成一個可探尋的域?顯式類型能夠減少對域類型的猜測

?能夠使用外部的基于文件的停用詞列表，同義詞列表和保護(hù)詞列表的配置，過濾器配置

查詢

?擁有可配置響應(yīng)格式（XML/XSLT,JSON,Python,Ruby）的HTTP接口?高亮的上下文探尋結(jié)果

?基于域值和顯式查詢的片段式探尋（FacetedSearch）?對查詢語言增加了排序規(guī)范（按配置域升序降序等排序）

?常量的打分范圍(Constantscoringrange)和前綴式查詢－沒有idf,coord,或者

lengthNorm因子，對查詢匹配的詞沒有數(shù)量限制

?函數(shù)查詢(FunctionQuery)-通過關(guān)于一個域的數(shù)值或順序的函數(shù)對打分進(jìn)行影響?性能優(yōu)化

核心

?可插拔的查詢句柄（QueryHandler）和可擴展的XML數(shù)據(jù)格式?使用唯一鍵的域能夠加強文檔唯一性?能夠高效地進(jìn)行批量更新和刪除

?用戶可配置的文檔索引變化觸發(fā)器（命令）?并發(fā)控制的探尋器

?能夠正確處理數(shù)字類型，從而能夠進(jìn)行排序和范圍探尋?能夠控制缺失排序域的文檔?支持探尋結(jié)果的動態(tài)分組

緩存

?可配置的查詢結(jié)果，過濾器，和文檔緩存實例?可插拔的緩存實現(xiàn)

?后臺緩存熱啟：當(dāng)一個新的探尋器被開啟時，可配置的探尋將它熱啟，避免第一個結(jié)果慢

下來，當(dāng)熱啟時，當(dāng)前探尋器處理目前的請求

?后臺自動熱啟：當(dāng)前探尋器緩存中最常訪問的項目在新的探尋器中再次生成，能夠在索引

器和探尋器變化的時候高速緩存常查詢的結(jié)果

?快速和小的過濾器實現(xiàn)?支持自動熱啟的用戶級別的緩存

復(fù)制

?能夠?qū)⑹褂胷sync傳輸時改變的索引部分有效的發(fā)布（rsync是類unix系統(tǒng)下的數(shù)據(jù)

鏡像備份工具）

?使用拉策略(PullStrategy)來簡化增加探尋器

?可配置的發(fā)布間隔能夠允許對時間線和緩存使用進(jìn)行權(quán)衡選擇

管理接口

?能夠?qū)彺媸褂?，更新和查詢進(jìn)行綜合統(tǒng)計

?文本分析調(diào)試器，能夠顯示每個分析器每個階段的結(jié)果

?基于WEB的查詢和調(diào)試輸出：解析查詢輸出，Lucene的explain方法細(xì)節(jié)，能夠解釋

為何某個文檔打分低，被排除在結(jié)果中等等

知識庫目前探尋業(yè)務(wù)功能

多域探尋（多個探尋條件）

1）地市：全省+11地市——目前只有11地市，沒有“全省〞選擇；2）品牌：全球通、動感地帶、神州行、其他品牌、省外移動；

3）欄目：與知識庫欄目目錄樹同步；

4）關(guān)鍵字輸入功能：如我輸入了“金卡干線〞進(jìn)行篩選探尋；

5）文章標(biāo)題、文章關(guān)鍵字、全文檢索：放在關(guān)鍵字輸入的后面，以三個勾選框的形式出

現(xiàn)（即現(xiàn)在探尋中“歷史〞那里那樣），默認(rèn)為“全文檢索〞選中，結(jié)果為正常的文章；6）探尋條件默認(rèn)添加當(dāng)前瀏覽人員兩維瀏覽權(quán)限信息。

探尋結(jié)果統(tǒng)一展示

探尋結(jié)果列表中展示內(nèi)容為，文章標(biāo)題（鏈接形式）、文章靜態(tài)摘要、文章目錄路徑1）最上排保存所有域探尋條件，且記憶點擊探尋時的選項；

2）探尋結(jié)果如下后面增加“正常〞“歷史〞按鈕，同時探尋出正常及歷史文章，默認(rèn)展

現(xiàn)“正常文章〞，點擊“歷史〞按鈕可以切換到歷史文章探尋結(jié)果，同樣可以再次點擊“正常〞切換回來；3）輸出結(jié)果中文章標(biāo)題請用比正文大一號的藍(lán)色粗體顯示，探尋到的關(guān)鍵字請用紅色字

體顯示，其他部分用黑色普通字即可；4）探尋結(jié)果列表中的數(shù)據(jù)已經(jīng)默認(rèn)使用了知識兩維的瀏覽權(quán)限；

5）默認(rèn)排序規(guī)則：文章標(biāo)題＞文章關(guān)鍵字＞全文檢索；同一條件的結(jié)果中（例如都是文

章標(biāo)題探尋出來的）結(jié)果得分一致時還可以增加按文章點擊量等實時條件進(jìn)行排序，可能需要對結(jié)果的屢屢處理需要數(shù)據(jù)庫的協(xié)同；6）支持查詢結(jié)果列表的二次檢索及按各種條件的重新排序；

關(guān)鍵技術(shù)探尋技術(shù)

用戶知識探尋界知管理維護(hù)界查詢方案檢索引擎查詢結(jié)果處理查詢結(jié)果統(tǒng)一展示檢索模塊語義理解中文分詞查詢分析語義理解客服知識詞客服規(guī)則庫界識面知錄入組件審核組件知識抽取組件知識庫優(yōu)化組件知識庫識推理組件系統(tǒng)采用企業(yè)級探尋解決方案Solr的改進(jìn)版[探尋功能加強]。Solr底層的核心技術(shù)

是使用ApacheLucene來實現(xiàn)的，簡單的說Solr是Lucene的服務(wù)器化。Solr并不是簡單的對Lucene進(jìn)行封裝，它所提供的大部分功能都區(qū)別于Lucene，它支持層面探尋、命中醒目顯示和多種輸出格式。

探尋結(jié)果默認(rèn)評分算法

Lucene默認(rèn)得分公式的解釋

因素tf(tind)idf(t)boost(t.fieldind)lengthNorm(t.fieldind)在公式中的作用描述詞條t在文檔d中出現(xiàn)的詞頻詞條t在文檔中的倒排詞頻在索引過程中設(shè)置的字段參數(shù)字段的標(biāo)準(zhǔn)化值，說明在字段中存儲了多少詞條，這個數(shù)值是在索引過程中計算出來的，并且也存儲在索引中coord(q,d)協(xié)調(diào)因子，它的計算是基于文檔d中所包含的所有可供查詢的詞條數(shù)量queryNorm(q)在給出每個查詢條目的方差和后，計算某查詢的標(biāo)準(zhǔn)化值初始化Document后，使用了Document的setBoost方法來改變一下文檔的boost因子。這種做法的實際目的是將文檔的得分乘以這個因子，以這個新的數(shù)作為文檔的得分。

探尋結(jié)果的的二次排序

由于存在查詢結(jié)果的緩存，因此可以對查詢結(jié)果進(jìn)行二次處理，可以依照某個域的

升序或降序排序(例如按審核日期的降序排列，按點擊量的降序排列等等)；假使處理這些緩存數(shù)據(jù)比較難受(對于應(yīng)用來說)，還可以結(jié)