課程二十二、lucene4.x實戰(zhàn)類baidu搜索的大型海量系統(tǒng)課件15lucene高級進階1

北風網(wǎng)項目培訓講師：tom5（北風網(wǎng)版權所有)第十五講Lucene高級進階在索引中清除Document盡管大多程序關心的是添加Document到Lucene索引中，一些也需要清除它們。例如，報紙出版社可能只想在可搜索的索引中保留最近一個周的有價值的新聞。另外的程序可能想清除所有包含特定單詞的Document。Document的刪除是在lucene4中是在IndexWriter中完成的，同老版本有的很大的不同iwriter.deleteDocuments(newTerm("content","aork"));QueryParserparser=newQueryParser(Version.LUCENE_43,"content",analyzer);Queryquery=parser.parse("work");iwriter.deleteDocuments(query);代碼實戰(zhàn)：

DelDocInRAM.javamaxDoc()和numDocs()IndexReader經(jīng)?；煜膬蓚€方法的不同：maxDoc()和numDocs()。maxDoc()返回下一個可用的內(nèi)部Document號，numDocs()返回索引中的Document的數(shù)目。numDocs()能夠立即感知到Document的刪除，而maxDoc()不能。每個Lucene的Document有個唯一的內(nèi)部編號。這些編碼不是永久分配的，因為Lucene索引分配時在內(nèi)部重新分配Document的編號。因此，你不能假定一個給定的Document總是擁有同一個Document編號。更新索引中的Documentiwc.setOpenMode(OpenMode.CREATE_OR_APPEND);writer.updateDocument(newTerm("path",updateFilePath),doc);代碼實戰(zhàn)：UpdateDocInRAM.javaCreateIndexFile.javaDelDocIndexFile.javaUpdateDocIndexFile.javaSearchIndexFile.java分頁搜索的實現(xiàn)Lucene結果查詢的特殊性：1.無法確認總共多少條結果，只能逐頁往后翻頁，直到查不到結果為止2.最開始的100條結果最常用，檢索效率較高，所以100條以內(nèi)的翻頁，先抓去100條結果。查看代碼樣例：PageSearchIndexFile.javaPageCreateIndexFile.java第七章：排序Lucene默認按照文檔得分進行排序Luceneusesthisformulatodetermineadocumentscorebasedonaquery.tf(tind)詞條t在文檔d中出現(xiàn)的詞頻idf(t)詞條t在文檔中的倒排詞頻boost(t.fieldind)在索引過程中設置的字段參數(shù)lengthNorm(t.fieldind)字段的標準化值，表明在字段中存儲了多少詞條，這個數(shù)值是在索引過程中計算出來的，并且也存儲在索引中coord(q,d)協(xié)調(diào)因子，它的計算是基于文檔d中所包含的所有可供查詢的詞條數(shù)量queryNorm(q)在給出每個查詢條目的方差和后，計算某查詢的標準化值explain方法publicExplanationexplain(Query

query,int

doc)該方法返回一個Explanation類型的對象。Explanation類的toString方法提供的信息，能否將一個文檔的得分情況詳細的例舉出來。Stringexplain=searcher.explain(query,hits.id(i)).toString();System.out.println(explain);改變文檔的得分除了內(nèi)置的得分算法外，Lucene還提供了一種方法來改變每個文檔的得分。初始化Document后，可以使用Document的setBoost方法來改變一下文檔的boost因子。這種做法的實際目的是將文檔的得分乘以這個因子，以這個新的數(shù)作為文檔的得分。publicvoidsetBoost(float

boost)Setsaboostfactorforhitsonanyfieldofthisdocument.Thisvaluewillbemultipliedintothescoreofallhitsonthisdocument.ValuesaremultipliedintothevalueofFieldable.getBoost()ofeachfieldinthisdocument.Thus,thismethodineffectsetsadefaultboostforthefieldsofthisdocument.給Document加分默認情況下，所有的Document都沒有加分增量――或者更恰當?shù)卣f，它們都有相同的加分因數(shù)1.0。通過改變某個Document的加分因數(shù)，你可能讓Lucene認為它比索引中的其他Document更重要或不重要。執(zhí)行這些的API只需一個方法，setBoost(float)Documentdoc=newDocument();……doc.setBoost(1.5);……writer.addDocument(doc);Field加分就象你可以增量Document一樣，你也可以增量個別的字段。當你增量Document時，Lucene內(nèi)部使用相同的增量因數(shù)增量它的每個字段。field.setBoost(1.2);sort排序如何對某個特定的field進行排序?實例化一個Sort對象，并使用Searcher的Search(Query,Sort)方法。org.apache.lucene.search.Searcher

search(Query

query,Sort

sort)

R.apache.lucene.search.Sort

Sort(String

field)

Sortsbythetermsinfieldthenbyindexorder(documentnumber).Sort(String

field,boolean

reverse)

Sortspossiblyinreversebythetermsinfieldthenbyindexorder(documentnumber).Sort(String[]

fields)

Sortsinsuccessionbythetermsineachfield.SortFieldSortField構造方法publicSortField(String

field,int

type,boolean

reverse)

org.apache.lucene.search.Sort

Sort(SortField

field)

SortsbythecriteriainthegivenSortField.Sort(SortField[]

fields)

SortsinsuccessionbythecriteriaineachSortField.課堂練習：加入排序功能第八章：過濾搜索的過濾器搜索的過濾器可以減小搜索的范圍，即使搜索的結果匹配，但由于文檔已經(jīng)被過濾，所以仍然不會返回給客戶。比如可以用它來實現(xiàn)一種機制，保護某些文檔沒法被檢索到。所有的過濾器都來自一個抽象的基類org.apache.lucene.search.Filter

publicabstractBitSetbits(IndexReader

reader)throwsIOExceptionjava.util.BitSet此類實現(xiàn)了一個按需增長的位向量。位set的每個組件都有一個boolean值.java.util.BitSet

類提供了一個publicBitSet(int

nbits)構造方法創(chuàng)建一個位set，它的初始大小足以顯式表示索引范圍在0到nbits-1的位。所有的位初始均為false。Lucene以兩種取值(true、false)來代表文檔是否被過濾idx1234567891011121314值FTFTTFTTFFTTFF一個簡單的Filter共設置3中安全級別，要求將安全級別最高的文檔過濾掉SECURITY_ADVANCED=0，SECURITY_MIDDLE1，SECURITY_NORMAL=2，public

classAdvancedSecurityFilterextendsFilter{public

static

final

int

SECURITY_ADVANCED=0;//安全級別的常量

publicBitSetbits(IndexReaderreader)throwsIOException{finalBitSetbits=newBitSet(reader.maxDoc());//首先初始化一個BitSet對象

bits.set(0,bits.size()-1);//先將整個集合置為true,表示當前集合內(nèi)的所有文檔都是可以檢索到的.Termterm=newTerm("securitylevel",SECURITY_ADVANCED+"");//最高安全級別.TermDocstermDocs=reader.termDocs(term);//從索引中取出最高安全級別的文檔

while(termDocs.next()){bits.set(termDocs.doc(),false);//遍歷每一個文檔,將相應的set置為false}returnbits;}}一個簡單的Filter的另一種實現(xiàn)方法上一個例子中,使用了IndexReader的較底層的API,還可以在bits方法中進行一次查詢,來獲得想要的結果.public

classAdvancedSecurityFilterextendsFilter{ public

static

final

int

SECURITY_ADVANCED=0;//安全級別的常量

publicBitSetbits(IndexReaderreader)throwsIOException{ finalBitSetbits=newBitSet(reader.maxDoc());//首先初始化一個BitSet對象

bits.set(0,bits.size()-1);//先將整個集合置為true,表示當前集合內(nèi)的所有文檔都是可以檢索到的. Termterm=newTerm("securitylevel",SECURITY_ADVANCED+"");//最高安全級別. //初始化一個IndexSearcher對象, //查找securitylevel這個field的值是SECURITY_ADVANCED的文檔

IndexSearchersearcher=newIndexSearcher(reader); Hitshits=searcher.search(newTermQuery(term)); for(inti=0;i<hits.length();i++){ bits.set(hits.id(i),false);//遍歷每一個文檔,將相應的set置為false

} returnbits; }}一個簡單的Filter:在搜索時應用過濾器org.apache.lucene.search.Searcher

提供了在檢索中應用Filter的方法publicHitssearch(Query

query,Filter

filter)……publicHitssearch(Query

query,Filter

filter,Sort

sort)Hitshits=searcher.search(q,newAdvancedSecurityFilter());內(nèi)置的過濾器org.apache.lucene.search.Filter

提供了幾個內(nèi)置的過濾器DirectKnownSubclasses:

BooleanFilter,CachingWrapperFilter,ChainedFilter,ModifiedEntryFilter,PrefixFilter,QueryWrapperFilter,RangeFilter,RemoteCachingWrapperFilter,TermsFilterRangeFilterRangeFilter用于將檢索結果限定在某個給定的Field值的范圍內(nèi)publicRangeFilter(String

fieldName,String

lowerTerm,String

upperTerm,boolean

includeLower,boolean

includeUpper)fieldName-field名稱lowerTerm–范圍下界upperTerm–范圍上屆includeLower–下屆是否包含在范圍內(nèi)includeUpper–上屆是否包含在范圍內(nèi)RangeFilter提供了靜態(tài)方法來得到”無上邊界/無下邊界”的RangeFilter.publicstaticRangeFilterLess(String

fieldName,String

upperTerm)publicstaticRangeFilterMore(String

fieldName,String

lowerTerm)R