爬蟲項目二-參考solr管理界面

solrsolr服務(wù)器管理界面可以查看系統(tǒng)狀態(tài)、solr索引、增減core、查看日志等。))solr時間、solr顯示solrCoreAdmin(core主要有Add主要有AddCore)，Unload（AddCorecoreinstanceDir一個perties文件namecoreinstanceDir：跟solr_homecoredataDir:確認AddCore時，會在new_core 下生成名為data的config：new_core中的conf 下的config配置文件schema:new_coreconf下的schema確認AddCorenew_core下生成perties文件。Java可查看到JavaCoreSelecter(core需要在CoreAdmincore好的collection1為例。 檢驗分詞效果：我們對tvname詞,取決于在schema.xml文件里,配置該字段時的type是否為配置的分詞器類型text_ik)，tvname字段的分詞配置如下所示。<!--把需要分詞的字段，設(shè)置為text_ik<fieldname="tvname"type="text_ik"indexed="true"stored="true"/><!--配置分詞器--><fieldTypename="text_ik" yzertype="index"isMaxWordLength="false" yzertype="query"isMaxWordLength="true" s（索引文檔）增加一個索引tvname首先在schema.xml<field type="text_ik"indexed="true"stored="true"選擇/update，文檔格式選擇json，然后submit修改與增加索引都是/update操作,刪除索引為/delete操作。queryRequest-Handler(qt):操作類型(update\delete)。 TypeJSON、XML (s):添加具體的索引內(nèi)容。CommitWithin:索引在規(guī)定時間內(nèi)提交。Overwrite:值為trueidfalse，如果idBoost:版本。5.5Files 查詢結(jié)果需要顯示的字段,需要在schema.xml的stored屬性設(shè)為true。Request-Handler(qt):select查詢請求。q:查詢字符串。sort:排序。fl:fieldlistdf:defaultfieldRawQueryParameters:查詢參數(shù)設(shè)置wt:writetype指定查詢輸出結(jié)果格式indent:返回的結(jié)果是否縮進，默認關(guān)閉，用indent=true|on開啟，一般調(diào)試json,php,phps,ruby輸出才有必要用這個參數(shù)。debugQueryDebugdismax:設(shè)置權(quán)重相關(guān)。edismax:設(shè)置權(quán)重相關(guān)hl:highlight高亮顯示。hl=truehl.fl：用空格或逗號隔開的字段列表（指定高亮顯示的字段）hl.simple.pre：hl.requireFieldMatchtrue，字段的查詢結(jié)果不為空才會被通配符匹配的term會高亮。facetFacetfacet.query：FacetQuery利用類似于filter。query更為靈活的Facet。通過facet.query參數(shù)，可以對任意字段進行篩facet.prefix：表示Facet字段值的前綴。比如 ，那么對cpu字段進行Facet查詢，返回的cpu都是以In 開頭的，AMD開頭的cpu型號將不會spatial:solr的空間檢索。spellcheck:拼寫檢查。solr配置文件schema.xml詳解schema.xml位于solr/conf/下，類似于數(shù)據(jù)庫配置文件，定義type、fields<!--保留字段，不能刪除，否則報錯--><fieldname="_version_"type="long"ue" <fieldname="_root_"type="string"indexed="true"type：FieldType<field type="string"indexed="true"<field type="string"indexed="true"<field type="string"indexed="true"<field type="string"indexed="true"<field type="string"indexed="true"<field type="string"indexed="true"<!--建立一個整合字段，將所有的全文本字段到一個字段中，以便進行統(tǒng)一的檢索--><fieldame="text"type="text_general"indexed="true"stored="false"multiValued="true"/><!-拷貝需要索引的字段到整合字段中--><copyFieldsource="tvname"<!--文,否IK<!--添加IK詞--><fieldTypename="text_ik" yzertype="index"isMaxWordLength="false"class="org.wltea. yzertype="query"isMaxWordLength="true"class="org.wltea. IK<!--把需要分詞的字段，設(shè)置為text_ik<fieldname="tvname"type="text_ik"indexed="true"FieldTypenameFieldTypeclass：指向org.apache.solr. ysis包里面對應(yīng)的class名稱，用來<fieldTypename="string"class="solr.StrField"sortMissingLast="true"<fieldTypename="boolean"class="solr.BoolField"FieldType<dynamicField <dynamicFieldname="*_is"type="int" FiledType<fieldTypename="text_general"class="solr.TextField"<!--添加索引分詞 yzer<tokenizer<!--停用詞處理<filterclass="solr.StopFilterFactory"ignoreCase="true"<!--大小寫處理<filter <!--查詢索引分詞 yzer<tokenizer<!--停用詞處理<filterclass="solr.StopFilterFactory"ignoreCase="true"<!--同義詞處理<filterclass="solr.SynonymFilterFactory"synonyms="synonyms.txt"ignoreCase="true"expand="true"/><!--大小寫處理<filter Solrmysqlsolrmysql的storm向receivelog打開solrcore中conf 下的solrconfig.xml配置文件，添加如<lst<!—data-config.xml配置文件名稱跟后面新建文件名一<strname="config">data-<!—name稱可以隨意取--><requestHandlername="/mysqlimport"在相 下新建一個data-config.xml文件，添加如下內(nèi)容driver：mysqlurl：mysqlurl querysolr<?xmlversion="1.0"encoding="UTF-8" <dataSourcetype="JdbcDataSource"password="111111" <entityquery="selectid,loc,sex,ptfromreceivelog 找到Solr下的dist ，將solr-dataimporthandler-4.10.0.jar和solr-dataimporthandler-extras-4.10.0.jar兩個jar包拷貝到tomcat中的solr項目中。mysqljdbcjar包并拷貝到tomcat中的solr77.進入solrcore<field type="int"indexed="true" multiValued="false"<field type="int"indexed="true"<field type="string"indexed="true"<field type="int"indexed="true"8.打開solrwebmysqlSolr配置中文分詞:jar將ikjarsolr項目的libschema.xml<!—添加ik分詞器<fieldTypena