Elasticsearch遇上BERT：使用Elasticsearch和BERT構(gòu)建搜索引擎

1、ElasticsearchBERTElasticsearchBERT構(gòu)建搜索引擎作者：Hironsan編譯：ronghuaiyang導(dǎo)讀強強聯(lián)合，看看是否能有1+12的效果。在這篇章中，我們使個預(yù)先訓(xùn)練好的BERT模型和Elasticsearch來構(gòu)建個搜索引擎。Elasticsearch最近發(fā)布了帶有量字段的本相似性搜索。另，你可以使BERT將本轉(zhuǎn)換為固定長度的向量。旦我們通過BERT將檔轉(zhuǎn)換成向量并存儲到Elasticsearch中，我們就可以使Elasticsearch和BERT搜索類似的檔。本使Elasticsearch和BERT按照以下架構(gòu)實現(xiàn)了個搜索引擎。這，我們使Docker將整

2、個系統(tǒng)劃分為三個部分：application,BERT和Elasticsearch。這樣做的的是為了更容易地擴(kuò)展每個服務(wù)。系統(tǒng)架構(gòu)1. 下載預(yù)訓(xùn)練 BERT模型先，下載個預(yù)先訓(xùn)練好的BERT模型。以下命令是下載英版本的例：$ wget /bert_models/2018_10_18/cased_L-12_H-768_A-12.zip$ unzip cased_L-12_H-768_A-12.zip2. 設(shè)置環(huán)境變量你需要設(shè)置個預(yù)先訓(xùn)練好的BERT模型和Elasticsearch的索引名作為環(huán)境變量。這些變量在Docker容器中使。下的例將jobsearch指定為索引名，以及./cased_L-

3、12_H-768_A-12為模型路徑：$ export PATH_MODEL=./cased_L-12_H-768_A-12$ export INDEX_NAME=jobsearch3. 啟動Docker容器現(xiàn)在，我們使Docker compose來啟動Docker容器。這要啟動三個容器：application容器、BERT容器和Elasticsearch容器。$ docker-compose up注意，我建議你分配更多的內(nèi)存(超過8GB)給Docker。因為BERT容器需要內(nèi)存。4. 創(chuàng)建Elasticsearch索引您可以使create index API向Elasticsearch集群添

4、加新的索引。創(chuàng)建索引時，你可以指定以下內(nèi)容：設(shè)置索引索引中字段的映射索引別名例如，如果你想創(chuàng)建帶有“title”、“text”和“text_vector”字段的“jobsearch”索引，可以通過以下命令創(chuàng)建索引：# index.jsonmappings: dynamic: true,_source: enabled: true,properties: title: type: text,text: type: text,text_vector: type: dense_vector,dims: 768注意：text_vectordims值必須與預(yù)先訓(xùn)練的BERT模型的dims匹配。5. 創(chuàng)建

5、檔旦創(chuàng)建了索引，就可以為某個檔建索引了。這的要點是使BERT將檔轉(zhuǎn)換為向量。得到的向量存儲在text_vector字段中。讓我們把你的數(shù)據(jù)轉(zhuǎn)換成個JSON檔：Title,DescriptionSoftware Developer,lorem ipsumChief Financial Officer,lorem ipsumGeneral Manager,lorem ipsumNetwork Administrator,lorem ipsum腳本執(zhí)完成后，可以得到如下的JSON檔：_op_type: index, _index: jobsearch, text: lorem ipsum, titl

6、e: Saleswoman, text_vector: ._op_type: index, _index: jobsearch, text: lorem ipsum, title: Software Developer, text_vector: ._op_type: index, _index: jobsearch, text: lorem ipsum, title: Chief Financial Officer, text_vector: .6. 索引檔將數(shù)據(jù)轉(zhuǎn)換成JSON后，可以向指定的索引添加個JSON檔，并使其可搜索。$ python example/index_documents.py7. 打開瀏覽器總結(jié)在這篇章中，我們使E