Elasticsearch介紹與應(yīng)用PPT課件

1、.,1,Elasticsearch 介紹與應(yīng)用,.,2,mysql檢索的瓶頸,背景：平臺(tái)attention檢索，數(shù)量80萬(wàn)左右 數(shù)據(jù)庫(kù) like %tag% 查詢：接口耗時(shí)1s左右 全表掃描，性能極差 前端體驗(yàn)差,.,3,Elasticsearch 解決方案,將attention批量導(dǎo)入到ES中存儲(chǔ) 使用ES檢索，接口耗時(shí)降到50ms以內(nèi),.,4,應(yīng)用：feed庫(kù)文章標(biāo)題檢索,(title LIKE %wd% AND vertical_type IN (0,1) AND img_num0 ) OR (title LIKE %wd% AND vertical_type IN (14),.,5,E

2、lasticsearch介紹,分布式、可擴(kuò)展、實(shí)時(shí)的搜索與數(shù)據(jù)分析引擎 Apache Lucene 基礎(chǔ)之上 簡(jiǎn)單一致的RESTful API 開(kāi)源，免費(fèi)下載，使用，修改,.,6,安裝,一、安裝要求 jdk至少需要在1.8.0以上版本 linux的內(nèi)核版本需要在2.6以上 二、安裝 下載 wget 解壓 tar 啟動(dòng) ./bin/elasticsearch d 測(cè)試 curl http:/localhost:9200/?pretty,.,7,一些概念,索引(index)：類似于關(guān)系數(shù)據(jù)庫(kù)中的一個(gè)數(shù)據(jù)庫(kù)，一個(gè)索引就是一個(gè)擁有幾分相似特征的文檔的集合 類型(type)：一個(gè)索引中，可以定義一種或多

3、種類型，類似于表 文檔(document)：一個(gè)文檔是一個(gè)可被索引的基礎(chǔ)信息單元，以JSON格式來(lái)表示 分片(shards )：可以將一個(gè)索引劃分成多份，這些份就叫做分片，可以水平分割/擴(kuò)展內(nèi)容容量，進(jìn)行分布式的、并行的操作，進(jìn)而提高性能/吞吐量 復(fù)制(replicas)：創(chuàng)建分片的一份或多份拷貝，這些拷貝叫做復(fù)制分片,.,8,與Elasticsearch交互,curl -X :/:/? -d 集群狀態(tài)curl -XGET localhost:8200/_cluster/health?pretty 計(jì)算集群中文檔的數(shù)量 curl -XGET localhost:8200/_count?pret

4、ty,.,9,插入一條數(shù)據(jù),.,10,簡(jiǎn)單的GET,curl -XGET localhost:8200/megacorp/employee/1?pretty,.,11,簡(jiǎn)單的搜索,curl -XGET localhost:8200/megacorp/employee/_search?pretty curl -XGET localhost:8200/megacorp/employee/_search?q=last_name:Smith&pretty,.,12,復(fù)雜點(diǎn)的搜索,搜索姓氏為 Smith 的雇員，并且年齡大于 30,.,13,全文檢索,.,14,多索引，多類型搜索,/_search：在所

5、有的索引中搜索所有的類型 /tag/_search：在 tag 索引中搜索所有的類型 / tag,cat/_search：在 tag 和cat索引中搜索所有的文檔 /t*,c*/_search：在任何以g或者u開(kāi)頭的索引中搜索所有的類型 / tag /user/_search：在tag索引中搜索user類型 /tag,us/user,op/_search：在tag和us索引中搜索user和op類型 /_all/user,tweet/_search：在所有的索引中搜索user和tweet類型,.,15,分頁(yè),size顯示應(yīng)該返回的結(jié)果數(shù)量，默認(rèn)是10 from顯示應(yīng)該跳過(guò)的初始結(jié)果數(shù)量，默認(rèn)是0

6、 每頁(yè)展示 5 條，可以用下面方式請(qǐng)求得到 1 到 3 頁(yè)的結(jié)果： GET /_search?size=5 GET /_search?size=5&from=5 GET /_search?size=5&from=10,.,16,查詢條件組合,must：文檔必須匹配這些條件才能被包含進(jìn)來(lái)。 must_not：文檔必須不 匹配這些條件才能被包含進(jìn)來(lái)。 should：如果滿足這些語(yǔ)句中的任意語(yǔ)句，將增加_score，否則，無(wú)任何影響。 filter:必須匹配，但它以不評(píng)分、過(guò)濾模式來(lái)進(jìn)行。這些語(yǔ)句對(duì)評(píng)分沒(méi)有貢獻(xiàn)，只是根據(jù)過(guò)濾標(biāo)準(zhǔn)來(lái)排除或包含文檔。,.,17, bool: must: match: title: how to make millions , must_not: match: tag: spam , should: match: tag: starred , range: date: gte: 2014-01-01 ,.,18, bool: must: match: title: how to make millions , mus