基于實(shí)時(shí)日志收集系統(tǒng)在運(yùn)維的實(shí)踐

1、基于實(shí)時(shí)日志收集系統(tǒng)在運(yùn)維的實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)架構(gòu)與概況實(shí)踐講解遇到的問題目 錄?Q&AQ01架構(gòu)與概況1. 手機(jī)微博MAPI日志系統(tǒng)概況.服務(wù)于微博手機(jī)客戶端的服務(wù)端.服務(wù)于微博客戶端視頻服務(wù).服務(wù)于微博客戶端基礎(chǔ)架構(gòu).服務(wù)于用戶增長(zhǎng).服務(wù)于手機(jī)微博MAPI的SLA及KPI1.1 手機(jī)微博MAPI日志架構(gòu)rsyslog數(shù)據(jù)流Kafka應(yīng)用rsyslogrsyslog應(yīng)用rsyslog應(yīng)用第三方ES KafkaHangoutES集群數(shù)據(jù)池統(tǒng)計(jì)部門統(tǒng)計(jì)部門rsyslog應(yīng)用Spark Stream ngHDFS第三方KibanaES實(shí)時(shí)API服務(wù)離線 Sparks a結(jié)果集Kafka實(shí)時(shí)晌應(yīng)

2、相關(guān)服務(wù)統(tǒng)計(jì)應(yīng)用其他應(yīng)用rsyslog02實(shí)踐講解2.實(shí)踐講解.對(duì)于最基本的一些問題的查詢.鏈路監(jiān)控.從客戶端角度對(duì)服務(wù)端進(jìn)行性能分析.客戶端視頻多維度間的計(jì)算.ES實(shí)時(shí)API服務(wù).成本核算2.實(shí)踐講解.鏈路監(jiān)控.總體情況判斷七層，webserver，后端接口超時(shí)情況2.實(shí)踐講解我方一個(gè)接口平均時(shí)長(zhǎng)報(bào)警需要判斷是第三方哪個(gè)接口引起的2.實(shí)踐講解我方一個(gè)接口平均時(shí)長(zhǎng)報(bào)警需要判斷是第三方哪個(gè)接口引起的2.實(shí)踐講解.Webserver層與第三方調(diào)用層有相同維度.使用Webserver層URL作為兩層共用的key2.實(shí)踐講解.鏈路監(jiān)控.具體情況通過兩層共有的sessionID，標(biāo)記用戶鏈路2.實(shí)踐講解

3、.從客戶端角度對(duì)服務(wù)端進(jìn)行性能分析.服務(wù)于服務(wù)端性能調(diào)優(yōu).AB調(diào)優(yōu)對(duì)比.從用戶角度分析延時(shí)問題2.實(shí)踐講解.從客戶端角度對(duì)服務(wù)端進(jìn)行性能分析.本地等待時(shí)間.dns查詢時(shí)間.tcp建立連接時(shí)間.ssl握手時(shí)間.發(fā)送上行數(shù)據(jù)時(shí)間.等待服務(wù)器響應(yīng)時(shí)間.讀取header時(shí)間.讀取body時(shí)間2.實(shí)踐講解.從客戶端角度對(duì)服務(wù)端進(jìn)行性能分析2.實(shí)踐講解.從客戶端角度對(duì)服務(wù)端進(jìn)行性能分析.AB調(diào)優(yōu)對(duì)比2.實(shí)踐講解.客戶端視頻多維度間的計(jì)算.Timelion.支持不同維度的計(jì)算.函數(shù)式的語(yǔ)法.豐富的展現(xiàn)形式.提供了多種函數(shù)2.實(shí)踐講解.客戶端視頻多維度間的計(jì)算.首貞錯(cuò)誤率例：首貞錯(cuò)誤率 = 首貞錯(cuò)誤量 總量.

4、es(index=logstash-video-*, q=video_firstframe_status:error).divide(.es(index=logstash-video-*).mvavg(20)2.實(shí)踐講解.客戶端視頻多維度間的計(jì)算.首貞錯(cuò)誤率例：首貞錯(cuò)誤率 = 首貞錯(cuò)誤量 總量.es(index=logstash-video-*, q=video_firstframe_status:error).divide(.es(index=logstash-video-*).points().label(首貞錯(cuò)誤率).title(視頻錯(cuò)誤率點(diǎn)圖)2.實(shí)踐講解.客戶端視頻多維度間的計(jì)算.首

5、貞錯(cuò)誤率例：首貞錯(cuò)誤率 = 首貞錯(cuò)誤量 總量. (.es(index=logstash-video-*, q=video_firstframe_status:error).divide(.es(index=logstash-video-*).derivative().mvavg(20).label(今日首貞錯(cuò)誤率),.es(index=logstash-video-*, q=video_firstframe_status:error offset=-1d).divide(.es(index=logstash-video-* offset=-1d).derivative().mvavg(20).

6、label(昨日首貞錯(cuò)誤率).title(視頻錯(cuò)誤率點(diǎn)圖)2.實(shí)踐講解.ES實(shí)時(shí)API服務(wù)解決用戶對(duì)ES集群數(shù)據(jù)直接查詢的需求封裝ES復(fù)雜的查詢語(yǔ)法并優(yōu)化語(yǔ)法 避免ES升級(jí)帶來(lái)的語(yǔ)法變化可以監(jiān)控用戶的行為增強(qiáng)ES集群可控性資源使用透明2.實(shí)踐講解.ES實(shí)時(shí)API服務(wù)權(quán)限方面app_name app_key集群 索引2.實(shí)踐講解.ES實(shí)時(shí)API服務(wù)具體語(yǔ)法ES: metrics() aggregation(aggregation(aggregation(.)MYSQL: select metrics from table where key=value group by SINAOPSESRES

7、T:size: 10, agg_key: desc,indexName: logstash-mweibo-, fields: programname: v4-nginx-error-waf, waftype: error,host: *xxxx*, query_string:video_valid_play_duration:3000,timestamp:now-1d/2016-11-19-20-302016-11-19-21-30,timeFormat:day/month, avg/min/max/uniq/sum/percent:xxxx, isDetail:yes,app_name:xx

8、xxx,app_key:xxxxxxx2.實(shí)踐講解.ES實(shí)時(shí)API服務(wù)具體應(yīng)用：客戶端crash實(shí)時(shí)計(jì)算分析平臺(tái) 各省份地區(qū)實(shí)時(shí)監(jiān)控及調(diào)度報(bào)警聚合大屏監(jiān)控作為動(dòng)態(tài)擴(kuò)容驅(qū)動(dòng)因子2.實(shí)踐講解2.實(shí)踐講解2.實(shí)踐講解2.實(shí)踐講解2.實(shí)踐講解03遇到的問題3.遇到的問題.日志丟失問題.ES集群監(jiān)控問題.ES服務(wù)器質(zhì)量不均衡問題.Rsyslog中轉(zhuǎn)到Kafka隊(duì)列的架構(gòu)遷移.Kafka的監(jiān)控與管理3.遇到的問題.日志丟失與延時(shí)問題Rsyslog impstats模塊可以對(duì)每一個(gè)發(fā)送的事件進(jìn)行監(jiān)控3.遇到的問題. ES集群監(jiān)控問題 thread poolbulk_active bulk_queue search_activesearch_queue loadheap disk各種buffernode count slow log3.遇到的問題. ES集群監(jiān)控問題3.遇到的問題. ES集群監(jiān)控問題3.遇到的問題. ES服務(wù)器質(zhì)量不均衡問題根據(jù)不同機(jī)器的回歸負(fù)載情況對(duì)機(jī)器上的分片進(jìn)行預(yù)遷移根據(jù)業(yè)務(wù)不同進(jìn)行預(yù)分布，保證獨(dú)立資源服務(wù)獨(dú)占自己的資源池， 共享用戶使用公用資源。3.遇到的問題. Rsyslog中轉(zhuǎn)到Kafka隊(duì)列