大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分析

1、大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分析1/15/2020目錄網(wǎng)易有道道簡介在線服務(wù)務(wù)監(jiān)控離線日志志分析1/15/2020有道的發(fā)發(fā)起者是是一群執(zhí)執(zhí)著于搜搜索技術(shù)術(shù)的年輕輕人，我我們發(fā)現(xiàn)現(xiàn)中文網(wǎng)網(wǎng)絡(luò)中的的搜索還還遠(yuǎn)未達(dá)達(dá)到理想想，所以以希望通通過我們們現(xiàn)在和和將來的的努力，把設(shè)想想中的服服務(wù)一點(diǎn)點(diǎn)點(diǎn)變成成現(xiàn)實(shí)，分享給給大家使使用，讓讓你更快一秒秒找到想要要的好東東西。關(guān)于有道道1/15/2020有道產(chǎn)品品搜索類1/15/2020有道產(chǎn)品品翻譯類其他產(chǎn)品品1/15/2020在線監(jiān)控控與離線線分析1/15/2020設(shè)計(jì)原則則不影響正正常服務(wù)務(wù)水表不能能把水堵堵了通用性如果不夠夠通用1/15/20201/15

2、/2020目錄有道產(chǎn)品品簡介在線服務(wù)務(wù)監(jiān)控離線日志志分析1/15/2020在線服務(wù)務(wù)監(jiān)控訪問控制制系統(tǒng)性能監(jiān)控控系統(tǒng)異常報(bào)警警系統(tǒng)1/15/2020訪問控制制系統(tǒng)主要目的的：防止止非用戶戶抓取沖擊系統(tǒng)統(tǒng)服務(wù)影響訪問問統(tǒng)計(jì)非法使用用數(shù)據(jù)挑戰(zhàn)靈活的控控制規(guī)則則減小對產(chǎn)產(chǎn)品服務(wù)務(wù)的影響響1/15/2020訪問控制制規(guī)則過濾規(guī)則則Key: Header字段，parameterKey:正則表達(dá)達(dá)式例子：Ip=123.45.*,agent=“firefox.*”頻度控制制統(tǒng)計(jì)時(shí)間間（span）次數(shù)的閾閾值（threshold）例子：span:3600000threshold:10001/15/2020訪問

3、控制制系統(tǒng)總體結(jié)構(gòu)構(gòu)旁路統(tǒng)計(jì)計(jì)規(guī)則封禁禁訪問控制制服務(wù)器器維護(hù)規(guī)則則庫按規(guī)則進(jìn)進(jìn)行統(tǒng)計(jì)計(jì)為產(chǎn)品生生成封禁禁列表產(chǎn)品服務(wù)務(wù)端轉(zhuǎn)發(fā)請求求同步封禁禁列表實(shí)施訪問問控制1/15/2020訪問控制制系統(tǒng)1/15/2020性能監(jiān)控控系統(tǒng)功能：實(shí)實(shí)時(shí)統(tǒng)計(jì)計(jì)服務(wù)中中的性能能參數(shù)如處理時(shí)時(shí)間、吞吞吐率等等特點(diǎn)通用性集中的數(shù)數(shù)據(jù)分析析與存儲儲直觀的展展現(xiàn)方式式1/15/2020性能監(jiān)控控的需求求通用性各種產(chǎn)品品不同的的需求自定的統(tǒng)統(tǒng)計(jì)量不同的編編程語言言性能要求求減小對產(chǎn)產(chǎn)品服務(wù)務(wù)的影響響大數(shù)據(jù)量量的分析析與存儲儲1/15/2020監(jiān)控系統(tǒng)統(tǒng)的設(shè)計(jì)計(jì)松耦合通過日志志文件交交換數(shù)據(jù)據(jù)文本格式式自定義統(tǒng)統(tǒng)計(jì)量的三元組

4、組大數(shù)據(jù)量量多分辨率率壓縮存存儲1/15/2020監(jiān)控系統(tǒng)統(tǒng)結(jié)構(gòu)圖圖1/15/20201/15/20201/15/2020異常報(bào)警警系統(tǒng)功能自動篩查查日志中中的Exception發(fā)現(xiàn)問題題自動發(fā)發(fā)信報(bào)警警優(yōu)點(diǎn)通用性強(qiáng)強(qiáng)使用簡單單1/15/2020目錄有道產(chǎn)品品簡介在線服務(wù)務(wù)監(jiān)控離線日志志分析1/15/2020離線日志志統(tǒng)計(jì)主要的目目的用戶使用用習(xí)慣用戶對產(chǎn)產(chǎn)品的好好感度系統(tǒng)運(yùn)行行狀態(tài)市場推廣廣情況1/15/2020日志收集集集中的日日志服務(wù)務(wù)器產(chǎn)品的服服務(wù)器是是分布式式的，需需要統(tǒng)一一分析所有產(chǎn)品品公用，降低運(yùn)運(yùn)營復(fù)雜雜度大數(shù)據(jù)量量存儲服務(wù)器建建立本地地緩存最終保存存在分布布式文件件系統(tǒng)中中壓

5、縮存儲儲防止日志志丟失支持備份份服務(wù)器器分布式文文件系統(tǒng)統(tǒng)保證可可靠性1/15/2020日志收集集系統(tǒng)1/15/2020日志分析析主要的挑挑戰(zhàn)超大數(shù)據(jù)據(jù)量運(yùn)算時(shí)間間的要求求組合統(tǒng)計(jì)計(jì)解決方法法分布式計(jì)計(jì)算1/15/2020分布式分分析程序序1/15/2020常規(guī)統(tǒng)計(jì)計(jì)訪問量時(shí)間地域用戶新用戶：推廣與與傳播的的效果老用戶：真正使使用這個(gè)個(gè)產(chǎn)品功能切換換頁面切換換產(chǎn)品切換換1/15/2020一些有意意思的統(tǒng)統(tǒng)計(jì)規(guī)律律周末與非非周末什么時(shí)候候流量更更大？1/15/2020周末與非非周末工具（網(wǎng)網(wǎng)頁搜索索、海量量詞典）vs娛樂（視視頻搜索索、音樂樂搜索）平時(shí)需要要工具，周末需需要娛樂樂1/15/2020一些有意意思的統(tǒng)統(tǒng)計(jì)規(guī)律律不同的時(shí)時(shí)段訪問問有區(qū)別別嗎？搜索和吃吃飯的關(guān)關(guān)系？1/15/2020工具vs娛樂白天需要要工具，晚上需需要放松松1/15/2020公網(wǎng)vs教育網(wǎng)白領(lǐng)和中中小學(xué)生生要早睡睡，大學(xué)學(xué)生都是是夜貓子子1/15/2020更多的分分析有道閱讀讀的12個(gè)有趣的的發(fā)現(xiàn)訂閱博客客范圍，新老各各有地盤盤職業(yè)和閱閱讀習(xí)慣慣閱讀真的的變成快快餐了明星博客客