大數(shù)據(jù)應(yīng)用系統(tǒng)監(jiān)控與日志

大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分析1/13/2023目錄網(wǎng)易有道簡介在線服務(wù)監(jiān)控離線日志分析1/13/2023有道的發(fā)起者是一群執(zhí)著于搜索技術(shù)的年輕人，我們發(fā)現(xiàn)中文網(wǎng)絡(luò)中的搜索還遠(yuǎn)未達(dá)到理想，所以希望通過我們現(xiàn)在和將來的努力，把設(shè)想中的服務(wù)一點(diǎn)點(diǎn)變成現(xiàn)實(shí)，分享給大家使用，讓你更快一秒找到想要的好東西。關(guān)于有道1/13/2023有道產(chǎn)品搜索類1/13/2023有道產(chǎn)品翻譯類其他產(chǎn)品1/13/2023在線監(jiān)控與離線分析1/13/2023設(shè)計(jì)原則不影響正常服務(wù)水表不能把水堵了通用性如果不夠通用…1/13/20231/13/2023目錄有道產(chǎn)品簡介在線服務(wù)監(jiān)控離線日志分析1/13/2023在線服務(wù)監(jiān)控訪問控制系統(tǒng)性能監(jiān)控系統(tǒng)異常報(bào)警系統(tǒng)12/31/2022訪問控制制系統(tǒng)主要目的的：防止止非用戶戶抓取沖擊系統(tǒng)統(tǒng)服務(wù)影響訪問問統(tǒng)計(jì)非法使用用數(shù)據(jù)挑戰(zhàn)靈活的控控制規(guī)則則減小對產(chǎn)產(chǎn)品服務(wù)務(wù)的影響響12/31/2022訪問控制規(guī)則則過濾規(guī)則Key:Header字段，parameterKey:正則表達(dá)式例子：Ip=123\.45\..*,agent=“firefox.*”頻度控制統(tǒng)計(jì)時(shí)間（span）次數(shù)的閾值（（threshold）例子：span:3600000threshold:100012/31/2022訪問控制系系統(tǒng)總體結(jié)構(gòu)旁路統(tǒng)計(jì)規(guī)則封禁訪問控制服服務(wù)器維護(hù)規(guī)則庫庫按規(guī)則進(jìn)行行統(tǒng)計(jì)為產(chǎn)品生成成封禁列表表產(chǎn)品服務(wù)端端轉(zhuǎn)發(fā)請求同步封禁列列表實(shí)施訪問控控制12/31/2022訪問控制系系統(tǒng)12/31/2022性能監(jiān)控系系統(tǒng)功能：實(shí)時(shí)時(shí)統(tǒng)計(jì)服務(wù)務(wù)中的性能能參數(shù)如處理時(shí)間間、吞吐率率等特點(diǎn)通用性集中的數(shù)據(jù)據(jù)分析與存存儲直觀的展現(xiàn)現(xiàn)方式12/31/2022性能監(jiān)控的的需求通用性各種產(chǎn)品不不同的需求求自定的統(tǒng)計(jì)計(jì)量不同的編程程語言性能要求減小對產(chǎn)品品服務(wù)的影影響大數(shù)據(jù)量的的分析與存存儲12/31/2022監(jiān)控系統(tǒng)的的設(shè)計(jì)松耦合通過日志文文件交換數(shù)數(shù)據(jù)文本格式自定義統(tǒng)計(jì)計(jì)量<產(chǎn)品名,變量名,取值>的三元組大數(shù)據(jù)量多分辨率壓壓縮存儲12/31/2022監(jiān)控控系系統(tǒng)統(tǒng)結(jié)結(jié)構(gòu)構(gòu)圖圖12/31/202212/31/202212/31/2022異常常報(bào)報(bào)警警系系統(tǒng)統(tǒng)功能能自動動篩篩查查日日志志中中的的Exception發(fā)現(xiàn)現(xiàn)問問題題自自動動發(fā)發(fā)信信報(bào)報(bào)警警優(yōu)點(diǎn)點(diǎn)通用用性性強(qiáng)強(qiáng)使用用簡簡單單12/31/2022目錄錄有道道產(chǎn)產(chǎn)品品簡簡介介在線線服服務(wù)務(wù)監(jiān)監(jiān)控控離線線日日志志分分析析12/31/2022離線日志統(tǒng)計(jì)計(jì)主要的目的用戶使用習(xí)慣慣用戶對產(chǎn)品的的好感度系統(tǒng)運(yùn)行狀態(tài)態(tài)市場推廣情況況12/31/2022日志收集集中的日志服服務(wù)器產(chǎn)品的服務(wù)器器是分布式的的，需要統(tǒng)一一分析所有產(chǎn)品公用用，降低運(yùn)營營復(fù)雜度大數(shù)據(jù)量存儲儲服務(wù)器建立本本地緩存最終保存在分分布式文件系系統(tǒng)中壓縮存儲防止日志丟失失支持備份服務(wù)務(wù)器分布式文件系系統(tǒng)保證可靠靠性12/31/2022日志收集系統(tǒng)統(tǒng)12/31/2022日志分析主要的挑戰(zhàn)超大數(shù)據(jù)量運(yùn)算時(shí)間的要要求組合統(tǒng)計(jì)解決方法分布式計(jì)算12/31/2022分布式分析程程序12/31/2022常規(guī)統(tǒng)統(tǒng)計(jì)訪問量量時(shí)間地域用戶新用戶戶：推推廣與與傳播播的效效果老用戶戶：真真正使使用這這個(gè)產(chǎn)產(chǎn)品功能切切換頁面切切換產(chǎn)品切切換12/31/2022一些有有意思思的統(tǒng)統(tǒng)計(jì)規(guī)規(guī)律周末與與非周周末什么時(shí)時(shí)候流流量更更大？？12/31/2022周末與與非周周末工具（（網(wǎng)頁頁搜索索、海海量詞詞典））vs娛樂（（視頻頻搜索索、音音樂搜搜索））平時(shí)需需要工工具，，周末末需要要娛樂樂12/31/2022一些有有意思思的統(tǒng)統(tǒng)計(jì)規(guī)規(guī)律不同的的時(shí)段段訪問問有區(qū)區(qū)別嗎嗎？搜索和和吃飯飯的關(guān)關(guān)系？？12/31/2022工具vs娛樂白天需需要工工具，，晚上上需要要放松松12/31/2022公網(wǎng)vs教育網(wǎng)網(wǎng)白領(lǐng)和和中小小學(xué)生生要早早睡，，大學(xué)學(xué)生都都是夜夜貓子子12/31/2022更多的分析析《有道閱讀的的12個(gè)有趣的發(fā)發(fā)現(xiàn)》訂閱博客范范圍，新老老各有地盤盤職業(yè)和閱讀讀習(xí)慣閱讀真的變變成快餐了了明星博客，，各領(lǐng)風(fēng)騷騷三兩天大