大數(shù)據(jù)應(yīng)用系統(tǒng)監(jiān)控與日志2

大數(shù)據(jù)應(yīng)用-系統(tǒng)監(jiān)控與日志分析1/13/2023目錄網(wǎng)易有道簡介在線服務(wù)監(jiān)控離線日志分析1/13/2023有道的發(fā)起者是一群執(zhí)著于搜索技術(shù)的年輕人，我們發(fā)現(xiàn)中文網(wǎng)絡(luò)中的搜索還遠未達到理想，所以希望通過我們現(xiàn)在和將來的努力，把設(shè)想中的服務(wù)一點點變成現(xiàn)實，分享給大家使用，讓你更快一秒找到想要的好東西。關(guān)于有道1/13/2023有道產(chǎn)品搜索類1/13/2023有道產(chǎn)品翻譯類其他產(chǎn)品1/13/2023在線監(jiān)控與離線分析1/13/2023設(shè)計原則不影響正常服務(wù)水表不能把水堵了通用性如果不夠通用…1/13/20231/13/2023目錄有道產(chǎn)品簡介在線服務(wù)監(jiān)控離線日志分析1/13/2023在線服務(wù)監(jiān)控訪問控制系統(tǒng)性能監(jiān)控系統(tǒng)異常報警系統(tǒng)12/31/2022訪問控制系統(tǒng)統(tǒng)主要目的：防防止非用戶抓抓取沖擊系統(tǒng)服務(wù)務(wù)影響訪問統(tǒng)計計非法使用數(shù)據(jù)據(jù)挑戰(zhàn)靈活的控制規(guī)規(guī)則減小對產(chǎn)品服服務(wù)的影響12/31/2022訪問控制規(guī)則則過濾規(guī)則Key:Header字段，parameterKey:正則表達式例子：Ip=123\.45\..*,agent=“firefox.*”頻度控制統(tǒng)計時間（span）次數(shù)的閾值（（threshold）例子：span:3600000threshold:100012/31/2022訪問控制系統(tǒng)統(tǒng)總體結(jié)構(gòu)旁路統(tǒng)計規(guī)則封禁訪問控制服務(wù)務(wù)器維護規(guī)則庫按規(guī)則進行統(tǒng)統(tǒng)計為產(chǎn)品生成封封禁列表產(chǎn)品服務(wù)端轉(zhuǎn)發(fā)請求同步封禁列表表實施訪問控制制12/31/2022訪問控控制系系統(tǒng)12/31/2022性能監(jiān)監(jiān)控系系統(tǒng)功能：：實時時統(tǒng)計計服務(wù)務(wù)中的的性能能參數(shù)數(shù)如處理理時間間、吞吞吐率率等特點通用性性集中的的數(shù)據(jù)據(jù)分析析與存存儲直觀的的展現(xiàn)現(xiàn)方式式12/31/2022性能監(jiān)監(jiān)控的的需求求通用性性各種產(chǎn)產(chǎn)品不不同的的需求求自定的的統(tǒng)計計量不同的的編程程語言言性能要要求減小對對產(chǎn)品品服務(wù)務(wù)的影影響大數(shù)據(jù)據(jù)量的的分析析與存存儲12/31/2022監(jiān)控系系統(tǒng)的的設(shè)計計松耦合合通過日日志文文件交交換數(shù)數(shù)據(jù)文本格格式自定義義統(tǒng)計計量<產(chǎn)品名名,變量名名,取值>的三元元組大數(shù)據(jù)據(jù)量多分辨辨率壓壓縮存存儲12/31/2022監(jiān)控系系統(tǒng)結(jié)結(jié)構(gòu)圖圖12/31/202212/31/202212/31/2022異常報警系系統(tǒng)功能自動篩查日日志中的Exception發(fā)現(xiàn)問題自自動發(fā)信報報警優(yōu)點通用性強使用簡單12/31/2022目錄有道產(chǎn)品簡簡介在線服務(wù)監(jiān)監(jiān)控離線日志分分析12/31/2022離線日志統(tǒng)統(tǒng)計主要的目的的用戶使用習(xí)習(xí)慣用戶對產(chǎn)品品的好感度度系統(tǒng)運行狀狀態(tài)市場推廣情情況12/31/2022日志收集集中的日日志服務(wù)務(wù)器產(chǎn)品的服服務(wù)器是是分布式式的，需需要統(tǒng)一一分析所有產(chǎn)品品公用，，降低運運營復(fù)雜雜度大數(shù)據(jù)量量存儲服務(wù)器建建立本地地緩存最終保存存在分布布式文件件系統(tǒng)中中壓縮存儲儲防止日志志丟失支持備份份服務(wù)器器分布式文文件系統(tǒng)統(tǒng)保證可可靠性12/31/2022日志收集集系統(tǒng)12/31/2022日志分析析主要的挑挑戰(zhàn)超大數(shù)據(jù)據(jù)量運算時間間的要求求組合統(tǒng)計計解決方法法分布式計計算12/31/2022分布式分分析程序序12/31/2022常規(guī)統(tǒng)計計訪問量時間地域用戶新用戶：：推廣與與傳播的的效果老用戶：：真正使使用這個個產(chǎn)品功能切換換頁面切換換產(chǎn)品切換換12/31/2022一些有意意思的統(tǒng)統(tǒng)計規(guī)律律周末與非非周末什么時候候流量更更大？12/31/2022周末與非非周末工具（網(wǎng)網(wǎng)頁搜索索、海量量詞典））vs娛樂（視視頻搜索索、音樂樂搜索））平時需要要工具，，周末需需要娛樂樂12/31/2022一些有意思的的統(tǒng)計規(guī)律不同的時段訪訪問有區(qū)別嗎嗎？搜索和吃飯的的關(guān)系？12/31/2022工具vs娛樂白天需要工具具，晚上需要要放松12/31/2022公網(wǎng)vs教育網(wǎng)白領(lǐng)和中小學(xué)學(xué)生要早睡，，大學(xué)生都是是夜貓子12/31/2022更多的分析《有道閱讀的12個有趣的發(fā)現(xiàn)現(xiàn)》訂閱博客范圍圍，新老各有有地盤職業(yè)和閱讀習(xí)習(xí)慣閱讀真的變成成快餐了明星博客，各各領(lǐng)風(fēng)騷三兩兩天