大數(shù)據(jù)應用-系統(tǒng)監(jiān)控與日志分析

大數(shù)據(jù)應用-系統(tǒng)監(jiān)控與日志分析2/3/2023目錄網(wǎng)易有道簡介在線服務監(jiān)控離線日志分析2/3/2023有道的發(fā)起者是一群執(zhí)著于搜索技術(shù)的年輕人，我們發(fā)現(xiàn)中文網(wǎng)絡中的搜索還遠未達到理想，所以希望通過我們現(xiàn)在和將來的努力，把設想中的服務一點點變成現(xiàn)實，分享給大家使用，讓你更快一秒找到想要的好東西。關(guān)于有道2/3/2023有道產(chǎn)品搜索類2/3/2023有道產(chǎn)品翻譯類其他產(chǎn)品2/3/2023在線監(jiān)控與離線分析2/3/2023設計原則不影響正常服務水表不能把水堵了通用性如果不夠通用…2/3/20232/3/2023目錄有道產(chǎn)品簡介在線服務監(jiān)控離線日志分析2/3/2023在線服務監(jiān)控訪問控制系統(tǒng)性能監(jiān)控系統(tǒng)異常報警系統(tǒng)2/3/2023訪問控制系統(tǒng)主要目的：防止非用戶抓取沖擊系統(tǒng)服務影響訪問統(tǒng)計非法使用數(shù)據(jù)挑戰(zhàn)靈活的控制規(guī)則減小對產(chǎn)品服務的影響2/3/2023訪問控制規(guī)則過濾規(guī)則Key:Header字段，parameterKey:正則表達式例子：Ip=123\.45\..*,agent=“firefox.*”頻度控制統(tǒng)計時間（span）次數(shù)的閾值（threshold）例子：span:3600000threshold:10002/3/2023訪問控制系統(tǒng)總體結(jié)構(gòu)旁路統(tǒng)計規(guī)則封禁訪問控制服務器維護規(guī)則庫按規(guī)則進行統(tǒng)計為產(chǎn)品生成封禁列表產(chǎn)品服務端轉(zhuǎn)發(fā)請求同步封禁列表實施訪問控制2/3/2023訪問控制系統(tǒng)2/3/2023性能監(jiān)控系統(tǒng)功能：實時統(tǒng)計服務中的性能參數(shù)如處理時間、吞吐率等特點通用性集中的數(shù)據(jù)分析與存儲直觀的展現(xiàn)方式2/3/2023性能監(jiān)控的需求通用性各種產(chǎn)品不同的需求自定的統(tǒng)計量不同的編程語言性能要求減小對產(chǎn)品服務的影響大數(shù)據(jù)量的分析與存儲2/3/2023監(jiān)控系統(tǒng)的設計松耦合通過日志文件交換數(shù)據(jù)文本格式自定義統(tǒng)計量<產(chǎn)品名,變量名,取值>的三元組大數(shù)據(jù)量多分辨率壓縮存儲2/3/2023監(jiān)控系統(tǒng)結(jié)構(gòu)圖2/3/20232/3/20232/3/2023異常報警系統(tǒng)功能自動篩查日志中的Exception發(fā)現(xiàn)問題自動發(fā)信報警優(yōu)點通用性強使用簡單2/3/2023目錄有道產(chǎn)品簡介在線服務監(jiān)控離線日志分析2/3/2023離線日志統(tǒng)計主要的目的用戶使用習慣用戶對產(chǎn)品的好感度系統(tǒng)運行狀態(tài)市場推廣情況2/3/2023日志收集集中的日志服務器產(chǎn)品的服務器是分布式的，需要統(tǒng)一分析所有產(chǎn)品公用，降低運營復雜度大數(shù)據(jù)量存儲服務器建立本地緩存最終保存在分布式文件系統(tǒng)中壓縮存儲防止日志丟失支持備份服務器分布式文件系統(tǒng)保證可靠性2/3/2023日志收集系統(tǒng)2/3/2023日志分析主要的挑戰(zhàn)超大數(shù)據(jù)量運算時間的要求組合統(tǒng)計解決方法分布式計算2/3/2023分布式分析程序2/3/2023常規(guī)統(tǒng)計訪問量時間地域用戶新用戶：推廣與傳播的效果老用戶：真正使用這個產(chǎn)品功能切換頁面切換產(chǎn)品切換2/3/2023一些有意思的統(tǒng)計規(guī)律周末與非周末什么時候流量更大？2/3/2023周末與非周末工具（網(wǎng)頁搜索、海量詞典）vs娛樂（視頻搜索、音樂搜索）平時需要工具，周末需要娛樂2/3/2023一些有意思的統(tǒng)計規(guī)律不同的時段訪問有區(qū)別嗎？搜索和吃飯的關(guān)系？2/3/2023工具vs娛樂白天需要工具，晚上需要放松2/3/2023公網(wǎng)vs教育網(wǎng)白領(lǐng)和中小學生要早睡，大學生都是夜貓子2/3/2023更多的分析《有道閱讀的12個有趣的發(fā)現(xiàn)》訂閱博客范圍，新老各有地盤職業(yè)和閱讀習慣閱讀真的變成快餐了明星博客，各領(lǐng)