賽事直播實時監(jiān)控系統(tǒng)方案

1、FreeWheel 實時監(jiān)控系統(tǒng)如何支持超級賽事直播廣告賽事直播實時監(jiān)控系統(tǒng)方案3概要#FreeWheel 業(yè)務(wù)背景及直播廣告業(yè)務(wù)特點#FreeWheel 監(jiān)控平臺設(shè)計原則#FreeWheel 實時監(jiān)控系統(tǒng)基礎(chǔ)架構(gòu)#實時監(jiān)控系統(tǒng)在 FreeWheel 的應(yīng)用及典型案例分享#總結(jié)與展望4FreeWheel 業(yè)務(wù)背景及直播廣告業(yè)務(wù)特點CONFIDENTIAL業(yè)務(wù)背景：多樣化客戶定制需求4業(yè)務(wù)背景：客戶示例（2018 SuperBowl 超級碗直播 - NBCu）超級碗 = 賽事 + 中場秀 + 廣告， “美國春晚”30秒廣告 500萬美元， 總廣告收入 5億美元， 商業(yè)價值 奧運會+ 世界杯Fre

2、eWheel 承擔了 NBCu SuperBowl 全部的數(shù)字視頻廣告業(yè)務(wù)：廣告請求：超過7千萬次廣告觀看：約2億次5業(yè)務(wù)背景：客戶示例（2018 WorldCup 世界杯直播季）世界杯直播季： 6月14日 23:00 - 7月15日 23:00客戶：美國：NBCu, FOX歐洲：TF1, Mediaset, RTE廣告觀看：約20億次6業(yè)務(wù)背景：直播廣告及其特點高并發(fā)實時響應(yīng)高可用性79FreeWheel 監(jiān)控平臺設(shè) 計原則CONFIDENTIAL10FreeWheel 監(jiān)控平臺設(shè)計原則1統(tǒng)一監(jiān)控平臺2數(shù)據(jù)的可插拔3實時響應(yīng)4可視化5故障分析與定位6自動化 & 智能化11FreeWheel

3、實時監(jiān)控系 統(tǒng)基礎(chǔ)架構(gòu)CONFIDENTIAL通用監(jiān)控系統(tǒng)11FreeWheel 實時監(jiān)控系統(tǒng)基礎(chǔ)架構(gòu)12FreeWheel 監(jiān)控框架 - PrometheusCNCF Kubernetes 原生監(jiān)控平臺強大的功能特性標準的監(jiān)控指標類型: Counter, Gauge, Histogram, Summary多維數(shù)據(jù)模型強大的查詢語句 PromQL豐富的集成選擇提供多種語言的 SDK大量的 exporter支持多種 remote storage13數(shù)據(jù)采集統(tǒng)一的數(shù)據(jù)接入標準非侵入式的數(shù)據(jù)采集方式充分利用開源 exporter統(tǒng)一的監(jiān)控指標采集適配器 - Gather同時支持 Pull & Pus

4、h14數(shù)據(jù)存儲 InfluxDB15時序數(shù)據(jù)庫支持每秒百萬級的數(shù)據(jù)寫入靈活的數(shù)據(jù)保留策略支持 Prometheus 數(shù)據(jù)遠程存儲技術(shù)棧豐富( TICK )，社區(qū)活躍報警模塊 Kapacitor 流式消費數(shù)據(jù)，實時性高版本更新快數(shù)據(jù)存儲 自研的中間件自研的中間件 DB-Proxy PromQL InfluxQL 解 析、優(yōu)化數(shù)據(jù)讀寫高可用負載均衡數(shù)據(jù)庫的水平擴展 故障節(jié)點摘除支持每秒千萬級 Series的存儲16Alert產(chǎn)品化的報警平臺Kapacitor簡單易用的 UI/API靈活豐富的報警規(guī)則表 達式支持不同維度的過濾及 聚合報警聚合，防止警報洪泛警報自動化運維處理及故 障定位與分析1719

5、實時監(jiān)控系統(tǒng)在 FreeWheel的應(yīng)用及典型案例分享CONFIDENTIAL監(jiān)控系統(tǒng)在 FreeWheel 的應(yīng)用統(tǒng)一監(jiān)控平臺AWS / On-Prem / Kubernetes / Micro ServiceAdServer / Forecasting / Data Platform / UI/API線上運維19FreeWheel 實時監(jiān)控系統(tǒng)典型案例分享幫助廣告投放系統(tǒng)找到系統(tǒng)熱點典型問題： 廣告投放系統(tǒng)的性能下降，廣告請求未能在300ms內(nèi)返回20FreeWheel 實時監(jiān)控系統(tǒng)典型應(yīng)用場景細化性能指標21FreeWheel 實時監(jiān)控系統(tǒng)典型應(yīng)用場景定位到服務(wù)器22FreeWheel

6、實時監(jiān)控系統(tǒng)典型應(yīng)用場景ELK 定位、還原問題23FreeWheel 實時監(jiān)控系統(tǒng)典型應(yīng)用場景典型問題：某一集成廣告投放異常基于spark streaming 實時業(yè)務(wù)數(shù)據(jù)處理發(fā)現(xiàn)問題基于ELK定位、還原問題業(yè)務(wù)監(jiān)控24FreeWheel 實時監(jiān)控系統(tǒng)典型應(yīng)用場景業(yè)務(wù)監(jiān)控 發(fā)現(xiàn)問題25FreeWheel 實時監(jiān)控系統(tǒng)典型應(yīng)用場景ELK 定位、還原問題2628總結(jié)與展望CONFIDENTIAL29總結(jié)與展望統(tǒng)一監(jiān)控平臺：系統(tǒng)、應(yīng)用監(jiān)控：開源：Prometheus + InfluxDB + Kapacitor + GrafanaGather + DB-Proxy + Alert Manager + Monitor UI日志收集：ELK業(yè)務(wù)監(jiān)控：Spa