賽事直播實(shí)時(shí)監(jiān)控系統(tǒng)方案

1、FreeWheel 實(shí)時(shí)監(jiān)控系統(tǒng)如何支持超級(jí)賽事直播廣告賽事直播實(shí)時(shí)監(jiān)控系統(tǒng)方案3概要#FreeWheel 業(yè)務(wù)背景及直播廣告業(yè)務(wù)特點(diǎn)#FreeWheel 監(jiān)控平臺(tái)設(shè)計(jì)原則#FreeWheel 實(shí)時(shí)監(jiān)控系統(tǒng)基礎(chǔ)架構(gòu)#實(shí)時(shí)監(jiān)控系統(tǒng)在 FreeWheel 的應(yīng)用及典型案例分享#總結(jié)與展望4FreeWheel 業(yè)務(wù)背景及直播廣告業(yè)務(wù)特點(diǎn)CONFIDENTIAL業(yè)務(wù)背景：多樣化客戶定制需求4業(yè)務(wù)背景：客戶示例（2018 SuperBowl 超級(jí)碗直播 - NBCu）超級(jí)碗 = 賽事 + 中場(chǎng)秀 + 廣告， “美國(guó)春晚”30秒廣告 500萬(wàn)美元， 總廣告收入 5億美元， 商業(yè)價(jià)值 奧運(yùn)會(huì)+ 世界杯Fre

2、eWheel 承擔(dān)了 NBCu SuperBowl 全部的數(shù)字視頻廣告業(yè)務(wù)：廣告請(qǐng)求：超過(guò)7千萬(wàn)次廣告觀看：約2億次5業(yè)務(wù)背景：客戶示例（2018 WorldCup 世界杯直播季）世界杯直播季： 6月14日 23:00 - 7月15日 23:00客戶：美國(guó)：NBCu, FOX歐洲：TF1, Mediaset, RTE廣告觀看：約20億次6業(yè)務(wù)背景：直播廣告及其特點(diǎn)高并發(fā)實(shí)時(shí)響應(yīng)高可用性79FreeWheel 監(jiān)控平臺(tái)設(shè) 計(jì)原則CONFIDENTIAL10FreeWheel 監(jiān)控平臺(tái)設(shè)計(jì)原則1統(tǒng)一監(jiān)控平臺(tái)2數(shù)據(jù)的可插拔3實(shí)時(shí)響應(yīng)4可視化5故障分析與定位6自動(dòng)化 & 智能化11FreeWheel

3、實(shí)時(shí)監(jiān)控系 統(tǒng)基礎(chǔ)架構(gòu)CONFIDENTIAL通用監(jiān)控系統(tǒng)11FreeWheel 實(shí)時(shí)監(jiān)控系統(tǒng)基礎(chǔ)架構(gòu)12FreeWheel 監(jiān)控框架 - PrometheusCNCF Kubernetes 原生監(jiān)控平臺(tái)強(qiáng)大的功能特性標(biāo)準(zhǔn)的監(jiān)控指標(biāo)類型: Counter, Gauge, Histogram, Summary多維數(shù)據(jù)模型強(qiáng)大的查詢語(yǔ)句 PromQL豐富的集成選擇提供多種語(yǔ)言的 SDK大量的 exporter支持多種 remote storage13數(shù)據(jù)采集統(tǒng)一的數(shù)據(jù)接入標(biāo)準(zhǔn)非侵入式的數(shù)據(jù)采集方式充分利用開(kāi)源 exporter統(tǒng)一的監(jiān)控指標(biāo)采集適配器 - Gather同時(shí)支持 Pull & Pus

4、h14數(shù)據(jù)存儲(chǔ) InfluxDB15時(shí)序數(shù)據(jù)庫(kù)支持每秒百萬(wàn)級(jí)的數(shù)據(jù)寫(xiě)入靈活的數(shù)據(jù)保留策略支持 Prometheus 數(shù)據(jù)遠(yuǎn)程存儲(chǔ)技術(shù)棧豐富( TICK )，社區(qū)活躍報(bào)警模塊 Kapacitor 流式消費(fèi)數(shù)據(jù)，實(shí)時(shí)性高版本更新快數(shù)據(jù)存儲(chǔ) 自研的中間件自研的中間件 DB-Proxy PromQL InfluxQL 解 析、優(yōu)化數(shù)據(jù)讀寫(xiě)高可用負(fù)載均衡數(shù)據(jù)庫(kù)的水平擴(kuò)展 故障節(jié)點(diǎn)摘除支持每秒千萬(wàn)級(jí) Series的存儲(chǔ)16Alert產(chǎn)品化的報(bào)警平臺(tái)Kapacitor簡(jiǎn)單易用的 UI/API靈活豐富的報(bào)警規(guī)則表 達(dá)式支持不同維度的過(guò)濾及 聚合報(bào)警聚合，防止警報(bào)洪泛警報(bào)自動(dòng)化運(yùn)維處理及故 障定位與分析1719

5、實(shí)時(shí)監(jiān)控系統(tǒng)在 FreeWheel的應(yīng)用及典型案例分享CONFIDENTIAL監(jiān)控系統(tǒng)在 FreeWheel 的應(yīng)用統(tǒng)一監(jiān)控平臺(tái)AWS / On-Prem / Kubernetes / Micro ServiceAdServer / Forecasting / Data Platform / UI/API線上運(yùn)維19FreeWheel 實(shí)時(shí)監(jiān)控系統(tǒng)典型案例分享幫助廣告投放系統(tǒng)找到系統(tǒng)熱點(diǎn)典型問(wèn)題： 廣告投放系統(tǒng)的性能下降，廣告請(qǐng)求未能在300ms內(nèi)返回20FreeWheel 實(shí)時(shí)監(jiān)控系統(tǒng)典型應(yīng)用場(chǎng)景細(xì)化性能指標(biāo)21FreeWheel 實(shí)時(shí)監(jiān)控系統(tǒng)典型應(yīng)用場(chǎng)景定位到服務(wù)器22FreeWheel

6、實(shí)時(shí)監(jiān)控系統(tǒng)典型應(yīng)用場(chǎng)景ELK 定位、還原問(wèn)題23FreeWheel 實(shí)時(shí)監(jiān)控系統(tǒng)典型應(yīng)用場(chǎng)景典型問(wèn)題：某一集成廣告投放異?；趕park streaming 實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)處理發(fā)現(xiàn)問(wèn)題基于ELK定位、還原問(wèn)題業(yè)務(wù)監(jiān)控24FreeWheel 實(shí)時(shí)監(jiān)控系統(tǒng)典型應(yīng)用場(chǎng)景業(yè)務(wù)監(jiān)控 發(fā)現(xiàn)問(wèn)題25FreeWheel 實(shí)時(shí)監(jiān)控系統(tǒng)典型應(yīng)用場(chǎng)景ELK 定位、還原問(wèn)題2628總結(jié)與展望CONFIDENTIAL29總結(jié)與展望統(tǒng)一監(jiān)控平臺(tái)：系統(tǒng)、應(yīng)用監(jiān)控：開(kāi)源：Prometheus + InfluxDB + Kapacitor + GrafanaGather + DB-Proxy + Alert Manager + Monitor UI日志收集：ELK業(yè)務(wù)監(jiān)控：Spa