2020年GOPS全球運維大會-容量管理體系建設實踐

容量管理體系建設思考及實踐1運維疼點&解決之道2總結與展望3精細化運營目錄CONTENTS4容量管理體系建設思路1運維痛點&解決之道運維痛點問題

–為什么需要容量管理痛點問題大促擴容大促縮容流量調度成本管控大促都需要極大的容器資源來支撐活動流量，哪些應用該擴，該擴容多少？大促后縮容，縮減哪些應用，縮減多少資源？機房集群切換，能不能切，能切多少？流量調度時有數據可以支撐面對IT資源成本高額賬單，該從哪里著手縮減？2容量管理體系建設思路容量管理

-

運維立體化監(jiān)控容量監(jiān)控是運維立體化監(jiān)控體系中一環(huán)，并且處于核心位置基礎監(jiān)控中間件監(jiān)控容量管理返回碼監(jiān)控數據庫監(jiān)控客戶端監(jiān)控CDN圖片異常監(jiān)控核心業(yè)務監(jiān)控網絡監(jiān)控容量管理

–建設思路12345梳理資源對象明確度量指標建立數據模型自動化工具數據校對檢驗梳理運維資源，哪些資源需要納入容量管理體系針對不同類型資源，采集不同數據項，建立度量指標針對不同類型資源，建立不同數據模型，基于實時數據和歷史數據建立模型及時響應業(yè)務問題，積累場景，沉淀解決方案，提升工作效率通過全鏈路壓測及大促數據，驗證數據模型預測準確性，優(yōu)化模型，提升預測準確率容量管理

-

資源對象和度量指標應用設備網絡帶寬數據庫中間件資源資源類型一、應用設備：容器、物理機二、數據庫：MySQL三、中間件：Jimdb、Elasticsearch、Hbase、Hadoop四、網絡流量：域名流量、機房流量不同資源類型有不同的度量指標容量管理

-

基于應用的度量指標IOCPU內存網絡計算密集型業(yè)務進行大量計算消耗CPU資源多線程IO密集型業(yè)務網絡、磁盤讀寫頻繁網絡傳輸密集型業(yè)務圖片、視頻傳輸，主要消耗網卡及網絡帶寬，典型如CDN圖片加載，直播等數據密集型業(yè)務通常這類業(yè)務非常占用內存資源，典型如大數據應用，搜索引擎，緩存等應用度量指標應用特征分析數據模型容量管理

-

應用CPU峰值利用率算法根據機器數加權平均 根據CPU核數加權平均 分鐘級CPU核數加權平均1、先平均，再峰值2、應用容器規(guī)格不統(tǒng)一，不會影響數據準確性3、排除預發(fā)布設備1、先平均，再峰值2、應用容器規(guī)格不統(tǒng)一，會影響數據準確性3、排除預發(fā)布設備4、采樣率問題1、先分鐘取峰值，再根據核數取平均，再全天取峰值2、峰值不一定是在同一秒在基于應用的容量管理實踐中，我們通過引入應用峰值利用率來實現(xiàn)應用的負載度量。建立容量數據是容量管理中最為基礎、重要的一個環(huán)節(jié)基于準確的容量數據有利于更有效的做容量預測和規(guī)劃容量管理

-

數據歷年大促數據運營流量預估壓測數據日常數據每年618、雙11大促活動的歷史數據和運營團隊時刻保持溝通，比如神券日，單品日，大型秒殺日的流量預估常態(tài)化壓測數據歷年大促全鏈路壓測數據日常均值日常峰值數據標準化數據統(tǒng)一化憑經驗預估容量基于歷史數據，做出預測按比例擴充基于當前值和目標值的按比例換算壓測單機壓測全鏈路壓測容量管理

-

容量預測方法VS常規(guī)方式智能預測容量管理

-

智能預測模型數據驗證1、歷史數據、以及壓測數據，驗證預測2、不斷調整模型，使其預測更加精準樣本回歸1、樣本數據回歸預測建立模型1、回歸分析：線性、非線性、一元回歸、多元回歸數據準備1、數據準備：QPS和CPU利用率2、數據時間周期統(tǒng)一3、數據清洗，去噪01020403容量管理

–概覽圖數據分析監(jiān)控形式監(jiān)控大屏日報/周報監(jiān)控預警服務能力監(jiān)控視圖業(yè)務層級視圖

業(yè)務實時視圖CDN帶寬視圖 DB資源視圖Hbase資源視圖

單機曲線視圖工具應用標注 壓測實時負報表配置 載統(tǒng)計核心應用視圖Jimdb資源視圖CPU占用率算法負載統(tǒng)計算法聚類

|

回歸分析業(yè)務數據報表整點高負載DB大促報表機房資源總覽物理機總覽統(tǒng)計報表所有應用負載部門數據報表Jimdb大促報表整體概覽應用信息總覽部門資源總覽異常應用負載CDN帶寬報表歷史數據報表機器資源總覽數據說明基礎數據CMDB數據預處理數據模型數據存儲數據查詢數據聚合KafkaNSQJimdbClickhouseMySQLESBDP3精細化運營容量管理核心

-

質量和成本業(yè)務迅速發(fā)展，

帶來運營成本飛速增加，

如何確保不陷入成本失控的困境，一直是困擾各方的難題應用穩(wěn)定性壓倒一切，

各方需要確保服務穩(wěn)定性和高可用，

為業(yè)務迅速發(fā)展保駕護航質量和效率容量管理體系為運維同學跟進應用運營提供數據支持

和決策依據，

提升應用可用性的同時，提高工作效率。成本管控容量管理體系更進一步的作用在于成本管控，如何在低成本運營前提下，

確保服務穩(wěn)定性，

確保服務質量不降低，是運維同學面臨的一大難題。平衡容量管理

-

水位線機制合理利用率區(qū)間10%15%20%xx%xx%xx%應用負載追求平衡顯而易見，提高使用率也不是越高越好。應用的穩(wěn)定性和高可用性為前提風險線 低負載

高危線 安全線 水位線安全線風險線：緊急擴容高危線：限流降級容量管理

–精細化運營在確保應用穩(wěn)定性的基礎上，縮減運營成本，降本增效。積累場景，沉淀解決方案，通過工具化平臺，系統(tǒng)解決場景化問題，提升工作效率。確保應用穩(wěn)定性，高可用性。高質量低成本高效率精細化運營4總結與展望總結

–主動運維AIOPS體系全景圖數據采集數據處理指標配置數據存儲數據服務數據清洗統(tǒng)一化日志 數據聚合 標準化數據檢索可視化數據開放數據拆分 細粒度MQ 流式計算 京東BDP大數據平臺 離線計算 大數據存儲在線分類計算能力機器學習分析算法離線相似性質量異常檢測故障預測根因分析成本