阿里巴巴大數(shù)據(jù)運(yùn)維之道課件

阿里巴巴大數(shù)據(jù)運(yùn)維之道

阿里巴巴大數(shù)據(jù)運(yùn)維之道1目錄運(yùn)維進(jìn)階1一體化運(yùn)維平臺2DataOps實(shí)踐3AIOps探索4

目錄運(yùn)維進(jìn)階1一體化運(yùn)維平臺2DataOps實(shí)踐3AIOps2運(yùn)維進(jìn)階人肉運(yùn)維（Human

Ops）自動化運(yùn)維（AutomatedOps

）數(shù)據(jù)化運(yùn)維（DataOps

）智能運(yùn)維（AIOps）數(shù)據(jù)決策算法+模型執(zhí)行人的經(jīng)驗(yàn)結(jié)果數(shù)據(jù)算法+模型結(jié)果執(zhí)行異常響應(yīng)DataOps

AIOps運(yùn)維進(jìn)階人肉運(yùn)維自動化運(yùn)維數(shù)據(jù)化運(yùn)維智能運(yùn)維數(shù)據(jù)決策算法+模3目錄運(yùn)維進(jìn)階1一體化運(yùn)維平臺2DataOps實(shí)踐3AiOps探索4

目錄運(yùn)維進(jìn)階1一體化運(yùn)維平臺2DataOps實(shí)踐3AiOps4全球運(yùn)維大會

2018·

上海站

阿里巴巴大數(shù)據(jù)場景物理機(jī)10w+GOP

S全球運(yùn)維大會2018·上海站阿里巴巴大數(shù)據(jù)場景物理機(jī)G5運(yùn)維分層解決方案

運(yùn)維分層解決方案6一站式運(yùn)維平臺—運(yùn)維場景用戶老板監(jiān)控SRE水位咋樣？服務(wù)穩(wěn)定嗎？……服務(wù)穩(wěn)定嗎？為啥作業(yè)掛了？資源咋擴(kuò)容申請新資源……**模塊超過閾值……機(jī)房裁撤調(diào)整新數(shù)據(jù)中心建設(shè)新服務(wù)上線……SRE我們所運(yùn)維的服務(wù)

一站式運(yùn)維平臺—運(yùn)維場景用戶老板監(jiān)控SRE水位咋樣？服務(wù)穩(wěn)定7一站式運(yùn)維平臺—功能抽象用戶老板監(jiān)控SRE水位咋樣？服務(wù)穩(wěn)定嗎？……服務(wù)穩(wěn)定嗎？為啥作業(yè)掛了？資源咋擴(kuò)容申請新資源……**模塊超過閾值……機(jī)房裁撤調(diào)整新數(shù)據(jù)中心建設(shè)新服務(wù)上線……命令做流我們所運(yùn)維的服務(wù)UI視圖+AI技術(shù)老板 用戶 監(jiān)控 SRE信息

看流運(yùn)維平臺需求抽象

一站式運(yùn)維平臺—功能抽象用戶老板監(jiān)控SRE水位咋樣？服務(wù)穩(wěn)定8目錄運(yùn)維進(jìn)階1一體化運(yùn)維平臺2DataOps實(shí)踐3AiOps探索4

目錄運(yùn)維進(jìn)階1一體化運(yùn)維平臺2DataOps實(shí)踐3AiOps9運(yùn)維數(shù)倉DataOps基礎(chǔ)圖出自書《大數(shù)據(jù)之路》

運(yùn)維數(shù)倉DataOps基礎(chǔ)圖出自書《大數(shù)據(jù)之路》10常見的運(yùn)維數(shù)據(jù)服務(wù)器集群網(wǎng)絡(luò)應(yīng)用服務(wù)維度（元數(shù)據(jù)）度量（運(yùn)行時(shí)）指標(biāo)事件日志

常見的運(yùn)維數(shù)據(jù)服務(wù)器集群網(wǎng)絡(luò)應(yīng)用服務(wù)維度（元數(shù)據(jù)）度量（運(yùn)行11DataOps架構(gòu)

DataOps架構(gòu)12知識圖譜如何用統(tǒng)一的語言來定義運(yùn)維數(shù)據(jù)？我們把運(yùn)維里的對象稱為實(shí)體運(yùn)維領(lǐng)域里實(shí)體的關(guān)系，就是一張圖，可以用知識圖譜來定義運(yùn)維領(lǐng)域關(guān)系 知識圖譜

知識圖譜如何用統(tǒng)一的語言來定義運(yùn)維數(shù)據(jù)？13知識圖譜——運(yùn)維搜索整合集團(tuán)所有運(yùn)維資源（元數(shù)據(jù)、運(yùn)維工具系統(tǒng)等）為SRE打造垂直領(lǐng)域搜索服務(wù)，運(yùn)維習(xí)慣的改變，通過搜索到達(dá)一切站點(diǎn)功能Map，站內(nèi)垂直搜索

知識圖譜——運(yùn)維搜索整合集團(tuán)所有運(yùn)維資源（元數(shù)據(jù)、運(yùn)維工具系14知識圖譜——ChatOps服務(wù)狀態(tài)機(jī)器狀態(tài)開關(guān)報(bào)警事件推送命令執(zhí)行運(yùn)維操作簡單、重復(fù)的工作信息直達(dá)減少重復(fù)咨詢解放生產(chǎn)力搜索兜底意圖缺陷問答積累自助診斷基礎(chǔ)知識

知識圖譜——ChatOps服務(wù)狀態(tài)機(jī)器狀態(tài)開關(guān)報(bào)警事件推送命15作業(yè)診斷

作業(yè)診斷16機(jī)器診斷

機(jī)器診斷17聚類異常檢測關(guān)于算法選擇，Why

DBScan？無需指定聚類組的數(shù)量支持離群點(diǎn)的自動發(fā)現(xiàn)

聚類異常檢測關(guān)于算法選擇，WhyDBScan？18日志異常檢測

如何發(fā)現(xiàn)異常的日志？A.

從千萬行日志中提取出日志打印的模式B.

針對識別的模式，建立對應(yīng)的指標(biāo)->

時(shí)間序列異常檢測

日志異常檢測 如何發(fā)現(xiàn)異常的日志？B.針對識別的模式，建19日志異常檢測

日志異常檢測20運(yùn)籌優(yōu)化運(yùn)維

–

“運(yùn)”->

運(yùn)籌運(yùn)維領(lǐng)域存在較多的規(guī)劃問題，需要用運(yùn)籌優(yōu)化的方法來解決多集群容量均衡動態(tài)調(diào)整用戶配額如何優(yōu)化帶寬任務(wù)參數(shù)智能優(yōu)化……

運(yùn)籌優(yōu)化運(yùn)維–“運(yùn)”->運(yùn)籌21運(yùn)籌優(yōu)化—同步任務(wù)優(yōu)化上圖是AB兩個事業(yè)部類似同步作業(yè)的速度分布，如何將成熟BU的作業(yè)優(yōu)化經(jīng)驗(yàn)快速應(yīng)用到其他BU？

運(yùn)籌優(yōu)化—同步任務(wù)優(yōu)化上圖是AB兩個事業(yè)部類似同步作業(yè)的速度22運(yùn)籌優(yōu)化—同步任務(wù)優(yōu)化影響因子分析：源類型宿類型記錄大小字段數(shù)量并發(fā)jvm參數(shù)batchsize出錯限制固定屬性可配屬性固定屬性k-means聚類，找出每類的最佳配置

運(yùn)籌優(yōu)化—同步任務(wù)優(yōu)化影響因子分析：源類型并發(fā)固定屬性可配屬23運(yùn)籌優(yōu)化—同步任務(wù)優(yōu)化優(yōu)化前大部分任務(wù)集中在5MB/s的低效同步速度區(qū)間內(nèi)，優(yōu)化后大都在在5～10Mb/s、10MB/s~50MB/s、50MB~100MB/s的高速區(qū)間。優(yōu)化前平均速度2.28MB/s，優(yōu)化后15.9MB/s，均速直接提升7倍！??！

運(yùn)籌優(yōu)化—同步任務(wù)優(yōu)化優(yōu)化前大部分任務(wù)集中在5MB/s的低效24目錄運(yùn)維進(jìn)階1一體化運(yùn)維平臺2DataOps實(shí)踐3AiOps探索4

目錄運(yùn)維進(jìn)階1一體化運(yùn)維平臺2DataOps實(shí)踐3AiOps25AIOps之監(jiān)控自愈

AIOps之監(jiān)控自愈26AIOps之硬件自愈10w級的服務(wù)器上部署硬件相關(guān)信息采集插件，打印硬件狀態(tài)日志經(jīng)過數(shù)據(jù)通道、流計(jì)算、OLAP系統(tǒng)，建立起了一份實(shí)時(shí)硬件狀態(tài)表Center程序通過定時(shí)運(yùn)行SQL任務(wù)，使用規(guī)則判斷硬件異常1數(shù)據(jù)采集鏈路2建模預(yù)測反饋3決策執(zhí)行鏈路一年處理20萬次自愈事件服務(wù)器可用率

99%

AIOps之硬件自愈10w級的服務(wù)器上部署硬件相關(guān)信息采集插27AIOps之資源優(yōu)化

如何給集群的作業(yè)劃分quota組最合理？目標(biāo)：用最少的資源讓用戶盡可能滿意問題：靜態(tài)劃分缺乏靈活性，無法削峰填谷，資源浪費(fèi)部分用戶占用大量資源，其他用戶感受差A(yù)IOps之資源優(yōu)化如何給集群的作業(yè)劃分quota組最合理28AIOps之資源優(yōu)化用戶滿意度模型：一套綜合評價(jià)體系主要包含用戶資源搶占、等待分配時(shí)間、資源滿足率等。用Tdata時(shí)序異常檢測模型跟蹤用戶滿意度變化情況。

AIOps之資源優(yōu)化用戶滿意度模型：29AIOps之資源優(yōu)化用指數(shù)平滑模型對未來一周的資源消耗進(jìn)行預(yù)測，指數(shù)模型包括單指數(shù)、雙指數(shù)和三指數(shù)模型。單指數(shù)模型擬合的是只含水平項(xiàng)，不含趨勢項(xiàng)和季節(jié)效應(yīng)的時(shí)間序列。雙指數(shù)模型（Holt模型）擬合含水平項(xiàng)和趨勢項(xiàng)的時(shí)間序列。三指數(shù)模型（Holt-Winters模型）擬合含水平、趨勢以及季節(jié)項(xiàng)的