面向連接的智能運維體系：阿里大數(shù)據(jù)運維實踐

1、面向連接的智能運維體系面向連接的智能運維體系 阿里大數(shù)據(jù)運維實踐大綱大綱Big dataops產(chǎn)品運維歷程產(chǎn)品運維歷程智能運維理念智能運維理念Tesla產(chǎn)品體系產(chǎn)品體系運維價值重塑運維價值重塑01.02.03.04.OTSHadoop0204產(chǎn)品運維歷程產(chǎn)品運維歷程01 Before 2012人工人工&腳本腳本工具整合，業(yè)務(wù)增長工具整合，業(yè)務(wù)增長2016智能運維體系建設(shè)智能運維體系建設(shè)HbaseGalaxyTTHistore MaxComputeAnalyticDBJstormSLS 032014自動化平臺自動化平臺2013501/51:1產(chǎn)品運維歷程產(chǎn)品運維歷程困境 求變 新生2014產(chǎn)品運

2、維歷程產(chǎn)品運維歷程智能運維理念智能運維理念 是否有可以借鑒？ 何種智能理念？ 產(chǎn)品發(fā)展方向和終態(tài)？智能運維理念智能運維理念末端末端連接連接分析分析展現(xiàn)展現(xiàn)1.末端：直接操作 系統(tǒng)，應(yīng)用程序，硬件，網(wǎng)絡(luò) 的產(chǎn)品。2.分析：實現(xiàn)運維人員思考問題，分析需求，排查故障的產(chǎn)品，3.連接：實現(xiàn)分析與末端產(chǎn)品驅(qū)動與反饋的連系產(chǎn)品。4.展現(xiàn)：將智能平臺的狀態(tài) 以多種可視化的方式表達出來。AECT-FlowIDPSTDSChangeLineT-cloneStarAgentCMDBICSchangefreeAlimonitorACL智能運維理念智能運維理念T-Flow 工作流工作流 Simple Flow Mul

3、ti FlowTesla產(chǎn)品體系產(chǎn)品體系 T-Flow關(guān)鍵末端產(chǎn)品關(guān)鍵末端產(chǎn)品-系統(tǒng)層指令序列調(diào)度的服務(wù)系統(tǒng)層指令序列調(diào)度的服務(wù)Simple FlowTesla產(chǎn)品體系產(chǎn)品體系 T-FlowABCparam1Tesla產(chǎn)品體系產(chǎn)品體系 T-FlowSimple Flow Template/home/admin/update -t _%_param2param3自動忽略自動重試異常報警自動忽略超時時間/home/admin/update -t _%_自動重試異常報警cluster011.1.1.4$cluster011.1.1.5$cluster011.1.1.2$cluster011.1.1.

4、3$cluster011.1.1.4$cluster011.1.1.5$cluster011.1.1.3$ clustre011.1.1.7$/home/admin/tools(-p t 3)-data) module1 yum xxx module1) /home/admin/tools(-precheckyum xxx module1)yum xxx module1)yum xxx/home/admin/tools(-postcheck)-restart)/home/admin/tools(-p 1 t 4) Failed/home/admin/tools(-p 1 t 6)/home/a

5、dmin/tools(-p 1 t 6)Tesla產(chǎn)品體系產(chǎn)品體系 T-FlowSimple Flow Instance1234Simple FlowInstanceTesla產(chǎn)品介紹產(chǎn)品介紹 T-FlowMulti Flow Instance=Tesla產(chǎn)品體系產(chǎn)品體系 T-Flow案例1. GalaxyUpgradePool2. UpgradeRegionServer3. FlightingUpdatesimple flowsimple flowmulti flowTesla產(chǎn)品體系產(chǎn)品體系 T-FlowTesla產(chǎn)品體系產(chǎn)品體系 T-FlowTesla產(chǎn)品體系產(chǎn)品體系 T-FlowTes

6、la產(chǎn)品體系產(chǎn)品體系 T-Flow30000+實例運行實例運行Tesla產(chǎn)品體系產(chǎn)品體系 T-FlowTesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection ServiceICS關(guān)鍵連接服務(wù)層關(guān)鍵連接服務(wù)層-解決事件與末端產(chǎn)品的連接解決事件與末端產(chǎn)品的連接監(jiān)控事件監(jiān)控事件日志分析日志分析流程事件流程事件AECT-flowNocTesla產(chǎn)品體系產(chǎn)品體系 ICS外部系統(tǒng)外部系統(tǒng)監(jiān)控系統(tǒng)1監(jiān)控系統(tǒng)2日志分析1其他第三方觸發(fā)器觸發(fā)器監(jiān)控系統(tǒng)1配置，數(shù)據(jù)監(jiān)控系統(tǒng)2配置，數(shù)據(jù)日志分析1配置，數(shù)據(jù)其他第三方配置，數(shù)據(jù)事件處理事件處理插件注冊插件注冊抑制通知抑制通知事件調(diào)度事件調(diào)度沖

7、突檢查沖突檢查K-V 依賴依賴執(zhí)行器執(zhí)行器T-flow 執(zhí)行器接口AEC執(zhí)行器接口SSH執(zhí)行器接口消息訂閱服務(wù)末端系統(tǒng)末端系統(tǒng)T-flowAECPSSHTclone其他末端服務(wù)intelligent Connection Service系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)Tesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection Service案例盤古分布式文件系統(tǒng)一副本高危事件Tesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection ServiceTesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection ServiceTesla產(chǎn)品體系產(chǎn)品體系 I

8、CSintelligent Connection ServiceTesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection ServiceTesla產(chǎn)品體系產(chǎn)品體系 ICSintelligent Connection Service容量檢查，調(diào)參/縮擴容硬件異常 ,維修下線分布式文件系統(tǒng)副本高危加速修補核心應(yīng)用服務(wù)Hang 緊急輪換Tesla產(chǎn)品體系產(chǎn)品體系 TDS Troubleshoot Decision Service關(guān)鍵末端分析型產(chǎn)品關(guān)鍵末端分析型產(chǎn)品-提供通用線上故障智能分析及處理方案提供通用線上故障智能分析及處理方案Checkpoint配置配置執(zhí)行類型：Chec

9、k API，Check Script分析結(jié)果：example： A，B，C邊條件配置邊條件配置上游節(jié)點：Checkpoint下游節(jié)點：Checkpoint / ICS上游結(jié)果表達式：case=A，case=C ，case=A&B排查點排查點1排查點排查點2排查點排查點3排查點排查點4排查點排查點5日志分析日志分析監(jiān)控報警監(jiān)控報警故障工單故障工單ICSTesla產(chǎn)品體系產(chǎn)品體系 TDS Troubleshoot Decision ServiceTDS排查點排查點6排查點排查點7排查點排查點8Tesla產(chǎn)品體系產(chǎn)品體系 AEC & Crond關(guān)鍵末端產(chǎn)品關(guān)鍵末端產(chǎn)品-應(yīng)用環(huán)境實時維護應(yīng)用環(huán)境實時維護 rpm，文件，目錄，文件，目錄低部署成本，簡單通用灰度發(fā)布，低消高效規(guī)則多樣,文件模板多級綁定,靈活組合Tesla產(chǎn)品體系產(chǎn)品體系 AEC & Crond關(guān)鍵末端產(chǎn)品關(guān)鍵末端產(chǎn)品-集中管理線上服務(wù)器定時調(diào)度任務(wù)集中管理線上服務(wù)器定時調(diào)度任務(wù)C