從救火走向防火-商業(yè)平臺(tái)業(yè)務(wù)運(yùn)維實(shí)踐

從救火”走向防火”-商業(yè)平臺(tái)業(yè)務(wù)運(yùn)維實(shí)踐救火防火時(shí)間都去哪兒了救火防火?越是做到高級(jí)階段，防火的工作所占的

比重就會(huì)越高。?從救火到防火，不是一蹴而就的事情，

應(yīng)該是個(gè)逐漸演進(jìn)的過(guò)程思考點(diǎn)發(fā)生發(fā)現(xiàn)響應(yīng)全部恢復(fù)時(shí)間故障發(fā)現(xiàn)故障響應(yīng)故障修復(fù)開(kāi)始處理故障定位提升故障

發(fā)現(xiàn)率提升故障處理速度降低故障率目標(biāo)故障預(yù)防過(guò)程

Agenda如何提升故障處理速度如何提升故障發(fā)現(xiàn)率如何降低故障率123故障響應(yīng)規(guī)范應(yīng)急處理預(yù)案這些都做了，還有提升的空間嗎？

準(zhǔn)確識(shí)別故障響應(yīng)時(shí)間目標(biāo)與措施

快速判斷

故障定位時(shí)間

快速執(zhí)行故障修復(fù)時(shí)間?????7*24值班規(guī)范?分析數(shù)據(jù)及圖表?流量切換工具

?報(bào)警內(nèi)容?服務(wù)降級(jí)工具職責(zé)與分工?故障運(yùn)維手冊(cè)?數(shù)據(jù)修復(fù)工具故障預(yù)演?任務(wù)修復(fù)工具?回滾工具?數(shù)據(jù)提取工具?……主要受哪些影響因素

影響因素

1、新手2、故障處理步驟繁雜

應(yīng)對(duì)方法優(yōu)化報(bào)警內(nèi)容，使報(bào)警內(nèi)容變得可依賴。報(bào)警內(nèi)容除了報(bào)告問(wèn)題，還將故障的判斷和處理方法附在其中。

利用數(shù)據(jù)任務(wù)調(diào)度管理系統(tǒng)，

對(duì)數(shù)據(jù)任務(wù)進(jìn)行統(tǒng)一管理優(yōu)化報(bào)警內(nèi)容該報(bào)警對(duì)應(yīng)的運(yùn)維專員聯(lián)系方式該報(bào)警對(duì)應(yīng)的開(kāi)發(fā)人員聯(lián)系方式減少對(duì)運(yùn)維人員經(jīng)驗(yàn)的依賴，使得新人和值班人員都可以快速處理靈活配置報(bào)警內(nèi)容降低維護(hù)成本，提升工作效率繁雜數(shù)據(jù)故障處理存在的問(wèn)題：?不能快速識(shí)別哪些任務(wù)失敗了，影響了誰(shuí)?一個(gè)任務(wù)失敗會(huì)導(dǎo)致多個(gè)任務(wù)失敗，每個(gè)任務(wù)的任務(wù)都會(huì)發(fā)一個(gè)報(bào)警?處理多個(gè)任務(wù)失敗時(shí)，需要人工確認(rèn)修復(fù)順序，還要等待每個(gè)任務(wù)執(zhí)

行完成后再人工執(zhí)行下一個(gè)?如果所需數(shù)據(jù)源存在短暫延遲到位，會(huì)導(dǎo)致任務(wù)執(zhí)行失敗并報(bào)警，有

時(shí)會(huì)對(duì)運(yùn)維人員產(chǎn)生干擾ABCDEFGHIJKLM…繁雜數(shù)據(jù)故障處理數(shù)據(jù)任務(wù)調(diào)度管理系統(tǒng)：?實(shí)時(shí)自動(dòng)的可視化數(shù)據(jù)任務(wù)關(guān)系圖?能快速識(shí)別哪些執(zhí)行失敗及影響范圍?父節(jié)點(diǎn)任務(wù)失敗后報(bào)警，子任務(wù)節(jié)點(diǎn)不再執(zhí)行（也不會(huì)報(bào)警）?恢復(fù)關(guān)鍵路徑節(jié)點(diǎn)任務(wù)時(shí)，只需選擇帶依賴執(zhí)行，后續(xù)子節(jié)點(diǎn)任務(wù)會(huì)

自動(dòng)執(zhí)行，無(wú)需人工干預(yù)，等待?支持每個(gè)任務(wù)自定義重試次數(shù)和間隔，如果任務(wù)所需數(shù)據(jù)源存在延遲

提供現(xiàn)象，不會(huì)馬上報(bào)警，直到達(dá)到最大重試次數(shù)為止，降低對(duì)運(yùn)維

人員的干擾ABCDEFGHIJMLK……繁雜數(shù)據(jù)故障處理

Agenda如何提升故障處理速度如何提升故障發(fā)現(xiàn)率如何降低故障率123????????網(wǎng)絡(luò)連通性機(jī)器存活遠(yuǎn)程可達(dá)丟包檢測(cè)容量監(jiān)控磁盤(pán)故障磁盤(pán)壞道內(nèi)存條檢測(cè)基礎(chǔ)資源類完善監(jiān)控指標(biāo)

常規(guī)業(yè)務(wù)類自定義業(yè)務(wù)類????端口進(jìn)程Curl工作日志????????任務(wù)始止類關(guān)鍵組件監(jiān)控一致性類跨界類監(jiān)控?cái)?shù)據(jù)流監(jiān)控超時(shí)/延時(shí)類失敗率/成功率……自定義業(yè)務(wù)類監(jiān)控…………監(jiān)控項(xiàng)低位警界線

業(yè)務(wù)系統(tǒng)健康度趨勢(shì)

高位警界線

監(jiān)

控

項(xiàng)加強(qiáng)關(guān)注！

加強(qiáng)關(guān)注！導(dǎo)致

全面短信報(bào)警過(guò)多產(chǎn)生麻木心理

降噪?監(jiān)控的系統(tǒng)：300+?監(jiān)控的實(shí)例：20000+?運(yùn)維人員短信接收：人均每天6條?報(bào)警策略?報(bào)警分層?精準(zhǔn)下發(fā)取得的效果采用的手段報(bào)警分層網(wǎng)段可用機(jī)器存活遠(yuǎn)程可達(dá)業(yè)務(wù)類ABCDEFGHIJMLK……數(shù)據(jù)依賴任務(wù)報(bào)警精準(zhǔn)下發(fā)運(yùn)維值班1運(yùn)維值班2運(yùn)維專員1運(yùn)維專員2運(yùn)維專員3運(yùn)維專員4運(yùn)維專員N開(kāi)發(fā)人員1開(kāi)發(fā)人員2開(kāi)發(fā)人員N

Agenda如何提升故障處理速度如何提升故障發(fā)現(xiàn)率如何降低故障率123它山之石，可以攻玉數(shù)據(jù)說(shuō)話有針對(duì)性的推動(dòng)改進(jìn)！

避免重復(fù)性故障！代碼發(fā)布是故障的導(dǎo)火索

上線次數(shù)趨勢(shì)圖異常處理趨勢(shì)圖推動(dòng)開(kāi)發(fā)人員有針對(duì)性解決

?程序Bug

?設(shè)計(jì)缺陷

?代碼配置

?部署問(wèn)題變更操作是故障的導(dǎo)火索?????業(yè)務(wù)模塊新增機(jī)器機(jī)房遷移，變更IP機(jī)器故障更換下線業(yè)務(wù)模塊……??????維護(hù)系統(tǒng)配置部署相關(guān)監(jiān)控維護(hù)應(yīng)用環(huán)境及配置維護(hù)訪問(wèn)控制關(guān)系更新代碼配置（研發(fā)人員）……常見(jiàn)運(yùn)維變更涉及哪方面的操作涉及大量的IP、訪問(wèn)關(guān)系等信息，操作繁雜！機(jī)器

1機(jī)器

2…機(jī)器N……………………系統(tǒng)配置監(jiān)控策略訪問(wèn)關(guān)系其他

操作繁雜，易出錯(cuò)某個(gè)業(yè)務(wù)抽象運(yùn)維對(duì)象減少人工干預(yù)優(yōu)化技術(shù)架構(gòu)抽象運(yùn)維對(duì)象機(jī)器

1機(jī)器

2…機(jī)器N系統(tǒng)配置監(jiān)控策略訪問(wèn)關(guān)系系統(tǒng)配置監(jiān)控策略訪問(wèn)關(guān)系A(chǔ)ppID機(jī)器1機(jī)器2…機(jī)器N……………………其他運(yùn)維人員之前之后級(jí)別等 ……配置策略服務(wù)管理……報(bào)警策略監(jiān)控策略…自動(dòng)機(jī)制機(jī)器列表

新機(jī)器發(fā)現(xiàn)

自動(dòng)生成監(jiān)控項(xiàng)

基礎(chǔ)監(jiān)控部署

App1機(jī)器1

…

機(jī)器N策略變更嗅探

通用配置分發(fā)

私有監(jiān)控部署

……

App2

機(jī)器1

…

機(jī)器N自動(dòng)生成配置策略樹(shù)

私有配置分發(fā)自動(dòng)更新發(fā)布目的地

AppN

機(jī)器1

…

機(jī)器N機(jī)器規(guī)模越大效果越明顯1.

當(dāng)某App中有新機(jī)器

到位時(shí)，會(huì)對(duì)該機(jī)器

自動(dòng)部署相關(guān)的系統(tǒng)

配置、監(jiān)控項(xiàng)，同時(shí)

自動(dòng)更新對(duì)應(yīng)App的

代碼發(fā)布地址列表2.

當(dāng)某個(gè)App有系統(tǒng)配

置更新、監(jiān)控策略更

新時(shí)，會(huì)下發(fā)到所有

相關(guān)的機(jī)器

減少人工干預(yù)只需針對(duì)Appid設(shè)置一次相關(guān)策略，其他工作全部自動(dòng)完成…………機(jī)器11機(jī)器12…機(jī)器1NApp1機(jī)器21機(jī)器22…機(jī)器2NApp2機(jī)器31機(jī)器32…機(jī)器3NApp3機(jī)器41機(jī)器42…機(jī)器4NApp4機(jī)器51機(jī)器52…機(jī)器5NApp5機(jī)器61機(jī)器62…機(jī)器6NApp6機(jī)器71機(jī)器72…機(jī)器7NApp7機(jī)器81機(jī)器82…機(jī)器8NApp8

應(yīng)用間復(fù)雜且不透明的訪問(wèn)關(guān)系服務(wù)端要確認(rèn)被哪些客戶端訪問(wèn)，才能保證正確的開(kāi)通訪問(wèn)白名單：機(jī)器+接口+方法機(jī)器11、機(jī)器12……機(jī)器1N機(jī)器31、機(jī)器32……機(jī)器3N機(jī)器61、機(jī)器62……機(jī)器6N客戶端需要訪問(wèn)服務(wù)端：機(jī)器11、機(jī)器12……機(jī)器1N機(jī)器21、機(jī)器22……機(jī)器2N規(guī)范化后的開(kāi)發(fā)架構(gòu)

客戶端（服務(wù)使用者）

服務(wù)端（服務(wù)提供者）1.2.3.4.5.人工在管理界面中進(jìn)行服務(wù)注冊(cè)與維護(hù)，管理服務(wù)端及接口，以及客戶端對(duì)哪些接口訪問(wèn)等客戶端啟動(dòng)時(shí)獲取服務(wù)端機(jī)器及URL列表服務(wù)端啟動(dòng)時(shí)獲取訪問(wèn)控制列表服務(wù)端及接口發(fā)生變更時(shí)自動(dòng)推送給客戶端，更新調(diào)用服務(wù)器的機(jī)器及URL列表客戶端及接口發(fā)生變化時(shí)自動(dòng)推送給服務(wù)端更新訪問(wèn)控制列表

RPC協(xié)議客戶端代理

RPC協(xié)議客戶端代理…

RPC協(xié)議服務(wù)端代理客戶端代理負(fù)載均衡器并發(fā)訪問(wèn)攔截器

白名單攔截器

服務(wù)對(duì)象代理3524

管理UI

1

服務(wù)注冊(cè)

中心服務(wù)治理框架層RPC協(xié)議層業(yè)務(wù)層…………機(jī)器11機(jī)器12…機(jī)器1NApp1機(jī)器21機(jī)器22…機(jī)器2NApp2機(jī)器31機(jī)器32…機(jī)器3NApp3…機(jī)器5N

App5機(jī)

機(jī)器

器5

51

2…機(jī)器6N

App6機(jī)

機(jī)器

器6

61

2小范圍試點(diǎn)，效果顯著，推廣使用訪問(wèn)控制、自動(dòng)路由、負(fù)載均衡

如果App1有新機(jī)器到位：

?框架會(huì)自動(dòng)通知App5、App6的所有機(jī)器，

App1已有新機(jī)器為他們提供服務(wù)，各機(jī)器

自動(dòng)將請(qǐng)求均衡落到App1的各臺(tái)機(jī)器上

?同時(shí)，自動(dòng)通知App2的所有機(jī)器，有新機(jī)

器需要納入到他們的訪問(wèn)白名單

自動(dòng)容錯(cuò)、負(fù)載均衡如果App2有機(jī)器宕機(jī)：?框架會(huì)自動(dòng)通知訪問(wèn)它的App1、App3、

App6的所有機(jī)器，App2有機(jī)器故障已不能

提供服務(wù)?各機(jī)器的訪問(wèn)請(qǐng)求不再向故障機(jī)器發(fā)送，并

自動(dòng)將請(qǐng)求均衡落到App2存活的機(jī)器上

War OrRPM標(biāo)準(zhǔn)化發(fā)布方式App1機(jī)器

1機(jī)器

1機(jī)器N機(jī)器N機(jī)器分組A

機(jī)

…

器

2機(jī)器分組B

機(jī)

…

器

2

自動(dòng)部署重啟

回滾

檢查一致性安裝

卸載啟動(dòng)

停止主任務(wù)子任務(wù)

War OrRPMApp2………………從救火走向防火發(fā)生發(fā)現(xiàn)響應(yīng)全部恢復(fù)時(shí)間故障發(fā)現(xiàn)時(shí)間故障響應(yīng)時(shí)間故障修復(fù)時(shí)間開(kāi)始處理故障定位時(shí)間

提升故障發(fā)現(xiàn)率（及時(shí)全面準(zhǔn)確）提升故障處理速度

（快速有效）

降低故障率（有效防御）數(shù)據(jù)修復(fù)工具流量切換工具服務(wù)降級(jí)工具回滾工具數(shù)據(jù)提取工具……職責(zé)與分工7*24值班規(guī)