中小銀行運維自動化經驗分享

1、中小銀行運維自動化經驗分享目錄目錄2運維管理中的操作控制難題運維管理中的操作控制難題1運維標準化自動化解決之道運維標準化自動化解決之道2作業(yè)任務精確控制作業(yè)任務精確控制監(jiān)控巡檢準確定位監(jiān)控巡檢準確定位應急處置自動調度應急處置自動調度.運維標準化自動化實施要點運維標準化自動化實施要點3運維管理總體目標運維管理總體目標-防范風險、優(yōu)質服務、控制成本、系統(tǒng)建設防范風險、優(yōu)質服務、控制成本、系統(tǒng)建設穩(wěn)定運行穩(wěn)定運行精確控制精確控制資源管理資源管理標準服務標準服務- 應用整體監(jiān)控應用整體監(jiān)控 - - 變更發(fā)布管理變更發(fā)布管理 -運行成本可計量運行成本可計量-技術規(guī)范體系化技術規(guī)范體系化-運維架構規(guī)范化運

2、維架構規(guī)范化-制度體系層次化制度體系層次化運維管理- -設備資源管理設備資源管理-資源性能分析資源性能分析 -容量總體規(guī)劃容量總體規(guī)劃-數(shù)據資源管理數(shù)據資源管理作業(yè)管理難題作業(yè)管理難題-漏做錯做、任務異常、執(zhí)行風險、隱患排查漏做錯做、任務異常、執(zhí)行風險、隱患排查q大型商業(yè)銀行每日批作業(yè)任務數(shù)已達數(shù)千個，中小型商業(yè)銀行也近幾百個，隨著業(yè)務復雜度及三方業(yè)務增加，任務數(shù)有增無減，并且變更頻率教高，控制難度增加控制難度增加；q多個系統(tǒng)、多個作業(yè)任務之間形成了非常復雜的邏輯關系，僅靠表格等手工管理方式，很難降低任務執(zhí)行差錯率降低任務執(zhí)行差錯率；q針對特殊日期的批作業(yè)任務臨時變更，很難精確控制，一旦作業(yè)任

3、務執(zhí)行失誤，影一旦作業(yè)任務執(zhí)行失誤，影響范圍較大，很難處理響范圍較大，很難處理；q很難精確記錄作業(yè)任務執(zhí)行時長、時點、報錯等情況，無法統(tǒng)計分析，發(fā)現(xiàn)作業(yè)任發(fā)現(xiàn)作業(yè)任務執(zhí)行過程中的潛在風險務執(zhí)行過程中的潛在風險；q.作業(yè)管理作業(yè)管理手段作業(yè)管理手段-任務登記、變更控制、邏輯調度、過程記錄、隱患排查任務登記、變更控制、邏輯調度、過程記錄、隱患排查任務定義？關系管控？技術標準？過程監(jiān)控？結果檢查？故障聯(lián)查？任務優(yōu)化？任務定義？關系管控？技術標準？過程監(jiān)控？結果檢查？故障聯(lián)查？任務優(yōu)化？作業(yè)管理運行監(jiān)控難題運行監(jiān)控難題-預警、發(fā)現(xiàn)、定位、排查、隱患、預估、采集、資產預警、發(fā)現(xiàn)、定位、排查、隱患、預估、

4、采集、資產監(jiān)控巡檢關鍵業(yè)務交易出現(xiàn)關鍵業(yè)務交易出現(xiàn)問題，想排查故障問題，想排查故障原因，那么：原因，那么：l網絡環(huán)境如何？l網絡報文正常？l系統(tǒng)資源有瓶頸嗎？l中間件有問題嗎？l數(shù)據庫有瓶頸？l應用程序有報錯？l業(yè)務數(shù)據有問題嗎？l客戶請求端狀態(tài)如何？運行監(jiān)控難題運行監(jiān)控難題-預警、發(fā)現(xiàn)、定位、排查、隱患、預估、采集、資產預警、發(fā)現(xiàn)、定位、排查、隱患、預估、采集、資產監(jiān)控巡檢2013年年3月月17日日監(jiān)控報警情況監(jiān)控報警情況-缺乏網絡通路質量檢測直接報警【缺乏網絡通路質量檢測直接報警【只有表象報警、無原因報警只有表象報警、無原因報警】15:37 ECIF系統(tǒng)：三條報警ToFront 0307

5、error、ToFront 0307 error服務測試異常 15:38 收單系統(tǒng)：03801 Success rate is low! Pb751 BUSY！15:40 電子支付系統(tǒng)：EPAY thread is busy15:44 個貸風險管理系統(tǒng)：plms4和plms2、plms5、plms6阻塞線程數(shù)高、15:44 信貸風險流程管理系統(tǒng)：weblogic線程數(shù)高、jdbc連接池等待15:45 操作風險管理系統(tǒng)session鎖等待15:45 圖前監(jiān)控采集機報錯15:46 驗印系統(tǒng)ssl握手失敗分析：分析：1、從、從15:37到到15:46，10分鐘內統(tǒng)一監(jiān)控平臺共有分鐘內統(tǒng)一監(jiān)控平臺共有

6、19條應用系統(tǒng)條應用系統(tǒng)1級告警，但因總級告警，但因總行網絡環(huán)境監(jiān)控手段的缺失，未能第一時間發(fā)現(xiàn)網絡線路質量問題，因此，如何提早發(fā)現(xiàn)網行網絡環(huán)境監(jiān)控手段的缺失，未能第一時間發(fā)現(xiàn)網絡線路質量問題，因此，如何提早發(fā)現(xiàn)網絡通路問題，如何快速定位故障點，是故障早發(fā)現(xiàn)快解決的關鍵。絡通路問題，如何快速定位故障點，是故障早發(fā)現(xiàn)快解決的關鍵。20132013年年3 3月月1717日網絡通路典型故障日網絡通路典型故障應急難題應急難題-經驗積累、工具標準化、邏輯關系控制、快速準確執(zhí)行？經驗積累、工具標準化、邏輯關系控制、快速準確執(zhí)行？應急處置其它運維操作難題其它運維操作難題-數(shù)據全程管理、標準化變更發(fā)布、環(huán)境合

7、規(guī)檢查、資產動態(tài)采集驗證數(shù)據全程管理、標準化變更發(fā)布、環(huán)境合規(guī)檢查、資產動態(tài)采集驗證其它運維操作中小銀行運維標準化自動化的意義中小銀行運維標準化自動化的意義-人員、經驗、風險、成本人員、經驗、風險、成本p實施運維操作自動化的關鍵目標是什么？：實施運維操作自動化的關鍵目標是什么？：運維操作管理應該細分為如下幾個領域，每個領域的具體目標是不同的：1）操作控制：準確調度；2）監(jiān)控診斷：固化知識；3）應急處置：精確執(zhí)行；4）變更發(fā)布：控制差錯；5）規(guī)范檢查：準確核對；6）資產采集：信息準確；7）數(shù)據管理：全程控制；p如何有重點分步驟的實施運維操作自動化？：如何有重點分步驟的實施運維操作自動化？：根據細

8、化后的運維操作流域及其管理目標，分別設計方案及標準，然后按照：首先標準化，其次自動化，最后制度化的路線進行實施；p運維操作自動化與哪些運維管理環(huán)節(jié)相關？運維操作自動化與哪些運維管理環(huán)節(jié)相關？：與一線建設、事件管理、應急處置、數(shù)據管理、運維標準化等運維管理環(huán)節(jié)密切相關，同時考慮人力配備、技術能力問題【短期引入】；p如何保持運維操作標準化的持續(xù)性？：如何保持運維操作標準化的持續(xù)性？：通過問題日常跟蹤機制【日積月累】、運維操作維護工作流程【查缺補漏】、相關人員崗位規(guī)劃、以及工具持續(xù)優(yōu)化【實用原則】達成；意義及思考目錄目錄11運維管理中的操作控制難題運維管理中的操作控制難題1運維標準化自動化解決之道運

9、維標準化自動化解決之道2運維自動化領域的細分運維自動化領域的細分標準化是自動化的前提標準化是自動化的前提管理體系是有效實現(xiàn)的基礎管理體系是有效實現(xiàn)的基礎.運維標準化自動化實施要點運維標準化自動化實施要點3運維操作領域細分運維操作領域細分-領域不同，目標及要求則不同，實現(xiàn)策略與方法不同領域不同，目標及要求則不同，實現(xiàn)策略與方法不同p操作控制：操作控制：常規(guī)操作任務的定義、調度、執(zhí)行、監(jiān)控、變更、維護、優(yōu)化l作業(yè)調度：風險控制、運行評測、變更控制、配套檢查l操作控制：配置備份、環(huán)境比對、時點檢查、標準安裝l數(shù)據操作：系統(tǒng)備份、業(yè)務備份、恢復執(zhí)行、查詢流程、銷毀控制p監(jiān)控診斷：監(jiān)控診斷：報警判斷、故

10、障定向、問題定位、二次采集、標準處置、資產核對l運行監(jiān)測：系統(tǒng)、應用、數(shù)據、外聯(lián)環(huán)節(jié)的主動探測，運行數(shù)據采集l故障診斷：監(jiān)控集成、二次判斷、故障定位、現(xiàn)場采集l故障處置：處置執(zhí)行、狀態(tài)判斷、可用驗證、故障隔離p應急處置：應急處置：應急環(huán)境與條件自動檢測、應急流程實現(xiàn)與維護、應急操作自動執(zhí)行p變更發(fā)布：變更發(fā)布：變更評審關鍵點管理（非功能需求在線核對）、應用發(fā)布自動化（標準）、系統(tǒng)變更自動化（規(guī)范）p規(guī)范檢查：規(guī)范檢查：監(jiān)管/管理規(guī)范核對、安全自動檢測、配置信息自動核對、安裝規(guī)范運維操作管理的實現(xiàn)：運維操作管理的實現(xiàn)：1）標準化；2）工具化；3）自動化；4）制度化作業(yè)管理體系作業(yè)管理體系-制度細

11、則、技術規(guī)范、監(jiān)測優(yōu)化制度細則、技術規(guī)范、監(jiān)測優(yōu)化作業(yè)管理體系應急操作管理體系應急操作管理體系-自上而下、從頭落實、技術細化、持續(xù)改進自上而下、從頭落實、技術細化、持續(xù)改進應急管理體系整體整體預案預案技術技術預案預案系統(tǒng)系統(tǒng)手冊手冊技術技術演練演練持續(xù)持續(xù)維護維護識別業(yè)務風險控制故障影響指導整體工作明確故障升級及處置整體流程，建立規(guī)范整體了解關鍵業(yè)務系統(tǒng)結構，梳理各類故障處置方法以實戰(zhàn)出發(fā)設計演練場景，驗證操作有效性將系統(tǒng)的變更、典型故障，及時維護到應急管理手冊之中技術操控管理重點范疇業(yè)務影響分析業(yè)務影響分析整體預案制定整體預案制定事件定級事件定級流程設計流程設計系統(tǒng)結構梳理系統(tǒng)結構梳理故障處

12、置步驟故障處置步驟日常變更管理日常變更管理演練場景設計演練場景設計典型故障管理典型故障管理實操與評測實操與評測 分析分析建立建立設計設計實操實操評估評估整體工作落實策略整體工作落實策略監(jiān)控巡檢管理體系監(jiān)控巡檢管理體系-認識對象、明確指標、操作測量、評估優(yōu)化認識對象、明確指標、操作測量、評估優(yōu)化監(jiān)控管理體系目錄目錄17運維管理中的操作控制難題運維管理中的操作控制難題1運維標準化自動化解決之道運維標準化自動化解決之道2運維操作經驗的積累與獲取運維操作經驗的積累與獲取識別階段工作的重點與難點識別階段工作的重點與難點工具適用性選擇與人員調整工具適用性選擇與人員調整.運維標準化自動化實施要點運維標準化自

13、動化實施要點3作業(yè)管理實施要點作業(yè)管理實施要點-識別作業(yè)管理關鍵點、分析關鍵問題分布實現(xiàn)識別作業(yè)管理關鍵點、分析關鍵問題分布實現(xiàn)作業(yè)管理實施p作業(yè)邏輯控制作業(yè)邏輯控制：各個作業(yè)任務之間往往存在先后邏輯關系，尤其是跨應用系統(tǒng)的邏輯管理需要嚴格控制p作業(yè)時間調度作業(yè)時間調度：很多作業(yè)需要控制執(zhí)行日期及時間，如周一至周五某時刻做，每月最后工作日做等等p作業(yè)權限控制作業(yè)權限控制：關鍵作業(yè)需要特定角色或者多人復核等，需要進行嚴格控制p作業(yè)自動執(zhí)行作業(yè)自動執(zhí)行：對于將要實施自動執(zhí)行的任務，應具備哪些條件、應如何改造、如何控制風險p作業(yè)臨時干預作業(yè)臨時干預：在特殊情況下，如業(yè)務部門特殊要求，某些作業(yè)不按照計

14、劃的時間等條件執(zhí)行，能否有效控制是關鍵p作業(yè)管理成體系作業(yè)管理成體系：對于作業(yè)管理中的人員、信息、流程等要素進行系統(tǒng)化管理，將作業(yè)的基礎信息、變更流程、人員工作等環(huán)節(jié)落實在一套管理制度及工具中p作業(yè)變更標準化作業(yè)變更標準化：嚴格控制作業(yè)任務在系統(tǒng)投產、節(jié)假日處理等情況下的變更及實施應急處置面臨的復雜性應急處置面臨的復雜性-系統(tǒng)間關聯(lián)性高、同城異地災備環(huán)境系統(tǒng)間關聯(lián)性高、同城異地災備環(huán)境應急處置實施應急處置操控實施應急處置操控實施-處置操作標準化、整體設計處置流程、自動操處置操作標準化、整體設計處置流程、自動操控控應急處置實施監(jiān)測采集實施監(jiān)測采集實施-識別監(jiān)測對象與指標、監(jiān)測采集過程標準化、實時

15、自動監(jiān)測采識別監(jiān)測對象與指標、監(jiān)測采集過程標準化、實時自動監(jiān)測采集集監(jiān)測采集實施監(jiān)測采集實施監(jiān)測采集實施-運行數(shù)據采集目標確定、采集手段梳理、采集流程設計實現(xiàn)運行數(shù)據采集目標確定、采集手段梳理、采集流程設計實現(xiàn)監(jiān)測采集實施關鍵生產環(huán)節(jié)的可用性保障關鍵生產環(huán)節(jié)的可用性保障-梳理整體環(huán)境及鏈路、確認測試方法、自動測試梳理整體環(huán)境及鏈路、確認測試方法、自動測試監(jiān)測采集實施24運維操作實現(xiàn)的關鍵因素運維操作實現(xiàn)的關鍵因素技術經驗、人員能力、工具實現(xiàn)、持續(xù)優(yōu)技術經驗、人員能力、工具實現(xiàn)、持續(xù)優(yōu)化化 首先要將內部日常運維工作逐步標準化規(guī)范化，并形成簡潔有效的運維管理過程，記錄每個故障、分析成因、跟蹤問題，

16、技術經驗、解決方案的日積月累。 外部技術經驗及解決方案的引入，如網上資料、外包資源、項目資源等。技術經驗技術經驗持續(xù)優(yōu)化持續(xù)優(yōu)化 在實施運維管理的同時，必須考慮配套制度規(guī)范及細則的設計，以及技術標準的建立，同時形成不斷查缺補漏的工作機制。 將運維操作領域進行細化分工，在系統(tǒng)設計、開發(fā)、投產、運行監(jiān)測、優(yōu)化改進等環(huán)節(jié)持續(xù)落實。24工具實現(xiàn)工具實現(xiàn) 首先要明確各運維領域細化目標及需求，基于此分析對于工具的詳細需求。 工具必須具備較強的二次開發(fā)能力，充分掌握核心代碼，以結果為導向整體設計，不斷持續(xù)改進 運維管理分工的細化，由按系統(tǒng)分工模式，逐步調整為技術專業(yè)領域分工。 充分利用外包、駐場、項目資源，將上述人員能力，按照標準化模式，輸出成為知識、解決方案，形成自身人員能力。人員能力人員能力運維自動化工具思考運維自動化工具思考-不是簡單的流程化、復雜邏輯控制、實際處理難題.p任務的暫停、延遲、跳過、置換、提前：任務的暫停、延遲、跳過、置換、提前：任務的法定時間因子、前序條件因子、執(zhí)行令牌因子（臨時干預）【任務暫停、任務略過、任務提前、臨時調換兩個任務的先后順序