中小銀行運(yùn)維自動(dòng)化課件

中小銀行運(yùn)維自動(dòng)化管理中小銀行運(yùn)維自動(dòng)化管理1目錄2運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道2作業(yè)任務(wù)精確控制監(jiān)控巡檢準(zhǔn)確定位應(yīng)急處置自動(dòng)調(diào)度...........................運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn)3目錄2運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道2作2運(yùn)維管理總體目標(biāo)-防范風(fēng)險(xiǎn)、優(yōu)質(zhì)服務(wù)、控制成本、系統(tǒng)建設(shè)穩(wěn)定運(yùn)行精確控制資源管理標(biāo)準(zhǔn)服務(wù)應(yīng)用整體監(jiān)控

事件處置管理

知識維護(hù)使用變更發(fā)布管理

運(yùn)維服務(wù)標(biāo)準(zhǔn)化運(yùn)行成本可計(jì)量技術(shù)規(guī)范體系化運(yùn)維架構(gòu)規(guī)范化制度體系層次化運(yùn)維管理

作業(yè)調(diào)度管理安裝規(guī)范核對巡檢全程控制配置信息管控設(shè)備資源管理運(yùn)行數(shù)據(jù)采集資源性能分析

容量總體規(guī)劃數(shù)據(jù)資源管理精確操控管理是運(yùn)維管理的基礎(chǔ)，也是科技服務(wù)質(zhì)量的保障運(yùn)維管理總體目標(biāo)-防范風(fēng)險(xiǎn)、優(yōu)質(zhì)服務(wù)、控制成本、系統(tǒng)建設(shè)穩(wěn)定3作業(yè)管理難題-漏做錯(cuò)做、任務(wù)異常、執(zhí)行風(fēng)險(xiǎn)、隱患排查大型商業(yè)銀行每日批作業(yè)任務(wù)數(shù)已達(dá)數(shù)千個(gè)，中小型商業(yè)銀行也近幾百個(gè)，隨著業(yè)務(wù)復(fù)雜度及三方業(yè)務(wù)增加，任務(wù)數(shù)有增無減，并且變更頻率教高，控制難度增加；多個(gè)系統(tǒng)、多個(gè)作業(yè)任務(wù)之間形成了非常復(fù)雜的邏輯關(guān)系，僅靠表格等手工管理方式，很難降低任務(wù)執(zhí)行差錯(cuò)率；針對特殊日期的批作業(yè)任務(wù)臨時(shí)變更，很難精確控制，一旦作業(yè)任務(wù)執(zhí)行失誤，影響范圍較大，很難處理；很難精確記錄作業(yè)任務(wù)執(zhí)行時(shí)長、時(shí)點(diǎn)、報(bào)錯(cuò)等情況，無法統(tǒng)計(jì)分析，發(fā)現(xiàn)作業(yè)任務(wù)執(zhí)行過程中的潛在風(fēng)險(xiǎn)；...........................................................作業(yè)管理作業(yè)管理難題-漏做錯(cuò)做、任務(wù)異常、執(zhí)行風(fēng)險(xiǎn)、隱患排查大型商業(yè)4作業(yè)管理手段-任務(wù)登記、變更控制、邏輯調(diào)度、過程記錄、隱患排查任務(wù)定義？關(guān)系管控？技術(shù)標(biāo)準(zhǔn)？過程監(jiān)控？結(jié)果檢查？故障聯(lián)查？任務(wù)優(yōu)化？作業(yè)管理作業(yè)管理手段-任務(wù)登記、變更控制、邏輯調(diào)度、過程記錄、隱患排5運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn)監(jiān)控巡檢關(guān)鍵業(yè)務(wù)交易出現(xiàn)問題，想排查故障原因，那么：網(wǎng)絡(luò)環(huán)境如何？網(wǎng)絡(luò)報(bào)文正常？系統(tǒng)資源有瓶頸嗎？中間件有問題嗎？數(shù)據(jù)庫有瓶頸？應(yīng)用程序有報(bào)錯(cuò)？業(yè)務(wù)數(shù)據(jù)有問題嗎？客戶請求端狀態(tài)如何？運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn)6運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn)監(jiān)控巡檢2013年3月17日監(jiān)控報(bào)警情況---缺乏網(wǎng)絡(luò)通路質(zhì)量檢測直接報(bào)警【只有表象報(bào)警、無原因報(bào)警】15:37ECIF系統(tǒng)：三條報(bào)警ToFront0307error、ToFront0307error服務(wù)測試異常15:38收單系統(tǒng)：03801Successrateislow!Pb751BUSY！15:40電子支付系統(tǒng)：EPAYthreadisbusy15:44個(gè)貸風(fēng)險(xiǎn)管理系統(tǒng)：plms4和plms2、plms5、plms6阻塞線程數(shù)高、15:44信貸風(fēng)險(xiǎn)流程管理系統(tǒng)：weblogic線程數(shù)高、jdbc連接池等待15:45操作風(fēng)險(xiǎn)管理系統(tǒng)session鎖等待15:45圖前監(jiān)控采集機(jī)10.1.7.15報(bào)錯(cuò)15:46驗(yàn)印系統(tǒng)ssl握手失敗分析：1、從15:37到15:46，10分鐘內(nèi)統(tǒng)一監(jiān)控平臺共有19條應(yīng)用系統(tǒng)1級告警，但因總行網(wǎng)絡(luò)環(huán)境監(jiān)控手段的缺失，未能第一時(shí)間發(fā)現(xiàn)網(wǎng)絡(luò)線路質(zhì)量問題，因此，如何提早發(fā)現(xiàn)網(wǎng)絡(luò)通路問題，如何快速定位故障點(diǎn)，是故障早發(fā)現(xiàn)快解決的關(guān)鍵。2013年3月17日網(wǎng)絡(luò)通路典型故障運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn)7應(yīng)急難題-經(jīng)驗(yàn)積累、工具標(biāo)準(zhǔn)化、邏輯關(guān)系控制、快速準(zhǔn)確執(zhí)行？？？應(yīng)急處置應(yīng)急難題-經(jīng)驗(yàn)積累、工具標(biāo)準(zhǔn)化、邏輯關(guān)系控制、快速準(zhǔn)確執(zhí)行？8其它運(yùn)維操作難題-數(shù)據(jù)全程管理、標(biāo)準(zhǔn)化變更發(fā)布、環(huán)境合規(guī)檢查、資產(chǎn)動(dòng)態(tài)采集驗(yàn)證其它運(yùn)維操作其它運(yùn)維操作難題-數(shù)據(jù)全程管理、標(biāo)準(zhǔn)化變更發(fā)布、環(huán)境合規(guī)檢查9中小銀行運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化的意義--人員、經(jīng)驗(yàn)、風(fēng)險(xiǎn)、成本實(shí)施運(yùn)維操作自動(dòng)化的關(guān)鍵目標(biāo)是什么？：運(yùn)維操作管理應(yīng)該細(xì)分為如下幾個(gè)領(lǐng)域，每個(gè)領(lǐng)域的具體目標(biāo)是不同的：1）操作控制：準(zhǔn)確調(diào)度；2）監(jiān)控診斷：固化知識；3）應(yīng)急處置：精確執(zhí)行；4）變更發(fā)布：控制差錯(cuò)；5）規(guī)范檢查：準(zhǔn)確核對；6）資產(chǎn)采集：信息準(zhǔn)確；7）數(shù)據(jù)管理：全程控制；如何有重點(diǎn)分步驟的實(shí)施運(yùn)維操作自動(dòng)化？：根據(jù)細(xì)化后的運(yùn)維操作流域及其管理目標(biāo)，分別設(shè)計(jì)方案及標(biāo)準(zhǔn)，然后按照：首先標(biāo)準(zhǔn)化，其次自動(dòng)化，最后制度化的路線進(jìn)行實(shí)施；運(yùn)維操作自動(dòng)化與哪些運(yùn)維管理環(huán)節(jié)相關(guān)？：與一線建設(shè)、事件管理、應(yīng)急處置、數(shù)據(jù)管理、運(yùn)維標(biāo)準(zhǔn)化等運(yùn)維管理環(huán)節(jié)密切相關(guān)，同時(shí)考慮人力配備、技術(shù)能力問題【短期引入】；如何保持運(yùn)維操作標(biāo)準(zhǔn)化的持續(xù)性？：通過問題日常跟蹤機(jī)制【日積月累】、運(yùn)維操作維護(hù)工作流程【查缺補(bǔ)漏】、相關(guān)人員崗位規(guī)劃、以及工具持續(xù)優(yōu)化【實(shí)用原則】達(dá)成；意義及思考中小銀行運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化的意義--人員、經(jīng)驗(yàn)、風(fēng)險(xiǎn)、成本實(shí)施10目錄11運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道2運(yùn)維自動(dòng)化領(lǐng)域的細(xì)分標(biāo)準(zhǔn)化是自動(dòng)化的前提管理體系是有效實(shí)現(xiàn)的基礎(chǔ)...........................運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn)3目錄11運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道211運(yùn)維操作領(lǐng)域細(xì)分-領(lǐng)域不同，目標(biāo)及要求則不同，實(shí)現(xiàn)策略與方法不同操作控制：常規(guī)操作任務(wù)的定義、調(diào)度、執(zhí)行、監(jiān)控、變更、維護(hù)、優(yōu)化作業(yè)調(diào)度：風(fēng)險(xiǎn)控制、運(yùn)行評測、變更控制、配套檢查操作控制：配置備份、環(huán)境比對、時(shí)點(diǎn)檢查、標(biāo)準(zhǔn)安裝數(shù)據(jù)操作：系統(tǒng)備份、業(yè)務(wù)備份、恢復(fù)執(zhí)行、查詢流程、銷毀控制監(jiān)控診斷：報(bào)警判斷、故障定向、問題定位、二次采集、標(biāo)準(zhǔn)處置、資產(chǎn)核對運(yùn)行監(jiān)測：系統(tǒng)、應(yīng)用、數(shù)據(jù)、外聯(lián)環(huán)節(jié)的主動(dòng)探測，運(yùn)行數(shù)據(jù)采集故障診斷：監(jiān)控集成、二次判斷、故障定位、現(xiàn)場采集故障處置：處置執(zhí)行、狀態(tài)判斷、可用驗(yàn)證、故障隔離應(yīng)急處置：應(yīng)急環(huán)境與條件自動(dòng)檢測、應(yīng)急流程實(shí)現(xiàn)與維護(hù)、應(yīng)急操作自動(dòng)執(zhí)行變更發(fā)布：變更評審關(guān)鍵點(diǎn)管理（非功能需求在線核對）、應(yīng)用發(fā)布自動(dòng)化（標(biāo)準(zhǔn)）、系統(tǒng)變更自動(dòng)化（規(guī)范）規(guī)范檢查：監(jiān)管/管理規(guī)范核對、安全自動(dòng)檢測、配置信息自動(dòng)核對、安裝規(guī)范運(yùn)維操作領(lǐng)域細(xì)分-領(lǐng)域不同，目標(biāo)及要求則不同，實(shí)現(xiàn)策略與方法12運(yùn)維操作管理的實(shí)現(xiàn)：1）標(biāo)準(zhǔn)化；2）工具化；3）自動(dòng)化；4）制度化運(yùn)維操作管理的實(shí)現(xiàn)：1）標(biāo)準(zhǔn)化；2）工具化；3）自動(dòng)化；4）13作業(yè)管理體系-制度細(xì)則、技術(shù)規(guī)范、監(jiān)測優(yōu)化作業(yè)管理體系作業(yè)管理體系-制度細(xì)則、技術(shù)規(guī)范、監(jiān)測優(yōu)化作業(yè)管理體系14應(yīng)急操作管理體系-自上而下、從頭落實(shí)、技術(shù)細(xì)化、持續(xù)改進(jìn)應(yīng)急管理體系整體預(yù)案技術(shù)預(yù)案系統(tǒng)手冊技術(shù)演練持續(xù)維護(hù)識別業(yè)務(wù)風(fēng)險(xiǎn)控制故障影響指導(dǎo)整體工作明確故障升級及處置整體流程，建立規(guī)范整體了解關(guān)鍵業(yè)務(wù)系統(tǒng)結(jié)構(gòu)，梳理各類故障處置方法以實(shí)戰(zhàn)出發(fā)設(shè)計(jì)演練場景，驗(yàn)證操作有效性將系統(tǒng)的變更、典型故障，及時(shí)維護(hù)到應(yīng)急管理手冊之中技術(shù)操控管理重點(diǎn)范疇業(yè)務(wù)影響分析整體預(yù)案制定事件定級流程設(shè)計(jì)系統(tǒng)結(jié)構(gòu)梳理故障處置步驟日常變更管理演練場景設(shè)計(jì)典型故障管理實(shí)操與評測

分析 建立 設(shè)計(jì) 實(shí)操 評估整體工作落實(shí)策略應(yīng)急操作管理體系-自上而下、從頭落實(shí)、技術(shù)細(xì)化、持續(xù)改進(jìn)應(yīng)急15監(jiān)控巡檢管理體系-認(rèn)識對象、明確指標(biāo)、操作測量、評估優(yōu)化監(jiān)控管理體系監(jiān)控巡檢管理體系-認(rèn)識對象、明確指標(biāo)、操作測量、評估優(yōu)化監(jiān)控16目錄17運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道2運(yùn)維操作經(jīng)驗(yàn)的積累與獲取識別階段工作的重點(diǎn)與難點(diǎn)工具適用性選擇與人員調(diào)整...........................運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn)3目錄17運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道217作業(yè)管理實(shí)施要點(diǎn)-識別作業(yè)管理關(guān)鍵點(diǎn)、分析關(guān)鍵問題分布實(shí)現(xiàn)作業(yè)管理實(shí)施作業(yè)邏輯控制：各個(gè)作業(yè)任務(wù)之間往往存在先后邏輯關(guān)系，尤其是跨應(yīng)用系統(tǒng)的邏輯管理需要嚴(yán)格控制作業(yè)時(shí)間調(diào)度：很多作業(yè)需要控制執(zhí)行日期及時(shí)間，如周一至周五某時(shí)刻做，每月最后工作日做等等作業(yè)權(quán)限控制：關(guān)鍵作業(yè)需要特定角色或者多人復(fù)核等，需要進(jìn)行嚴(yán)格控制作業(yè)自動(dòng)執(zhí)行：對于將要實(shí)施自動(dòng)執(zhí)行的任務(wù)，應(yīng)具備哪些條件、應(yīng)如何改造、如何控制風(fēng)險(xiǎn)作業(yè)臨時(shí)干預(yù)：在特殊情況下，如業(yè)務(wù)部門特殊要求，某些作業(yè)不按照計(jì)劃的時(shí)間等條件執(zhí)行，能否有效控制是關(guān)鍵作業(yè)管理成體系：對于作業(yè)管理中的人員、信息、流程等要素進(jìn)行系統(tǒng)化管理，將作業(yè)的基礎(chǔ)信息、變更流程、人員工作等環(huán)節(jié)落實(shí)在一套管理制度及工具中作業(yè)變更標(biāo)準(zhǔn)化：嚴(yán)格控制作業(yè)任務(wù)在系統(tǒng)投產(chǎn)、節(jié)假日處理等情況下的變更及實(shí)施作業(yè)管理實(shí)施要點(diǎn)-識別作業(yè)管理關(guān)鍵點(diǎn)、分析關(guān)鍵問題分布實(shí)現(xiàn)作18應(yīng)急處置面臨的復(fù)雜性-系統(tǒng)間關(guān)聯(lián)性高、同城異地災(zāi)備環(huán)境應(yīng)急處置實(shí)施應(yīng)急處置面臨的復(fù)雜性-系統(tǒng)間關(guān)聯(lián)性高、同城異地災(zāi)備環(huán)境應(yīng)急處19應(yīng)急處置操控實(shí)施-處置操作標(biāo)準(zhǔn)化、整體設(shè)計(jì)處置流程、自動(dòng)操控應(yīng)急處置實(shí)施應(yīng)急處置操控實(shí)施-處置操作標(biāo)準(zhǔn)化、整體設(shè)計(jì)處置流程、自動(dòng)操控20監(jiān)測采集實(shí)施-識別監(jiān)測對象與指標(biāo)、監(jiān)測采集過程標(biāo)準(zhǔn)化、實(shí)時(shí)自動(dòng)監(jiān)測采集監(jiān)測采集實(shí)施監(jiān)測采集實(shí)施-識別監(jiān)測對象與指標(biāo)、監(jiān)測采集過程標(biāo)準(zhǔn)化、實(shí)時(shí)自21監(jiān)測采集實(shí)施-運(yùn)行數(shù)據(jù)采集目標(biāo)確定、采集手段梳理、采集流程設(shè)計(jì)實(shí)現(xiàn)監(jiān)測采集實(shí)施監(jiān)測采集實(shí)施-運(yùn)行數(shù)據(jù)采集目標(biāo)確定、采集手段梳理、采集流程設(shè)22關(guān)鍵生產(chǎn)環(huán)節(jié)的可用性保障-梳理整體環(huán)境及鏈路、確認(rèn)測試方法、自動(dòng)測試監(jiān)測采集實(shí)施關(guān)鍵生產(chǎn)環(huán)節(jié)的可用性保障-梳理整體環(huán)境及鏈路、確認(rèn)測試方法、2324運(yùn)維操作實(shí)現(xiàn)的關(guān)鍵因素—技術(shù)經(jīng)驗(yàn)、人員能力、工具實(shí)現(xiàn)、持續(xù)優(yōu)化首先要將內(nèi)部日常運(yùn)維工作逐步標(biāo)準(zhǔn)化規(guī)范化，并形成簡潔有效的運(yùn)維管理過程，記錄每個(gè)故障、分析成因、跟蹤問題，技術(shù)經(jīng)驗(yàn)、解決方案的日積月累。外部技術(shù)經(jīng)驗(yàn)及解決方案的引入，如網(wǎng)上資料、外包資源、項(xiàng)目資源等。技術(shù)經(jīng)驗(yàn)持續(xù)優(yōu)化在實(shí)施運(yùn)維管理的同時(shí)，必須考慮配套制度規(guī)范及細(xì)則的設(shè)計(jì)，以及技術(shù)標(biāo)準(zhǔn)的建立，同時(shí)形成不斷查缺補(bǔ)漏的工作機(jī)制。將運(yùn)維操作領(lǐng)域進(jìn)行細(xì)化分工，在系統(tǒng)設(shè)計(jì)、開發(fā)、投產(chǎn)、運(yùn)行監(jiān)測、優(yōu)化改進(jìn)等環(huán)節(jié)持續(xù)落實(shí)。24工具實(shí)現(xiàn)首先要明確各運(yùn)維領(lǐng)域細(xì)化目標(biāo)及需求，基于此分析對于工具的詳細(xì)需求。工具必須具備較強(qiáng)的二次開發(fā)能力，充分掌握核心代碼，以結(jié)果為導(dǎo)向整體設(shè)計(jì)，不斷持續(xù)改進(jìn)運(yùn)維管理分工的細(xì)化，由按系統(tǒng)分工模式，逐步調(diào)整為技術(shù)專業(yè)領(lǐng)域分工。充分利用外包、駐場、項(xiàng)目資源，將上述人員能力，按照標(biāo)準(zhǔn)化模式，輸出成為知識、解決方案，形成自身人員能力。人員能力24運(yùn)維操作實(shí)現(xiàn)的關(guān)鍵因素—技術(shù)經(jīng)驗(yàn)、人員能力、工具實(shí)現(xiàn)、持運(yùn)維自動(dòng)化工具思考-不是簡單的流程化、復(fù)雜邏輯控制、實(shí)際處理難題.......任務(wù)的暫停、延遲、跳過、置換、提前：任務(wù)的法定時(shí)間因子、前序條件因子、執(zhí)行令牌因子（臨時(shí)干預(yù)）【任務(wù)暫停、任務(wù)略過、任務(wù)提前、臨時(shí)調(diào)換兩個(gè)任務(wù)的先后順序等功能支持的情況】任務(wù)的時(shí)點(diǎn)報(bào)警、時(shí)長報(bào)警：可給固定參考值閥值、也可根據(jù)平均時(shí)間動(dòng)態(tài)計(jì)算閥值任務(wù)流的暫停、終止：向其它相關(guān)流程發(fā)送全局變量信息多個(gè)任務(wù)流程直接的信息交互：通過全局變量、消息隊(duì)列等實(shí)現(xiàn)對于已經(jīng)啟動(dòng)的任務(wù)流中臨時(shí)增加任務(wù)：實(shí)例化后流程可動(dòng)態(tài)修改任務(wù)流的單步執(zhí)行：可控制流程進(jìn)行單步執(zhí)行任務(wù)執(zhí)行失敗后的重做：任務(wù)執(zhí)行失敗后，可選擇執(zhí)行錯(cuò)誤任務(wù)進(jìn)行糾錯(cuò)、判斷、報(bào)警等運(yùn)維自動(dòng)化工具思考-不是簡單的流程化、復(fù)雜邏輯控制、實(shí)際處理25感謝交流感謝交流26中小銀行運(yùn)維自動(dòng)化管理中小銀行運(yùn)維自動(dòng)化管理27目錄28運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道2作業(yè)任務(wù)精確控制監(jiān)控巡檢準(zhǔn)確定位應(yīng)急處置自動(dòng)調(diào)度...........................運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn)3目錄2運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道2作28運(yùn)維管理總體目標(biāo)-防范風(fēng)險(xiǎn)、優(yōu)質(zhì)服務(wù)、控制成本、系統(tǒng)建設(shè)穩(wěn)定運(yùn)行精確控制資源管理標(biāo)準(zhǔn)服務(wù)應(yīng)用整體監(jiān)控

事件處置管理

知識維護(hù)使用變更發(fā)布管理

運(yùn)維服務(wù)標(biāo)準(zhǔn)化運(yùn)行成本可計(jì)量技術(shù)規(guī)范體系化運(yùn)維架構(gòu)規(guī)范化制度體系層次化運(yùn)維管理

作業(yè)調(diào)度管理安裝規(guī)范核對巡檢全程控制配置信息管控設(shè)備資源管理運(yùn)行數(shù)據(jù)采集資源性能分析

容量總體規(guī)劃數(shù)據(jù)資源管理精確操控管理是運(yùn)維管理的基礎(chǔ)，也是科技服務(wù)質(zhì)量的保障運(yùn)維管理總體目標(biāo)-防范風(fēng)險(xiǎn)、優(yōu)質(zhì)服務(wù)、控制成本、系統(tǒng)建設(shè)穩(wěn)定29作業(yè)管理難題-漏做錯(cuò)做、任務(wù)異常、執(zhí)行風(fēng)險(xiǎn)、隱患排查大型商業(yè)銀行每日批作業(yè)任務(wù)數(shù)已達(dá)數(shù)千個(gè)，中小型商業(yè)銀行也近幾百個(gè)，隨著業(yè)務(wù)復(fù)雜度及三方業(yè)務(wù)增加，任務(wù)數(shù)有增無減，并且變更頻率教高，控制難度增加；多個(gè)系統(tǒng)、多個(gè)作業(yè)任務(wù)之間形成了非常復(fù)雜的邏輯關(guān)系，僅靠表格等手工管理方式，很難降低任務(wù)執(zhí)行差錯(cuò)率；針對特殊日期的批作業(yè)任務(wù)臨時(shí)變更，很難精確控制，一旦作業(yè)任務(wù)執(zhí)行失誤，影響范圍較大，很難處理；很難精確記錄作業(yè)任務(wù)執(zhí)行時(shí)長、時(shí)點(diǎn)、報(bào)錯(cuò)等情況，無法統(tǒng)計(jì)分析，發(fā)現(xiàn)作業(yè)任務(wù)執(zhí)行過程中的潛在風(fēng)險(xiǎn)；...........................................................作業(yè)管理作業(yè)管理難題-漏做錯(cuò)做、任務(wù)異常、執(zhí)行風(fēng)險(xiǎn)、隱患排查大型商業(yè)30作業(yè)管理手段-任務(wù)登記、變更控制、邏輯調(diào)度、過程記錄、隱患排查任務(wù)定義？關(guān)系管控？技術(shù)標(biāo)準(zhǔn)？過程監(jiān)控？結(jié)果檢查？故障聯(lián)查？任務(wù)優(yōu)化？作業(yè)管理作業(yè)管理手段-任務(wù)登記、變更控制、邏輯調(diào)度、過程記錄、隱患排31運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn)監(jiān)控巡檢關(guān)鍵業(yè)務(wù)交易出現(xiàn)問題，想排查故障原因，那么：網(wǎng)絡(luò)環(huán)境如何？網(wǎng)絡(luò)報(bào)文正常？系統(tǒng)資源有瓶頸嗎？中間件有問題嗎？數(shù)據(jù)庫有瓶頸？應(yīng)用程序有報(bào)錯(cuò)？業(yè)務(wù)數(shù)據(jù)有問題嗎？客戶請求端狀態(tài)如何？運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn)32運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn)監(jiān)控巡檢2013年3月17日監(jiān)控報(bào)警情況---缺乏網(wǎng)絡(luò)通路質(zhì)量檢測直接報(bào)警【只有表象報(bào)警、無原因報(bào)警】15:37ECIF系統(tǒng)：三條報(bào)警ToFront0307error、ToFront0307error服務(wù)測試異常15:38收單系統(tǒng)：03801Successrateislow!Pb751BUSY！15:40電子支付系統(tǒng)：EPAYthreadisbusy15:44個(gè)貸風(fēng)險(xiǎn)管理系統(tǒng)：plms4和plms2、plms5、plms6阻塞線程數(shù)高、15:44信貸風(fēng)險(xiǎn)流程管理系統(tǒng)：weblogic線程數(shù)高、jdbc連接池等待15:45操作風(fēng)險(xiǎn)管理系統(tǒng)session鎖等待15:45圖前監(jiān)控采集機(jī)10.1.7.15報(bào)錯(cuò)15:46驗(yàn)印系統(tǒng)ssl握手失敗分析：1、從15:37到15:46，10分鐘內(nèi)統(tǒng)一監(jiān)控平臺共有19條應(yīng)用系統(tǒng)1級告警，但因總行網(wǎng)絡(luò)環(huán)境監(jiān)控手段的缺失，未能第一時(shí)間發(fā)現(xiàn)網(wǎng)絡(luò)線路質(zhì)量問題，因此，如何提早發(fā)現(xiàn)網(wǎng)絡(luò)通路問題，如何快速定位故障點(diǎn)，是故障早發(fā)現(xiàn)快解決的關(guān)鍵。2013年3月17日網(wǎng)絡(luò)通路典型故障運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn)33應(yīng)急難題-經(jīng)驗(yàn)積累、工具標(biāo)準(zhǔn)化、邏輯關(guān)系控制、快速準(zhǔn)確執(zhí)行？？？應(yīng)急處置應(yīng)急難題-經(jīng)驗(yàn)積累、工具標(biāo)準(zhǔn)化、邏輯關(guān)系控制、快速準(zhǔn)確執(zhí)行？34其它運(yùn)維操作難題-數(shù)據(jù)全程管理、標(biāo)準(zhǔn)化變更發(fā)布、環(huán)境合規(guī)檢查、資產(chǎn)動(dòng)態(tài)采集驗(yàn)證其它運(yùn)維操作其它運(yùn)維操作難題-數(shù)據(jù)全程管理、標(biāo)準(zhǔn)化變更發(fā)布、環(huán)境合規(guī)檢查35中小銀行運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化的意義--人員、經(jīng)驗(yàn)、風(fēng)險(xiǎn)、成本實(shí)施運(yùn)維操作自動(dòng)化的關(guān)鍵目標(biāo)是什么？：運(yùn)維操作管理應(yīng)該細(xì)分為如下幾個(gè)領(lǐng)域，每個(gè)領(lǐng)域的具體目標(biāo)是不同的：1）操作控制：準(zhǔn)確調(diào)度；2）監(jiān)控診斷：固化知識；3）應(yīng)急處置：精確執(zhí)行；4）變更發(fā)布：控制差錯(cuò)；5）規(guī)范檢查：準(zhǔn)確核對；6）資產(chǎn)采集：信息準(zhǔn)確；7）數(shù)據(jù)管理：全程控制；如何有重點(diǎn)分步驟的實(shí)施運(yùn)維操作自動(dòng)化？：根據(jù)細(xì)化后的運(yùn)維操作流域及其管理目標(biāo)，分別設(shè)計(jì)方案及標(biāo)準(zhǔn)，然后按照：首先標(biāo)準(zhǔn)化，其次自動(dòng)化，最后制度化的路線進(jìn)行實(shí)施；運(yùn)維操作自動(dòng)化與哪些運(yùn)維管理環(huán)節(jié)相關(guān)？：與一線建設(shè)、事件管理、應(yīng)急處置、數(shù)據(jù)管理、運(yùn)維標(biāo)準(zhǔn)化等運(yùn)維管理環(huán)節(jié)密切相關(guān)，同時(shí)考慮人力配備、技術(shù)能力問題【短期引入】；如何保持運(yùn)維操作標(biāo)準(zhǔn)化的持續(xù)性？：通過問題日常跟蹤機(jī)制【日積月累】、運(yùn)維操作維護(hù)工作流程【查缺補(bǔ)漏】、相關(guān)人員崗位規(guī)劃、以及工具持續(xù)優(yōu)化【實(shí)用原則】達(dá)成；意義及思考中小銀行運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化的意義--人員、經(jīng)驗(yàn)、風(fēng)險(xiǎn)、成本實(shí)施36目錄37運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道2運(yùn)維自動(dòng)化領(lǐng)域的細(xì)分標(biāo)準(zhǔn)化是自動(dòng)化的前提管理體系是有效實(shí)現(xiàn)的基礎(chǔ)...........................運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn)3目錄11運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道237運(yùn)維操作領(lǐng)域細(xì)分-領(lǐng)域不同，目標(biāo)及要求則不同，實(shí)現(xiàn)策略與方法不同操作控制：常規(guī)操作任務(wù)的定義、調(diào)度、執(zhí)行、監(jiān)控、變更、維護(hù)、優(yōu)化作業(yè)調(diào)度：風(fēng)險(xiǎn)控制、運(yùn)行評測、變更控制、配套檢查操作控制：配置備份、環(huán)境比對、時(shí)點(diǎn)檢查、標(biāo)準(zhǔn)安裝數(shù)據(jù)操作：系統(tǒng)備份、業(yè)務(wù)備份、恢復(fù)執(zhí)行、查詢流程、銷毀控制監(jiān)控診斷：報(bào)警判斷、故障定向、問題定位、二次采集、標(biāo)準(zhǔn)處置、資產(chǎn)核對運(yùn)行監(jiān)測：系統(tǒng)、應(yīng)用、數(shù)據(jù)、外聯(lián)環(huán)節(jié)的主動(dòng)探測，運(yùn)行數(shù)據(jù)采集故障診斷：監(jiān)控集成、二次判斷、故障定位、現(xiàn)場采集故障處置：處置執(zhí)行、狀態(tài)判斷、可用驗(yàn)證、故障隔離應(yīng)急處置：應(yīng)急環(huán)境與條件自動(dòng)檢測、應(yīng)急流程實(shí)現(xiàn)與維護(hù)、應(yīng)急操作自動(dòng)執(zhí)行變更發(fā)布：變更評審關(guān)鍵點(diǎn)管理（非功能需求在線核對）、應(yīng)用發(fā)布自動(dòng)化（標(biāo)準(zhǔn)）、系統(tǒng)變更自動(dòng)化（規(guī)范）規(guī)范檢查：監(jiān)管/管理規(guī)范核對、安全自動(dòng)檢測、配置信息自動(dòng)核對、安裝規(guī)范運(yùn)維操作領(lǐng)域細(xì)分-領(lǐng)域不同，目標(biāo)及要求則不同，實(shí)現(xiàn)策略與方法38運(yùn)維操作管理的實(shí)現(xiàn)：1）標(biāo)準(zhǔn)化；2）工具化；3）自動(dòng)化；4）制度化運(yùn)維操作管理的實(shí)現(xiàn)：1）標(biāo)準(zhǔn)化；2）工具化；3）自動(dòng)化；4）39作業(yè)管理體系-制度細(xì)則、技術(shù)規(guī)范、監(jiān)測優(yōu)化作業(yè)管理體系作業(yè)管理體系-制度細(xì)則、技術(shù)規(guī)范、監(jiān)測優(yōu)化作業(yè)管理體系40應(yīng)急操作管理體系-自上而下、從頭落實(shí)、技術(shù)細(xì)化、持續(xù)改進(jìn)應(yīng)急管理體系整體預(yù)案技術(shù)預(yù)案系統(tǒng)手冊技術(shù)演練持續(xù)維護(hù)識別業(yè)務(wù)風(fēng)險(xiǎn)控制故障影響指導(dǎo)整體工作明確故障升級及處置整體流程，建立規(guī)范整體了解關(guān)鍵業(yè)務(wù)系統(tǒng)結(jié)構(gòu)，梳理各類故障處置方法以實(shí)戰(zhàn)出發(fā)設(shè)計(jì)演練場景，驗(yàn)證操作有效性將系統(tǒng)的變更、典型故障，及時(shí)維護(hù)到應(yīng)急管理手冊之中技術(shù)操控管理重點(diǎn)范疇業(yè)務(wù)影響分析整體預(yù)案制定事件定級流程設(shè)計(jì)系統(tǒng)結(jié)構(gòu)梳理故障處置步驟日常變更管理演練場景設(shè)計(jì)典型故障管理實(shí)操與評測

分析 建立 設(shè)計(jì) 實(shí)操 評估整體工作落實(shí)策略應(yīng)急操作管理體系-自上而下、從頭落實(shí)、技術(shù)細(xì)化、持續(xù)改進(jìn)應(yīng)急41監(jiān)控巡檢管理體系-認(rèn)識對象、明確指標(biāo)、操作測量、評估優(yōu)化監(jiān)控管理體系監(jiān)控巡檢管理體系-認(rèn)識對象、明確指標(biāo)、操作測量、評估優(yōu)化監(jiān)控42目錄43運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道2運(yùn)維操作經(jīng)驗(yàn)的積累與獲取識別階段工作的重點(diǎn)與難點(diǎn)工具適用性選擇與人員調(diào)整...........................運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn)3目錄17運(yùn)維管理中的操作控制難題1運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道243作業(yè)管理實(shí)施要點(diǎn)-識別作業(yè)管理關(guān)鍵點(diǎn)、分析關(guān)鍵問題分布實(shí)現(xiàn)作業(yè)管理實(shí)施作業(yè)邏輯控制：各個(gè)作業(yè)任務(wù)之間往往存在先后邏輯關(guān)系，尤其是跨應(yīng)用系統(tǒng)的邏輯管理需要嚴(yán)格控制作業(yè)時(shí)間調(diào)度：很多作業(yè)需要控制執(zhí)行日期及時(shí)間，如周一至周五某時(shí)刻做，每月最后工作日做等等作業(yè)權(quán)限控制：關(guān)鍵作業(yè)需要特定角色或者多人復(fù)核等，需要進(jìn)行嚴(yán)格控制作業(yè)自動(dòng)執(zhí)行：對于將要實(shí)施自動(dòng)執(zhí)行的任務(wù)，應(yīng)具備哪些條件、應(yīng)如何改造、如何控制風(fēng)險(xiǎn)作業(yè)臨時(shí)干預(yù)：在特殊情況下，如業(yè)務(wù)部門特殊要求，某些作業(yè)不按照計(jì)劃的時(shí)間等條件執(zhí)行，能否有效控制是關(guān)鍵作業(yè)管理成體系：對于作業(yè)管理中的人員、信息、流程等要素進(jìn)行系統(tǒng)化管理，將作業(yè)的基礎(chǔ)信息、變更流程、人員工作等環(huán)節(jié)落實(shí)在一套管理制度及工具中作業(yè)變更標(biāo)準(zhǔn)化：嚴(yán)格控制作業(yè)任務(wù)在系統(tǒng)投產(chǎn)、節(jié)假日處理等情況下的變更及實(shí)施作業(yè)管理實(shí)施要點(diǎn)-識別作業(yè)管理關(guān)鍵點(diǎn)、分析關(guān)鍵問題分布實(shí)現(xiàn)作44應(yīng)急處置面臨的復(fù)雜性-系統(tǒng)間關(guān)聯(lián)性高、同城異地災(zāi)備環(huán)境應(yīng)急處置實(shí)施應(yīng)急處置面臨的復(fù)雜性-系統(tǒng)間關(guān)聯(lián)性高、同城異地災(zāi)備環(huán)境應(yīng)急處45應(yīng)急處置操控實(shí)施-處置操作標(biāo)準(zhǔn)化、整體設(shè)計(jì)處置流程、自動(dòng)操控應(yīng)急處置實(shí)施應(yīng)急處置操控實(shí)施-處置操作標(biāo)準(zhǔn)化、整體設(shè)計(jì)處置流程、自動(dòng)操控46監(jiān)測采集實(shí)施-識別監(jiān)測對象與指標(biāo)、監(jiān)測采集過程標(biāo)準(zhǔn)化、實(shí)時(shí)自