IT系統(tǒng)應(yīng)急響應(yīng)及恢復(fù)預(yù)案編寫指南

IT系統(tǒng)應(yīng)急響應(yīng)及恢復(fù)預(yù)案編寫指南2023年7月1日

目錄修訂說明：3修訂記錄41.總那么61.1.目的和依據(jù)61.2.適用范圍62.系統(tǒng)及資源82.1.系統(tǒng)信息82.2.系統(tǒng)描述92.3.運(yùn)行指標(biāo)92.4.關(guān)聯(lián)系統(tǒng)102.5.物理架構(gòu)112.6.網(wǎng)絡(luò)拓樸112.7.IP及端口112.8.系統(tǒng)軟硬件112.9.后備資源132.10.用戶分配142.11.其他信息143.標(biāo)準(zhǔn)處置預(yù)案153.1.標(biāo)準(zhǔn)處置164.故障快速定位204.1.快速定位流程204.2.定位流程描述204.3.故障快速定位排查內(nèi)容205.系統(tǒng)應(yīng)急場景分類及描述225.1.故障場景分類225.2.硬件故障場景225.3.通用軟件故障場景265.4.應(yīng)用軟件故障場景285.5.網(wǎng)路故障場景295.6.其它故障場景305.7.恢復(fù)回切場景306.附錄31附錄一：人員聯(lián)系表31附錄二：應(yīng)急演練方案32附錄三：應(yīng)急演練報告32附錄四：故障應(yīng)急報告32附錄五：故障現(xiàn)場收集腳本32修訂說明：北京數(shù)據(jù)中心于2023年3月推出《北京數(shù)據(jù)中心總體應(yīng)急預(yù)案V1.0》〔簡稱總體預(yù)案〕和《中國建設(shè)銀行XX系統(tǒng)應(yīng)急響應(yīng)及恢復(fù)預(yù)案〔模版V3.0〕》〔簡稱新預(yù)案模板〕?？傮w預(yù)案主要適用于北京數(shù)據(jù)中心信息系統(tǒng)突發(fā)事件的處理，并指導(dǎo)各信息系統(tǒng)編制系統(tǒng)應(yīng)急預(yù)案。在總體預(yù)案中，對事件分級及處置原那么、中心應(yīng)急組織架構(gòu)及職責(zé)、應(yīng)急響應(yīng)及恢復(fù)流程、應(yīng)急預(yù)案管理等內(nèi)容進(jìn)行了描述。新預(yù)案模板主要用于指導(dǎo)數(shù)據(jù)中心各系統(tǒng)應(yīng)急新版預(yù)案的修訂工作。新預(yù)案模板在V2.0版本根底上，對架構(gòu)和內(nèi)容進(jìn)行了全面的修訂，重點(diǎn)加強(qiáng)了系統(tǒng)應(yīng)急管理、故障快速定位和故障場景等內(nèi)容的描述?？纱_保特定系統(tǒng)發(fā)生突發(fā)事件時，應(yīng)急人員能依據(jù)預(yù)案預(yù)設(shè)內(nèi)容，標(biāo)準(zhǔn)處置和快速恢復(fù)應(yīng)用。系統(tǒng)預(yù)案中相關(guān)的事件分級、處置和應(yīng)急流程等在總體預(yù)案中都有詳細(xì)描述。在修訂過程中，編制人員可參照總體預(yù)案進(jìn)行新版預(yù)案的修訂。新預(yù)案模板由六章組成，分別是總那么、系統(tǒng)及資源、標(biāo)準(zhǔn)處置預(yù)案、故障快速定位、系統(tǒng)應(yīng)急場景分類及描述和附錄。新預(yù)案模板與V2.0版預(yù)案在文檔結(jié)構(gòu)對照關(guān)系可參見下表：新版預(yù)案模板V3.0舊版預(yù)案模板V2.0備注1總那么新增內(nèi)容2系統(tǒng)及資源1.應(yīng)用系統(tǒng)簡介2.系統(tǒng)資源配置對應(yīng)舊預(yù)案第一、二章局部內(nèi)容3標(biāo)準(zhǔn)處置預(yù)案新增內(nèi)容4故障快速定位新增內(nèi)容5系統(tǒng)應(yīng)急場景分類及描述7.技術(shù)應(yīng)急維護(hù)操作手冊對應(yīng)舊預(yù)案第七章局部內(nèi)容6附錄9附錄對應(yīng)舊預(yù)案第九章局部內(nèi)容3.管理部門及職責(zé)劃分4.應(yīng)急組織設(shè)置5．系統(tǒng)應(yīng)急管理6．應(yīng)急處理流程8.預(yù)案演練和更新相關(guān)內(nèi)容將統(tǒng)一出現(xiàn)在中心總體預(yù)案中新預(yù)案模板保持了應(yīng)急預(yù)案版本建設(shè)的連貫性，減少了預(yù)案版本升級所可能產(chǎn)生的困難和產(chǎn)生的工作量，便于預(yù)案修訂人員參考使用。本編寫指南在主體結(jié)構(gòu)與預(yù)案模板也根本保持一致，希望能幫助預(yù)案修訂人員順利完成新版應(yīng)急預(yù)案修訂工作。修訂記錄說明：每次系統(tǒng)升級及變更配置后，都必須對應(yīng)急預(yù)案做相應(yīng)的修訂，確保這些變化造成的影響能夠在應(yīng)急預(yù)案模版中反映出來并使之符合系統(tǒng)現(xiàn)有狀況。預(yù)案維護(hù)人員嚴(yán)格執(zhí)行版本控制，在預(yù)案內(nèi)容更新后時應(yīng)該確保相關(guān)人員都能及時得到最新版本。例如：修訂日期版本號修訂說明修訂人審核2007.1V1.0建立數(shù)據(jù)中心應(yīng)急預(yù)案模板吳磊楊曉勤2023.1V2.0修訂應(yīng)急預(yù)案第五、六、七章節(jié)吳磊張翔2023.6V2.5修訂第四、第七、第八章節(jié)吳磊張翔2023.3V3.0全面修訂應(yīng)急預(yù)案結(jié)構(gòu)和內(nèi)容，新增第三、第四章內(nèi)容吳磊付林總那么目的和依據(jù)說明：請在此簡要描述本預(yù)案編制的主要目的，本預(yù)案在建設(shè)銀行業(yè)務(wù)持續(xù)性突發(fā)事件應(yīng)急響應(yīng)及恢復(fù)工作〔以下簡稱“應(yīng)急響應(yīng)及恢復(fù)工作〞〕過程中所發(fā)揮的作用和執(zhí)行的功能，以及編制本預(yù)案的主要依據(jù)。例如：防垃圾郵件網(wǎng)關(guān)系統(tǒng)〔MGAT〕應(yīng)急預(yù)案〔以下簡稱MGAT預(yù)案〕是郵件網(wǎng)關(guān)系統(tǒng)遇到緊急情況或運(yùn)行中斷后為恢復(fù)郵件網(wǎng)關(guān)效勞所采取的快速有效的應(yīng)對手段。通過建立包含應(yīng)急啟動、執(zhí)行、恢復(fù)等流程、步驟和技術(shù)操作方案，為系統(tǒng)相關(guān)組織、人員處理應(yīng)急情況提供指導(dǎo)；并作為與總行其他應(yīng)急相關(guān)人員進(jìn)行協(xié)調(diào)的依據(jù)。適用范圍說明：請在此明確本應(yīng)急預(yù)案的具體適用范圍。如指明該預(yù)案適用于因XXX突發(fā)事件所導(dǎo)致的建設(shè)銀行XXX業(yè)務(wù)發(fā)生中斷，需要采取應(yīng)急處置和恢復(fù)措施予以應(yīng)對的操作風(fēng)險事件。例如：本系統(tǒng)應(yīng)急預(yù)案適用范圍是北京數(shù)據(jù)中心與本系統(tǒng)有關(guān)的所有組織體系和人員，適用于北京數(shù)據(jù)中心郵件網(wǎng)關(guān)系統(tǒng)的運(yùn)行所需的功能，操作和資源。該預(yù)案適用于因郵件網(wǎng)關(guān)系統(tǒng)突發(fā)事件所導(dǎo)致的建設(shè)銀行郵件收發(fā)發(fā)生中斷，需要采取應(yīng)急處置和恢復(fù)措施予以應(yīng)對的操作風(fēng)險事件。郵件網(wǎng)關(guān)系統(tǒng)簡稱為MGAT，產(chǎn)品英文名稱為Websense郵件網(wǎng)關(guān)。系統(tǒng)及資源系統(tǒng)信息應(yīng)用系統(tǒng)中文全稱：說明：請在此描述應(yīng)用系統(tǒng)在北京數(shù)據(jù)中心〔或ITSM系統(tǒng)中〕的中文全稱。應(yīng)用系統(tǒng)英文縮寫：說明：請在此描述應(yīng)用系統(tǒng)在北京數(shù)據(jù)中心〔或ITSM系統(tǒng)中〕的英文簡稱。應(yīng)用系統(tǒng)負(fù)責(zé)部室：說明：請在此描述應(yīng)用系統(tǒng)在數(shù)據(jù)中心〔或ITSM系統(tǒng)中〕的負(fù)責(zé)部室。應(yīng)用系統(tǒng)管理員：說明：請在此描述應(yīng)用系統(tǒng)在數(shù)據(jù)中心〔或ITSM系統(tǒng)中〕的應(yīng)用預(yù)案修訂人員A/B角或者管理團(tuán)隊。平臺系統(tǒng)管理員：說明：請在此描述應(yīng)用系統(tǒng)在數(shù)據(jù)中心〔或ITSM系統(tǒng)中〕的平臺預(yù)案修訂人員A/B角或者管理團(tuán)隊。網(wǎng)絡(luò)管理員：說明：請在此描述應(yīng)用系統(tǒng)在數(shù)據(jù)中心〔或ITSM系統(tǒng)中〕的網(wǎng)絡(luò)管理員A/B角或者管理團(tuán)隊。系統(tǒng)描述系統(tǒng)功能：說明：請在此描述應(yīng)用系統(tǒng)的主要功能。支撐業(yè)務(wù)：說明：請在此描述應(yīng)用系統(tǒng)所支撐的所有業(yè)務(wù)應(yīng)用。業(yè)務(wù)影響范圍：說明：請在此描述應(yīng)用系統(tǒng)故障后可能影響的范圍。運(yùn)行指標(biāo)說明：請在此補(bǔ)充應(yīng)用系統(tǒng)的常用的一些運(yùn)行指標(biāo)，如恢復(fù)時間目標(biāo)(RTO,RecoveryTimeObjective)恢復(fù)點(diǎn)目標(biāo)(RPO,RecoveryPointObjective)、運(yùn)行維護(hù)級別、可用性要求，性能要求，業(yè)務(wù)連續(xù)性要求，平安性要求，可管理性要求，可維護(hù)性要求等。運(yùn)行指標(biāo)解釋：1〕恢復(fù)時間目標(biāo)〔RTO〕：是指突發(fā)事件發(fā)生并導(dǎo)致業(yè)務(wù)或系統(tǒng)中斷后，從中斷到必須恢復(fù)的時間要求。2〕恢復(fù)點(diǎn)目標(biāo)〔RPO〕：是指突發(fā)事件發(fā)生并導(dǎo)致業(yè)務(wù)或系統(tǒng)中斷后，數(shù)據(jù)必須恢復(fù)到的時間點(diǎn)要求，即數(shù)據(jù)可容忍喪失的最大時間長度。注意：恢復(fù)時間目標(biāo)〔RTO〕和恢復(fù)點(diǎn)目標(biāo)〔RPO〕是必填項。在營業(yè)不同時間段〔業(yè)務(wù)頂峰、業(yè)務(wù)空閑和非業(yè)務(wù)時間〕如對RTO/RPO有不同要求，請單獨(dú)列舉。例如：郵件網(wǎng)關(guān)系統(tǒng)運(yùn)行指標(biāo)恢復(fù)時間目標(biāo)〔RTO〕：0分鐘?；謴?fù)點(diǎn)目標(biāo)〔RPO〕：10分鐘。運(yùn)行維護(hù)級別：5*8〔8:30-17:30〕?？捎眯砸螅喝晗到y(tǒng)可用性到達(dá)99.9%。性能要求：系統(tǒng)最大并發(fā)連接數(shù)8000個TCP連接，郵件處理速度>150封/秒，郵件延遲時間平均值<1分鐘，郵件錯誤率<0.01%。業(yè)務(wù)連續(xù)性要求：7*24連續(xù)運(yùn)行。平安性要求：防攻擊性能參數(shù)>170,000次/小時包括字典攻擊、目錄攻擊、病毒攻擊、壓縮文件攻擊等。關(guān)聯(lián)系統(tǒng)說明：請在此描述與該系統(tǒng)運(yùn)行相關(guān)的其它關(guān)聯(lián)系統(tǒng)情況，如：何種關(guān)聯(lián)系統(tǒng)？所涉及何種業(yè)務(wù)等。物理架構(gòu)說明：請在此描述系統(tǒng)物理拓樸結(jié)構(gòu)及簡要描述〔包括放置在哪個機(jī)房，物理如何連接、以及何其他系統(tǒng)的關(guān)聯(lián)拓?fù)涞取尘W(wǎng)絡(luò)拓樸說明：請在此描述系統(tǒng)網(wǎng)絡(luò)拓樸結(jié)構(gòu)及簡要描述IP及端口說明：請在此描述簡要描述系統(tǒng)使用的IP地址及端口〔請?zhí)顚懓◣夤芾碓趦?nèi)的所有網(wǎng)絡(luò)地址和端口〕系統(tǒng)軟硬件主機(jī)設(shè)備說明：請在此描述主機(jī)設(shè)備的具體配置及參數(shù)。例如：主機(jī)設(shè)備一：郵件網(wǎng)關(guān)系統(tǒng)主效勞器，設(shè)備用途：設(shè)備編號：操作系統(tǒng)及版本：WindowsServer2003R2企業(yè)版設(shè)備位置：北京洋橋2層數(shù)據(jù)庫及版本：SQL2005設(shè)備型號：IBMxSeries3850中間件及版本：websenseV設(shè)備序列號：99C4653本地硬盤RAID級別：raid5設(shè)備微碼：〔主要設(shè)備〕本地硬盤大小及數(shù)量：146*6CPU及數(shù)量：Xeon3.0G4網(wǎng)卡一MAC及IP：00-14-5E-BC-7A-2E(無IP地址)內(nèi)存大小：8G網(wǎng)卡二MAC及IP：00-14-5E-BC-7A-2F網(wǎng)卡：3塊網(wǎng)卡網(wǎng)卡三MAC及IP：00-10-18-30-69-4D(IP：9)其他軟件配置說明：請在此描述系統(tǒng)安裝的各種軟件的具體信息及用途，請將系統(tǒng)所用軟件按系統(tǒng)軟件、中間件、數(shù)據(jù)庫、應(yīng)用等進(jìn)行劃分。例如：軟件類型產(chǎn)品名稱版本號用途說明操作系統(tǒng)WEBSENSEOS2.2.4.22-14生產(chǎn)數(shù)據(jù)庫Mysql4.0生產(chǎn)應(yīng)用軟件RiskFilter生產(chǎn)磁盤/磁盤陣列說明：請在此描述系統(tǒng)所用的磁盤及磁盤陣列。磁帶存儲說明：請在此描述系統(tǒng)所用的磁帶存儲。網(wǎng)絡(luò)設(shè)備〔如路由器、交換機(jī)、負(fù)載均衡等〕說明：請在此描述系統(tǒng)專用的各種網(wǎng)絡(luò)設(shè)備其它硬件設(shè)備〔如加密機(jī)等〕說明：請在此描述系統(tǒng)專用的各種硬件設(shè)備。后備資源說明：請在此描述系統(tǒng)各種后備資源，如系統(tǒng)的數(shù)據(jù)備份、硬件配件、軟件備份等資源信息。數(shù)據(jù)備份說明：請在此描述系統(tǒng)可能有的操作系統(tǒng)、應(yīng)用系統(tǒng)和應(yīng)用數(shù)據(jù)備份，要說明備份等級、備份時間、備份介質(zhì)、存放位置和保管人等信息。硬件配件說明：請在此描述系統(tǒng)可能有的各種硬件配件，如大機(jī)、小機(jī)、效勞器、網(wǎng)絡(luò)設(shè)備、計算機(jī)備件和其它相關(guān)配件。對這些配件要注明具體型號、序列號、效勞期限、保存位置和保管人等信息。軟件備份說明：請在此描述系統(tǒng)可能有的各種軟件備份，如操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、應(yīng)用軟件備份等。對這些備份要注明具體產(chǎn)品名稱、版本號、保存位置和保管人等信息。用戶分配說明：請在此描述系統(tǒng)可能有的各種用戶，包括系統(tǒng)原有和自建的用戶。要明確用戶角色、用戶組及其它相關(guān)信息。其他信息說明：請在此描述其它與系統(tǒng)相關(guān)的需要描述的信息。標(biāo)準(zhǔn)處置預(yù)案說明：請在此描述系統(tǒng)預(yù)設(shè)的一些標(biāo)準(zhǔn)處置預(yù)案，如主備機(jī)切換、應(yīng)急庫切換、災(zāi)備環(huán)境標(biāo)準(zhǔn)切換、硬件設(shè)備標(biāo)準(zhǔn)關(guān)閉、硬件設(shè)備標(biāo)準(zhǔn)重啟等標(biāo)準(zhǔn)處置預(yù)案。下面列舉了常見的一些標(biāo)準(zhǔn)處置預(yù)案但不完善，請預(yù)案編制人員根據(jù)系統(tǒng)實(shí)際情況酌情修訂。在預(yù)案模板中，系統(tǒng)標(biāo)準(zhǔn)處置預(yù)案列舉如下：主備機(jī)標(biāo)準(zhǔn)切換：該處置預(yù)案應(yīng)包含系統(tǒng)各種設(shè)備在運(yùn)行中出現(xiàn)意外時，所涉及的各種應(yīng)急迫換處置步驟。設(shè)備包含大機(jī)、小機(jī)、效勞器、網(wǎng)絡(luò)設(shè)備、專用設(shè)備、存儲等。應(yīng)急庫標(biāo)準(zhǔn)切換:該處置預(yù)案應(yīng)包含系統(tǒng)切換應(yīng)急庫的相關(guān)處置步驟。災(zāi)備環(huán)境標(biāo)準(zhǔn)切換：該處置預(yù)案應(yīng)包含系統(tǒng)切換災(zāi)備環(huán)境的相關(guān)處置步驟。硬件設(shè)備標(biāo)準(zhǔn)關(guān)閉：該處置預(yù)案包含系統(tǒng)硬件設(shè)備關(guān)閉時的相關(guān)處置步驟。硬件設(shè)備標(biāo)準(zhǔn)重啟：該處置預(yù)案包含系統(tǒng)硬件設(shè)備重啟時的相關(guān)處置步驟。數(shù)據(jù)庫標(biāo)準(zhǔn)關(guān)閉：該處置預(yù)案包含系統(tǒng)數(shù)據(jù)庫關(guān)閉時的相關(guān)處置步驟數(shù)據(jù)庫標(biāo)準(zhǔn)重啟：該處置預(yù)案包含系統(tǒng)數(shù)據(jù)庫重啟時的相關(guān)處置步驟。應(yīng)用效勞標(biāo)準(zhǔn)關(guān)閉：該處置預(yù)案包含系統(tǒng)應(yīng)用效勞關(guān)閉時的相關(guān)處置步驟。應(yīng)用效勞標(biāo)準(zhǔn)重啟：該處置預(yù)案包含系統(tǒng)應(yīng)用效勞重啟時的相關(guān)處置步驟。中間件標(biāo)準(zhǔn)關(guān)閉：該處置預(yù)案包含系統(tǒng)中間件關(guān)閉時的相關(guān)處置步驟。中間件標(biāo)準(zhǔn)重啟：該處置預(yù)案包含系統(tǒng)中間件重啟時的相關(guān)處置步驟。其它通用軟件標(biāo)準(zhǔn)關(guān)閉：該處置預(yù)案包含系統(tǒng)其它通用軟件關(guān)閉時的相關(guān)處置步驟。其它通用軟件標(biāo)準(zhǔn)重啟：該處置預(yù)案包含系統(tǒng)其它通用軟件重啟時的相關(guān)處置步驟。硬件模塊故障標(biāo)準(zhǔn)處置：該處置預(yù)案應(yīng)包含系統(tǒng)設(shè)備出現(xiàn)硬件模塊故障，需要進(jìn)行在線更換的相關(guān)處置步驟。涉及模塊如電源、CPU、內(nèi)存、RAID卡、光纖卡等?；謴?fù)回切標(biāo)準(zhǔn)處置：該處置預(yù)案應(yīng)包含系統(tǒng)通過故障救治，排除故障后恢復(fù)到原生產(chǎn)環(huán)境所涉及的各種回切處置。標(biāo)準(zhǔn)處置說明：請在此對標(biāo)準(zhǔn)處置的主要用途做簡要描述。修訂日期：說明：請在此描述該標(biāo)準(zhǔn)處置最近一次驗證和修訂的日期。處置時間：說明：請在此描述完成操作需要的時間。操作步驟：說明：請在此描述具體操作步驟，要求詳細(xì)到具體的操作命令。驗證步驟：說明：請在此描述操作完后的驗證步驟，也要求詳細(xì)到具體的操作命令。例如：標(biāo)準(zhǔn)處置1：主備機(jī)切換該標(biāo)準(zhǔn)處置主要起如下作用：生產(chǎn)環(huán)境郵件網(wǎng)關(guān)設(shè)備出現(xiàn)故障無法工作情況下，郵件網(wǎng)關(guān)備機(jī)通過該標(biāo)準(zhǔn)處置可緊急接管效勞。修訂日期：2023年3月10日。處置時間：處置時間<20分鐘。操作步驟：進(jìn)入運(yùn)維終端E:\日常備份\月報\郵件網(wǎng)關(guān)郵件效勞器策略明細(xì)表，找到當(dāng)日備份及證書備份；將備機(jī)的IP地址修改為生產(chǎn)主機(jī)地址(11.xxx.xxx.31)，重新啟動網(wǎng)絡(luò)；具體操作命令為：vi/etc/sysconfig/network-scripts/ifcfg-eth0〕，將IPADDRESS項中的地址修改為生產(chǎn)地址，存盤退出編輯。將郵件網(wǎng)關(guān)31主機(jī)的網(wǎng)線拔除并插到備機(jī)對應(yīng)網(wǎng)卡中；在超級用戶權(quán)限下執(zhí)行應(yīng)用啟動命令：#/etc/init.d/smgdrestart。用administrator用戶登錄s://11.xxx.xxx.31/admin管理界面，進(jìn)入系統(tǒng)設(shè)置幫助—設(shè)置向?qū)?-，輸入〔驗證〕備份的證書序號和激活碼。繼續(xù)在系統(tǒng)設(shè)置更新管理中，立即更新反病毒庫和反垃圾郵件庫。登錄s://11.xxx.xxx.31:10000端口管理界面，在系統(tǒng)備份管理導(dǎo)入終端中的備份文件，恢復(fù)系統(tǒng)配置及策略設(shè)置為31主機(jī)狀態(tài)；驗證步驟：登錄s://11.xxx.xxx.31/admin查看系統(tǒng)設(shè)置、系統(tǒng)面板，分別檢查設(shè)置是否已經(jīng)恢復(fù)成功，對外連接的效勞器狀態(tài)是否正常；繼續(xù)在s://11.xxx.xxx.31/admin，統(tǒng)計與日志中，分別查看郵件日志、投遞郵件、系統(tǒng)狀態(tài)、過濾統(tǒng)計等，測試收發(fā)郵件是否正常工作，過濾是否正常；登錄s://11.xxx.xxx.31:10000管理界面，在系統(tǒng)歷史統(tǒng)計數(shù)據(jù)中，分別查看CPU、磁盤、內(nèi)存、eth0網(wǎng)絡(luò)接口卡等硬件運(yùn)行情況；如以上三局部檢查都正常，那么說明系統(tǒng)主備機(jī)切換成功。故障快速定位快速定位流程說明：請在此描述當(dāng)系統(tǒng)出現(xiàn)未知故障情況下，應(yīng)急人員因按照何種預(yù)設(shè)流程進(jìn)行故障排查，以便能快速定位系統(tǒng)故障。為標(biāo)準(zhǔn)和方便大家填寫故障快速定位流程，在預(yù)案模版中預(yù)設(shè)一個空白的應(yīng)急預(yù)案的維護(hù)流程，預(yù)案修訂人員需要根據(jù)系統(tǒng)特點(diǎn)修改完善。定位流程描述說明：請根據(jù)上節(jié)的定位流程圖，翔實(shí)描述各具體定位流程步驟。〕1、2、故障快速定位排查內(nèi)容說明：請在此詳細(xì)描述在系統(tǒng)故障排查時，可能涉及的檢查的內(nèi)容、執(zhí)行的命令、指標(biāo)閥值等。在預(yù)案模板中預(yù)設(shè)了快速定位排查表，主要涉及應(yīng)用應(yīng)用軟件、網(wǎng)絡(luò)狀態(tài)、硬件狀態(tài)、通用軟件等檢查內(nèi)容。預(yù)案修訂人員要求認(rèn)真考慮排查的優(yōu)先順序，按照最快故障排查定位的原那么對優(yōu)先順序進(jìn)行排序。每步排查步驟都要求有檢查內(nèi)容、操作步驟、操作/復(fù)核人、檢查結(jié)果等具體信息。并要求根據(jù)排查結(jié)果指定下一步檢查內(nèi)容。如故障定位檢查需要相關(guān)系統(tǒng)配合，也請按照排查順序，將相關(guān)檢查內(nèi)容添加到排查表中。如檢查內(nèi)容較多，可在排查表中簡要描述檢查項，詳細(xì)內(nèi)容放在預(yù)案附錄中。系統(tǒng)應(yīng)急場景分類及描述故障場景分類說明：請預(yù)案修訂人員根據(jù)系統(tǒng)特點(diǎn)，在此對故障場景進(jìn)行分類并簡要描述，要求故障場景分類應(yīng)能覆蓋系統(tǒng)所有可能出現(xiàn)的故障場景。例如：系統(tǒng)故障場景按照故障特點(diǎn)分為五類：硬件故障場景、通用軟件故障場景、應(yīng)用軟件故障場景、網(wǎng)絡(luò)故障場景和其它故障場景。1.硬件故障場景：主要包含系統(tǒng)硬件方面的故障場景。例如。。。2.通用軟件故障場景：主要操作系統(tǒng)、數(shù)據(jù)庫軟件、中間件等方面的故障場景。例如。。。3.應(yīng)用軟件故障場景：主要包含業(yè)務(wù)應(yīng)用系統(tǒng)方面的故障。例如。。。4.網(wǎng)絡(luò)故障場景：主要包含與網(wǎng)絡(luò)相關(guān)的故障場景。例如。。。5.其它故障場景：主要包含系統(tǒng)相關(guān)的外聯(lián)系統(tǒng)、外部環(huán)境等方面的故障。例如。。。硬件故障場景說明：請在此詳細(xì)列舉并描述系統(tǒng)可能出現(xiàn)的各種硬件場景，在預(yù)案模板中列舉了一些常見的故障事件，預(yù)案編制人員要根據(jù)系統(tǒng)實(shí)際情況酌情修訂。修訂后預(yù)案表中的列舉的故障事件都要求在預(yù)案隨后的章節(jié)里進(jìn)行詳細(xì)描述?！差A(yù)案編制人員在修訂應(yīng)急步驟時，建議參考平臺部編制的通用故障處理方案，該方案內(nèi)包含LINUX、AIX、HP-UX、INFORMIX、ORACLE通過故障處理流程和應(yīng)急處理步驟?！吃陬A(yù)案模板中，系統(tǒng)硬件常見故障事件列舉如下：大型機(jī)異常報錯小型機(jī)異常報錯加密機(jī)設(shè)備異常效勞器異常宕機(jī)設(shè)備網(wǎng)卡異常設(shè)備CPU異常設(shè)備硬盤異常設(shè)備內(nèi)存異常設(shè)備光纖卡異常設(shè)備RAID卡異常設(shè)備HA卡異常設(shè)備串口卡異常設(shè)備其它部件異常XX故障事件說明：請在XX處補(bǔ)全具體故障事件名稱。修訂日期：說明：請在此描述該故障事件處置最近一次驗證和修訂的日期。事件級別：說明：請在此設(shè)定該故障事件等級〔一級/二級/三級/四級/五級/六級〕。劃分原那么請按照《中國建設(shè)銀行信息系統(tǒng)生產(chǎn)事件等級認(rèn)定規(guī)定(試行)》(建總發(fā)〔2023〕138號)對事件級別的劃分。授權(quán)級別：說明：請在此設(shè)定執(zhí)行該故障救治步驟所需要的授權(quán)級別中心領(lǐng)導(dǎo)授權(quán)/部室負(fù)責(zé)人授權(quán)/部室日常授權(quán))。授權(quán)級別的設(shè)定可參照中心總體預(yù)案中的授權(quán)級別設(shè)定原那么。處置時間：說明：請在此在設(shè)定執(zhí)行救治措施，完成故障處置該所需要的時間。場景描述：說明：請在此簡要描述該故障場景可能出現(xiàn)的狀況和現(xiàn)象。驗證方法：說明：請在此簡要描述可確認(rèn)該故障事件驗證方法和手段?，F(xiàn)場保護(hù)：說明：請在此描述進(jìn)行現(xiàn)場保護(hù)所使用的現(xiàn)場收集腳本。局部腳本可見附錄。救治步驟：說明：請在此此翔實(shí)描述故障救治步驟，要求細(xì)化到具體的操作指令。如救治步驟調(diào)用前面標(biāo)準(zhǔn)處置章節(jié)的內(nèi)容，那么必須在此注明調(diào)用的具體章節(jié)號及名稱。例如：郵件網(wǎng)關(guān)集群中一臺設(shè)備硬件宕機(jī)修訂日期：最近一次驗證和修訂的日期為2023年3月11日事件級別：五級事件授權(quán)級別：部室負(fù)責(zé)人授權(quán)處理時間：26分鐘場景描述：應(yīng)用監(jiān)控人員通過郵件、短信、實(shí)時監(jiān)控等渠道得知主機(jī)不可用。應(yīng)用用戶可以ping通主機(jī)IP地址，但不能從控制臺登入操作系統(tǒng)，且未發(fā)現(xiàn)硬件故障燈亮。驗證方法：〔3分鐘〕進(jìn)入主機(jī)房檢查主機(jī)上是否有硬件報錯或是否有黃燈閃，如果沒有那么說明不是因為硬件的損壞導(dǎo)致的主機(jī)不可用?，F(xiàn)場保護(hù)：〔3分鐘〕如果系統(tǒng)無法響應(yīng)且屏幕有信息，用將提示信息拍下，或者用筆將文字記錄下來；系統(tǒng)重啟后，執(zhí)行errspot.sh腳本將系統(tǒng)相關(guān)的信息和日志收集起來，以備分析故障時使用。救治步驟：〔20分鐘〕將備機(jī)的IP地址修改為生產(chǎn)主機(jī)地址(11.xxx.xxx.31)，重新啟動網(wǎng)絡(luò)；具體操作命令為：vi/etc/sysconfig/network-scripts/ifcfg-eth0〕，將IPADDRESS項中的地址修改為生產(chǎn)地址，存盤退出編輯。將郵件網(wǎng)關(guān)31主機(jī)的網(wǎng)線拔除并插到備機(jī)對應(yīng)網(wǎng)卡中；在超級用戶權(quán)限下執(zhí)行應(yīng)用啟動命令：#/etc/init.d/smgdrestart。用administrator用戶登錄s://11.xxx.xxx.31/admin管理界面，進(jìn)入系統(tǒng)設(shè)置幫助—設(shè)置向?qū)?-，輸入〔驗證〕備份的證書序號和激活碼。繼續(xù)在系統(tǒng)設(shè)置更新管理中，立即更新反病毒庫和反垃圾郵件庫。登錄s://11.xxx.xxx.31:10000端口管理界面，在系統(tǒng)備份管理導(dǎo)入終端中的備份文件，恢復(fù)系統(tǒng)配置及策略設(shè)置為31主機(jī)狀態(tài)；通用軟件故障場景說明：請在此詳細(xì)列舉并描述系統(tǒng)所有可能出現(xiàn)的操作系統(tǒng)、數(shù)據(jù)庫、中間件等通用軟件故障場景。在預(yù)案模板中列舉了一些常見的故障事件，預(yù)案編制人員要根據(jù)系統(tǒng)實(shí)際情況酌情修訂。修訂后預(yù)案表中的列舉的故障事件都要求在預(yù)案隨后的章節(jié)里進(jìn)行詳細(xì)描述?！差A(yù)案編制人員在修訂應(yīng)急步驟時，建議參考平臺部編制的通用故障處理方案，該方案內(nèi)包含LINUX、AIX、HP-UX、INFORMIX、ORACLE通過故障處理流程和應(yīng)急處理步驟?！吃陬A(yù)案模板中，系統(tǒng)通用軟件常見故障事件列舉如下：系統(tǒng)數(shù)據(jù)庫崩潰數(shù)據(jù)庫存儲損壞數(shù)據(jù)庫無法正常處理請求數(shù)據(jù)庫表死鎖數(shù)據(jù)庫表數(shù)據(jù)無法插入邏輯日志滿導(dǎo)致數(shù)據(jù)庫掛起數(shù)據(jù)庫啟動失敗數(shù)據(jù)庫交易處理緩慢數(shù)據(jù)庫表空間OffLine數(shù)據(jù)庫無法連接或無響應(yīng)數(shù)據(jù)庫性能極劇下降數(shù)據(jù)庫短時間內(nèi)不可用數(shù)據(jù)庫實(shí)例監(jiān)聽宕掉數(shù)據(jù)庫實(shí)例出現(xiàn)大量等待事件數(shù)據(jù)庫實(shí)例無法切換邏輯日志Tuxedo效勞異?；蚪┧纖eblogic實(shí)例異?；蚪┧繟IX操作系統(tǒng)異?；驁箦eLINUX操作系統(tǒng)異?；驁箦eHP-UX操作系統(tǒng)異常或報錯WINDOW操作系統(tǒng)異?；驁箦e中間件異常或報錯應(yīng)用軟件故障場景說明：請在此詳細(xì)列舉并描述系統(tǒng)所有可能出現(xiàn)的應(yīng)用故障場景。在預(yù)案模板中列舉了一些常見的故障事件，預(yù)案編制人員要根據(jù)系統(tǒng)實(shí)際情況酌情修訂。修訂后預(yù)案表中的列舉的故障事件都要求在預(yù)案隨后的章節(jié)里進(jìn)行詳細(xì)描述。在預(yù)案模板中，系統(tǒng)應(yīng)用軟件常見故障事件列舉如下：系統(tǒng)應(yīng)用不能正常運(yùn)行應(yīng)用進(jìn)程異常系統(tǒng)應(yīng)用無法啟動系統(tǒng)應(yīng)用響應(yīng)緩慢或無響應(yīng)XX交易異常報錯XX交易流量異常下降XX交易成功率異常下降用戶無法登陸應(yīng)用界面用戶連接應(yīng)用異常報錯應(yīng)用效勞隊列堵塞應(yīng)用出現(xiàn)大量繁忙，交易時間延長應(yīng)用共享空間異常應(yīng)用處理性能下降局部分行應(yīng)用堵塞，無法連接總行某類特定交易成功率異常某類特定交易流量異常下降網(wǎng)路故障場景說明：請在此詳細(xì)列舉并描述系統(tǒng)所有可能出現(xiàn)的網(wǎng)絡(luò)故障場景。在預(yù)案模板中列舉了一些常見的故障事件，預(yù)案編制人員要根據(jù)系統(tǒng)實(shí)際情況酌情修訂。修訂后預(yù)案表中的列舉的故障事件都要求在預(yù)案隨后的章節(jié)里進(jìn)行詳細(xì)描述。在預(yù)案模板中，系統(tǒng)網(wǎng)絡(luò)常見故障事件列舉如下：外聯(lián)節(jié)點(diǎn)網(wǎng)絡(luò)異常中斷網(wǎng)絡(luò)外聯(lián)效勞不可用AP與DB間網(wǎng)絡(luò)異?；虿豢捎肳EB與AP間網(wǎng)絡(luò)異常或不可用網(wǎng)絡(luò)端口流量異常升高/下降防火墻連接數(shù)異常IP地址異?；虺霈F(xiàn)沖突數(shù)據(jù)傳輸中出現(xiàn)異常丟包病毒爆發(fā)，堵塞網(wǎng)絡(luò)網(wǎng)絡(luò)被攻擊，不可用F5效勞異常或報錯其它故障場景說明：請在此詳細(xì)列舉并描述系統(tǒng)所有可能出現(xiàn)的外部環(huán)境、外聯(lián)、外部系統(tǒng)等故障場景。在預(yù)案模板中列舉了一些常見的故障事件，預(yù)案編制人員要根據(jù)系統(tǒng)實(shí)際情況酌情修訂。修訂后預(yù)案表中的列舉的故障事件都要求在預(yù)案隨后的章節(jié)里進(jìn)行詳細(xì)描述。在預(yù)案模板中，系統(tǒng)其它常見故障事件列舉如下：機(jī)柜異常掉電外聯(lián)系統(tǒng)交易異常外聯(lián)系統(tǒng)不可用設(shè)備被人為破壞恢復(fù)回切場景說明：請在此詳細(xì)列舉并描述系統(tǒng)所有可能出現(xiàn)的恢復(fù)回切場景。在預(yù)案模板中列舉了一些常見的故障事件，預(yù)案編制人員要根據(jù)系統(tǒng)實(shí)際情況酌情修訂。修訂后預(yù)案表中的列舉的故障事件都要求在預(yù)案隨后的章節(jié)里進(jìn)行詳細(xì)描述。在預(yù)案模板中，系統(tǒng)恢復(fù)回切場景列舉如下：應(yīng)用回切數(shù)據(jù)庫回切災(zāi)備庫回切附錄附錄一：人員聯(lián)系表說明：請在此詳細(xì)描述與本系統(tǒng)應(yīng)急相關(guān)的所有人員。在人員聯(lián)系表中應(yīng)至少含有中心領(lǐng)導(dǎo)層、業(yè)務(wù)部門、系統(tǒng)處室、網(wǎng)絡(luò)、機(jī)房、平臺、合作公司、外部機(jī)構(gòu)和外部效勞商等應(yīng)急處置所需的人員。要求在預(yù)案模板設(shè)置的表中能明確應(yīng)急處置人員的技術(shù)水平和能力，以及B角人員的技術(shù)水平是否勝任。在預(yù)案模板的人員聯(lián)系表中，每個人員信息預(yù)設(shè)如下字段：姓名所屬單位職務(wù)聯(lián)系郵箱固定移動專業(yè)技能應(yīng)急職責(zé)說明：請在此注明人員在應(yīng)急中的職責(zé)。如指揮A角、指揮B角、操作員A角、操作員B角、審核員A角、審核員B角、外聯(lián)人員A角、外聯(lián)人員B角、公司技術(shù)人員A角、公司技術(shù)人員B角等。聯(lián)系表修訂日期附錄二：應(yīng)急演練方案說明：附錄二的應(yīng)急演練方案是數(shù)據(jù)中心通用演練方案模板，在組織系統(tǒng)應(yīng)急演練時，演練人員可以參考使用。附錄三：應(yīng)急演練報告說明：附錄三的應(yīng)急演練報告是數(shù)據(jù)中心通用演練報告模板，在組織系統(tǒng)應(yīng)急演練時，演練人員可以參考使用。附錄四：故障應(yīng)急報告說明：附錄四的故障應(yīng)急報告是數(shù)據(jù)中心通用報告模板，在進(jìn)行系統(tǒng)應(yīng)急時，應(yīng)急人員可以參考使用。附錄五：故障現(xiàn)場收集腳本說明：腳本編號編制規(guī)那么如下：GXXX--通用腳本(general)，為數(shù)據(jù)中心系統(tǒng)平臺部整理的通用故障收集腳本，在故障情況下可有系統(tǒng)應(yīng)急人員直接使用； SXXX--特殊腳本(special)，為數(shù)據(jù)中心系統(tǒng)平臺部整理的特殊故障收集腳本，針對不同的場景和具體問題進(jìn)行執(zhí)行的腳本〔腳本執(zhí)行可能會對系統(tǒng)有一定風(fēng)險，建議由專業(yè)技術(shù)人員執(zhí)行〕CXXX—自定義腳本(custom),數(shù)據(jù)中心預(yù)案修訂人員可針對不同的場景和具體問題，自行開發(fā)的用于特定系統(tǒng)和應(yīng)用信息收集的腳本。 序號腳本名稱系統(tǒng)腳本用途〔簡要說明〕G001aix\general\general.aix.shAIX系統(tǒng)通用故障收集腳本,主要用于收集系統(tǒng)、硬件、IO、網(wǎng)絡(luò)、內(nèi)存、snap、Dump、系統(tǒng)平安方面等信息。G002bea\tuxedo\general\BEAMonitor_MP.shTuxedo通用故障收集腳本,主要用于MP模式下收集應(yīng)用信息G003bea\tuxedo\general\BEAMonitor_SHM.shTuxedo通用故障收集腳本,主要用于SHM模式下收集應(yīng)用信息G004hp\general\cola.shHP系統(tǒng)通用故障收集腳本,主要用于收集系統(tǒng)、硬件、IO、網(wǎng)絡(luò)、內(nèi)存、HACMP、Dump、系統(tǒng)平安方面等信息G005hp\general\colb.shHP系統(tǒng)通用故障收集腳本,主要用于收集網(wǎng)絡(luò)、ipcs等信息G006informix\general\rmix.shInformix系統(tǒng)通用故障收集腳本,主要用于收集Onstat、env、ulimit、csdkversion、oninit、typetab、bar_act.log、online.log、sqlhosts、onconfig等信息G007oracle\general\general_script.shOracle系統(tǒng)通用故障收集腳本,主要用于收集數(shù)據(jù)庫常用信息。G008……S001aix\special\collect_part_ports.shAIX系統(tǒng)特殊故障收集腳本,主要用于收集網(wǎng)絡(luò)TCPDUMP等信息。S002aix\special\collect_spec_port.shAIX系統(tǒng)特殊故障收集腳本,主要用于收集網(wǎng)絡(luò)端口等信息。S003aix\special\coredummp.shAIX系統(tǒng)特殊故障收集腳本,主要用于收集系統(tǒng)coredummp相關(guān)信息。S004aix\special\HACMPException.shAIX系統(tǒng)特殊故障收集腳本,