收單通系統(tǒng)-系統(tǒng)應(yīng)急方案及處理流程手冊

收單通系統(tǒng)系統(tǒng)應(yīng)急方案及處理流程手冊

目錄TOC\o"1-7"\h\z1 引言 31.1 編寫目的 31.2 故障級別 32 系統(tǒng)結(jié)構(gòu)和特點 52.1 收單通系統(tǒng)的特點 5 實時性 5 并發(fā)性 5 7x24運行 52.2 系統(tǒng)體系結(jié)構(gòu) 6 體系結(jié)構(gòu)和信息架構(gòu) 6 系統(tǒng)HA配置 62.3 系統(tǒng)應(yīng)用結(jié)構(gòu) 73 應(yīng)用故障應(yīng)急處理流程 83.1 聯(lián)機交易異常 83.2 管理效勞異常 83.3 二次清算交易異常 93.4 根底效勞異常 104 硬件故障應(yīng)用處理流程 114.1 硬件故障范圍 115 數(shù)據(jù)庫和日志處理 125.1 數(shù)據(jù)庫異常處理流程 126 JDK和WEBLOGIC處理 137 備機啟動流程 14引言編寫目的本文根據(jù)收單通系統(tǒng)的特點，綜合考慮軟件和硬件二大方面，闡述了大集中收單通系統(tǒng)的應(yīng)急方案，供相關(guān)開發(fā)人員和系統(tǒng)運行維護人員參考。故障級別故障類型故障說明級別備注硬件故障硬盤物理損壞1網(wǎng)絡(luò)故障1系統(tǒng)軟件故障NAC故障2DB2故障2JDK故障應(yīng)用支持軟件故障WEBLOGIC故障2應(yīng)用軟件故障聯(lián)機系統(tǒng)故障2二次清算系統(tǒng)2根底效勞故障2管理效勞故障3說明：1、硬件故障和系統(tǒng)軟件故障，由系統(tǒng)運行部門進行硬件和系統(tǒng)軟件維護和調(diào)試，應(yīng)用系統(tǒng)進行重新安裝和相關(guān)的系統(tǒng)恢復(fù)工作；2、應(yīng)用軟件和應(yīng)用支持軟件故障，由應(yīng)用系統(tǒng)進行故障恢復(fù)工作。系統(tǒng)結(jié)構(gòu)和特點收單通系統(tǒng)的特點實時性收單通系統(tǒng)是重要的收單業(yè)務(wù)系統(tǒng)，對系統(tǒng)的實時性或者說是反響時間有較高要求。并發(fā)性由于刷卡消費習(xí)慣，造成收單業(yè)務(wù)在局部時間段具有較高的交易峰值。系統(tǒng)需要考慮并發(fā)交易對網(wǎng)絡(luò)和應(yīng)用系統(tǒng)的資源要求。7x24運行收單通系統(tǒng)必須支持7x24不間斷運行。系統(tǒng)體系結(jié)構(gòu)體系結(jié)構(gòu)和信息架構(gòu)從體系結(jié)構(gòu)來看，收單通系統(tǒng)主要涉及行內(nèi)系統(tǒng)，與其直接相關(guān)的重要系統(tǒng)包括：SSB系統(tǒng)、網(wǎng)控器、ICS系統(tǒng)等。系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)比擬復(fù)雜，對于網(wǎng)絡(luò)的要求相比照擬高；在系統(tǒng)應(yīng)急方案中，系統(tǒng)互聯(lián)性的保障至關(guān)重要。系統(tǒng)HA配置為了保證系統(tǒng)在突發(fā)情況下可以迅速恢復(fù)，在生產(chǎn)環(huán)境中，相關(guān)系統(tǒng)都進行了HA配置。本系統(tǒng)采用冷備機制。在系統(tǒng)故障時，啟用冷備機即可。系統(tǒng)應(yīng)用結(jié)構(gòu)根據(jù)業(yè)務(wù)邏輯，本系統(tǒng)可以分為以下四個效勞組：根底效勞組管理效勞組聯(lián)機交易效勞組二次清算效勞組應(yīng)用故障應(yīng)急處理流程聯(lián)機交易異?，F(xiàn)象：交易監(jiān)控中發(fā)現(xiàn)聯(lián)機交易有較多的不成功情況。影響：聯(lián)機交易異常：業(yè)務(wù)中斷，造成交易終止，局部情況下會出現(xiàn)錯帳處理流程：分行運行人員：1、確定網(wǎng)絡(luò)無異常；2、確認與本系統(tǒng)相關(guān)其他系統(tǒng)是否異常；3、在確認本系統(tǒng)異常情況下，重啟聯(lián)機交易效勞組：執(zhí)行命令Hishutdown–gpay;Hiboot–gpay并確認系統(tǒng)正常啟動。管理效勞異常現(xiàn)象：分行或支行業(yè)務(wù)人員登陸收單通管理臺不能正常進行業(yè)務(wù)處理或者無法登入。影響：業(yè)務(wù)人員無法正常進行業(yè)務(wù)處理處理流程：分行運行人員：1、檢查系統(tǒng)網(wǎng)絡(luò)，確認網(wǎng)絡(luò)無故障；2、查看系統(tǒng)日志，確認是否為管理效勞問題；3、如果為管理效勞問題，那么重啟管理效勞組，執(zhí)行命令：Hishutdown–gmngHiboot–gmng確認重啟成功。4、重啟成功后，通知業(yè)務(wù)人員進行業(yè)務(wù)處理。二次清算交易異常現(xiàn)象：由本系統(tǒng)發(fā)起的二次清算交易局部或完全不成功。影響：商戶不能正常入賬處理流程：分行運行人員：確定交易異常原因，并通過業(yè)務(wù)人員進行調(diào)賬。根底效勞異常現(xiàn)象：由于根底效勞原因，如數(shù)據(jù)庫，異步消息效勞器等，造成大局部交易不成功。在進行系統(tǒng)檢查后發(fā)現(xiàn)根底效勞異常。影響：交易異常處理流程：分行運行人員：重新啟動根底效勞組，執(zhí)行hishutdown–gbase,hiboot–gbase。確認效勞組重啟成功，并且交易正常。硬件故障應(yīng)用處理流程硬件故障范圍硬件故障包括存儲系統(tǒng)、網(wǎng)卡等物理系統(tǒng)故障。在發(fā)生物理故障，并短期內(nèi)無法處理時，應(yīng)切換到備機。在備機正常進行業(yè)務(wù)處理后，再來處理原主機系統(tǒng)的硬件故障。數(shù)據(jù)庫和日志處理數(shù)據(jù)庫異常處理流程數(shù)據(jù)庫的處理流程主要包括：檢查數(shù)據(jù)庫dbm進程是否正常，service端口是否翻開；如異常，用dbm用戶重新啟動，dbadminstop/dbadminstart。檢查相應(yīng)數(shù)據(jù)庫的db2agent進程是否正常，如異常，采用dbinstance用戶重新啟動，dbstop/dbstart。采用DB2工具檢查表空間和日志的磁盤空間，如空間缺乏，請擴大空間或備份，數(shù)據(jù)庫的備份策略和操作詳見《系統(tǒng)備份恢復(fù)方案》。采用快照，檢查數(shù)據(jù)庫是否存在DeadLock，如存在查明原因，dbagent重新啟動。在數(shù)據(jù)庫出現(xiàn)異常時，造成應(yīng)用無法訪問，并短期沒得到解決情況下，應(yīng)切換到備機系統(tǒng)。JDK和WEBLOGIC處理在JDK和WEBLOGIC出現(xiàn)異常時，造成應(yīng)用無法正常啟動，并短期沒得到解決情況下，應(yīng)切換到備機系統(tǒng)。備