運(yùn)行監(jiān)管系統(tǒng)接口應(yīng)用投產(chǎn)應(yīng)急預(yù)案

1、中國(guó)農(nóng)業(yè)銀行 住建部運(yùn)行監(jiān)管系統(tǒng)接口應(yīng)用投產(chǎn)應(yīng)急預(yù)案2011年3月目 錄一、總體規(guī)定3（一）應(yīng)急方案的適用范圍和基本要求3（二）應(yīng)急工作的組織領(lǐng)導(dǎo)3（三）應(yīng)急事件和應(yīng)急措施4二、應(yīng)急工作準(zhǔn)備4三、應(yīng)急工作流程4（一）應(yīng)急事件的過(guò)濾與認(rèn)定4（二）應(yīng)急事件處置5（三）應(yīng)急狀態(tài)解除5四、各類應(yīng)急事件及其應(yīng)對(duì)措施5（一）一類應(yīng)急事件5（二）二類應(yīng)急事件6（三）三類應(yīng)急事件6（四）其他主要依賴技術(shù)手段解決的應(yīng)急事件6一、總體規(guī)定（一）應(yīng)急方案的適用范圍和基本要求1、為了保證中國(guó)農(nóng)業(yè)銀行住建部運(yùn)行監(jiān)管系統(tǒng)接口應(yīng)用切換上線工作順利進(jìn)行，在出現(xiàn)系統(tǒng)功能故障、網(wǎng)絡(luò)通訊中斷等問(wèn)題時(shí)，切換上線分行全轄信貸公積金委托

2、貸款業(yè)務(wù)能夠不中斷連續(xù)開(kāi)展，防范操作風(fēng)險(xiǎn)信貸風(fēng)險(xiǎn)，特制定本應(yīng)急方案。2、本方案的適用范圍為系統(tǒng)切換接口上線工作期間，自開(kāi)始投產(chǎn)數(shù)據(jù)移植開(kāi)始，至特護(hù)期結(jié)束，參與與切換上線工作相關(guān)的所有機(jī)構(gòu)和人員。3、本方案從技術(shù)和業(yè)務(wù)兩方面，為應(yīng)對(duì)系統(tǒng)接口切換上線期間可能出現(xiàn)的由于接口系統(tǒng)功能、網(wǎng)絡(luò)通信、關(guān)聯(lián)系統(tǒng)接口、應(yīng)用能力等各類原因造成的移植切換部分或全部失敗、相關(guān)業(yè)務(wù)無(wú)法受理等風(fēng)險(xiǎn)（以下簡(jiǎn)稱應(yīng)急事件），提供應(yīng)急指導(dǎo)方案。4、本方案以“連續(xù)處理業(yè)務(wù)，有效控制風(fēng)險(xiǎn)”為原則。應(yīng)急工作要做到統(tǒng)一領(lǐng)導(dǎo)、分級(jí)管理、嚴(yán)格權(quán)限、加強(qiáng)監(jiān)督。（二）應(yīng)急工作的組織領(lǐng)導(dǎo)系統(tǒng)切換上線期間的應(yīng)急工作，由軟件開(kāi)發(fā)中心總監(jiān)室和應(yīng)用開(kāi)發(fā)二

3、部組建領(lǐng)導(dǎo)小組統(tǒng)一領(lǐng)導(dǎo)，工作小組具體組織實(shí)施。1、領(lǐng)導(dǎo)小組的應(yīng)急工作職責(zé)：（1）審定住建部運(yùn)行監(jiān)管系統(tǒng)接口應(yīng)用切換上線工作應(yīng)急方案。（2）組織對(duì)重大問(wèn)題和突發(fā)事件進(jìn)行分析，決定是否啟動(dòng)應(yīng)急方案。（3）組織對(duì)應(yīng)急方案實(shí)施效果的評(píng)估，決定是否關(guān)閉重大應(yīng)急事件。2、工作小組的應(yīng)急工作職責(zé)：（1）制定應(yīng)急方案。（2）對(duì)收到的應(yīng)急事件報(bào)告進(jìn)行分類過(guò)濾，初步認(rèn)定應(yīng)急事件類型，擬定可采取的應(yīng)急措施。（3）對(duì)一般應(yīng)急事件，決定是否啟動(dòng)應(yīng)急方案，并直接組織實(shí)施，及時(shí)向總監(jiān)室匯報(bào)。（4）對(duì)重大應(yīng)急事件或突發(fā)事件，報(bào)告領(lǐng)導(dǎo)小組決策，并根據(jù)領(lǐng)導(dǎo)小組決定組織應(yīng)急方案的具體實(shí)施。（5）對(duì)應(yīng)急方案實(shí)施效果進(jìn)行評(píng)估，決定關(guān)閉

4、一般應(yīng)急事件，向領(lǐng)導(dǎo)小組建議關(guān)閉重大應(yīng)急事件。（三）應(yīng)急事件和應(yīng)急措施1、應(yīng)急事件應(yīng)急事件，是指由于數(shù)據(jù)移植或系統(tǒng)切換不成功、系統(tǒng)功能缺失或缺陷、與關(guān)聯(lián)系統(tǒng)連接不成功、網(wǎng)絡(luò)通訊中斷、主機(jī)等硬件設(shè)備故障造成的信貸業(yè)務(wù)大面積、大范圍暫停，需要采取緊急應(yīng)對(duì)措施的各類情況。系統(tǒng)切換上線期間的應(yīng)急事件分為以下類型：一類應(yīng)急事件：系統(tǒng)切換接口投產(chǎn)失敗或整體運(yùn)行故障，需要退回；二類應(yīng)急事件：系統(tǒng)切換接口投產(chǎn)成功，但部分?jǐn)?shù)據(jù)移植交易失??；三類應(yīng)急事件：系統(tǒng)移植切換接口投產(chǎn)成功，在運(yùn)行期間由于系統(tǒng)功能問(wèn)題或網(wǎng)絡(luò)通信故障，導(dǎo)致切換上線部分或全部業(yè)務(wù)流程無(wú)法辦理。2、應(yīng)急措施應(yīng)急措施，是指為應(yīng)對(duì)具體應(yīng)急事件所采取的

5、處置方法或手段。對(duì)不同類型的應(yīng)急事件，應(yīng)分析具體原因，采取不同應(yīng)急措施，包括以技術(shù)手段為主的技術(shù)應(yīng)急措施和以業(yè)務(wù)手段為主的業(yè)務(wù)應(yīng)急措施，以及綜合各種手段的綜合應(yīng)急措施。各類應(yīng)急措施必須經(jīng)領(lǐng)導(dǎo)小組或工作小組批準(zhǔn)后方能實(shí)施。二、應(yīng)急工作準(zhǔn)備1、系統(tǒng)切換前原TULIP平臺(tái)項(xiàng)目必須進(jìn)行備份，隨時(shí)準(zhǔn)備系統(tǒng)切換的需要。2、切換前，檢查網(wǎng)絡(luò)的聯(lián)通性。3、根據(jù)業(yè)務(wù)部門提出的應(yīng)急方案需求，在現(xiàn)有系統(tǒng)聯(lián)機(jī)查詢功能不能滿足的條件下，提供提取各類統(tǒng)計(jì)數(shù)據(jù)的替代方法（如后臺(tái)腳本、文件傳遞等）。4、技術(shù)人員隨時(shí)待命，等待解決問(wèn)題。三、應(yīng)急工作流程（一）應(yīng)急事件的過(guò)濾與認(rèn)定1、在系統(tǒng)切換上線期間出現(xiàn)的各類問(wèn)題，應(yīng)第一時(shí)間向

6、工作小組的報(bào)告。2、工作小組的接到問(wèn)題報(bào)告，應(yīng)快速判斷問(wèn)題性質(zhì)，對(duì)屬于單點(diǎn)、偶發(fā)的事件，按照常規(guī)問(wèn)題解決；對(duì)于大面積、普遍性問(wèn)題，及時(shí)向領(lǐng)導(dǎo)小組報(bào)告。3、工作小組接到問(wèn)題報(bào)告后，應(yīng)快速判斷問(wèn)題性質(zhì)。（1）對(duì)屬于業(yè)務(wù)處理方法或系統(tǒng)操作方法問(wèn)題，交項(xiàng)目組業(yè)務(wù)需求人員處理。（2）對(duì)屬于單點(diǎn)、偶發(fā)的技術(shù)故障，交項(xiàng)目組技術(shù)人員處理。（3）對(duì)屬于應(yīng)急事件范圍內(nèi)問(wèn)題，進(jìn)行風(fēng)險(xiǎn)評(píng)估，提出應(yīng)急措施建議。（二）應(yīng)急事件處置經(jīng)工作小組評(píng)估，對(duì)不同情況的應(yīng)急事件按如下要求處置：1、對(duì)24小時(shí)內(nèi)能夠查明原因并解決的應(yīng)急事件，由工作小組查明原因并組織解決，采取必要的技術(shù)應(yīng)急措施，并及時(shí)向領(lǐng)導(dǎo)小組匯報(bào)；2、對(duì)24小時(shí)內(nèi)無(wú)法

7、查明原因或預(yù)計(jì)無(wú)法查明原因，或24小時(shí)內(nèi)無(wú)法解決或預(yù)計(jì)無(wú)法解決的應(yīng)急事件，工作小組應(yīng)采取臨時(shí)應(yīng)急措施，并立即報(bào)領(lǐng)導(dǎo)小組協(xié)調(diào)解決。3、對(duì)預(yù)計(jì)48小時(shí)內(nèi)無(wú)法解決的，由領(lǐng)導(dǎo)小組決定啟動(dòng)相關(guān)應(yīng)急方案。（三）應(yīng)急狀態(tài)解除在造成應(yīng)急事件的原因消除后，應(yīng)按以下流程及時(shí)解除應(yīng)急狀態(tài)，恢復(fù)正常運(yùn)行狀態(tài)。1、對(duì)工作小組決定實(shí)施的應(yīng)急措施，由工作小組評(píng)估繼續(xù)實(shí)施應(yīng)急措施的必要性，決定是否解除應(yīng)急狀態(tài)，并向領(lǐng)導(dǎo)小組報(bào)告。2、對(duì)領(lǐng)導(dǎo)小組決定啟動(dòng)的應(yīng)急方案，由工作小組評(píng)估繼續(xù)實(shí)施應(yīng)急措施的必要性，并向領(lǐng)導(dǎo)小組提出建議，由領(lǐng)導(dǎo)小組決定是否解除應(yīng)急狀態(tài)。3、應(yīng)急狀態(tài)解除后，工作小組組織系統(tǒng)正常運(yùn)行狀態(tài)恢復(fù)工作，通知有關(guān)單位恢

8、復(fù)使用系統(tǒng)進(jìn)行正常業(yè)務(wù)處理。四、各類應(yīng)急事件及其應(yīng)對(duì)措施（一）一類應(yīng)急事件系統(tǒng)切換接口投產(chǎn)失敗或整體運(yùn)行故障，將備份項(xiàng)目數(shù)據(jù)進(jìn)行恢復(fù)。1、切換不成功，回退到投產(chǎn)前狀態(tài)應(yīng)對(duì)措施： （1）系統(tǒng)由平臺(tái)中卸載，恢復(fù)備份數(shù)據(jù)；（2）其他關(guān)聯(lián)系統(tǒng)也退回到原來(lái)系統(tǒng)，對(duì)數(shù)據(jù)進(jìn)行處理；（3）將實(shí)施情況上報(bào)領(lǐng)導(dǎo)小組。2、特護(hù)期內(nèi)，出現(xiàn)重大系統(tǒng)故障，需要回退至投產(chǎn)前狀態(tài)應(yīng)急措施： （1）備份系統(tǒng)已發(fā)生數(shù)據(jù)以及關(guān)聯(lián)系統(tǒng)數(shù)據(jù)。（2）系統(tǒng)回退至投產(chǎn)前狀態(tài)。（3）由技術(shù)支持組和業(yè)務(wù)支持組對(duì)整個(gè)系統(tǒng)進(jìn)行內(nèi)部檢查、確認(rèn)。（4）相關(guān)業(yè)務(wù)受理改用手工處理方式（5）其他關(guān)聯(lián)系統(tǒng)也退回到原來(lái)系統(tǒng)。（6）上述過(guò)程完成后，將實(shí)施情況上報(bào)領(lǐng)

9、導(dǎo)小組。（二）二類應(yīng)急事件問(wèn)題現(xiàn)象：系統(tǒng)切換接口投產(chǎn)成功，但部分?jǐn)?shù)據(jù)移植失敗。應(yīng)對(duì)措施：（1）對(duì)移植失敗數(shù)據(jù)，查明原因，重新移植；或者（2）確實(shí)不能通過(guò)系統(tǒng)移植的數(shù)據(jù)，手工在系統(tǒng)中補(bǔ)錄授權(quán)賬戶信息以及放款（支付）備案、留痕數(shù)據(jù)。（三）三類應(yīng)急事件接口投產(chǎn)系統(tǒng)切換成功，在運(yùn)行期間由于系統(tǒng)功能問(wèn)題或網(wǎng)絡(luò)通信故障，導(dǎo)致切換業(yè)務(wù)無(wú)法辦理。問(wèn)題1、由于授權(quán)控制錯(cuò)誤導(dǎo)致的審批中的授權(quán)控制無(wú)法正常通過(guò)。應(yīng)對(duì)措施：（1）檢查授權(quán)表中數(shù)據(jù)是否完整；（2）如果是程序錯(cuò)誤的修正授權(quán)模塊程序錯(cuò)誤。（3）通過(guò)參數(shù)調(diào)整，放開(kāi)審批中的授權(quán)控制，或暫時(shí)取消授權(quán)控制。問(wèn)題2、網(wǎng)絡(luò)通訊中斷，專線無(wú)法使用。應(yīng)對(duì)措施：因目前只有一根

10、專線，沒(méi)有備用線，所以，如果出現(xiàn)此類問(wèn)題，可考慮采取撥號(hào)或者郵件傳送數(shù)據(jù)方式。（四）其他主要依賴技術(shù)手段解決的應(yīng)急事件問(wèn)題3、部分交易運(yùn)行慢、阻塞，導(dǎo)致整個(gè)系統(tǒng)運(yùn)行效率低。應(yīng)對(duì)措施：（1）首先殺掉阻塞進(jìn)程，如還不能解決問(wèn)題系統(tǒng)重啟數(shù)據(jù)庫(kù)和CICS，保證系統(tǒng)能用；（2）技術(shù)人員檢查程序，修改并測(cè)試完成后部署。問(wèn)題4、數(shù)據(jù)庫(kù)死鎖導(dǎo)致系統(tǒng)不能用。應(yīng)對(duì)措施：（1）首先殺掉死鎖進(jìn)程，如數(shù)據(jù)庫(kù)還不能使用，重啟數(shù)據(jù)庫(kù)；（2）技術(shù)人員檢查程序，修改并測(cè)試完成后部署。問(wèn)題5、硬件、網(wǎng)絡(luò)和系統(tǒng)軟件故障。應(yīng)對(duì)措施：開(kāi)放平臺(tái)支持部等環(huán)境保障部門進(jìn)行應(yīng)急處理，進(jìn)行硬件更換、切換備用網(wǎng)絡(luò)或更新系統(tǒng)軟件版本，如還無(wú)法解決提交相關(guān)廠商進(jìn)行處理。問(wèn)題6、特護(hù)期間部分業(yè)務(wù)出