系統(tǒng)應(yīng)急預(yù)案教學(xué)文案

1、文檔編碼 : CP10A5W1J2E10 HA7Z9T1T1R4 ZH5I7R10A5S5系 統(tǒng) 應(yīng) 急 預(yù) 案系統(tǒng)應(yīng)急預(yù)案2022 年 7 月系統(tǒng)名稱涉及部門 財務(wù)部涉 人員名稱 人員所在單位 人員聯(lián)系方式及人員及聯(lián)系方式及職責(zé)預(yù)案大事描述：調(diào)整失敗,可能涉及如下情形：1 系統(tǒng)崩潰：系統(tǒng)顯現(xiàn)重大故障是指全部的客戶端程序都不能正常連接到服務(wù)器,任何合法的系統(tǒng)用戶都無法正確登錄系統(tǒng),甚至于系統(tǒng)完全崩潰；2 數(shù)據(jù)丟失：系統(tǒng)數(shù)據(jù)丟失狀態(tài),如數(shù)據(jù)庫服務(wù)顯現(xiàn)故障,用戶數(shù)據(jù)丟失,公司現(xiàn)有技術(shù)手段無法復(fù)原；3 服務(wù)停頓：系統(tǒng)服務(wù)停頓狀態(tài),如系統(tǒng)由于不明緣由導(dǎo)致大規(guī)模用戶無法使用,服務(wù)停頓；4 接口無法正常調(diào)

2、用：系統(tǒng)無法正常調(diào)用財務(wù)管控接口（財務(wù)管控接口、ERP RFC接口、 ESB）；預(yù)案處理要求1 系統(tǒng)崩潰：停止系統(tǒng)后臺服務(wù),防止不知情用戶連續(xù)投遞數(shù)據(jù)；抓取并儲存系統(tǒng)出錯信息及日志文件,簡潔判定反常部位,通知相關(guān)人員到崗,保留現(xiàn)場,分析查找緣由；2 數(shù)據(jù)丟失：停止服務(wù)和后臺數(shù)據(jù)庫服務(wù),將剩余用戶數(shù)據(jù)進(jìn)行備份,抓取并儲存系統(tǒng)出錯信息及日志文件,通知相關(guān)人員到崗,保留現(xiàn)場,分析查找緣由；3 服務(wù)停頓：聯(lián)系網(wǎng)絡(luò)治理人員、通知相關(guān)人員到崗,從網(wǎng)絡(luò)和系統(tǒng)兩個方面分析查找服務(wù)停頓緣由；4 接口無法正常調(diào)用：聯(lián)系相關(guān)接口服務(wù)供應(yīng)方,確認(rèn)服務(wù)是否正常；注：對故障進(jìn)行快速處理及歸檔,爭取每次故障修復(fù)時間把握在兩

3、小時以內(nèi)；演練要求1. 對在線系統(tǒng)不造成影響2. 在主要系統(tǒng)治理員人員變更和服務(wù)器、操作系統(tǒng)、主頁發(fā)布軟件發(fā)生變更時要進(jìn)行演練；3. 演練前應(yīng)填寫工作單,并對系統(tǒng)做全備份；4. 演練終止形成演練總結(jié)報告；預(yù)案流程說明一、大事報警與確認(rèn)：系統(tǒng)人員在對系統(tǒng)進(jìn)行調(diào)整的過程中發(fā)覺公司系統(tǒng)運行中的反常及其它故障；由運維人員第一確認(rèn)系統(tǒng)是否發(fā)生重大故障,準(zhǔn)時通知相應(yīng)管控 經(jīng)理及信通公司相應(yīng)負(fù)責(zé)人,啟用預(yù)案；二、系統(tǒng)發(fā)生重大故障時,愛惜故障現(xiàn)場 員準(zhǔn)時到場: 必需準(zhǔn)時實行以下措施,通知系統(tǒng)運維人1. 保證服務(wù)器不再有任何人進(jìn)行任何操作 2. 通知全部使用系統(tǒng)的人員暫停對系統(tǒng)的登錄 三、分析故障緣由：1.操作

4、系統(tǒng)級應(yīng)急預(yù)案 1）操作系統(tǒng)反常 問題緣由： 由于操作系統(tǒng)自身服務(wù)崩潰或系統(tǒng)組件沖突,服務(wù)器操作系統(tǒng)無法正常 運行,部署在此操作系統(tǒng)上的應(yīng)用服務(wù)器受此影響無法正常啟動及運行,服務(wù)崩 潰；應(yīng)急預(yù)案： 聯(lián)系操作系統(tǒng)服務(wù)商進(jìn)行系統(tǒng)復(fù)原,解決系統(tǒng)組件沖突；操作步驟： 依據(jù)當(dāng)?shù)乜菩挪块T或系統(tǒng)運維部分相關(guān)操作步驟進(jìn)行；2）磁盤空間不足 問題緣由： 由于 SAP CE 服務(wù)器及對應(yīng)的 Oracle 服務(wù)器自動歸檔備份功能開啟,會 造成備份文件逐步增加,文件累計達(dá)到確定數(shù)據(jù)大小后,導(dǎo)致系統(tǒng)磁盤空間不足,引發(fā)服務(wù)器各項服務(wù)組件無法正常運行,服務(wù)崩潰；應(yīng)急預(yù)案： （1）刪除 SAP CE自動備份文件；進(jìn)入SAP

5、CE 服務(wù)器自動備份文件保存目錄,保留最近的 2 個備份版本,刪除其余備份文件；（2）刪除 Oracle 歸檔日志；進(jìn)入 Oracle歸檔日志目錄,保留最近 1 個月的歸檔日志備份,刪除其余備份；如通過以上方式 3 仍無法釋放磁盤空間資源,就需要進(jìn)行服務(wù)器儲備空間擴(kuò)容；詳細(xì)方案依據(jù)當(dāng)?shù)胤?wù)器硬件升級操作方案處理；操作步驟： （1）登錄服務(wù)器,檢查各分區(qū)磁盤剩余量；如剩余量低于 10%,需要進(jìn)行備份及歸檔文件清理操作；（2）進(jìn)入 SAP CE 服務(wù)器文件備份目錄,檢查備份文件狀態(tài),如備份文件過多,可考慮刪除最近2 個備份版本之前的其余備份文件；（3）進(jìn)入 Oracle 歸檔日志儲備目錄,檢查歸檔

6、日志狀態(tài),如歸檔日 志過多,可考慮刪除 1 個月之前的歸檔日志文件；（4）如服務(wù)器中, SAP CE 備份及 Oracle歸檔日志文件數(shù)量均不大,但服務(wù)器儲備資源不足,可申請當(dāng)?shù)剡\維支持檢查服務(wù)器上文件系統(tǒng),刪除非系統(tǒng) 必需文件；（5）以上操作仍無法解決磁盤空間不足問題,就依據(jù)當(dāng)?shù)胤?wù)器硬件 資源升級操作流程進(jìn)行處理；3）磁盤讀寫愛惜反常 問題緣由： 由于操作系統(tǒng)安裝了磁盤讀寫把握軟件,或是系統(tǒng)仍原配置不正確,會 導(dǎo)致系統(tǒng)所在應(yīng)用服務(wù)器無法實現(xiàn)對底層文件系統(tǒng)的讀寫拜望,造成依靠于文件讀 寫服務(wù)的組件功能無法正常運行,服務(wù)崩潰；應(yīng)急預(yù)案： （1）修改磁盤讀寫把握軟件對SAP CE 平臺服務(wù)器的權(quán)

7、限把握（2）調(diào)整系統(tǒng)仍原配置參數(shù),將其置為正確的配置 操作步驟： （1）申請當(dāng)?shù)剡\維支持,檢查是否安裝了磁盤讀寫愛惜軟件或裝置,如 有,就需解除其對 SAP CE平臺相關(guān)服務(wù)的讀寫把握（2）申請當(dāng)?shù)剡\維支持,檢查系統(tǒng)仍原情形配置,保證其配置正確；4）網(wǎng)絡(luò)服務(wù)反常問題緣由： 服務(wù)器未正確支配IP 地址,或是防火墻限降服務(wù)器的網(wǎng)絡(luò)拜望以及物理鏈路中斷等緣由,會導(dǎo)致系統(tǒng)用戶無法正常登陸系統(tǒng),關(guān)聯(lián)業(yè)務(wù)系統(tǒng)與憑證系統(tǒng)集 成服務(wù)反常；應(yīng)急預(yù)案： 為服務(wù)器支配正確的IP 地址,并將此地址注冊到防火墻可信任地址列表中；對于物理拜望鏈路中斷問題,檢查并重新配置網(wǎng)絡(luò)物理通信鏈路；此部分詳細(xì) 應(yīng)急預(yù)案由當(dāng)?shù)乜菩挪炕?/p>

8、運維部分統(tǒng)一處理；操作步驟： （1）檢查服務(wù)器的IP 地址是否支配正確,如支配錯誤或IP 地址沖突,需要申請當(dāng)?shù)剡\維支持,為服務(wù)重視新支配正確的 調(diào)整；IP 地址,并進(jìn)行系統(tǒng)相關(guān)配置的（2）檢查防火墻對服務(wù)器的網(wǎng)絡(luò)拜望把握,如由于防火墻權(quán)限緣由導(dǎo) 致服務(wù)器無法正常進(jìn)行的網(wǎng)絡(luò)通信,就應(yīng)申請當(dāng)?shù)剡\維支持,解決防火墻網(wǎng)絡(luò)拜望 把握問題；（3）如由于物理網(wǎng)絡(luò)鏈路中斷等緣由導(dǎo)致無法進(jìn)行正常的網(wǎng)絡(luò)通信,就需要申請當(dāng)?shù)剡\維進(jìn)行緊急搶修；2.SAP CE 服務(wù)器應(yīng)急預(yù)案 1）功能組件服務(wù)反常 問題緣由： 由于受到操作系統(tǒng)組件服務(wù)、系統(tǒng)硬件資源等因素影響,SAP CE 服務(wù)器 部分功能組件服務(wù)可能顯現(xiàn)服務(wù)反?；?/p>

9、組件服務(wù)停止,依靠于這些服務(wù)的系統(tǒng)部分 功能無法正常運行；應(yīng)急預(yù)案： 檢查反?；蛲Ｖ沟慕M件服務(wù),重啟相關(guān)服務(wù)；如服務(wù)重啟反常,檢查服 務(wù)器日志,查找緣由,排除緣由后,重啟服務(wù)解決問題；操作步驟： （1）以 SAP CE 超級治理員身份登錄平臺,在右側(cè)搜尋欄中輸入【start】（2）在搜尋結(jié)果中選擇【 Start & Stop】應(yīng)用功能（3）選擇【 J2EE Application Service】,在表格搜尋欄中輸入需要重 啟的服務(wù)名進(jìn)行搜尋；（4）選中需要重啟的服務(wù),使用【2）系統(tǒng)服務(wù)反常Start】功能重啟該服務(wù)問題緣由： 由于受到所在操作系統(tǒng)組件服務(wù)、網(wǎng)絡(luò)攻擊、系統(tǒng)硬件資源、系統(tǒng)內(nèi)部 服

10、務(wù)反常等影響, SAP CE 服務(wù)器顯現(xiàn)服務(wù)崩潰或大規(guī)模內(nèi)部服務(wù)組件沖突；詳細(xì)表 現(xiàn)為： 1、用戶登錄 SAP CE 服務(wù)平臺提示【 ERROR-503】反常； 2、打開 SAP CE 把握臺,服務(wù)器實例狀態(tài)為警告狀態(tài),顯示黃色；應(yīng)急預(yù)案： 登錄 SAP CE 服務(wù)器所在操作系統(tǒng),在SAP CE 把握臺中重啟該服務(wù)器實例；操作步驟：（1）登錄協(xié)同服務(wù)器所在操作系統(tǒng)；（2）打開協(xié)同服務(wù)器把握臺；（3）開放把握臺節(jié)點,選擇當(dāng)前協(xié)同服務(wù)器實例,右鍵當(dāng)前實例,選擇【停止】（4）在停止服務(wù)信息界面,選擇【硬重啟】（5）輸入操作系統(tǒng)用戶名對應(yīng)的密碼,確認(rèn)重啟操作；（6）等待確定時間后,刷新實例服務(wù)器狀態(tài),

11、灰色表示停止成功；（7）打開協(xié)同服務(wù)器把握臺,選擇協(xié)同【啟動】,進(jìn)行服務(wù)器啟動操作；（8）點擊確認(rèn),啟動服務(wù)器；CE 服務(wù)器實例,右鍵服務(wù)器實例,選擇（9）等待一段時間后,服務(wù)器實例狀態(tài)為綠色,表示服務(wù)器啟動成功；3）Lincense 到期 問題緣由： SAP CE 應(yīng)用平臺授權(quán)許可到期或授權(quán)許可未正確注冊,造成各服務(wù)組件 均無法正常使用；應(yīng)急預(yù)案： （1）授權(quán)許可到期可參考license申請.doc進(jìn)行處理（2）授權(quán)許可未正確注冊可參照license申請 .doc中進(jìn)行 Linsence 注冊的操作進(jìn)行；操作步驟： 依據(jù) license申請 .doc中相關(guān)操作步驟進(jìn)行處理3Oracle 數(shù)據(jù)

12、庫應(yīng)急預(yù)案 1）數(shù)據(jù)庫服務(wù)崩潰 問題緣由： 由于受到突然斷電、撞擊、磁盤損壞、系統(tǒng)資源嚴(yán)肅不足、數(shù)據(jù)庫相關(guān) 組件反常等影響,會造成數(shù)據(jù)庫服務(wù)崩潰,全部依靠于數(shù)據(jù)庫服務(wù)的應(yīng)用功能均無法正常使用；應(yīng)急預(yù)案： （1）如由于硬件損壞導(dǎo)致數(shù)據(jù)庫服務(wù)崩潰,屬于不行復(fù)原的事故,需要 重新申請硬件資源,重新進(jìn)行數(shù)據(jù)服務(wù)器的部署；（2）由于數(shù)據(jù)庫組件運行反常導(dǎo)致數(shù)據(jù)庫服務(wù)崩潰,可嘗試重啟 Oracle 數(shù)據(jù) 庫相關(guān)服務(wù)；（3）如重啟數(shù)據(jù)庫組件及操作系統(tǒng)均無法復(fù)原數(shù)據(jù)庫,就需要重新安裝協(xié)同數(shù) 據(jù)服務(wù)器,并進(jìn)行備份數(shù)據(jù)仍原；操作步驟： 操作步驟依據(jù)當(dāng)?shù)胤?wù)器部署應(yīng)急預(yù)案進(jìn)行處理；2）用戶鎖定 問題緣由： 由于用戶對

13、數(shù)據(jù)庫進(jìn)行不正確的讀寫或是其他操作,造成數(shù)據(jù)庫用戶鎖 定,全部依靠于此用戶的數(shù)據(jù)庫服務(wù)均無法對外供應(yīng),造成系統(tǒng)服務(wù)反常；應(yīng)急預(yù)案： 以數(shù)據(jù)庫超級治理員身份登錄數(shù)據(jù)庫,解鎖被鎖定的用戶并重置密碼；操作步驟： （1）以 sys用戶在 PLSql 等操作工具中登錄數(shù)據(jù)庫（2）在【用戶】菜單下找到需要進(jìn)行解鎖的用戶（3）選中該用戶,進(jìn)行編輯（4）解除該用戶的鎖定標(biāo)識3）用戶數(shù)據(jù)丟失 問題緣由： 用戶對數(shù)據(jù)進(jìn)行誤刪除操作,會導(dǎo)致該用戶數(shù)據(jù)丟失；由此引發(fā)系統(tǒng)功 能應(yīng)用數(shù)據(jù)丟失反常；應(yīng)急預(yù)案： 仍原用戶數(shù)據(jù)備份 操作步驟： （1）保證數(shù)據(jù)復(fù)原期間,系統(tǒng)暫停業(yè)務(wù)使用（2）如用戶數(shù)據(jù)備份為 DMP 用戶對象備份

14、,就需要先刪除該用戶全部用戶對象,利用數(shù)據(jù)庫備份仍原工具仍原該用戶數(shù)據(jù)備份 3如該用戶備份數(shù)據(jù)僅為表數(shù)據(jù),就只需要清除相關(guān)原表數(shù)據(jù),進(jìn)行數(shù)據(jù)備份仍原 即可；4.系統(tǒng)應(yīng)急預(yù)案 1數(shù)據(jù)源服務(wù)反常 問題緣由： 系統(tǒng)對數(shù)據(jù)庫的連接拜望由統(tǒng)一的數(shù)據(jù)源進(jìn)行治理,重啟服務(wù)器或者由 于系統(tǒng)組件運行沖突,會導(dǎo)致系統(tǒng)數(shù)據(jù)源服務(wù)反常；應(yīng)急預(yù)案：以 SAP CE 平臺超級治理員身份登錄平臺,重啟數(shù)據(jù)源服務(wù)即可；操作步驟：1以協(xié)同服務(wù)器超級治理員身份登錄NWA （09：50100/NWA ）；在右側(cè)搜尋欄中輸入“ start” 進(jìn)行搜尋,在結(jié)果中選擇【 Start&Stop】功能；2選擇【 Java EE Applic

15、ation】頁簽,在【 Name】中輸入?yún)f(xié)同數(shù)據(jù)源名稱,回車進(jìn) 行搜尋；在資源列表中選擇當(dāng)前協(xié)同數(shù)據(jù)源,選擇【認(rèn)操作；Start】 【On All Instance .】,確3刷新當(dāng)前資源列表,即可發(fā)覺協(xié)同數(shù)據(jù)源啟動成功；2用戶認(rèn)證失敗 問題緣由： 用戶來源于目錄系統(tǒng),由于用戶多次登錄失敗會造成用戶鎖定等緣由,造成系統(tǒng)用戶無法正常登錄系統(tǒng)登錄；應(yīng)急預(yù)案： 以 SAP CE 平臺超級治理員身份登錄平臺,解鎖用戶或重置用戶密碼；操作步驟： 1以協(xié)同服務(wù)器超級治理員身份登錄IRJ 模塊（ http:09：50100IRJ）,選擇【用戶治理】模塊,在搜尋欄中查找到當(dāng)前需要解鎖的用戶；2利用解鎖功能,解

16、除該用戶鎖定標(biāo)識 3點擊【編輯】按鈕,對該用戶密碼進(jìn)行重置；3用戶角色反常 問題緣由： 用戶未正確支配角色,會導(dǎo)致用戶無權(quán)限進(jìn)行相關(guān)應(yīng)用操作；應(yīng)急預(yù)案： 以 SAP CE 平臺超級治理員身份登錄平臺,重置用戶相關(guān)角色；操作步驟： 1以協(xié)同服務(wù)器超級治理員身份登錄IRJ 模塊（ 09：50100/IRJ）,選擇【用戶治理】模塊,在搜尋欄中查找到當(dāng)前需要重置角色的用戶；2點擊【編輯】按鈕,對該用戶信息進(jìn)行編輯；3切換至【已支配角色】頁簽,在左側(cè)角色資源搜尋框中輸入需要進(jìn)行支配的角 色；4點擊【添加】按鈕,將該角色支配給相應(yīng)用戶；5點擊【儲存】按鈕,完成用戶角色支配；6以該用戶身份登錄,查看當(dāng)前角色

17、是否已被支配；4WebApplication 應(yīng)用反常 問題緣由： 由于公共應(yīng)用組件服務(wù)沖突或運行狀態(tài)反常,引起依靠于此公共組件的 其他應(yīng)用無法正常運行；應(yīng)急預(yù)案： 重啟流程公共應(yīng)用組件服務(wù),可解決此問題；操作步驟： 1以 SAP CE超級治理員身份登錄平臺,在右側(cè)搜尋欄中輸入“start” 2在搜尋結(jié)果中選擇“ Start & Stop” 應(yīng)用功能 3選擇“ J2EE Application Service” ,在表格搜尋欄中輸入“pubtool” 進(jìn)行 搜尋； 4選中需要重啟的服務(wù),使用“5流程應(yīng)用反常Start” 功能重啟該服務(wù)問題緣由： 流程配置不正確、 SAP BPM 流程核心組件服

18、務(wù)反常均可導(dǎo)致流程應(yīng)用異 常,詳細(xì)表現(xiàn)為流程無法正常發(fā)起或無法創(chuàng)建用戶待辦；應(yīng)急預(yù)案： 1流程配置錯誤引起的流程應(yīng)用反常,需要檢查流程配置并排除錯誤 后,問題可解決； 2SAP BPM 流程組件服務(wù)反常引起的,可通過重新啟動相關(guān)流程 組件服務(wù)解決此問題；操作步驟：1以 SAP CE 超級治理員身份登錄平臺,在右側(cè)搜尋欄中輸入“start”2在搜尋結(jié)果中選擇“ Start & Stop” 應(yīng)用功能 3選擇“ J2EE Application Service” ,在表格搜尋欄中輸入“glx” 進(jìn)行搜尋；4選中需要重啟的服務(wù),使用“6集成服務(wù)反常Start” 功能重啟該服務(wù)問題緣由： 關(guān)聯(lián)系統(tǒng)未正常供應(yīng)正確的服務(wù)、總