云平臺服務(wù)器存儲應(yīng)急預(yù)案

1、云平臺服務(wù)器存儲應(yīng)急預(yù)案目錄1 目的錯誤!未指定書簽。2 適用范圍錯誤.!未指定書簽。3 規(guī)范內(nèi)容錯誤.!未指定書簽。故障分類錯誤.!未指定書簽。應(yīng)急準(zhǔn)備錯誤.!未指定書簽。具體措施錯誤.!未指定書簽。4 故障處理規(guī)范錯誤.!未指定書簽。機房停電錯誤.!未指定書簽。主機故障錯誤.!未指定書簽。存儲系統(tǒng)故障錯誤.!未指定書簽。云平臺軟件系統(tǒng)故障錯誤.!未指定書簽。云平臺管理服務(wù)器故障預(yù)防錯誤.!未指定書簽。云平臺日常告警故障排除錯誤.!未指定書簽。5 硬件故障預(yù)防與排除錯誤.!未指定書簽。故障預(yù)防錯誤.!未指定書簽。故障排除錯誤.!未指定書簽。故障處理錯誤.!未指定書簽。目的為提高云平臺服務(wù)器、

2、存儲故障處理能力，形成科學(xué)、有效、反應(yīng)迅速的日常管理流程和應(yīng)急處理機制，確保平臺的安全和穩(wěn)定運行，最大限度地減小故障對生產(chǎn)的影響，降低業(yè)務(wù)中斷風(fēng)險，特制定本規(guī)范。2 適用范圍本規(guī)范適用于提供云計算虛擬化平臺服務(wù)的服務(wù)器、存儲管理，應(yīng)對發(fā)生和可能發(fā)生的故障。3 規(guī)范內(nèi)容服務(wù)器運維和應(yīng)急處理應(yīng)包括風(fēng)險評估，檢測體系和應(yīng)急處理三個環(huán)節(jié)，合理有效的執(zhí)行控制將防止故障影響擴大。3.1 故障分類平臺故障包括服務(wù)器硬件和存儲系統(tǒng)故障；自然災(zāi)害（水、火、電等）造成的物理破壞；人為誤操作造成的損害等。3.2 應(yīng)急準(zhǔn)備部門責(zé)任人員明確職責(zé)和管理范圍，根據(jù)實際情況，安排應(yīng)急值班，確保到崗到人，聯(lián)絡(luò)暢通，處理及時準(zhǔn)確

3、。3.3 具體措施（ 1）建立安全、可靠、穩(wěn)定運行的機房環(huán)境，防火、防雷電、防水、防靜電、防塵；建立備份電源系統(tǒng)。（ 2）虛擬化平臺服務(wù)器應(yīng)采用可靠、穩(wěn)定、兼容性硬件，落實責(zé)任管理機制，遵守安全操作規(guī)范；對虛擬機和管理服務(wù)器進行定時備份；采用有效的虛擬化監(jiān)控工具，及時發(fā)現(xiàn)問題和日報告。4 故障處理規(guī)范4.1 機房停電接到停電通知后，相關(guān)人員應(yīng)及時部署應(yīng)對具體措施，啟動備用電源,保證服務(wù)器正常運行。4.2 主機故障（ 1）平臺服務(wù)器出現(xiàn)硬件告警需要停機維護，服務(wù)器責(zé)任人應(yīng)立即通知相關(guān)人員，將業(yè)務(wù)虛機遷移到集群中其他服務(wù)器主機上，再將故障服務(wù)器切換至維護模式并從HA集群中移除，負責(zé)陪同硬件廠家現(xiàn)場

4、更換至成功恢復(fù)。（ 2）若服務(wù)器硬件24小時內(nèi)無法恢復(fù)，服務(wù)器責(zé)任人需書面報告原因并立即通知業(yè)務(wù)管理人員進行數(shù)據(jù)應(yīng)急備份,防止災(zāi)難擴大。（ 3）若虛擬化存儲硬件出現(xiàn)告警，第一目擊人應(yīng)立即通知存儲管理員，并上報主管領(lǐng)導(dǎo)，存儲管理員應(yīng)在報告1小時內(nèi)聯(lián)系廠家到場處理，處理完成后因報告原因，找到解決方法；并立即對數(shù)據(jù)做完整性檢查，消除重復(fù)發(fā)生隱患。4.3 存儲系統(tǒng)故障（ 1）做好存儲系統(tǒng)的定時備份，一旦出現(xiàn)數(shù)據(jù)損壞、丟失，能夠及時恢復(fù)系統(tǒng)。（ 2）發(fā)生存儲系統(tǒng)故障后，相關(guān)人員應(yīng)檢查出現(xiàn)故障的原因并盡快排除。（ 3）如遇系統(tǒng)崩潰，數(shù)據(jù)丟失，應(yīng)啟用備份文件進行數(shù)據(jù)恢復(fù)。4.4 云平臺軟件系統(tǒng)故障（ 1）日

5、常做好虛擬機的定時備份和快照，系統(tǒng)崩潰后，能夠及時恢復(fù)虛擬機。（ 2）發(fā)生虛擬機系統(tǒng)故障后，相關(guān)人員應(yīng)及時通知業(yè)務(wù)人員檢查出現(xiàn)故障的原因并盡快排除。（ 3）如遇虛擬機系統(tǒng)需要啟用備份系統(tǒng)進行恢復(fù)時，應(yīng)在恢復(fù)后和業(yè)務(wù)管理員仔細檢查業(yè)務(wù)是否恢復(fù)并做好恢復(fù)記錄。4.5 云平臺管理服務(wù)器故障預(yù)防虛擬化服務(wù)器采用群集配置。配套管理軟件對虛擬數(shù)據(jù)中心管理單元進行集中管理，系統(tǒng)平臺常年24小時運行，每天將產(chǎn)生大量的任務(wù)日志和記錄信息。同時管理服務(wù)器擔(dān)任了整個平臺主機管理和集中配置的角色，使用率極高。為了安全，應(yīng)定期備份配置數(shù)據(jù)庫，定期檢查告警日志。4.6 云平臺日常告警故障排除當(dāng)虛擬化平臺出現(xiàn)告警信息，通過

6、以下步驟排除：1. 確定故障原因。查看已觸發(fā)的警報內(nèi)容確定故障前操作是否是引發(fā)該故障的原因?qū)弦?guī)操作引起的告警進行消除。2. 對提示硬件產(chǎn)生的告警應(yīng)查看硬件狀態(tài)信息對確認是硬件的問題按硬件維護預(yù)案處理。3. 對提示因資源不足或性能引發(fā)的告警因查看近期性能圖表找出原因消除故障提示。4. 對于無法判斷的故障可導(dǎo)出系統(tǒng)日志發(fā)給廠家分析處理。5. 硬件故障預(yù)防與排除5.1 故障預(yù)防保持雙機運行狀態(tài)正常單機出現(xiàn)故障后及時對故障單機進行修復(fù)。5.2 故障排除當(dāng)服務(wù)器出現(xiàn)硬件故障通過以下步驟排除：（1）確定故障原因。依次查看電源、硬盤、內(nèi)存、主板、處理器等如條件許可可使用替換法檢測各硬件。（2）恢復(fù)固件缺省

7、配置。比如去除第三方廠商備件和非標(biāo)配備件。5.3 故障處理（ 1） 硬盤故障處理：當(dāng)硬盤出現(xiàn)黃燈提示預(yù)警時應(yīng)先查看硬盤數(shù)據(jù)是否丟失如數(shù)據(jù)存在應(yīng)先做好數(shù)據(jù)備份將此服務(wù)器各應(yīng)用迅速轉(zhuǎn)移然后排查報警具體原因如由于錯誤操作或硬盤連接不好引起的報警可嘗試重啟服務(wù)器重新插拔硬盤等操作即可解決問題。如硬盤損壞，應(yīng)及時將備用硬盤替換下故障硬盤，使服務(wù)器恢復(fù)正常工作。排查過程中，如不能正確判斷問題原因，不能隨便操作，可向售后服務(wù)咨詢處理。(2)內(nèi)存故障：由于我們的服務(wù)器有多組內(nèi)存，單條內(nèi)存故障時，會對服務(wù)器性能稍有影響，當(dāng)不會影響整體使用，所以如發(fā)現(xiàn)內(nèi)存條損壞時，安排時間將損壞的內(nèi)存條替換掉即可。(3)RAID卡故障：服務(wù)器的RAID卡出現(xiàn)故障時，系統(tǒng)會無法識別出硬盤，服務(wù)器不能正常使用，所以應(yīng)第一時間啟動備用服務(wù)器。將故障服務(wù)器移出生產(chǎn)網(wǎng)絡(luò)后更換RAID卡，RAID卡通過硬盤重新讀取RAID配置信息后即可恢復(fù)使用。(4)電源故障：現(xiàn)階段我們的服務(wù)器都是雙電，如果單路電源故障不影響運行，如果長期單路停電運行需準(zhǔn)備備用電源。(5)CPU故障：我們的服務(wù)器多為8路CPU,所