云平臺服務器存儲應急預案

云平臺服務器存儲應急預案目錄TOC\o"1-5"\h\z目的 3\o"CurrentDocument"適用范圍 3\o"CurrentDocument"規(guī)范內(nèi)容 3\o"CurrentDocument"故障分類 3\o"CurrentDocument"應急準備 3\o"CurrentDocument"具體措施 3\o"CurrentDocument"故障處理規(guī)范 4\o"CurrentDocument"機房停電 4\o"CurrentDocument"主機故障 4\o"CurrentDocument"存儲系統(tǒng)故障 4\o"CurrentDocument"云平臺軟件系統(tǒng)故障 4\o"CurrentDocument"云平臺管理服務器故障預防 5\o"CurrentDocument"云平臺日常告警故障排除 5\o"CurrentDocument"硬件故障預防與排除 5\o"CurrentDocument"故障預防 5\o"CurrentDocument"故障排除 5\o"CurrentDocument"故障處理 6目的為提高云平臺服務器、存儲故障處理能力，形成科學、有效、反應迅速的日常管理流程和應急處理機制，確保平臺的安全和穩(wěn)定運行，最大限度地減小故障對生產(chǎn)的影響，降低業(yè)務中斷風險，特制定本規(guī)范。適用范圍本規(guī)范適用于提供云計算虛擬化平臺服務的服務器、存儲管理，應對發(fā)生和可能發(fā)生的故障。規(guī)范內(nèi)容服務器運維和應急處理應包括風險評估，檢測體系和應急處理三個環(huán)節(jié)，合理有效的執(zhí)行控制將防止故障影響擴大。故障分類平臺故障包括服務器硬件和存儲系統(tǒng)故障；自然災害（水、火、電等）造成的物理破壞；人為誤操作造成的損害等。應急準備部門責任人員明確職責和管理范圍，根據(jù)實際情況，安排應急值班，確保到崗到人，聯(lián)絡暢通，處理及時準確。具體措施建立安全、可靠、穩(wěn)定運行的機房環(huán)境，防火、防雷電、防水、防靜電、防塵；建立備份電源系統(tǒng)。虛擬化平臺服務器應采用可靠、穩(wěn)定、兼容性硬件，落實責任管理機制，遵守安全操作規(guī)范；對虛擬機和管理服務器進行定時備份；采用有效的虛擬化監(jiān)控工具，及時發(fā)現(xiàn)問題和日報告。故障處理規(guī)范機房停電接到停電通知后，相關人員應及時部署應對具體措施，啟動備用電源,保證服務器正常運行。主機故障平臺服務器出現(xiàn)硬件告警需要停機維護，服務器責任人應立即通知相關人員，將業(yè)務虛機遷移到集群中其他服務器主機上，再將故障服務器切換至維護模式并從HA集群中移除，負責陪同硬件廠家現(xiàn)場更換至成功恢復。若服務器硬件24小時內(nèi)無法恢復，服務器責任人需書面報告原因并立即通知業(yè)務管理人員進行數(shù)據(jù)應急備份,防止災難擴大。（3）若虛擬化存儲硬件出現(xiàn)告警，第一目擊人應立即通知存儲管理員，并上報主管領導，存儲管理員應在報告1小時內(nèi)聯(lián)系廠家到場處理，處理完成后因報告原因，找到解決方法；并立即對數(shù)據(jù)做完整性檢查，消除重復發(fā)生隱患。存儲系統(tǒng)故障（1）做好存儲系統(tǒng)的定時備份，一旦出現(xiàn)數(shù)據(jù)損壞、丟失，能夠及時恢復系統(tǒng)。（2）發(fā)生存儲系統(tǒng)故障后，相關人員應檢查出現(xiàn)故障的原因并盡快排除。（3）如遇系統(tǒng)崩潰，數(shù)據(jù)丟失，應啟用備份文件進行數(shù)據(jù)恢復。云平臺軟件系統(tǒng)故障（1）日常做好虛擬機的定時備份和快照，系統(tǒng)崩潰后，能夠及時恢復虛擬機。（2）發(fā)生虛擬機系統(tǒng)故障后，相關人員應及時通知業(yè)務人員檢查出現(xiàn)故障的原因并盡快排除。（3）如遇虛擬機系統(tǒng)需要啟用備份系統(tǒng)進行恢復時，應在恢復后和業(yè)務管理員仔細檢查業(yè)務是否恢復并做好恢復記錄。云平臺管理服務器故障預防虛擬化服務器采用群集配置。配套管理軟件對虛擬數(shù)據(jù)中心管理單元進行集中管理，系統(tǒng)平臺常年24小時運行，每天將產(chǎn)生大量的任務日志和記錄信息。同時管理服務器擔任了整個平臺主機管理和集中配置的角色，使用率極高。為了安全，應定期備份配置數(shù)據(jù)庫，定期檢查告警日志。云平臺日常告警故障排除當虛擬化平臺出現(xiàn)告警信息，通過以下步驟排除：確定故障原因。查看已觸發(fā)的警報內(nèi)容，確定故障前操作是否是引發(fā)該故障的原因，對合規(guī)操作引起的告警，進行消除。對提示硬件產(chǎn)生的告警，應查看硬件狀態(tài)信息，對確認是硬件的問題按硬件維護預案處理。對提示因資源不足或性能引發(fā)的告警，因查看近期性能圖表，找出原因，消除故障提示。對于無法判斷的故障，可導出系統(tǒng)日志發(fā)給廠家分析處理。5 硬件故障預防與排除故障預防保持雙機運行狀態(tài)正常，單機出現(xiàn)故障后，及時對故障單機進行修復。故障排除當服務器出現(xiàn)硬件故障，通過以下步驟排除：（1）確定故障原因。依次查看電源、硬盤、內(nèi)存、主板、處理器等，如條件許可，可使用替換法檢測各硬件。（2）恢復固件缺省配置。比如去除第三方廠商備件和非標配備件。故障處理（1）硬盤故障處理：當硬盤出現(xiàn)黃燈提示預警時，應先查看硬盤數(shù)據(jù)是否丟失，如數(shù)據(jù)存在應先做好數(shù)據(jù)備份，將此服務器各應用迅速轉(zhuǎn)移，然后排查報警具體原因，如由于錯誤操作或硬盤連接不好引起的報警，可嘗試重啟服務器，重新插拔硬盤等操作即可解決問題。如硬盤損壞，應及時將備用硬盤替換下故障硬盤，使服務器恢復正常工作。排查過程中，如不能正確判斷問題原因，不能隨便操作，可向售后服務咨詢處理。內(nèi)存故障：由于我們的服務器有多組內(nèi)存，單條內(nèi)存故障時，會對服務器性能稍有影響，當不會影響整體使用，所以如發(fā)現(xiàn)內(nèi)存條損壞時，安排時間將損壞的內(nèi)存條替換掉即可。RAID卡故障：服務器的RAID卡出現(xiàn)故障時，系統(tǒng)會無法識別出硬盤，服務器不能正常使用，所以應第一時間啟動備用服務器。將故障服務器移出生產(chǎn)網(wǎng)絡后更換RAID卡，RAID卡通過硬盤重新讀取RAID配置信息后即可恢復使用。（4）電源故障：現(xiàn)階段我