服務(wù)器故障應(yīng)急響應(yīng)方案說(shuō)明

1、服務(wù)器故障應(yīng)急響應(yīng)方案說(shuō)明服務(wù)器故障應(yīng)急響應(yīng)方案說(shuō)明服務(wù)器故障應(yīng)急響應(yīng)方案說(shuō)明資料僅供參考文件編號(hào)：2022年4月服務(wù)器故障應(yīng)急響應(yīng)方案說(shuō)明版本號(hào)： A修改號(hào)： 1頁(yè) 次： 1.0 審 核： 批 準(zhǔn): 發(fā)布日期： 服務(wù)器故障應(yīng)急措施方案部門(mén)版本編號(hào)日期密級(jí)公司內(nèi)部使用文檔信息文檔名稱(chēng)服務(wù)器故障應(yīng)急措施方案日期版本號(hào)更新說(shuō)明2014-03-14建立文檔、初始化方案概述導(dǎo)致服務(wù)器出現(xiàn)故障的問(wèn)題是一個(gè)龐大的集合，可以分成很多種導(dǎo)致服務(wù)器出現(xiàn)故障的原因，根據(jù)服務(wù)器故障出現(xiàn)的狀況進(jìn)行分類(lèi)，確定故障屬于哪一個(gè)級(jí)別，根據(jù)相應(yīng)的故障級(jí)別對(duì)故障做對(duì)應(yīng)的處理，確保故障的處理流程是標(biāo)準(zhǔn)化的。如果沒(méi)有一套故障處理的標(biāo)

2、準(zhǔn)，工程師只能靠經(jīng)驗(yàn)去判斷，但是依靠經(jīng)驗(yàn)判斷并不是不可以，有時(shí)候這種處理方式會(huì)很高效，但是大多數(shù)這種處理方式都是不太合理的，如果更換了運(yùn)維工程師，顯然每一個(gè)工程師通過(guò)經(jīng)驗(yàn)去判斷故障原因的方式都不盡相同，這樣的差異將會(huì)使故障處理事后不能夠得到很好的記錄與存檔，以供其他工程師以后借鑒故障處理案例。故障處理標(biāo)準(zhǔn)化的優(yōu)點(diǎn)：根據(jù)流程可以確定哪些故障應(yīng)該立即匯報(bào)上級(jí)，哪些可以自行解決后，再寫(xiě)故障處理報(bào)告匯報(bào)上級(jí)，這樣做有助于提高故障處理效率。對(duì)于工程師經(jīng)驗(yàn)判斷，可能出現(xiàn)判斷失誤的情況，根據(jù)故障判斷流程，可以不遺漏任何可能的情況對(duì)服務(wù)器故障進(jìn)行排除。有時(shí)候工程師處理了故障之后只是簡(jiǎn)單的做了一下匯報(bào)，并沒(méi)有一

3、些故障處理過(guò)程的記錄，以及故障處理的詳細(xì)時(shí)間記錄，這樣對(duì)需要追溯以前的具體情況的時(shí)候就束手無(wú)策了。劃分故障等級(jí)故障說(shuō)明故障處理第一步級(jí)（緊急）當(dāng)系統(tǒng)出現(xiàn)下列相當(dāng)嚴(yán)重的現(xiàn)象時(shí)，屬一級(jí)故障：系統(tǒng)整體癱瘓，全部操作失去響應(yīng)；系統(tǒng)崩潰，關(guān)鍵硬件或文件系統(tǒng)損壞無(wú)法自動(dòng)修復(fù)；發(fā)生間歇性、隨機(jī)性、重復(fù)性的啟動(dòng)或應(yīng)用退出，無(wú)法保障公司業(yè)務(wù)的正常處理。立即匯報(bào)上級(jí)級(jí)（重要）當(dāng)系統(tǒng)出現(xiàn)下列比較嚴(yán)重的現(xiàn)象時(shí)，屬二級(jí)故障：關(guān)鍵部件（含軟、硬件）停止工作，導(dǎo)致系統(tǒng)降低運(yùn)行狀態(tài)，客戶(hù)業(yè)務(wù)受到嚴(yán)重影響； 系統(tǒng)整體性能?chē)?yán)重下降，無(wú)法自動(dòng)恢復(fù)正常運(yùn)行狀態(tài)； 重要數(shù)據(jù)、參數(shù)和配置信息損壞，無(wú)恢復(fù)，導(dǎo)致客戶(hù)數(shù)據(jù)及業(yè)務(wù)記錄嚴(yán)重?fù)p失；

4、 立即匯報(bào)上級(jí)級(jí)（關(guān)鍵）當(dāng)系統(tǒng)出現(xiàn)下列現(xiàn)象時(shí)，屬三級(jí)故障：部分設(shè)備或軟件異常，局部功能受限，系統(tǒng)整體仍可正常工作，對(duì)客戶(hù)業(yè)務(wù)影響不大或存在隱患； 關(guān)鍵備用設(shè)施因故障離線(xiàn)，主用設(shè)施仍能正常工作； 系統(tǒng)運(yùn)行指標(biāo)（例如： I/O 效率、 CPU 效率）受到直接或間接影響，客戶(hù)業(yè)務(wù)處理緩慢； 立即匯報(bào)上級(jí)級(jí)（告警）當(dāng)系統(tǒng)出現(xiàn)下列情況而不影響客戶(hù)業(yè)務(wù)時(shí)，屬四級(jí)故障：不在運(yùn)行狀態(tài)的線(xiàn)路、端口損壞； 出于安全考慮并且是受保護(hù)的軟件降級(jí)或應(yīng)用重啟； 因存儲(chǔ)空間不足導(dǎo)致的性能下降； 系統(tǒng)硬件、軟件產(chǎn)品功能、安裝、或配置方面的支援；業(yè)務(wù)仍然可以正常運(yùn)作，但是服務(wù)器報(bào)出故障信息的；故障排錯(cuò)判斷故障分類(lèi)序列問(wèn)題種類(lèi)詳

5、細(xì)內(nèi)容一機(jī)房網(wǎng)絡(luò)故障1、 骨干網(wǎng)光纖切割；2、 機(jī)房網(wǎng)絡(luò)升級(jí)；3、 機(jī)房網(wǎng)絡(luò)設(shè)備調(diào)試；4、 機(jī)房網(wǎng)絡(luò)設(shè)備損壞；二政府部門(mén)封網(wǎng)1、 服務(wù)器沒(méi)有備案；2、 域名備案存在問(wèn)題；3、 黑客入侵導(dǎo)致服務(wù)器違法行為；4、 違規(guī)代理服務(wù)器；5、 服務(wù)器轉(zhuǎn)發(fā)違禁網(wǎng)站；6、 服務(wù)器放置的網(wǎng)站內(nèi)容不符合當(dāng)?shù)氐恼ɡㄒ?guī)；三機(jī)房鋪助設(shè)備故障1、 機(jī)房空調(diào)故障問(wèn)題；2、 機(jī)房灰塵過(guò)多問(wèn)題；3、 機(jī)房電力供應(yīng)問(wèn)題；四機(jī)房機(jī)柜遷移1、 機(jī)柜擴(kuò)容；2、 機(jī)柜移位；3、 服務(wù)器遷移機(jī)柜；五服務(wù)器硬件故障1、 電源線(xiàn)損環(huán)；2、 服務(wù)器電源損壞；3、 服務(wù)器非人為硬盤(pán)損壞；4、 服務(wù)器受黑客入侵攻擊時(shí)導(dǎo)致硬盤(pán)損壞；5、 CPU

6、溫度過(guò)高燒毀；6、 內(nèi)存使用中損壞；7、 主板在電源損壞時(shí)容易燒毀；六服務(wù)器系統(tǒng)故障1、 黑客攻擊導(dǎo)致系統(tǒng)癱瘓；2、 緩存日志過(guò)多沒(méi)有整理；3、 人為配置不當(dāng)導(dǎo)致系統(tǒng)崩潰；4、 硬盤(pán)損壞導(dǎo)致系統(tǒng)崩潰；七服務(wù)器應(yīng)用故障1、 服務(wù)器放置的應(yīng)用程序存在bug后門(mén)等；2、 服務(wù)器環(huán)境配置問(wèn)題；3、 黑客攻擊導(dǎo)致應(yīng)用程序崩潰；4、 硬盤(pán)、內(nèi)存的兼容性差導(dǎo)致應(yīng)用程序崩潰；5、 應(yīng)用程序沒(méi)有優(yōu)化占用服務(wù)器硬件資源過(guò)高導(dǎo)致崩潰；6、 用戶(hù)負(fù)載過(guò)多導(dǎo)致應(yīng)用程序崩潰；八服務(wù)器硬件超負(fù)荷1、 數(shù)據(jù)超過(guò)硬盤(pán)讀寫(xiě)負(fù)載能力導(dǎo)致應(yīng)用程序崩潰；2、 CPU使用率跑滿(mǎn)導(dǎo)致服務(wù)器宕機(jī)；3、 使用內(nèi)存cache占用過(guò)多導(dǎo)致宕機(jī)；4

7、、 硬盤(pán)空間使用滿(mǎn)導(dǎo)致宕機(jī)；九服務(wù)器網(wǎng)絡(luò)超負(fù)荷1、 用戶(hù)量過(guò)多，服務(wù)器帶寬不足，導(dǎo)致卡頓，用戶(hù)訪(fǎng)問(wèn)程序故障；2、 系統(tǒng)連接數(shù)過(guò)多造成系統(tǒng)擁堵網(wǎng)絡(luò)帶寬使用不上；3、 數(shù)據(jù)庫(kù)數(shù)據(jù)讀寫(xiě)占用過(guò)多服務(wù)器連接數(shù)，達(dá)不到預(yù)期的服務(wù)器帶寬；十人為違規(guī)操作1、 人為違規(guī)關(guān)機(jī)；2、 人為違規(guī)操作更改或刪除服務(wù)器應(yīng)用；3、 機(jī)房人為關(guān)機(jī)或斷電；十一服務(wù)器受到攻擊1、 服務(wù)拒絕攻擊導(dǎo)致系統(tǒng)崩潰，如常見(jiàn)的UDP洪水攻擊等；2、 利用型攻擊導(dǎo)致黑客入侵系統(tǒng)，如特洛伊木馬、口令猜測(cè)等；3、 信息收集型攻擊，如體系結(jié)構(gòu)探測(cè)、DNS域轉(zhuǎn)換等4、 假消息攻擊，如DNS高速緩存污染、偽造電子郵件等十二不可預(yù)知因素1、 機(jī)房遭遇火災(zāi)

8、事故；2、 機(jī)房遭遇地震事故；服務(wù)器出現(xiàn)故障故障應(yīng)急處理流程服務(wù)器出現(xiàn)故障判斷故障級(jí)別判斷故障級(jí)別匯報(bào)上級(jí)匯報(bào)上級(jí)匯報(bào)上級(jí)級(jí)（緊急）級(jí)（重要）匯報(bào)上級(jí)匯報(bào)上級(jí)匯報(bào)上級(jí)級(jí)（緊急）級(jí)（重要）級(jí)（關(guān)鍵）級(jí)（警告）記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間故障排錯(cuò)流程故障排錯(cuò)流程記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間記錄發(fā)生時(shí)間故障排錯(cuò)流程故障排錯(cuò)流程記錄發(fā)生時(shí)間故障排錯(cuò)流程故障排錯(cuò)流程故障排錯(cuò)流程故障排錯(cuò)流程問(wèn)題處理完成問(wèn)題處理完成故障處理報(bào)告故障處理報(bào)告發(fā)送郵件給相關(guān)人員發(fā)送郵件給相關(guān)人員服務(wù)器故障處理完畢服務(wù)器故障處理完畢故障排錯(cuò)流程故障排錯(cuò)開(kāi)始故障排錯(cuò)開(kāi)始是否有備用服務(wù)器判斷故障等級(jí)是否屬于是否有備用

9、服務(wù)器判斷故障等級(jí)是否屬于級(jí)或級(jí)啟用備用服務(wù)器啟用備用服務(wù)器 是 是 否 否檢查當(dāng)前故障服務(wù)器檢查當(dāng)前故障服務(wù)器執(zhí)行數(shù)據(jù)備份與日志備份的腳本執(zhí)行數(shù)據(jù)備份與日志備份的腳本查看報(bào)錯(cuò)日志，根據(jù)故障分類(lèi)確定故障范圍，逐條排除查看報(bào)錯(cuò)日志，根據(jù)故障分類(lèi)確定故障范圍，逐條排除嘗試修復(fù)故障，并且驗(yàn)證是否解決問(wèn)題嘗試修復(fù)故障，并且驗(yàn)證是否解決問(wèn)題 否 是故障處理完成故障處理完成數(shù)據(jù)與日志備份在進(jìn)行故障修復(fù)的時(shí)候，需要對(duì)服務(wù)器系統(tǒng)以及軟件的配置文件進(jìn)行修改，這些修改可能造成的風(fēng)險(xiǎn)是很大的，這時(shí)保存?zhèn)浞菖渲梦募畔?、?yīng)用數(shù)據(jù)、系統(tǒng)日志信息會(huì)很重要，可以直接通過(guò)shell腳本對(duì)服務(wù)器重要的數(shù)據(jù)進(jìn)行備份。故障處理報(bào)告故障處理報(bào)告文件命名規(guī)則文件名前綴故障級(jí)別服務(wù)器名稱(chēng)故障類(lèi)型故障處理報(bào)告級(jí)緊急Linux服務(wù)器名稱(chēng)（終端#前面的字符）故障分類(lèi)詳細(xì)內(nèi)容級(jí)重要級(jí)關(guān)鍵級(jí)告警例如：故障處理報(bào)告_級(jí)緊急_squid-chendu_系統(tǒng)崩潰故障處理報(bào)告內(nèi)容故障發(fā)現(xiàn)時(shí)間Xxxx 年 xx 月 xx 日 xx：xx （24小時(shí)制）處理完成時(shí)間如果處理一次就解決的直接寫(xiě)：Xxxx 年 xx 月 xx 日 xx：xx （24小時(shí)制）如果多次處理后才解決，按下面格式寫(xiě)：Xxxx 年 xx 月 xx 日 xx：xx