服務(wù)器故障處理預(yù)案

1、公司信息系統(tǒng)服務(wù)器故障應(yīng)急處理預(yù)案（初稿）目 錄第一部分 服務(wù)器故障的處理響應(yīng)2第二部分 服務(wù)器硬件故障的診斷和處理4第三部分 服務(wù)器軟件故障的診斷和處理5第一部分 服務(wù)器故障的處理響應(yīng)(一)、服務(wù)器故障的定義本預(yù)案所指的服務(wù)器故障是指公司管理信息系統(tǒng)范圍內(nèi)的網(wǎng)絡(luò)服務(wù)器設(shè)備的故障。包括因設(shè)備質(zhì)量原因?qū)е碌南到y(tǒng)故障、人為因素和網(wǎng)絡(luò)系統(tǒng)外界因素而導(dǎo)致的系統(tǒng)故障、計算機(jī)病毒感染及遭受黑客或惡意代碼攻擊而導(dǎo)致的應(yīng)用系統(tǒng)故障等。涉及本預(yù)案的服務(wù)器設(shè)備包括小型機(jī)和PC服務(wù)器，設(shè)備清冊參見附表1。 (二)、服務(wù)器故障的分類以服務(wù)器設(shè)備的故障性質(zhì)和故障可能涉及的范圍，按照以下的標(biāo)準(zhǔn)進(jìn)行分類：服務(wù)器硬件故障：服

2、務(wù)器硬件故障，包括服務(wù)器的底板故障、IO板及IO設(shè)備故障、CPU板及CPU故障、內(nèi)存板及內(nèi)存故障、磁盤陣列及磁盤故障以及磁帶庫故障等。這類故障將直接影響服務(wù)器的正常運(yùn)行，情況嚴(yán)重的，將使服務(wù)器陷于癱瘓狀態(tài)，基于該服務(wù)器的所有應(yīng)用將無法正常使用。如果該服務(wù)器承擔(dān)的是網(wǎng)絡(luò)的控制和管理職能，將對整個管理信息系統(tǒng)造成極為嚴(yán)重的影響；如果該服務(wù)器承擔(dān)的是單個或多個應(yīng)用系統(tǒng)的運(yùn)行和管理，那么，這些應(yīng)用系統(tǒng)將無法提供正常的服務(wù)。服務(wù)器系統(tǒng)軟件故障：服務(wù)器的系統(tǒng)軟件故障，包括操作系統(tǒng)故障、網(wǎng)絡(luò)控制和管理系統(tǒng)故障、集群管理系統(tǒng)故障等等。嚴(yán)重的服務(wù)器系統(tǒng)軟件故障，同樣會使服務(wù)器陷入癱瘓狀態(tài)。故障造成的影響，視該服

3、務(wù)器承擔(dān)的應(yīng)用系統(tǒng)的不同而不同，如果該服務(wù)器承擔(dān)了網(wǎng)絡(luò)的控制管理或關(guān)鍵應(yīng)用職能，將有可能造成非常嚴(yán)重的后果。關(guān)鍵應(yīng)用服務(wù)故障：關(guān)鍵應(yīng)用服務(wù)故障，包括Oracle數(shù)據(jù)庫故障、SQL Server數(shù)據(jù)庫故障、PI數(shù)據(jù)庫故障、OA故障、WEB服務(wù)故障、郵件服務(wù)故障等。這些應(yīng)用服務(wù)軟件的故障，對于相關(guān)的應(yīng)用系統(tǒng)將產(chǎn)生一定的影響，其影響范圍和損害程度隨故障的性質(zhì)和嚴(yán)重程度而定，嚴(yán)重的，將引起系統(tǒng)癱瘓。 (三)、服務(wù)器故障響應(yīng)處理流程y故障發(fā)現(xiàn)人員信息中心信息中心按預(yù)案第二部分內(nèi)容即故障的分析和診斷進(jìn)行處理根據(jù)故障性質(zhì)和類型分類處理服務(wù)器硬件故障服務(wù)器系統(tǒng)軟件故障關(guān)鍵應(yīng)用服務(wù)故障故障部件確定是否保修期ny

4、要求制造廠維修服務(wù)部維修y更換部件病毒和入侵掃描檢查事件日志和服務(wù)檢查操作系統(tǒng)能啟動？ny恢復(fù)或重裝相應(yīng)的系統(tǒng)n恢復(fù)或重裝操作系統(tǒng)病毒和入侵掃描檢查事件日志和服務(wù)檢查備份重要數(shù)據(jù)備份重要數(shù)據(jù)能否自行處理？聯(lián)系相關(guān)軟件服務(wù)商提供技術(shù)支持n恢復(fù)或重裝相應(yīng)的應(yīng)用軟件第二部分 服務(wù)器硬件故障的診斷和處理一、 硬件故障診斷硬件故障的診斷一般是在服務(wù)器操作系統(tǒng)無法引導(dǎo)啟動的情況下進(jìn)行，可以通過對主機(jī)BIOS配置、主板故障指示燈、面板狀態(tài)屏幕、面板LED指示燈提供的信息進(jìn)行，如條件允許（如光驅(qū)引導(dǎo)啟動正常），還應(yīng)使用設(shè)備制造廠家提供的專用診斷軟件進(jìn)行檢查和分析。二、 識別硬件故障的方法1. 電源故障。電源故

5、障的現(xiàn)象一般為：電源部件開關(guān)在“合”狀態(tài)、指示燈不亮；面板狀態(tài)屏幕不亮；按電源開關(guān)機(jī)器無反應(yīng)、主機(jī)電源LCD指示燈不亮；無任何報警聲。2. 如果在開機(jī)后出現(xiàn)錯誤代碼或“嗶”聲錯誤信息，則應(yīng)對照該型服務(wù)器的用戶手冊中有關(guān)的錯誤信息列表進(jìn)行判別。3. 如果服務(wù)器的前面板有顯示主機(jī)狀態(tài)的液晶屏幕，應(yīng)根據(jù)屏幕顯示的信息對照用戶手冊中相應(yīng)的內(nèi)容進(jìn)行判別。4. 如果服務(wù)器的底板、CPU板、內(nèi)存板上有顯示狀態(tài)的LED指示燈，一般都可以在機(jī)箱內(nèi)找到代表指示燈意義的說明貼紙，可依此進(jìn)行判別。5. 服務(wù)器一般都自帶用于對硬件系統(tǒng)進(jìn)行檢測的診斷程序光盤，在服務(wù)器可以用該光盤進(jìn)行引導(dǎo)啟動的情況下，應(yīng)使用該光盤進(jìn)行系統(tǒng)

6、測試。三、 故障排除順序1. 如果系統(tǒng)無法上電，可按以下步驟進(jìn)行操作：(1) 檢查以確保電纜和電源線都牢固插進(jìn)相應(yīng)的插座。(2) 檢查以確保系統(tǒng)所有部分均已打開并已正確調(diào)整。(3) 如果服務(wù)器電源線插入帶開關(guān)的多插座接線盒，應(yīng)確保接線盒上的開關(guān)已打開。(4) 將另一個電氣設(shè)備電纜或電源線插入電源插座，并打開該設(shè)備。(5) 斷開電源線，等待20秒，然后再次插入電源線并重新啟動系統(tǒng)。2. 如果系統(tǒng)可以上電，但無法完成開機(jī)自檢測試，可按以下步驟進(jìn)行操作：(1) 如果系統(tǒng)發(fā)出一系列嗶聲，則表示系統(tǒng)有錯誤，應(yīng)參閱該型服務(wù)器的用戶手冊中的“錯誤信息”章節(jié)進(jìn)行判別?；蚺c產(chǎn)品供應(yīng)商聯(lián)系維修。(2) 如果系統(tǒng)無

7、法運(yùn)行開機(jī)自檢測試，且屏幕顯示錯誤信息，應(yīng)參閱該型服務(wù)器的用戶手冊中的“錯誤信息”章節(jié)進(jìn)行判別。如果手冊推薦的方法無法解決問題，應(yīng)與產(chǎn)品供應(yīng)商聯(lián)系維修。3. 如果系統(tǒng)通過開機(jī)自檢測試，但不運(yùn)行，可按以下步驟進(jìn)行操作：(1) 檢查以確保服務(wù)器在安裝實(shí)用程序中配置正確。(2) 如果服務(wù)器仍無法工作，應(yīng)關(guān)機(jī)并卸下除顯示器和鍵盤以外的所有外圍設(shè)備。測試服務(wù)器，并注意現(xiàn)在是否正常工作。(3) 如果服務(wù)器仍不工作，應(yīng)關(guān)閉顯示器、服務(wù)器和所有外圍設(shè)備，然后按(4)條執(zhí)行。4. 檢查內(nèi)置硬件：(1) 斷開的電源線，卸下服務(wù)器主機(jī)蓋。(2) 檢查所有附件板是否牢固地固定在各自的插槽中。(3) 確保所有磁盤驅(qū)動器

8、電源電纜和數(shù)據(jù)電纜已牢固并正確地聯(lián)接。使用機(jī)內(nèi)配置的布線和開關(guān)配置圖，查對海量存儲器配置。(4) 檢查并確保內(nèi)存條和內(nèi)存擴(kuò)展板牢固地固定在各自的插槽中，且添加的內(nèi)存條符合要求。(5) 重新裝上服務(wù)器蓋板，并鎖定系統(tǒng)。(6) 重新裝上所有電源線和電源電纜。(7) 打開服務(wù)器電源，查找錯誤信息。(8) 經(jīng)以上步驟檢查，仍無法得到有意義的錯誤信息，應(yīng)與產(chǎn)品供應(yīng)商聯(lián)系維修。第三部分 服務(wù)器軟件故障的診斷和處理一、 服務(wù)器軟件故障分析和診斷軟件故障分析和診斷主要通過對主機(jī)運(yùn)行狀況、服務(wù)與進(jìn)程、網(wǎng)絡(luò)連接狀況、系統(tǒng)端口、事件日志記錄進(jìn)行檢查，這種檢查的必要條件是服務(wù)器操作系統(tǒng)可以引導(dǎo)啟動，并可以提供相應(yīng)的檢

9、查界面。1. 主機(jī)運(yùn)行狀況的檢測服務(wù)器主機(jī)的CPU、內(nèi)存、磁盤的使用情況對服務(wù)器的性能影響很大，如果出現(xiàn)問題，將直接影響到服務(wù)器的正常運(yùn)行，進(jìn)而對服務(wù)器上正在運(yùn)行的重要的應(yīng)用系統(tǒng)帶來不可預(yù)料的后果。因此，處理服務(wù)器軟件故障前，對主機(jī)的CPU、內(nèi)存、磁盤資源使用情況進(jìn)行檢測是一個非常重要的步驟，往往可以在第一時間發(fā)現(xiàn)主機(jī)基本性能的狀態(tài)異常。在Windows平臺上，一般使用任務(wù)管理器中的“性能”選項(xiàng)卡檢測主機(jī)CPU和內(nèi)存的運(yùn)行狀況，使用資源管理器檢查磁盤的使用情況，檢查要點(diǎn)為：l CPU使用值，一般不會持續(xù)超過50%；l 內(nèi)存“認(rèn)可用量總數(shù)”持續(xù)超過“物理內(nèi)存總數(shù)”會引起系統(tǒng)性能下降；l 內(nèi)存“認(rèn)

10、可用量峰值”持續(xù)接近“認(rèn)可用量限制”，系統(tǒng)將有崩潰的危險；l 任何裝有運(yùn)行系統(tǒng)的磁盤的可用空間趨近于零，系統(tǒng)將停滯或有崩潰的危險。l 裝有操作系統(tǒng)的磁盤（一般為C:）的可用空間不應(yīng)低于磁盤分區(qū)總?cè)萘康?5%，根據(jù)實(shí)際的運(yùn)行觀察，當(dāng)服務(wù)器C盤可用空間小于50 M 時，系統(tǒng)的運(yùn)行將進(jìn)入不穩(wěn)定狀態(tài)。2. 服務(wù)、進(jìn)程管理的檢測服務(wù)器主機(jī)上的服務(wù)和進(jìn)程主要來自二個部分，一是操作系統(tǒng)本身提供的系統(tǒng)服務(wù)和進(jìn)程，這些服務(wù)的功能和狀態(tài)在Windows的服務(wù)列表中有比較詳細(xì)的描述，這些服務(wù)的異常，系統(tǒng)一般會給出比較明確的錯誤提示。另一部分是應(yīng)用系統(tǒng)的服務(wù)，服務(wù)器上往往運(yùn)行著非常重要的應(yīng)用系統(tǒng)，例如大型的數(shù)據(jù)庫系統(tǒng)

11、、Mail系統(tǒng)、Web Server或特殊業(yè)務(wù)的應(yīng)用系統(tǒng)等。應(yīng)用系統(tǒng)的進(jìn)程和服務(wù)是否正常運(yùn)行是判斷應(yīng)用系統(tǒng)是否正常的關(guān)鍵，如果這些關(guān)鍵的進(jìn)程和服務(wù)已經(jīng)停止，則應(yīng)用系統(tǒng)肯定無法正常工作。監(jiān)測服務(wù)器上的進(jìn)程和服務(wù)是服務(wù)器管理的一個重點(diǎn)，對于進(jìn)程的監(jiān)測尤其重要，檢查的要點(diǎn)為：l 有無可疑的進(jìn)程活動；l 有無不顯示進(jìn)程標(biāo)識符（PID）的進(jìn)程活動；l 有無不顯示映象名稱的進(jìn)程活動；l 有無不顯示用戶名或顯示非法用戶名的進(jìn)程活動；l 有無大量占用CPU的進(jìn)程；l 有無大量占用內(nèi)存的進(jìn)程；l 有無GDI對象異常的進(jìn)程。3. 網(wǎng)絡(luò)狀況檢測 服務(wù)器網(wǎng)絡(luò)組件的運(yùn)行狀況是服務(wù)器能否維持正常的網(wǎng)絡(luò)訪問和提供正常的網(wǎng)絡(luò)

12、服務(wù)的一個關(guān)鍵。在服務(wù)器運(yùn)行異常時必須檢測服務(wù)器網(wǎng)卡的配置情況是否正常，最簡單的測試是在DOS提示符下運(yùn)行ipconfig /all命令，察看各個網(wǎng)絡(luò)連接當(dāng)前的配置狀態(tài)。使用網(wǎng)絡(luò)監(jiān)視器可以獲得更多的信息，在網(wǎng)絡(luò)監(jiān)視器的實(shí)時部分，主要監(jiān)視網(wǎng)絡(luò)利用率、每秒幀數(shù)、每秒字節(jié)數(shù)、每秒廣播、每秒多播等指標(biāo)，在捕獲統(tǒng)計中，主要監(jiān)視緩沖區(qū)里的幀、當(dāng)緩沖區(qū)超出限制時幀的丟失數(shù)、緩沖區(qū)利用率、丟失的幀數(shù)等指標(biāo)。當(dāng)發(fā)現(xiàn)以上指標(biāo)有異常，應(yīng)進(jìn)一步對捕獲的數(shù)據(jù)幀進(jìn)行分析，此時應(yīng)特別注意查尋有無源地址或目標(biāo)地址異常的幀，有無協(xié)議異常的幀。4. 系統(tǒng)端口檢測網(wǎng)絡(luò)中的服務(wù)器系統(tǒng)通常會提供一系列的服務(wù)給網(wǎng)絡(luò)中的其他機(jī)器進(jìn)行訪問和

13、使用，這些服務(wù)都是通過一些指定的端口進(jìn)行通訊的，所以系統(tǒng)業(yè)務(wù)端口的正常與否對于系統(tǒng)業(yè)務(wù)有直接的影響。對服務(wù)器的系統(tǒng)業(yè)務(wù)端口的檢測可以在DOS提示符下使用netstat命令，該命令隨帶的參數(shù)所表示的意義如下：-a顯示所有連接和監(jiān)聽端口。-b顯示包含于創(chuàng)建每個連接或監(jiān)聽端口的可執(zhí)行組件。在某些情況下已知可執(zhí)行組件擁有多個獨(dú)立組件，并且在這些情況下包含于創(chuàng)建連接或監(jiān)聽端口的組件序列被顯示。這種情況下，可執(zhí)行組件名在底部的 中，頂部是其調(diào)用的組件，等等，直到 TCP/IP 部分。注意此選項(xiàng)可能需要很長時間，如果沒有足夠權(quán)限可能失敗。-e顯示以太網(wǎng)統(tǒng)計信息。此選項(xiàng)可以與 -s選項(xiàng)組合使用。 -n以數(shù)字形

14、式顯示地址和端口號。-o顯示與每個連接相關(guān)的所屬進(jìn)程 ID。-p proto顯示 proto 指定的協(xié)議的連接；proto 可以是下列協(xié)議之一: TCP、UDP、TCPv6 或 UDPv6。如果與 -s 選項(xiàng)一起使用以顯示按協(xié)議統(tǒng)計信息，proto 可以是下列協(xié)議之一:IP、IPv6、ICMP、ICMPv6、TCP、TCPv6、UDP 或 UDPv6。 -r顯示路由表。-s顯示按協(xié)議統(tǒng)計信息。默認(rèn)地，顯示 IP、IPv6、ICMP、ICMPv6、TCP、TCPv6、UDP 和 UDPv6 的統(tǒng)計信息；-p 選項(xiàng)用于指定默認(rèn)情況的子集。-v與 -b 選項(xiàng)一起使用時將顯示包含于為所有可執(zhí)行組件創(chuàng)建

15、連接或監(jiān)聽端口的組件。Interval重新顯示選定統(tǒng)計信息，每次顯示之間暫停時間間隔(以秒計)。按 CTRL+C 停止重新顯示統(tǒng)計信息。如果省略，netstat 顯示當(dāng)前配置信息(只顯示一次)對于UNIX服務(wù)器，可通過Connect系統(tǒng)業(yè)務(wù)端口，發(fā)送請求，以監(jiān)測端口是否能夠響應(yīng)。5. 日志檢查服務(wù)器上的應(yīng)用系統(tǒng)或重要進(jìn)程運(yùn)行時會產(chǎn)生大量的日志文件，這些日志文件對于檢查程序運(yùn)行狀態(tài)、查找程序出錯原因很有幫助。對于Windows平臺上，可使用的日志系統(tǒng)是管理工具中提供的“事件查看器”，其中包括了系統(tǒng)日志、應(yīng)用程序和安全性日志，需要重點(diǎn)關(guān)注的是“錯誤”和“警告”。另外，服務(wù)器上運(yùn)行的應(yīng)用程序也會提供

16、相應(yīng)的日志系統(tǒng)，其提取日志的方法因應(yīng)用系統(tǒng)的不同而不同，可參照相關(guān)的用戶手冊進(jìn)行。在UNIX平臺上，日志是以文件的形式存放，不同版本的Unix日志文件的目錄是不同的，在Solaris下一般是在Unix /var/log，在AIX下，需要關(guān)注的日志文件有：文件描述建議core和snapcore由應(yīng)用產(chǎn)生的dump文件，可用于診斷錯誤可刪除nohup.outnohup命令的輸出結(jié)果可刪除.xerrorsX11的輸出結(jié)果可截短mbox用戶郵箱中的郵件可截短smit.log 和 smit.script用戶使用smit 命令后的日志可適當(dāng)保留最后1000行，或刪除/var/adm/wtmp記錄用戶的登錄

17、信息，是二進(jìn)制文件，用who 命令來閱讀其內(nèi)容根據(jù)需要保留60天中有用的內(nèi)容，其余刪除/etc/security/failedlogin記錄用戶失敗的登錄信息，是二進(jìn)制文件，用who 命令來閱讀其內(nèi)容可根據(jù)需要保留60天中有用的內(nèi)容，其余刪除/var/adm/sulog用戶使用su 命令的日志可根據(jù)需要保留60天中有用的內(nèi)容，其余刪除/var/adm/cron/logcron的日志可截短/var/tmp/snmpd.logsnmp 監(jiān)控進(jìn)程日志可截短/var/tmp/dpid.log/var/tmp/dpid2.log/var/tmp/hostmidb.log/var/tmp/muxatmds

18、nmp 子系統(tǒng)日志可截短dead.letter未成功的郵件可刪除trcfile trace實(shí)用程序的輸出可刪除/var/adm/messages用于記錄syslog進(jìn)程的日志可適當(dāng)保留最后1000行，或刪除/etc/shutdown.log系統(tǒng)關(guān)機(jī)過程日志，用shutdown -l 命令產(chǎn)生可適當(dāng)保留最后1000行，或刪除二、 服務(wù)器軟件故障的處理服務(wù)器的故障中，大部分是軟件故障。軟件故障對于服務(wù)器穩(wěn)定運(yùn)行的影響很大，嚴(yán)重時將引起整個系統(tǒng)崩潰。一般常見的軟件故障主要有操作系統(tǒng)文件損壞或丟失、設(shè)備驅(qū)動程序錯誤或損壞、服務(wù)進(jìn)程不能啟動、網(wǎng)絡(luò)地址配置錯誤或丟失，以及應(yīng)用系統(tǒng)軟件方面的程序出錯等等。1

19、. 操作系統(tǒng)故障的處理對于Windows系統(tǒng)，如果操作系統(tǒng)故障前對操作系統(tǒng)有過不適當(dāng)?shù)男薷亩鵁o法復(fù)原，或發(fā)現(xiàn)系統(tǒng)提示缺少必須的文件、提示某些文件錯誤等情況，在排除服務(wù)器感染病毒的可能以后，應(yīng)即使用升級安裝對操作系統(tǒng)進(jìn)行恢復(fù)。升級安裝之前，應(yīng)對重要的配置文件和數(shù)據(jù)文件進(jìn)行備份或加適當(dāng)?shù)谋Ｗo(hù)。一般情況下，重要的數(shù)據(jù)文件不宜置于安裝操作系統(tǒng)的磁盤（如C：盤）。在備份時，應(yīng)盡量將這些重要文件置于具有安全保護(hù)的機(jī)器上。當(dāng)升級安裝無法恢復(fù)系統(tǒng)時，可以考慮全新安裝操作系統(tǒng)，安裝完成應(yīng)注意打好補(bǔ)丁。然后進(jìn)行應(yīng)用系統(tǒng)的恢復(fù)。對于UNIX操作系統(tǒng)的故障，當(dāng)無法在短時間內(nèi)找到故障原因和處理方法時，應(yīng)立即與系統(tǒng)服務(wù)商

20、的技術(shù)支持人員聯(lián)系。對由于病毒感染引起的操作系統(tǒng)故障，可參照反病毒處理預(yù)案處理。2. 系統(tǒng)服務(wù)進(jìn)程的故障處理系統(tǒng)服務(wù)進(jìn)程故障時，應(yīng)檢查“服務(wù)”中相應(yīng)的服務(wù)項(xiàng)，檢查要點(diǎn)有：狀態(tài)、啟動類型、登錄身份、服務(wù)失敗時計算機(jī)的反應(yīng)，以及該服務(wù)所依賴的系統(tǒng)組件是否已經(jīng)正常啟動。如有異常，應(yīng)根據(jù)情況作相應(yīng)處理。無異常后，可啟動該進(jìn)程，并作進(jìn)一步檢查。如該進(jìn)程的狀態(tài)在“已啟動”，檢查上述項(xiàng)目無異常的，可重新啟動該服務(wù)，并作進(jìn)一步檢查。經(jīng)上述處理仍無法消除故障時，可進(jìn)入“控制面板/添加或刪除程序/添加或刪除Windows組件”，檢查與故障的服務(wù)相對應(yīng)的組件是否被鉤選，如已被鉤選，可先將其取消后，再次鉤選重裝。對于應(yīng)用系統(tǒng)的服務(wù)故障，應(yīng)檢查分析該軟件的錯誤日志，根據(jù)分析的結(jié)果采取相應(yīng)的措施。必要時，應(yīng)重裝應(yīng)用系統(tǒng)。3. 設(shè)備驅(qū)動程序故障處理設(shè)備驅(qū)動程序故障時，將引起相關(guān)設(shè)備的異