dwdm-a ch t31網(wǎng)管故障處理指導修改

1、T31 V1.10 網(wǎng) 管 故 障 處 理 指 導學習目標掌握T31網(wǎng)管的系統(tǒng)結(jié)構(gòu)掌握T31網(wǎng)管故障處理的一般思路和常用方法 掌握各種故障分類的處理流程 能夠處理網(wǎng)管在使用過程中出現(xiàn)的常見問題2目錄一、T31網(wǎng)管系統(tǒng)介紹二、T31網(wǎng)管故障處理的基本思路和方法 三、故障案例3T31網(wǎng)管系統(tǒng)介紹4T31網(wǎng)管系統(tǒng)介紹5BMLSMLNMLEML/SNMLNELWDMSDHE300T31T32N100SONAE300ZXONM SONA、Netnumen T32SMS 面向客戶的業(yè)務(wù)層網(wǎng)管N100、T32：NMS，面向業(yè)務(wù)、面向網(wǎng)絡(luò)的管理，通過EMS代理管理設(shè)備，大規(guī)模網(wǎng)絡(luò)應用E300、T31：EMS/

2、SNMS，面向設(shè)備的管理，中小規(guī)模網(wǎng)絡(luò)應用T31：管理OTN、PTN、ASON等新產(chǎn)品OTNPTNT31T31網(wǎng)管系統(tǒng)介紹6I1：Qx口，即T31通過Qx接入設(shè)備，和E300完全一樣。E300和T31可以同時接入一個網(wǎng)元。I6：f口，即LCT接入方式。I2：F口，T32可管理E300。與E300網(wǎng)管的對照網(wǎng)管層次老產(chǎn)品對應T3產(chǎn)品EMLE300T317T31網(wǎng)管功能特色 T31是基于分布式、插件化設(shè)計的網(wǎng)絡(luò)管理系統(tǒng)，是中興通訊光傳輸系列所有產(chǎn)品的統(tǒng)一管理平臺。系統(tǒng)采用多種網(wǎng)絡(luò)管理技術(shù)，按照ITU-T TMN理念進行設(shè)計研發(fā)，在保障傳輸設(shè)備功能的基礎(chǔ)上，實現(xiàn)對網(wǎng)元的管理和控制，具有強大的網(wǎng)元管理

3、功能、端到端管理功能和靈活的組網(wǎng)能力。管理設(shè)備 SDH相關(guān)設(shè)備： ZXMP S200 、ZXMP S325、ZXMP S330、ZXMP S380/390、ZXMP S385設(shè)備V2.20/V2.4/V3.0、ZXMP S360、ZXMP S320、ZXMP T150(S100)、ZXMP ASON V1.00 WDM相關(guān)設(shè)備： ZXWM M900 V2.00 、ZXWM M800 V2.00/2.10、ZXWM M600 V2.00、ZXMP M720OTN相關(guān)設(shè)備PTN相關(guān)設(shè)備功能 涵蓋SDH、WDM、MSTP、ASON設(shè)備的配置、告警、性能、維護、系統(tǒng)管理功能。8目錄一、T31網(wǎng)管的系統(tǒng)

4、介紹二、T31網(wǎng)管故障處理的基本思路 和方法 三、故障案例9T31網(wǎng)管故障處理的基本思路T31網(wǎng)管故障的主要因素：T31網(wǎng)管故障大部分屬于軟件上的故障，產(chǎn)生的原因多種多樣，處理過程也比較復雜，在處理故障時，首先要明確的是故障點主要集中在哪些方面以及整個的過程如何：T31網(wǎng)管系統(tǒng)中的主要故障類型： 1、服務(wù)器硬件故障 2、操作系統(tǒng)故障 3、T31網(wǎng)管軟件故障。 a. T31網(wǎng)管軟件的安裝 b. 服務(wù)器的啟動 c. 客戶端啟動以及與服務(wù)器連接 4、其他故障10T31網(wǎng)管故障處理的基本思路基本思路： 整T31網(wǎng)管系統(tǒng)的啟動順序為：“服務(wù)器-操作系統(tǒng)-T31服務(wù)器端-T31客戶端”，前一個模塊狀態(tài)是否

5、正常直接影響下一個模塊乃至下游多個模塊的運行，在故障分析時，所采用的分析順序即為啟動順序：在處理故障時按照“服務(wù)器-操作系統(tǒng)-服務(wù)器端-客戶器端”的順序，定位故障點，進而排除故障。因此維護人員在進行故障處理時，首先要排除上游模塊的故障后，再觀察下游模塊的運行狀態(tài)。11網(wǎng)管故障處理的基本方法-服務(wù)器硬件故障處理思路： 確保網(wǎng)管服務(wù)器的硬件正常運行，出現(xiàn)故障可尋求外購件廠商解決。安裝準備1: 同時在安裝T31網(wǎng)管軟件前必須明確網(wǎng)管計算機是否具備安裝條件？ 是否正確地安裝了操作系統(tǒng)、驅(qū)動程序及其補?。?操作系統(tǒng)的補丁，是很重要的！合適的驅(qū)動程序，也是很重要的！是否安裝了必要的防毒軟件以保護計算機不受

6、病毒騷擾？ 是否未安裝惡意軟件或者類似的不良軟件以減少計算機故障的概率？ 是否未啟動其它可能會占用大量系統(tǒng)資源的應用軟件？ 計算機的配置是否滿足要求？我們推薦普通用戶的計算機配置為： T31服務(wù)器的配置為： 使用Windows2003及以上的操作系統(tǒng)； 顯卡至少支持1024*768*32的分辨率； 硬盤剩余可用空間大于20G； 內(nèi)存不少于1G； CPU雙核2G或者單核3G以上。 T31客戶端： 顯卡至少支持1024*768*32的分辨率。 當然，越高的配置，就能得到越高的性能！12網(wǎng)管故障處理的基本方法-服務(wù)器硬件故障安裝準備2 您是否收集了必要的安裝信息？ 1）安裝的環(huán)境是怎樣的？一臺服務(wù)器

7、帶多少個客戶端？管理多少個網(wǎng) 元？ 2）是要安裝客戶端，還是服務(wù)器，還是整個的T31？ 3）計算機是否正確的配置了IP協(xié)議以及IP地址？ 只要您正確的安裝了操作系統(tǒng)、TCPIP協(xié)議且未做特殊限制，T31就能正常安裝和運行。4）記錄下面的信息，在安裝過程中會用到： T31服務(wù)器的IP地址、數(shù)據(jù)庫的IP地址、客戶端的IP地址； 分配給T31服務(wù)器的id，類似于分配給E300的manager id 5）向相關(guān)人員申請lisence.您是否獲取了正確的安裝盤？ 安裝時，數(shù)據(jù)庫可能需要單獨拷貝，在您安裝前務(wù)必確認這一點。13網(wǎng)管故障處理的基本方法-操作系統(tǒng)故障操作系統(tǒng)故障 無論是windows還是UNI

8、X操作系統(tǒng)故障，通常是設(shè)備異常掉電、系統(tǒng)感染病毒以及人為誤操作等原因?qū)е碌南到y(tǒng)文件遭到破壞，所引起的系統(tǒng)無法正常啟動，對于此類問題，嘗試修復系統(tǒng)文件，若無法修復則需要重新安裝操作系統(tǒng)，因此為了避免病毒導致操作系統(tǒng)故障，需要安裝正版殺毒軟件；同時使用UPS備份電源，少做系統(tǒng)級別的添加、刪除、修改的操作。14網(wǎng)管故障處理的基本方法-T31網(wǎng)管軟件故障T31網(wǎng)管軟件安裝失敗 在系統(tǒng)中曾經(jīng)安裝過相關(guān)軟件，但未完全卸載或刪除，系統(tǒng)中存儲有殘留信息及磁盤空間不足均有可能導致網(wǎng)管軟件安裝失敗，要正確安裝及相關(guān)設(shè)置請參看相關(guān)文檔。 注：可參看（B NetNumen T31系列培訓手冊之安裝、配置、啟動和升級.

9、ppt）15網(wǎng)管故障處理的基本方法-T31網(wǎng)管軟件故障16服務(wù)器端無法啟動 T31的啟動包括： 1）數(shù)據(jù)庫啟動。 數(shù)據(jù)庫必須首先啟動 2）服務(wù)器啟動。 3）客戶端啟動。 如果使用客戶端登錄遠程T31服務(wù)器，則應注意客戶端和服務(wù)器的版本應一致。 通常情況下此種問題首先要檢查操作系統(tǒng)、數(shù)據(jù)庫是否正常啟動，有誤告警提示。 數(shù)據(jù)庫、服務(wù)器的正常啟動參看（B NetNumen T31系列培訓手冊之安裝、配置、啟動和升級.ppt）網(wǎng)管故障處理的基本方法-T31網(wǎng)管軟件故障17服客戶端無法啟動 客戶端是用戶的操作界面，同一臺服務(wù)器端可連接多個客戶端，故客戶端異常影響范圍較小，故障主要為軟件本身問題，與服務(wù)器

10、通信問題等方面來考慮。 1、客戶端軟件問題 軟件問題指客戶端中的文件損壞或者丟失，導致軟件無法正常運行，一般采用重新安裝客戶端軟件即可解決故障。 2、與服務(wù)器端通信問題 物理連接：檢查客戶端與服務(wù)器之間的物理連接，使用ping命令，確認物理連接正常。 軟件設(shè)置：檢查安裝客戶端計算機的IP，網(wǎng)關(guān)是否同服務(wù)器端的計算機在同一網(wǎng)段。目錄一、T31網(wǎng)管的系統(tǒng)介紹二、T31網(wǎng)管故障處理的基本思路和方法 三、故障案例18故障案例1 案例：網(wǎng)管運行一段時間后，客戶端自動注銷，再也登錄不到server。 問題提出：網(wǎng)管正常運行一段時間后，客戶端自動注銷了，再次登錄，登錄失敗，提示無法與服務(wù)器建立連接。 問題分

11、析：查看客戶端控制臺打印信息，出現(xiàn) 2009-04-15 09:23:40,796 ERROR FIProxyServiceImpl can not find FIProxy ejb(AssignPid) in 2009-04-15 09:24:02,062 ERROR FIProxyServiceImpl can not find FIProxy ejb(AssignPid) in 2009-04-15 09:30:50,171 ERROR FIProxyServiceImpl can not find FIProxy ejb(AssignPid) i

12、n 2009-04-15 09:32:43,421 ERROR FIProxyServiceImpl can not find FIProxy ejb(AssignPid) in 問題處理：經(jīng)檢查，網(wǎng)管所在的機器有兩個網(wǎng)卡，一個連接設(shè)備小網(wǎng)，另一個連接大網(wǎng)，網(wǎng)管出問題之前修改過小網(wǎng)網(wǎng)卡的IP。將修改前的IP重新添加到小網(wǎng)網(wǎng)卡上，無需重啟機器和客戶端，登錄即恢復正常。 小結(jié)：因此安裝好網(wǎng)管后，最好不要修改網(wǎng)管所在機器IP地址。 19故障案例220 案例：網(wǎng)管運行期間，突然執(zhí)行任何操作都提示“發(fā)生網(wǎng)絡(luò)異常，可能由網(wǎng)絡(luò)問題或服務(wù)器故障導致”，不久之后客戶端自動

13、注銷回到登錄界面，再次登錄則無法成功。 問題提出：網(wǎng)管之前一直正常運行，突然某個時刻執(zhí)行任何操作都提示“發(fā)生網(wǎng)絡(luò)異常，可能由網(wǎng)絡(luò)問題或服務(wù)器故障導致”，不久之后客戶端自動注銷回到登錄界面，再次登錄則無法成功。 問題分析：觀察客戶端日志，發(fā)現(xiàn)提示如下信息： 2009-04-16 14:24:13,421 INFO mImpl SendSync error: com.zte.ums.uep.api.pfl.finterface.FIException: 發(fā)生網(wǎng)絡(luò)異常，可能由網(wǎng)絡(luò)問題或服務(wù)器故障導致。 at com.zte.ums.uep.pfl.finterface.wsf.RequestThre

14、adx.run(RequestTheadx.java:106) at java.lang.Thread.run(Thread.java:534) Caused by: municationException: Failed to connect to server :21099 Root exception is javax.naming.ServiceUnavailableException: Failed to connect to server :21099 Root exception is .SocketException: No buffer s

15、pace available (maximum connections reached?): JVM_Bind 故障案例2 案例：網(wǎng)管運行期間，突然執(zhí)行任何操作都提示“發(fā)生網(wǎng)絡(luò)異常，可能由網(wǎng)絡(luò)問題或服務(wù)器故障導致”，不久之后客戶端自動注銷回到登錄界面，再次登錄則無法成功。 問題處理： 開始懷疑有程序非法占用端口過多，但使用netstat命令發(fā)現(xiàn)無大量端口占用。接著查看任務(wù)管理器中各進程的句柄占用數(shù)，發(fā)現(xiàn)也正常。最后查看windows的系統(tǒng)日志，發(fā)現(xiàn)事發(fā)時刻有如下告警事件，因此判斷為是windows xp sp2限制了并發(fā)最大連接數(shù)所致。 使用工具修改windows xp并發(fā)連接數(shù)限制，將最大連

16、接數(shù)修改為1000，重啟機器后一切正常。 小結(jié)：對于xp系統(tǒng)，不建議安裝T3服務(wù)器軟件；如果受硬件影響必須安裝xp，則必須修改xp的最大連接數(shù)。 21故障案例3案例：在windows 2003 server版上運行T3網(wǎng)管，經(jīng)常出現(xiàn)客戶端自動注銷，后續(xù)再也無法登錄的情況。問題提出：在windows 2003 server版上運行T3網(wǎng)管，經(jīng)常出現(xiàn)客戶端自動注銷，后續(xù)再也無法登錄的情況，未安裝殺毒軟件和VPN等軟件。問題分析：查看客戶端日志，有如下異常：2009-04-28 09:13:15,781 INFO erfaces.Globe

17、NamingContext Cache localhost=842009-04-28 09:13:15,812 ERROR com.zte.ums.uep.psl.fiproxy.FIProxyServiceImpl can not find FIProxy ejb(AssignPid) in 2009-04-28 09:13:15,812 INFO com.zte.ums.uep.pfl.mainframe.main.view.LoginWindow com.zte.ums.uep.api.pfl.finterface.FIException: Faile

18、d to connect to the server!Caused by: municationException: Failed to connect to server :21099 Root exception is javax.naming.ServiceUnavailableException: Failed to connect to server :21099 Root exception is .SocketException: No buffer space available (maximum connections reached?):

19、 JVM_BindCaused by: javax.naming.ServiceUnavailableException: Failed to connect to server :21099 Root exception is .SocketException: No buffer space available (maximum connections reached?): JVM_Bind 22故障案例3案例：在windows 2003 server版上運行T3網(wǎng)管，經(jīng)常出現(xiàn)客戶端自動注銷，后續(xù)再也無法登錄的情況。 Caused by: municationExcept

20、ion: Failed to connect to server :21099 Root exception is javax.naming.ServiceUnavailableException: Failed to connect to server :21099 Root exception is .SocketException: No buffer space available (maximum connections reached?): JVM_Bind Caused by: javax.naming.ServiceUnavailableEx

21、ception: Failed to connect to server :21099 Root exception is .SocketException: No buffer space available (maximum connections reached?): JVM_Bind Caused by: .SocketException: No buffer space available (maximum connections reached?): JVM_Bind 使用netstat查看本機端口占用情況，發(fā)現(xiàn)共有1400多條記錄，遠大于普通機器200300條的

22、端口記錄。仔細查看，發(fā)現(xiàn)大量記錄（約1300條）和microsoft-ds有關(guān)。Google搜索microsoft-ds，得到如下結(jié)果： Microsoft 2000是一款流行的操作系統(tǒng)平臺，其中默認開啟microsoft-ds (TCP 445)端口允許遠程用戶連接。 Microsoft 2000的microsoft-ds (TCP 445)端口在處理進行數(shù)據(jù)包時存在漏洞，可導致拒絕服務(wù)攻擊。 攻擊者可以簡單地持續(xù)發(fā)送10K NULL字符到microsoft-ds (TCP 445)端口，可導致LANMAN服務(wù)分配過多的內(nèi)核內(nèi)存，使系統(tǒng)服務(wù)消耗100%的CPU處理時間，產(chǎn)生拒絕服務(wù)攻擊。必須

23、手工重新啟動Windows 2000來獲得系統(tǒng)正常功能。 問題處理：重啟計算機或者永久屏蔽microsoft-ds使用的445端口，禁止遠程用戶連接后 問題解決。 23故障案例4 案例：確認當前告警，界面彈出：適配器未創(chuàng)建。 問題提出：在告警管理視圖，查詢到當前告警后點擊全部確認按鈕，界面彈出：適配器ME163未創(chuàng)建。 問題分析：查看操作日志，id為163的網(wǎng)元已于時間2009-10-16 16：50刪除。經(jīng)定位分 析原因為：刪除在線網(wǎng)元時，如果恰好這個時候有告警上報，并且到網(wǎng)元適配器被刪除時，上報給服務(wù)器的告警還在處理過程中沒有來得及入庫； 這個時候就會有問題。即網(wǎng)元被刪除了，已經(jīng)入庫的當前

24、告警會被刪除掉，但是正在服務(wù)器處理的告警稍后會繼續(xù)入到數(shù)據(jù)庫，通過網(wǎng)管刪除不了；只能通過手工方式或者腳本從數(shù)據(jù)庫刪除，如果不刪除，查詢告警時就會查詢上來，而導致出現(xiàn)上述的問題。 問題處理：在當前告警中查詢?nèi)W(wǎng)告警（不選擇任何網(wǎng)元對象），查詢結(jié)果中告警源顯示為MExx。之類的告警，就是殘留的告警，而正常的告警此處的MExx會顯示成網(wǎng)元的名稱。 根據(jù)網(wǎng)元id信息到數(shù)據(jù)庫刪除該網(wǎng)元的當前告警，即在數(shù)據(jù)庫客戶端執(zhí)行如下語句： delete from Alarm where (clearState=0 OR (clearState=1 AND ackState=0) and objectNameLabe

25、l like %MExx% 注意MExx 需要替換成具體的網(wǎng)元信息如 ME1 小結(jié)：這個問題比較偶然，并且在工程上不會隨便刪除網(wǎng)元，在工程上出現(xiàn)問題的可能很??；必須通過數(shù)據(jù)庫刪除，否則就會有殘留當前告警在數(shù)據(jù)庫中。 24故障案例5案例：T3上載S380的網(wǎng)元信息后，kernel異常，網(wǎng)管上任何操作都失敗，重啟網(wǎng)管，kernel啟動失敗。問題提出：E300數(shù)據(jù)遷移到T3,起初T3網(wǎng)管運行正常，但執(zhí)行上載S380設(shè)備的網(wǎng)元信息后，控制臺kernel拋異常，網(wǎng)管上操作失敗，重啟網(wǎng)管，kernel啟動失敗。問題分析：對于S380設(shè)備，當NCP軟件版本為NCP380V4.01.R1P08B且NCP上網(wǎng)元

26、信息丟失，此時選擇網(wǎng)元信息進行上載，由于上載時，上報設(shè)備類型為空，導致T3的kernel異常，同時重啟也會失敗。問題處理：出現(xiàn)問題后必須重新安裝網(wǎng)管或換一個新的數(shù)據(jù)庫。對于NCP380V4.01.R1P08B版本的S380，在執(zhí)行上載操作前，最好先用網(wǎng)管對其下載網(wǎng)元屬性，然后再進行上載，此時不會有問題。 25故障案例6案例：T3上載M600的子架、單板信息后，打開單板視圖，顯示為空白。問題提出：在南通實驗局中，使用T3上載M600網(wǎng)元的單板、子架等數(shù)據(jù)后，打開單板視圖界面，界面顯示為空白，沒有子架及單板信息。問題分析：T3網(wǎng)管中M600網(wǎng)元與M800、M900網(wǎng)元上載不同，對M800、M900

27、網(wǎng)元執(zhí)行單板、機架等數(shù)據(jù)的上載都是如我們所期望，能正確將NCP的單板、機架等數(shù)據(jù)上載，但對于M600網(wǎng)元則不是。對M600網(wǎng)元執(zhí)行上載入庫時，打開單板視圖是顯示為空的。不清楚其中原理的以為是故障，其實不然，是由于我們操作時沒有使用telnet配置M600的子架信息。M600設(shè)備與M800、M900設(shè)備上載單板、子架等數(shù)據(jù)是不同的。M800、M900設(shè)備上載單板、機架等數(shù)據(jù)時，是根據(jù)網(wǎng)管里的一個缺省的子架配置文件將Agent中的單板上載上來的，不從Agent上載子架信息；M600設(shè)備上載單板、機架等數(shù)據(jù)時是直接到Agent查詢子架信息，如果Agent里沒有用telnet配置子架信息，上載后打開該網(wǎng)元的單板視圖顯示為空。M600設(shè)備與M800、M900設(shè)備上載單板、子架等數(shù)據(jù)的不同，究其原因是由于M800、M900網(wǎng)元與M600網(wǎng)元的子架信息是不同的。M800的子架相對固定，可配置的子架數(shù)量較少，不同類型的子架也像差不多，使用網(wǎng)管提供的默認