05 業(yè)務(wù)軟件故障排除及維護(hù)(20130301)

1、業(yè)務(wù)軟件故障排除及維護(hù)業(yè)務(wù)軟件故障排除及維護(hù) ISSUE 2.0 杭州華三通信技術(shù)有限公司 版權(quán)所有，未經(jīng)授權(quán)不得使用與傳播 n 熟悉熟悉iMC產(chǎn)品體系架構(gòu)產(chǎn)品體系架構(gòu) n 掌握掌握iMC常用組件故障排除及定位方法常用組件故障排除及定位方法 n 熟悉熟悉iMC常用工具的使用方法常用工具的使用方法 課程目標(biāo)課程目標(biāo) 學(xué)習(xí)完本課程，您應(yīng)該能夠：學(xué)習(xí)完本課程，您應(yīng)該能夠： n iMC體系介紹體系介紹 n iMC 常用組件故障排除及維護(hù)方法常用組件故障排除及維護(hù)方法 n iMC常用工具常用工具/資料介紹資料介紹 目錄目錄 3 liMC產(chǎn)品控制按鈕就是產(chǎn)品控制按鈕就是“智能部署監(jiān)控代理智能部署監(jiān)控代理”

2、，若想使用，若想使用“智能部智能部 署監(jiān)控代理署監(jiān)控代理”，必須在操作系統(tǒng)中啟用，必須在操作系統(tǒng)中啟用iMC 部署監(jiān)控代理服務(wù)部署監(jiān)控代理服務(wù) Windows系統(tǒng)：在服務(wù)列表中對(duì)應(yīng)的是H3C iMC Server Linux系統(tǒng)：對(duì)應(yīng)的進(jìn)程是imcdmsd，命令是service imcdmsd stop/start/restart iMC 體系介紹體系介紹 n iMC體系介紹體系介紹 n iMC 常用組件故障排除及維護(hù)方法常用組件故障排除及維護(hù)方法 n iMC常用工具常用工具/資料介紹資料介紹 目錄目錄 5 iMC安裝或升級(jí)問(wèn)題及排錯(cuò)方法安裝或升級(jí)問(wèn)題及排錯(cuò)方法 liMC的組件安裝或升級(jí)前需要

3、仔細(xì)閱讀相關(guān)版本說(shuō)明書， 了解安裝或升級(jí)的配套關(guān)系、注意事項(xiàng)及限制，遇到問(wèn) 題時(shí)需要反饋如下信息: 1) 操作系統(tǒng)詳細(xì)版本、數(shù)據(jù)庫(kù)詳細(xì)版本 2）所裝iMC組件版本 3）現(xiàn)場(chǎng)的操作步驟描述 4）日志信息： - C:WINDOWSiMC-Reserved - iMCdeploylog 6 iMC前臺(tái)常見問(wèn)題及排錯(cuò)方法前臺(tái)常見問(wèn)題及排錯(cuò)方法 liMC的前臺(tái)指的是iMC web的應(yīng)用業(yè)務(wù)，對(duì)應(yīng)的進(jìn)程是jserver.exe l該進(jìn)程控制的業(yè)務(wù)主要對(duì)應(yīng)的是iMC的web界面相關(guān)操作，比如登錄 iMC的web界面，生成報(bào)表等 l常見問(wèn)題舉例： 1）無(wú)法登錄iMC web界面 2）周期報(bào)表無(wú)法生成 3）登錄

4、iMC web界面提示系統(tǒng)繁忙或者登錄界面緩慢 4）jserver.exe進(jìn)程無(wú)法正常啟動(dòng) 。 l需收集前臺(tái)對(duì)應(yīng)的日志進(jìn)行分析，日志路徑為： iMC的安裝路徑下，iMCclientlog 7 iMC前臺(tái)問(wèn)題案例分析前臺(tái)問(wèn)題案例分析 l問(wèn)題現(xiàn)象：某用戶無(wú)法登錄iMC web界面 l問(wèn)題原因：收集前臺(tái)日志iMCclientlog進(jìn)行分析，發(fā)現(xiàn)給java分配的內(nèi)存 不合理導(dǎo)致此問(wèn)題 l解決方法：右鍵選擇編輯clientbinstartup.bat 文件中的如下內(nèi)容 set JAVA_OPTS=-server -Xmx1024m -Xrs -XX:PermSize=64m - XX:MaxPermSi

5、ze=512m -XX:+HeapDumpOnOutOfMemoryError - XX:HeapDumpPath=./log -Dimc.home=%IMC_HOME% - Duser.language=$LANGUAGE -Duser.country=$COUNTRY - Djava.io.tmpdir=%IMCROOT%tmp - Dorg.apache.el.parser.COERCE_TO_ZERO=false 將紅色標(biāo)識(shí)的數(shù)值調(diào)整到合理的參數(shù)，然后重啟jserver.exe進(jìn)程即可 調(diào)整的原則：給java分配的內(nèi)存決定了iMC web界面操作的可用性，當(dāng)然是 希望盡可能根據(jù)服務(wù)器的

6、配置，多給java分配內(nèi)存，提高web應(yīng)用。但是對(duì) 于32位操作系統(tǒng)，第一個(gè)數(shù)字最多只能設(shè)置到1024，后面的數(shù)字是512， 調(diào)高則不能啟動(dòng)jserver進(jìn)程，所以，至于是要調(diào)整到哪一個(gè)數(shù)值，最根本 的原則是，在服務(wù)器配置允許的基礎(chǔ)之上，調(diào)整數(shù)值后能將jserver啟動(dòng)起 來(lái) 8 iMC PLAT常見問(wèn)題及排錯(cuò)方法常見問(wèn)題及排錯(cuò)方法資源管理（資源管理（1） lPLAT中的資源管理對(duì)應(yīng)的進(jìn)程是imcnetresdm.exe，對(duì)應(yīng)的數(shù)據(jù)庫(kù) 是config_db l資源管理常見問(wèn)題舉例： 1）iMC web界面上顯示的設(shè)備資源信息和設(shè)備不一致 2）設(shè)備添加到iMC中時(shí)報(bào)錯(cuò) 。 l資源管理故障需要收集

7、的信息 1）iMC版本信息 2）設(shè)備和iMC兩邊的SNMP參數(shù)設(shè)置 3）現(xiàn)場(chǎng)實(shí)施時(shí)具體的操作步驟 4）復(fù)現(xiàn)問(wèn)題過(guò)程的抓包 5）資源后臺(tái)日志：iMCserverconflogimcnetresdm.yyyy-mm-dd 9 iMC PLAT常見問(wèn)題及排錯(cuò)方法常見問(wèn)題及排錯(cuò)方法資源管理（資源管理（2） l資源管理故障案例分析 l問(wèn)題現(xiàn)象：添加設(shè)備時(shí)報(bào)錯(cuò) 10 iMC PLAT常見問(wèn)題及排錯(cuò)方法常見問(wèn)題及排錯(cuò)方法資源管理（資源管理（3） l問(wèn)題原因：通過(guò)復(fù)現(xiàn)問(wèn)題，將此過(guò)程抓包，分析如下:設(shè)備10.33.84.1 對(duì)之前的SNMP操作是有回應(yīng)，但是在訪問(wèn)到ifHighSpeed.53節(jié)點(diǎn)時(shí)，每隔 4秒

8、（iMC SNMP操作的超時(shí)時(shí)間）iMC訪問(wèn)了四次，設(shè)備都沒(méi)有回應(yīng)，直 到最后一次訪問(wèn)完的8秒以后，設(shè)備才回應(yīng)，但這時(shí)已經(jīng)過(guò)了SNMP的超時(shí) 時(shí)間，所以iMC認(rèn)定設(shè)備沒(méi)有回應(yīng)，這樣導(dǎo)致iMC訪問(wèn)設(shè)備失敗，從而不能 成功增加設(shè)備。 l解決方法：可確認(rèn)網(wǎng)絡(luò)環(huán)境是否繁忙，導(dǎo)致設(shè)備回應(yīng)不及時(shí)，同時(shí)建議修 改iMC訪問(wèn)設(shè)備的SNMP參數(shù)，增加超時(shí)等待時(shí)間，看是否能夠成功增加這 個(gè)設(shè)備。 11 iMC PLAT常見問(wèn)題及排錯(cuò)方法常見問(wèn)題及排錯(cuò)方法告警管理（告警管理（1） lPLAT中的告警管理對(duì)應(yīng)的進(jìn)程是imcfaultdm.exe，對(duì)應(yīng)的數(shù)據(jù)庫(kù)是 monitor_db l告警管理常見問(wèn)題舉例： 1）iM

9、C web界面上無(wú)法正確解析設(shè)備告警 2）設(shè)備產(chǎn)生了告警，但iMC上無(wú)顯示 。 l若告警的類型是“Trap”，則屬于設(shè)備側(cè)問(wèn)題；若告警類型是iMC，再來(lái)定 位iMC的問(wèn)題；告警管理遇到故障時(shí)需要收集的信息： 1）iMC版本信息 2）設(shè)備和iMC兩邊的SNMP參數(shù)設(shè)置及Trap設(shè)置 3）確認(rèn)是否有iMC對(duì)該類告警的過(guò)濾策略 4）現(xiàn)場(chǎng)實(shí)施時(shí)具體的操作步驟及相關(guān)故障截圖 5）復(fù)現(xiàn)問(wèn)題過(guò)程的抓包 6）設(shè)備Trap buffer里的相關(guān)記錄 7）告警后臺(tái)日志：iMCserverconflogimcfaultdm.yyyy-mm-dd 12 iMC PLAT常見問(wèn)題及排錯(cuò)方法常見問(wèn)題及排錯(cuò)方法告警管理（告

10、警管理（2） l問(wèn)題現(xiàn)象：設(shè)備發(fā)生了冷啟動(dòng)，從設(shè)備的Trap buffer中有相關(guān)記錄： #Apr 26 12:01:00:121 2000 SW5120-160-21 DEVM/4/SYSTEM COLD START: - Slot=3; Trap 1.3.6.1.4.1.25506.6.8.4: system cold start. #Apr 26 12:01:00:122 2000 SW5120-160-21 DEVM/4/SYSTEM COLD START: - Slot=2; Trap 1.3.6.1.4.1.25506.6.8.4: system cold start. 但在iMC

11、上卻沒(méi)有顯示該告警 l問(wèn)題原因：檢查設(shè)備的Trap配置，的確設(shè)置了將設(shè)備的Trap信息發(fā) 往iMC的地址，SNMP參數(shù)及抓包也能看到iMC服務(wù)器網(wǎng)卡有接收到 該告警，但是檢查iMC的告警定義列表時(shí)發(fā)現(xiàn)，設(shè)備冷啟動(dòng)告警的 OID是1.3.6.1.4.1.25506.6.8.6.4，但是設(shè)備發(fā)送的OID是 1.3.6.1.4.1.25506.6.8.4，由于不匹配，所以沒(méi)有解析顯示，確認(rèn)后是 設(shè)備的OID定義錯(cuò)誤導(dǎo)致 13 iMC PLAT常見問(wèn)題及排錯(cuò)方法常見問(wèn)題及排錯(cuò)方法性能管理性能管理 lPLAT中的性能管理對(duì)應(yīng)的進(jìn)程是imcperfdm.exe，對(duì)應(yīng)的數(shù)據(jù)庫(kù)是 perf_db l性能管理常

12、見問(wèn)題舉例： 1）iMC web界面上顯示的數(shù)據(jù)和實(shí)際設(shè)備命令行顯示有差異 2）iMC上對(duì)設(shè)備的某監(jiān)控指標(biāo)進(jìn)行監(jiān)控時(shí)提示錯(cuò)誤，無(wú)法監(jiān)視 。 l性能管理遇到故障時(shí)需要收集的信息： 1）iMC版本信息 2）現(xiàn)場(chǎng)實(shí)施時(shí)具體的操作步驟及相關(guān)故障截圖 3）性能后臺(tái)日志：iMCserverconflogimcperfdm.yyyy-mm-dd 4）對(duì)于上面的第一類問(wèn)題，還需要錄制設(shè)備的MIB信息。 /New_Internal_Versions(新內(nèi)部版本歸檔)/01-IP網(wǎng)絡(luò)產(chǎn)品/30-業(yè) 務(wù)軟件/01-iMC(智能管理中心)/文檔中心/MIB信息采集工具/ 5）對(duì)于上面的第二類問(wèn)題，還需要復(fù)現(xiàn)問(wèn)題過(guò)程的

13、抓包 14 iMC PLAT常見問(wèn)題及排錯(cuò)方法常見問(wèn)題及排錯(cuò)方法拓?fù)涔芾硗負(fù)涔芾?lPLAT中的拓?fù)涔芾韺?duì)應(yīng)的進(jìn)程是imcl2topodm.exe，對(duì)應(yīng)的數(shù)據(jù)庫(kù) 是config_db l拓?fù)涔芾沓Ｒ妴?wèn)題舉例： 1）iMC拓?fù)浣缑嫔巷@示的設(shè)備間連接信息不正確 2）設(shè)備之間有連線，但是在iMC拓?fù)渖巷@示沒(méi)連線 。 l設(shè)備若配置了正確的鄰居協(xié)議，在iMC上對(duì)相關(guān)設(shè)備進(jìn)行【同步】 操作后，刷新拓?fù)淇词欠駟?wèn)題解決，如還存在故障，需要收集如下 信息： 1）iMC版本信息 2）現(xiàn)場(chǎng)實(shí)施時(shí)具體的操作步驟及相關(guān)故障截圖 3）拓?fù)浜笈_(tái)日志：iMCserverconflogimcl2topodm.yyyy-mm-d

14、d 4）設(shè)備的diagnostic-information 5）數(shù)據(jù)庫(kù)信息config_db 6）若config_db獲取有難度，可收集iMC的拓?fù)鋬?nèi)存信息，方法見附件 15 PLAT調(diào)試日志的收集方法調(diào)試日志的收集方法 lPLAT中的問(wèn)題通常收集后臺(tái)日志（INFO級(jí)別）即可， 但在某些復(fù)雜問(wèn)題定位時(shí)需要開啟DEBUG級(jí)別，采集 DEBUG級(jí)別的日志 lDEBUG開關(guān)的打開方法：打開iMC/server/conf/ qvdm.conf 文件，將其中的loglevel一行改為DEBUG， 缺省是INFO l重啟某PLAT模塊進(jìn)程后，則該模塊對(duì)應(yīng)的后臺(tái)日志即開 始以DEBUG級(jí)別記錄，其他未重啟的

15、PLAT模塊進(jìn)程依 舊以修改前的缺省級(jí)別記錄 l關(guān)閉DEBUG的方法類似，將DEBUG改為INFO，重啟對(duì) 應(yīng)的進(jìn)程即可 16 iNode客戶端日志采集方法客戶端日志采集方法 liNode詳細(xì)日志路徑：C:Program FilesH3CiNode ClientLog 17 iMC NTA/UBA常見問(wèn)題及排錯(cuò)方法（常見問(wèn)題及排錯(cuò)方法（1） lNTA/UBA組件對(duì)應(yīng)的進(jìn)程是receiver.exe和processor.exe。常見問(wèn) 題是在web中看不到流量或者流量有異常的問(wèn)題，都按照下面的方 式收集信息： 1）相關(guān)報(bào)錯(cuò)或異常的截圖 2）iMC版本 3）iMC上的配置 4）設(shè)備的型號(hào)、版本、配

16、置 5）組網(wǎng)描述 6）iMCunbaconf 文件夾，可打包發(fā)送 7）服務(wù)器側(cè)的抓包 （5分鐘左右的抓包） 8）NTA/UBA的調(diào)試日志 9）其他 另外，在排查無(wú)法顯示流量問(wèn)題時(shí)，需查看是否有日志積壓現(xiàn)象引起該問(wèn) 題?？刹榭磇MCdatareceiverdata和processordata文件夾中是否有積壓日 志，如果這些文件夾下存在大量日志（比如日志條數(shù)有上百條或日志文件 大小有上GB）則基本可判斷是日志積壓導(dǎo)致的問(wèn)題，清理積壓日志即可恢 復(fù)業(yè)務(wù) 18 iMC NTA/UBA常見問(wèn)題及排錯(cuò)方法（常見問(wèn)題及排錯(cuò)方法（2） lNTA/UBA調(diào)試日志的開啟方法： l在命令行下執(zhí)行： l大概開啟5分鐘左右（最好是和服務(wù)器側(cè)的抓包同時(shí)進(jìn)行），就可以 采集到debug級(jí)別的日志了；日志路徑：iMCunbalog l收集完之后，再把日志級(jí)別改回warning級(jí)別，方法還是在命令行下 執(zhí)行 19 iMC Dbman常見問(wèn)題及排錯(cuò)方法常見問(wèn)題及排錯(cuò)方法 lDbman用來(lái)備份和恢復(fù)iMC的數(shù)據(jù)庫(kù)，對(duì)應(yīng)的進(jìn)程是dbman.exe， 對(duì)外體現(xiàn)是在“智能部署監(jiān)控代理”的【運(yùn)行環(huán)境】選項(xiàng)中 l常見問(wèn)題： 使用Dbman自動(dòng)或手動(dòng)備份iMC數(shù)據(jù)庫(kù)失敗 使用Dbman自動(dòng)或手動(dòng)還原iMC數(shù)據(jù)庫(kù)失敗 l收集的信息包括： Dbman的log，日志路徑：iMC