接入網(wǎng)管巡檢方法介紹

公共研發(fā)部測試運維部2017-7-11UNM2000接入網(wǎng)管巡檢方法介紹烽火通信科技股份有限公司目錄1、windows環(huán)境unm2000運行巡檢（1）服務器cpu、內(nèi)存占用檢查（2）服務器磁盤占用空間檢查（3）網(wǎng)管數(shù)據(jù)庫檢查（4）網(wǎng)管配置數(shù)據(jù)安全檢查目錄1、windows環(huán)境unm2000運行巡檢（5）網(wǎng)管后臺服務運行檢查（6）網(wǎng)管tl1接口功能檢查（7）網(wǎng)管corba接口功能檢查（8）網(wǎng)管服務器系統(tǒng)日志檢查目錄2、linux環(huán)境UNM2000運行巡檢（1）服務器內(nèi)存占用檢查（2）服務器磁盤占用空間檢查（3）網(wǎng)管數(shù)據(jù)庫檢查（4）網(wǎng)管配置數(shù)據(jù)安全檢查目錄2、linux環(huán)境UNM2000運行巡檢（5）網(wǎng)管后臺服務運行檢查（6）網(wǎng)管tl1接口功能檢查3、UNM2000網(wǎng)管熱備環(huán)境巡檢windows環(huán)境unm2000運行巡檢（1）服務器cpu、內(nèi)存占用檢查巡檢方法：Windows環(huán)境下通過任務管理器查看網(wǎng)管服務器上服務占用cpu和內(nèi)存情況。巡檢內(nèi)容：1、檢查服務器上cpu占用率和內(nèi)存占用率是否持續(xù)占用超過80%，如果超過需要預警，并分析為硬件配置過低導致還是存在可疑進程導致；2、檢查是否存在可疑進程持續(xù)占用cpu超過20%，可能存在病毒感染風險；3、檢查網(wǎng)管服務占用內(nèi)存是否超過1G，如果超過，需要預警，并導出dump文件分析內(nèi)存增長過快原因；windows環(huán)境unm2000運行巡檢（2）服務器磁盤占用空間檢查巡檢方法：Windows環(huán)境下打開計算機直接查看磁盤空間占用情況。巡檢內(nèi)容：1、檢查網(wǎng)管服務器各個磁盤空間占用情況是否超過80%，如果超過，需及時清理磁盤空間；2、檢查UNM2000服務安裝所在磁盤占用情況是否超過90%，剩余可用空間確保不少于10G，如果剩余可用磁盤空間太小，需要對unm2000\server\log和unm2000\server\log\nbinterface目錄下日志文件進行清理，建議保留最近3個月日志即可；windows環(huán)境unm2000運行巡檢（3）網(wǎng)管數(shù)據(jù)庫檢查巡檢方法：Windows環(huán)境下通過人物管理器檢查mysql服務內(nèi)存占用情況，檢查d:MySQL\my.ini配置文件是否已包含表損壞自動修復參數(shù)，檢查mysql所在磁盤存儲空間是否充足。巡檢內(nèi)容：1、檢查數(shù)據(jù)庫服務占用內(nèi)存情況是否正常，windows環(huán)境一般情況不超過1.5G；2、檢查數(shù)據(jù)庫配置文件my.ini是否已開啟表損壞自動恢復配置參數(shù)myisam-recover-options=BACKUP,FORCE；3、查看數(shù)據(jù)庫文件存放的磁盤空間是否充足，剩余可用空間不少于30%；windows環(huán)境unm2000運行巡檢（4）網(wǎng)管配置數(shù)據(jù)安全檢查巡檢方法：登錄nmtool管理界面查看網(wǎng)管配置定時導出設置是否正確，到對應ftp路徑檢查網(wǎng)管配置是否每天都正常生成。巡檢內(nèi)容：1、檢查nmtool工具是否已經(jīng)配置每天定時導出網(wǎng)管配置，網(wǎng)管配置是否存儲到其他主機上，避免網(wǎng)管服務器硬件損壞導致網(wǎng)管配置丟失無法及時恢復現(xiàn)網(wǎng)環(huán)境；2、到網(wǎng)管配置存儲的ftp路徑檢查網(wǎng)管配置文件是否每天都正常生成；windows環(huán)境unm2000運行巡檢（5）網(wǎng)管后臺服務運行檢查巡檢方法：使用icegrid工具檢查網(wǎng)管服務是否存在異常停止的現(xiàn)象，使用任務管理器檢查網(wǎng)管服務內(nèi)存占用是否超過1G，到D:\unm2000\platform\thirdparty\win32_vc9_x86\bin目錄檢查是否存在dump文件。巡檢內(nèi)容：1、檢查網(wǎng)管服務是否正常啟動狀態(tài)，檢查網(wǎng)管服務內(nèi)存占用是否超過1G，如果超過1G，導出對應dump反饋給總部研發(fā)；2、檢查D:\unm2000\platform\thirdparty\win32_vc9_x86\bin目錄是否存在dump文件生成，如果有，反饋給總部分析服務異常掛死原因；windows環(huán)境unm2000運行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢方法：使用icegrid工具檢查服務運行狀態(tài)，通過任務管理器查看服務內(nèi)存增長情況，進入D:\unm2000\platform\thirdparty\win32_vc9_x86\bin目錄檢查是否有生成dump文件，通過網(wǎng)管界面tl1日志查詢統(tǒng)計tl1指令失敗原因和耗時時間。windows環(huán)境unm2000運行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢內(nèi)容：1、檢查tl1相關服務是否正常運行，是否存在異常終止的dump文件生成，是否存在內(nèi)存泄漏，內(nèi)存超過1G需分析確認內(nèi)存增長原因；2、檢查tl1日志，確認是否存在大批量工單執(zhí)行失敗的記錄，且失敗原因是否在合理范圍之內(nèi)；3、檢查tl1日志，確認業(yè)務開通相關的指令是否存在大量耗時時間超過15秒的記錄，確認lst查詢類指令是否存在大量耗時時間超過30秒的記錄。windows環(huán)境unm2000運行巡檢（7）網(wǎng)管corba接口功能檢查巡檢方法：使用任務管理器檢查corba服務和tao服務內(nèi)存占用情況，檢查是否有服務異常終止時的dump文件生成，使用corba客戶端自測告警上報是否正常，自測掛載ONU最多的網(wǎng)元資源采集耗時是否在3分鐘以內(nèi)。巡檢內(nèi)容：1、檢查corba服務和tao服務占用內(nèi)存是否超過1G；2、檢查現(xiàn)網(wǎng)環(huán)境是否存在corba異常終止的dump文件，結合網(wǎng)管系統(tǒng)日志中的起停記錄排除人為起停生成的dump文件；3、使用corba客戶端登陸，自測getEms()、getAllEMSAndMEActiveAlarms()、getAllManagedElements()、getAllPTPs()、getAllEquipment()、GetAllFDFrs()這部分常用接口是否正常，耗時是否在3分鐘以內(nèi)；4、使用客戶端登陸到Corba接口，檢查告警是否正常上報；windows環(huán)境unm2000運行巡檢（8）網(wǎng)管服務器系統(tǒng)日志檢查巡檢方法：檢查服務器事件查看器中的應用程序日志和系統(tǒng)日志，檢查dump文件，檢查是否安裝賽門鐵克殺毒軟件。巡檢內(nèi)容：1、服務器系統(tǒng)事件查看器中檢查服務器應用程序中是否有錯誤日志，確認tao隊列是否被占滿，是否存在網(wǎng)管服務被病毒攻擊導致異常終止；2、檢查網(wǎng)管的系統(tǒng)日志，確認是否存在網(wǎng)管服務異常重啟的記錄，如果存在，找到對應的dump文件取回來。3、檢查網(wǎng)管配套殺毒軟件symantecendpointprotection是否運行正常。linux環(huán)境unm2000運行巡檢（1）服務器內(nèi)存占用檢查巡檢方法：使用top命令檢查當前服務器上服務內(nèi)存占用情況。Res表示服務占用的物理內(nèi)存，執(zhí)行top之后，shift+m可根據(jù)內(nèi)存占用大小由高到低排序，mem中的free值+swap中的free值+swap中的cached值表示服務器可用內(nèi)存linux環(huán)境unm2000運行巡檢（1）服務器內(nèi)存占用檢查巡檢內(nèi)容：1、檢查服務器上剩余可用內(nèi)存是否耗盡；2、檢查服務器上網(wǎng)管服務占用內(nèi)存是否超過3G，檢查服務器上mysql服務占用內(nèi)存是否在12G范圍以內(nèi)，如果超過，使用gcore指令導出對應core文件反饋總部分析；linux環(huán)境unm2000運行巡檢（2）服務器磁盤占用空間檢查巡檢方法：使用df–k查看服務器磁盤總的占用大小，使用du–h|grepG查看哪些目錄占用磁盤空間太大，通常情況日志文件和抓包文件占用空間較大?？筛鶕?jù)每天的磁盤空間增長大小計算出需要多長時間清理一次，清理日志時，建議保留最近3個月的日志文件，清理抓包文件時，建議保留最近一周的抓包文件，根據(jù)實際磁盤空間總大小和每天增長大小決定保留時間。linux環(huán)境unm2000運行巡檢（2）服務器磁盤占用空間檢查linux環(huán)境unm2000運行巡檢（2）服務器磁盤占用空間檢查rm*2017-01*表示刪除文件命中帶2017-01的文件，即刪除2017年1月份日志，其他月份依此類推。linux環(huán)境unm2000運行巡檢（2）服務器磁盤占用空間檢查巡檢內(nèi)容：1、檢查服務器各分區(qū)磁盤空間占用率是否超過80%，UNM2000安裝所在分區(qū)和mysql數(shù)據(jù)庫存儲文件所在分區(qū)剩余可用空間不少于20G；如果磁盤空間使用達到預警值，需清理磁盤空間。linux環(huán)境unm2000運行巡檢（3）網(wǎng)管數(shù)據(jù)庫檢查巡檢方法：1、使用ps命令找到mysql服務進程，使用top命令查看mysql服務內(nèi)存占用情況，超過12G需要預警；2、使用vi命令查看f是否已開啟表損壞自動恢復配置參數(shù)myisam-recover-options=BACKUP,FORCElinux環(huán)境unm2000運行巡檢（3）網(wǎng)管數(shù)據(jù)庫檢查巡檢方法：1、使用top命令查看mysql服務內(nèi)存占用情況，超過12G需要預警；2、使用vi命令查看f是否已開啟表損壞自動恢復配置參數(shù)myisam-recover-options=BACKUP,FORCEVi編輯器，ctrl+F，往下翻頁。linux環(huán)境unm2000運行巡檢（3）網(wǎng)管數(shù)據(jù)庫檢查巡檢內(nèi)容：1、檢查數(shù)據(jù)庫服務占用內(nèi)存情況是否正常，linux環(huán)境根據(jù)f配置可使用到12G，超過12G需要預警;2、檢查數(shù)據(jù)庫配置文件f是否已開啟表損壞自動恢復配置參數(shù)myisam-recover-options=BACKUP,FORCElinux環(huán)境unm2000運行巡檢（4）網(wǎng)管配置數(shù)據(jù)安全檢查巡檢方法：登錄nmtool管理界面查看網(wǎng)管配置定時導出設置是否正確，到對應ftp路徑檢查網(wǎng)管配置是否每天都正常生成。巡檢內(nèi)容：1、檢查nmtool工具是否已經(jīng)配置每天定時導出網(wǎng)管配置，網(wǎng)管配置是否存儲到其他主機上，避免網(wǎng)管服務器硬件損壞導致網(wǎng)管配置丟失無法及時恢復現(xiàn)網(wǎng)環(huán)境；2、到網(wǎng)管配置存儲的ftp路徑檢查網(wǎng)管配置文件是否每天都正常生成；linux環(huán)境unm2000運行巡檢（5）網(wǎng)管后臺服務運行檢查巡檢方法：到/tmp/corefile目錄檢查是否存在core文件。巡檢內(nèi)容：1、檢查/tmp/corefile目錄是否存在core文件生成，如果有，反饋給總部分析服務異常掛死原因；linux環(huán)境unm2000運行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢方法：使用icegrid工具檢查服務運行狀態(tài)，通過任務管理器查看服務內(nèi)存增長情況，進入/tmp/corefile目錄檢查是否有生成core文件，通過網(wǎng)管界面tl1日志查詢統(tǒng)計tl1指令失敗原因和耗時時間。linux環(huán)境unm2000運行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢內(nèi)容：1、檢查tl1相關服務是否正常運行，是否存在異常終止的core文件生成，是否存在內(nèi)存泄漏，內(nèi)存超過3G需分析確認內(nèi)存增長原因；2、檢查tl1日志，確認是否存在大批量工單執(zhí)行失敗的記錄，且失敗原因是否在合理范圍之內(nèi)；3、檢查tl1日志，確認業(yè)務開通相關的指令是否存在大量耗時時間超過15秒的記錄，確認lst查詢類指令是否存在大量耗時時間超過30秒的記錄。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。Windows和linux環(huán)境集群巡檢方法相同，都通過登錄vcs客戶端查看集群服務運行狀態(tài)，linux環(huán)境下安裝vcs客戶端之后，使用hagui訪問vcs。Windows環(huán)境下打開veritasclustermanager訪問vcs，用戶名密碼默認為admin/passwordUNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。查看各個服務的critical開關是否勾選，勾選后才能自動切換。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。巡檢內(nèi)