傳輸網(wǎng)告警整治建議-華為V2

1、告警清理工作匯報(bào)XX移動(dòng)網(wǎng)絡(luò)維護(hù)中心 2015年X月2告警問題概述告警問題概述l傳輸網(wǎng)告警較多，工單多，影響日常維護(hù)和故障處理效率。現(xiàn)網(wǎng)告警截圖現(xiàn)網(wǎng)告警截圖告警專項(xiàng)整治背景現(xiàn)網(wǎng)告警統(tǒng)計(jì)現(xiàn)網(wǎng)告警統(tǒng)計(jì)告警類別告警數(shù)量告警占比%緊急60.247重要189276.94次要54622.20提示150.610合計(jì)2459100九江移動(dòng)U2000告警統(tǒng)計(jì)(OTN+SDH)上饒移動(dòng)U2000告警統(tǒng)計(jì)（OTN+PTN）告警類別告警數(shù)量告警占比緊急16011.08重要77953.95次要47733.03提示281.93合計(jì)1444100l重要告警和次要告警占所有告警的大多數(shù)。3九江移動(dòng)九江移動(dòng)l前5個(gè)告警(T_A

2、LOS/PS/HP_LOM/DOWN_E1_AIS/LP_SLM_VC12)的單告警數(shù)量均超過150個(gè)，數(shù)量之和占所有告警數(shù)量近79%；l前2個(gè)告警(T_ALOS,PS)的告警數(shù)量均超過400個(gè)，數(shù)量之和占所有告警數(shù)量近55% 。l前2個(gè)告警(T_ALOS,PS)均可以通過網(wǎng)管側(cè)進(jìn)行優(yōu)化處理。傳輸網(wǎng)告警分析序號(hào)告警數(shù)量累計(jì)%1T_ALOS91437.172PS43754.943HP_LOM23564.504DOWN_E1_AIS18171.865LP_SLM_VC1217478.93*取當(dāng)前現(xiàn)網(wǎng)告警進(jìn)行分析4上饒移動(dòng)上饒移動(dòng)傳輸網(wǎng)告警分析*取4月21和22日上報(bào)的所有告警現(xiàn)進(jìn)行分析l前10類告

3、警占所有告警的82%；工程告警占比62%，普通告警占比38%；l在3mins消失的告警(閃報(bào))占總數(shù)的69.31；6小時(shí)內(nèi)消失的告警占比98.97%告警名稱數(shù)量累計(jì)百分比%ETH_LOS3121928.52 PW_APS_DEGRADED1436041.64 MPLS_PW_LOCV1091351.62 TUNNEL_APS_DEGRADED670457.74 T_ALOS669863.86 MPLS_TUNNEL_LOCV648569.79 PWAPS_LOST539674.72 ETH_APS_LOST333377.76 COMMUN_FAIL228879.85 BD_STATUS2033

4、81.71 全部告警數(shù)量:109447100%告警持續(xù)分鐘數(shù)對(duì)應(yīng)數(shù)量累計(jì)百分比%17126065.11 27342467.09 37585869.31 108109074.09 609120483.33 909317685.13 24010669697.49 36010832498.97 總數(shù)量109448100.00 5整治目標(biāo)整治目標(biāo)l大幅度減少告警總量，理清常見場(chǎng)景告警主次，提高日常維護(hù)工作和故障處理效率整治方案整治方案l優(yōu)化工程預(yù)約方式，預(yù)計(jì)可以減少“普通告警”約10%40%的數(shù)量 以上饒移動(dòng)為例：ETH_LOS(28%)等告警上報(bào)主要是由于近期LTE大量工程開站導(dǎo)致；另約有12%的告

5、警上報(bào)時(shí)間為凌晨0點(diǎn)至4點(diǎn)上報(bào)；l高頻閃報(bào)告警專項(xiàng)清理：對(duì)于閃報(bào)告警進(jìn)行專項(xiàng)整治，預(yù)計(jì)可以減小告警30%告警量lPTN告警關(guān)聯(lián)規(guī)則定義：PTN線路可能導(dǎo)致倒換TUNNEL_APS_DEGRADED和PW_APS_DEGRADED同時(shí)上報(bào)，設(shè)置TUNNEL_APS_DEGRADED不上報(bào)可以減少約6%的告警上報(bào)。預(yù)期效預(yù)期效果果l上饒傳輸網(wǎng)總量由目前的單周35萬(wàn)下降到10萬(wàn)左右。傳輸網(wǎng)告警專項(xiàng)整治思路*以上饒移動(dòng)PTN告警為例6傳輸網(wǎng)告警專項(xiàng)整治具體措施-存量告警(MSTP+OTN)序號(hào)告警數(shù)量累計(jì)百分比(%)1T_ALOS91437.172PS43754.943HP_LOM23564.504D

6、OWN_E1_AIS18171.865LP_SLM_VC1217478.936TU_AIS12584.027TU_AIS_VC129687.928UP_E1_AIS7290.859REM_SF3692.3110FAN_FAIL2993.4911LP_SLM2594.5112IN_PWR_ABN1895.2413HP_REI995.6114ODU1_PM_OCI995.9715TU_LOP_VC12896.3016LP_RDI796.5817BD_STATUS696.8318LOOP_ALM597.0319TU_LOP597.2320PORT_MODULE_OFFLINE597.4421LP_R

7、DI_VC12597.6422HP_RDI597.84存量告警定義存量告警定義：表示是現(xiàn)網(wǎng)中長(zhǎng)期存在的告警，以九江移動(dòng)U2000為例，左表給出大部分告警對(duì)應(yīng)的數(shù)量，并從上至下排列。告警處理原則告警處理原則：1：優(yōu)先排查解決告警根因，解除告警；2：次選采取”屏蔽”抑制”等非常規(guī)手段解除告警；3：所有”屏蔽”抑制”手段必須做好相關(guān)記錄，以便后續(xù)方便查閱定位。4：優(yōu)先集中處理基數(shù)大的告警；告警處理風(fēng)險(xiǎn)告警處理風(fēng)險(xiǎn)：1：清理某些告警動(dòng)作本身存在業(yè)務(wù)中斷風(fēng)險(xiǎn)，如復(fù)位操作等；2：采取非常規(guī)手段清理告警，只是解決告警不上報(bào)或不顯示，并不表示問題已經(jīng)解決；如“屏蔽”3：非常規(guī)手段清理部分告警后，可能導(dǎo)致故障時(shí)

8、告警不上報(bào)或上報(bào)不及時(shí)；可能導(dǎo)致故障排除耗時(shí)較長(zhǎng)等后果，請(qǐng)謹(jǐn)慎實(shí)施。74： DOWN_E1_AIS：下行方向2Mbit/s信號(hào)告警指示；告警對(duì)業(yè)務(wù)影響：產(chǎn)生該告警時(shí)，單板通道的E1信號(hào)不可用。告警清理建議：明確電路無(wú)業(yè)務(wù)承載后刪除電路；或者更換電路路由或時(shí)隙；清理后對(duì)系統(tǒng)影響：無(wú)1：T_ALOS: 表示E1T1接口模擬信號(hào)丟失。告警對(duì)業(yè)務(wù)影響：此告警出現(xiàn)表示E1接受無(wú)信號(hào)；此時(shí)業(yè)務(wù)已經(jīng)中斷或者無(wú)業(yè)務(wù)。告警清理建議：明確電路無(wú)業(yè)務(wù)承載后刪除電路；端口處內(nèi)環(huán)回，并做好標(biāo)簽和屏蔽環(huán)回告警；清理后對(duì)系統(tǒng)影響：無(wú)2：PS: 表示已發(fā)生保護(hù)倒換指示。告警對(duì)業(yè)務(wù)影響：表示2M業(yè)務(wù)已經(jīng)倒換；告警清理建議：SN

9、CP業(yè)務(wù)配置設(shè)置成恢復(fù)式可以減少大量PS告警；清理后對(duì)系統(tǒng)影響：主用通道誤碼可能導(dǎo)致頻繁上報(bào)PS告警；恢復(fù)斷纜時(shí)若存在光纜錯(cuò)連可能在業(yè)務(wù)恢復(fù)至主用后業(yè)務(wù)中斷。3：HP_LOM：高階通道復(fù)幀丟失告警告警對(duì)業(yè)務(wù)影響：該告警產(chǎn)生時(shí)，通道級(jí)業(yè)務(wù)會(huì)中斷。告警清理建議：明確業(yè)務(wù)是否配置正確，業(yè)務(wù)是否正常或者在用；若未配置則屏蔽；若無(wú)業(yè)務(wù)不在用，則建議刪除業(yè)務(wù)；清理后對(duì)系統(tǒng)影響：無(wú)傳輸網(wǎng)告警專項(xiàng)整治具體措施-存量告警(MSTP+OTN)88： UP_E1_AIS：上行方向2Mbit/s信號(hào)告警指示；告警對(duì)業(yè)務(wù)影響：產(chǎn)生該告警時(shí)，單板通道的E1信號(hào)不可用。告警清理建議：明確電路無(wú)業(yè)務(wù)承載后刪除電路或內(nèi)環(huán)回；或

10、者參照附件標(biāo)準(zhǔn)處理方式處理；5： LP_SLM_VC12告警為低階VC-12通道信號(hào)標(biāo)記失配告警告警對(duì)業(yè)務(wù)影響：無(wú)影響；告警清理建議：屏蔽此類別告警；清理后對(duì)系統(tǒng)影響：無(wú)6： TU_AIS:如果單板檢測(cè)出TU通道全為1時(shí)，上報(bào)此告警。告警對(duì)業(yè)務(wù)影響：該告警會(huì)造成單板通道上的業(yè)務(wù)中斷；告警清理建議：確認(rèn)是否存在業(yè)務(wù)；若無(wú)業(yè)務(wù)刪除電路；若有存在業(yè)務(wù)，定位故障點(diǎn)解決；清理后對(duì)系統(tǒng)影響：無(wú)。7： TU_AIS_VC12：低階VC-12TU告警指示，屬VC-12通道級(jí)別的AIS。告警對(duì)業(yè)務(wù)影響：該告警會(huì)造成單板通道上的業(yè)務(wù)中斷；告警清理建議：確認(rèn)是否存在業(yè)務(wù)；若無(wú)業(yè)務(wù)刪除電路；若有存在業(yè)務(wù)，定位故障點(diǎn)解

11、決；清理后對(duì)系統(tǒng)影響：無(wú)。傳輸網(wǎng)告警專項(xiàng)整治具體措施-存量告警(MSTP+OTN)912： IN_PWR_ABN：收光光功率異常；告警對(duì)業(yè)務(wù)影響：可能導(dǎo)致誤碼或者倒換。告警清理建議：優(yōu)化光纜條件，清理光纜連接處等。9： REM_SF告警：遠(yuǎn)端信號(hào)失效告警指示告警對(duì)業(yè)務(wù)影響：無(wú)業(yè)務(wù)側(cè)信息輸入或者中斷；告警清理建議：屏蔽此類別告警；清理后對(duì)系統(tǒng)影響：可能影響故障判斷或定位。10： FAN_FAIL:風(fēng)扇失效告警。告警對(duì)業(yè)務(wù)影響：風(fēng)扇失效；告警清理建議：拔插風(fēng)扇或更換風(fēng)扇；特別是OSN/PTN設(shè)備，強(qiáng)烈不建議屏蔽清理后對(duì)系統(tǒng)影響：無(wú)。11 ：LP_SLM 為低階通道信號(hào)標(biāo)記失配告警告警。對(duì)業(yè)務(wù)影響：

12、無(wú)影響；告警清理建議：屏蔽此類別告警；清理后對(duì)系統(tǒng)影響：可能影響故障判斷或定位。傳輸網(wǎng)告警專項(xiàng)整治具體措施-存量告警(MSTP+OTN)10傳輸網(wǎng)告警專項(xiàng)整治具體措施-大基數(shù)告警(PTN)大基數(shù)告警定義告警定義：表示是現(xiàn)網(wǎng)中一段時(shí)間內(nèi)大量上報(bào)過的告警，以上饒移動(dòng)U2000(PTN)為例，左表給出大部分大基數(shù)告警對(duì)應(yīng)的數(shù)量，并從上至下排列。告警處理原則告警處理原則：1：優(yōu)先排查解決告警根因，解除告警；2：次選采取”屏蔽”抑制”等非常規(guī)手段解除告警；3：所有”屏蔽”抑制”手段必須做好相關(guān)記錄，以便后續(xù)方便查閱定位。4：優(yōu)先集中處理基數(shù)大的告警；告警處理風(fēng)險(xiǎn)告警處理風(fēng)險(xiǎn)：1：清理某些告警動(dòng)作本身存在

13、業(yè)務(wù)中斷風(fēng)險(xiǎn)，如復(fù)位操作等；2：采取非常規(guī)手段清理告警，只是解決告警不上報(bào)或不顯示，并不表示問題已經(jīng)解決；如“屏蔽”3：非常規(guī)手段清理部分告警后，可能導(dǎo)致故障時(shí)告警不上報(bào)或上報(bào)不及時(shí)；可能導(dǎo)致故障排除耗時(shí)較長(zhǎng)等后果，請(qǐng)謹(jǐn)慎實(shí)施。告警名稱告警數(shù)量 累計(jì)百分比(%)ETH_LOS3121928.52 PW_APS_DEGRADED1436041.64 MPLS_PW_LOCV1091351.62 TUNNEL_APS_DEGRADED670457.74 T_ALOS669863.86 MPLS_TUNNEL_LOCV648569.79 PWAPS_LOST539674.72 ETH_APS_LOS

14、T333377.76 COMMUN_FAIL228879.85 BD_STATUS203381.71 MPLS_PW_BDI134982.94 PW后向缺陷指示130184.13 LSR_WILL_DIE99185.04 ETH_RX_FLOW_OVER97285.92 NE_NOT_LOGIN92086.77 MPLS_TUNNEL_BDI86987.56 IN_PWR_LOW75288.25 NE_COMMU_BREAK73188.91 全部告警數(shù)量:109447100%11傳輸網(wǎng)告警專項(xiàng)整治具體措施-大基數(shù)告警(PTN)4： TUNNEL_APS_DEGRADED：表示Tunnel保護(hù)組

15、降級(jí)；告警對(duì)業(yè)務(wù)影響：如果該告警產(chǎn)生，則保護(hù)組可用性降低；告警清理建議：屏蔽此類告警；清理后對(duì)系統(tǒng)影響：無(wú)線路或者上層鏈路原因?qū)е略摳婢蠄?bào)時(shí)，可能影響故障及時(shí)識(shí)別和定位。1： ETH_LOS: 表示ETH信號(hào)丟失。告警對(duì)業(yè)務(wù)影響：此時(shí)業(yè)務(wù)已經(jīng)中斷或者無(wú)業(yè)務(wù)。告警清理建議：明確接口無(wú)業(yè)務(wù)反轉(zhuǎn)告警；清理后對(duì)系統(tǒng)影響：無(wú)2： PW_APS_DEGRADED: PW APS保護(hù)組降級(jí)告警。當(dāng)保護(hù)組中一個(gè)PW故障時(shí)，保護(hù)組的可用性降低，上報(bào)此告警。告警對(duì)業(yè)務(wù)影響：如果該告警產(chǎn)生，則保護(hù)組可用性降低；告警清理建議：屏蔽此類告警；清理后對(duì)系統(tǒng)影響：非線路或者上層鏈路原因?qū)е略摳婢蠄?bào)時(shí)，可能影響故障及時(shí)識(shí)

16、別和定位。3： MPLS_PW_LOCV ： MPLS_PW_LOCV告警表示PW連通性丟失告警對(duì)業(yè)務(wù)影響：該告警產(chǎn)生時(shí)，業(yè)務(wù)將中斷。告警清理建議：盡快排查線路/設(shè)備/業(yè)務(wù)配置故障；清理后對(duì)系統(tǒng)影響：無(wú)12傳輸網(wǎng)告警專項(xiàng)整治具體措施-大基數(shù)告警(PTN)8： MPLS_PW_BDI告警表示PW后向缺陷指示告警對(duì)業(yè)務(wù)影響：本端設(shè)備的發(fā)送側(cè)業(yè)務(wù)故障。告警清理建議：屏蔽此類告警；清理后對(duì)系統(tǒng)影響：可能影響故障及時(shí)識(shí)別和定位。5： MPLS_TUNNEL_LOCV :表示Tunnel連通性丟失告警。告警對(duì)業(yè)務(wù)影響：此時(shí)業(yè)務(wù)已經(jīng)中斷或者無(wú)業(yè)務(wù)。告警清理建議：盡快排查線路/設(shè)備/業(yè)務(wù)配置故障；清理后對(duì)系統(tǒng)

17、影響：無(wú)6： PWAPS_LOST: PWAPS_LOST告警表示APS幀丟失。當(dāng)接收端沒有從保護(hù)通道收到APS幀時(shí)上報(bào)此告警。告警對(duì)業(yè)務(wù)影響：無(wú)法對(duì)業(yè)務(wù)進(jìn)行保護(hù)告警清理建議：屏蔽此類告警；清理后對(duì)系統(tǒng)影響：非線路或者上層鏈路原因?qū)е略摳婢蠄?bào)時(shí)，可能影響故障及時(shí)識(shí)別和定位。7： ETH_APS_LOST： ETH_APS_LOST告警表示APS幀丟失告警對(duì)業(yè)務(wù)影響：APS保護(hù)可能無(wú)法工作，業(yè)務(wù)得不到有效的保護(hù)告警清理建議：屏蔽此類告警；清理后對(duì)系統(tǒng)影響：非線路或者上層鏈路原因?qū)е略摳婢蠄?bào)時(shí)，可能影響故障及時(shí)識(shí)別和定位。13傳輸網(wǎng)告警專項(xiàng)整治具體措施-閃報(bào)告警告警名稱閃報(bào)數(shù)量告警名稱閃報(bào)數(shù)量

18、ETH_LOS29579ETH_LINK_DOWN414T_ALOS5980NE_COMMU_BREAK400PW_APS_DEGRADED4448ETH_APS_SWITCH_FAIL280MPLS_PW_LOCV3589靜態(tài)CR-LSP Down告警274TUNNEL_APS_DEGRADED2525ETH_RX_FLOW_OVER272MPLS_TUNNEL_LOCV2345BUS_ERR256MPLS_PW_BDI1329接口CRC校驗(yàn)錯(cuò)誤253BD_STATUS1315CLK_LOCK_FAIL231PW后向缺陷指示1301ODU_SNCP_STA_INDI198PWAPS_LOST

19、1048MPLS_TUNNEL_Excess179LSR_WILL_DIE990PWAPS_SWITCH_FAIL150MPLS_TUNNEL_BDI869隧道組斷開118ETH_APS_LOST832光模塊整體功能失效113IN_PWR_LOW643MAC_FCS_EXC112MPLS隧道故障516ODU1_PM_BDI111TE tunnel變?yōu)閐own516POWER_ABNORMAL107鏈路斷開444BEFFEC_EXC102MPLS_PW_Excess431COMMUN_FAIL97NE_NOT_LOGIN425ODU1_PM_DEG94TU_AIS_VC12423PW_APS_O

20、UTAGE90ETH_LINK_DOWN414ODU1_PM_SSF78閃報(bào)告警定義閃報(bào)告警定義：表示是上報(bào)時(shí)間很快就消失，以上饒移動(dòng)U2000為例，左表給出部分告警對(duì)應(yīng)的數(shù)量，并從上至下排列。 4月21和22日共存在116類閃報(bào)告警，持續(xù)時(shí)間在1mins以內(nèi)的告警共計(jì)閃報(bào)64593次。閃報(bào)告警處理原則閃報(bào)告警處理原則：1：優(yōu)先排查解決告警根因，解除告警；2：次選設(shè)置告警規(guī)則，使得閃報(bào)一定的時(shí)間內(nèi)的告警，網(wǎng)管不體現(xiàn)該告警3：優(yōu)先集中處理基數(shù)大的告警告警處理風(fēng)險(xiǎn)告警處理風(fēng)險(xiǎn)：非常規(guī)手段設(shè)置部分閃報(bào)告警不呈現(xiàn)后，可能導(dǎo)致故障時(shí)告警不上報(bào)或上報(bào)不及時(shí)；可能導(dǎo)致故障排除耗時(shí)較長(zhǎng)等后果，請(qǐng)謹(jǐn)慎實(shí)施。14

21、傳輸網(wǎng)告警專項(xiàng)整治具體措施-屏蔽閃報(bào)告警方法告警持續(xù)時(shí)間小于（秒）參數(shù)含義：設(shè)置對(duì)持續(xù)時(shí)間為多長(zhǎng)的告警進(jìn)行屏蔽。參數(shù)取值：取值范圍：0到1000的整數(shù)，建議值為30設(shè)置方法：手工輸入或通過微調(diào)輸入框設(shè)置。 說明： 當(dāng)告警/事件頻次分析窗口中的“處理策略”參數(shù)為“產(chǎn)生振蕩告警”時(shí)，建議將本參數(shù)的值設(shè)置為小于“告警/事件頻次分析”窗口中的“時(shí)間范圍”參數(shù)的值。 閃報(bào)一定的時(shí)間內(nèi)的告警，網(wǎng)管不體現(xiàn)該告警； 時(shí)間建議設(shè)置成30s15傳輸網(wǎng)告警專項(xiàng)整治具體措施-屏蔽告警方法屏蔽告警屏蔽告警屏蔽告警是指網(wǎng)管不再接收指定對(duì)象的告警上報(bào)或不監(jiān)視某些不重要的網(wǎng)管告警。對(duì)于某些不重要的網(wǎng)管告警，可以設(shè)置網(wǎng)管告警屏

22、蔽，使網(wǎng)管不監(jiān)視這些告警，以便提高故障定位效率，并且這些告警不會(huì)上報(bào)給上層網(wǎng)管。選擇一條告警/事件進(jìn)行屏蔽的方式，可以快捷地屏蔽后續(xù)上報(bào)的相同告警。操作步驟1.在主菜單中選擇“故障 瀏覽當(dāng)前告警”。 2.在“過濾”對(duì)話框中設(shè)置過濾條件，單擊“確定”。 3.在瀏覽告警或事件窗口中，選擇一條告警或事件。單擊右鍵，選擇“屏蔽”。 4.在“屏蔽”對(duì)話框中，用戶可根據(jù)需求設(shè)置“屏蔽范圍”和“生效時(shí)間”。 16傳輸網(wǎng)告警專項(xiàng)整治具體措施-標(biāo)準(zhǔn)處理建議COMMUN_FAIL告警解釋：告警解釋：COMMUN_FAIL為單板間通信失效告警。當(dāng)主控板和其他單板之間的通訊中斷時(shí)就會(huì)上報(bào)此告警。告警屬性：告警屬性：主

23、要/設(shè)備告警參數(shù)：無(wú)告警參數(shù)：無(wú)對(duì)系統(tǒng)的影響：對(duì)系統(tǒng)的影響：產(chǎn)生該告警后，主機(jī)的配置無(wú)法下發(fā)到單板或單板無(wú)法工作?？赡艹霈F(xiàn)無(wú)法配置業(yè)務(wù)或保護(hù)倒換功能失效等情況，新增的業(yè)務(wù)將出現(xiàn)異常?？赡茉颍嚎赡茉颍焊婢疌OMMUN_FAIL產(chǎn)生的可能原因如下：?jiǎn)螇K單板上報(bào)告警原因1：?jiǎn)伟逄幱谟矎?fù)位或者軟復(fù)位狀態(tài)。單塊單板上報(bào)告警原因2：?jiǎn)伟骞收?。多塊單板上報(bào)告警原因1：公務(wù)板EOW故障。當(dāng)EOW單板與各單板的通信端口出現(xiàn)故障時(shí)，會(huì)出現(xiàn)業(yè)務(wù)單板上報(bào)COMMUN_FAIL，而備用主控單板不上報(bào)該告警的情況。多塊單板上報(bào)告警原因2：主控單板或交叉單板故障。若主用主控板故障，會(huì)出現(xiàn)主用主控板，備用主控板和業(yè)務(wù)單板同時(shí)上報(bào)COMMUN_FAIL告警