河北唐山CDMA網(wǎng)絡(luò)質(zhì)量事故回溯報(bào)告

1、Huawei Technologies Co. Ltd.Report No.Strictly ConfidentialRev2.0河北唐山CDMA網(wǎng)絡(luò)質(zhì)量事故回溯報(bào)告Prepared by:劉利鋒Date：2009-7-16Checked by:Date：Approved by:Date： Huawei Technologies Co., Ltd. All rights reserved1、事件過(guò)程描述：32、事件反思44、問(wèn)題背后的問(wèn)題65、總結(jié)71、事件過(guò)程描述：河北CDMA項(xiàng)目唐山本地網(wǎng)為河北省重點(diǎn)區(qū)域，自6月10日割接完成，割接完成后立即進(jìn)行大量新建站及1x、DO擴(kuò)容；至今已有在網(wǎng)設(shè)備

2、1x基站556、載頻數(shù)2063，DO基站353個(gè)基站、載頻數(shù)2012。7月12日唐山項(xiàng)目組進(jìn)行參數(shù)核查時(shí)發(fā)現(xiàn)存在7個(gè)基站駐留策略與既定策略不一致，通過(guò)對(duì)割接腳本核查，原腳本正確，唐山網(wǎng)規(guī)組TL蘇文慶、TS孫軍計(jì)劃對(duì)7個(gè)站駐留策略參數(shù)進(jìn)行調(diào)整，安排合作方進(jìn)行準(zhǔn)備。7月14日唐山電信網(wǎng)優(yōu)部門在晚上20點(diǎn)收到用戶投訴“唐海黨校”基站無(wú)法主被叫，唐山網(wǎng)規(guī)組檢查該站話務(wù)量、掉話、呼建KPI指標(biāo)正常。 7月15日11點(diǎn)再次收到“唐海黨?！蓖对V，網(wǎng)優(yōu)到達(dá)現(xiàn)場(chǎng)測(cè)試，現(xiàn)場(chǎng)測(cè)試“唐海黨校”主被叫正常；但測(cè)試發(fā)現(xiàn)“唐海供電一所”無(wú)法起呼，但可以從其他基站切入該站； BSC側(cè)進(jìn)行該站告警、接入、登記數(shù)據(jù)檢查，并對(duì)基站

3、進(jìn)行復(fù)位操作，問(wèn)題依舊。跟蹤信令發(fā)現(xiàn)，主叫沒(méi)有任何信令發(fā)到BSC，被叫的時(shí)候手機(jī)也沒(méi)有任何響應(yīng)消息，聯(lián)系交換核查數(shù)據(jù)正常。分析全網(wǎng)話務(wù)指標(biāo)進(jìn)行對(duì)比，發(fā)現(xiàn)26個(gè)基站話務(wù)量為0，且在同一Abis接口板?，F(xiàn)場(chǎng)派出多人測(cè)試，,經(jīng)用戶同意對(duì)發(fā)現(xiàn)不能通話基站進(jìn)行緊急閉塞。詢問(wèn)現(xiàn)場(chǎng)沒(méi)有近期無(wú)操作，懷疑Abis接口板故障。7月15日14點(diǎn)左右現(xiàn)場(chǎng)B側(cè)工程師知會(huì)省項(xiàng)目組，并再次詢問(wèn)現(xiàn)場(chǎng)沒(méi)有近期無(wú)操作。打800建單，啟動(dòng)緊急事件處理流程。7月15日14點(diǎn)30左右分省項(xiàng)目組在石家莊召開(kāi)電話會(huì)議，要請(qǐng)研發(fā)等相關(guān)人員接入處理。7月15日16點(diǎn)左右研發(fā)檢查日志，初步判斷為駐留策略問(wèn)題，讓現(xiàn)場(chǎng)人員檢查駐留策略。檢查這三個(gè)站

4、主流策略，發(fā)現(xiàn)283、201頻點(diǎn)的CCLM、ECCLM發(fā)送參數(shù)均為不發(fā)送，導(dǎo)致在283、201頻點(diǎn)無(wú)法尋呼建立尋呼信道，導(dǎo)致1X語(yǔ)音無(wú)法接入，用戶主被叫均不能撥打，造成大量用戶投訴。根據(jù)日志檢查發(fā)現(xiàn)7月14日下午點(diǎn)唐海曹妃甸、唐海供電一所、樂(lè)亭遠(yuǎn)大酒店等七個(gè)基站的多載波參數(shù)駐留配置錯(cuò)誤。后通過(guò)維護(hù)臺(tái)用LST CDMACH 檢查問(wèn)題基站配置參數(shù)，發(fā)現(xiàn)三問(wèn)題基站下的283、201頻點(diǎn)的CCLM、ECCLM發(fā)送參數(shù)值為不發(fā)送，即基站不下發(fā)任何尋呼信道列表。合作方鄭柯柯承認(rèn)7月14日16時(shí)未告知任何人下發(fā)7個(gè)站駐留參數(shù)調(diào)整腳本回顧整個(gè)事件，有以下幾個(gè)關(guān)鍵點(diǎn)：時(shí)間事件操作人結(jié)果7月12日參數(shù)核查蘇文慶（

5、TL）、孫軍（TS）參數(shù)檢查發(fā)現(xiàn)7個(gè)站201頻點(diǎn)僅在201頻點(diǎn)CCLM、ECCLM發(fā)送，與駐留策略不符。7月13日參數(shù)修改決策蘇文慶、孫軍與割接腳本進(jìn)行核查，割接腳本正確；決策需要進(jìn)行修改。7月14日駐留策略腳本制作鄭柯柯（合作方）腳本制作錯(cuò)誤，問(wèn)題隱患腳本審核未審核TL蘇文慶、TS孫軍未收到腳本；但未及時(shí)關(guān)注策略整改進(jìn)度。7月14日16點(diǎn)獨(dú)自下發(fā)加本、未經(jīng)允許鄭柯柯（合作方）問(wèn)題：未在規(guī)定時(shí)間、下載未審核腳本、未經(jīng)TL/TS允許、下載腳本后未跟蹤涉及基站狀態(tài)7月14日20點(diǎn)用戶投訴“唐海黨?！被緹o(wú)法主被叫孫軍、魏國(guó)星（合作方）檢查該站話務(wù)量、掉話、呼建KPI指標(biāo)正常7月15日11點(diǎn)再次收到

6、“唐海黨?！蓖对V，現(xiàn)場(chǎng)測(cè)試正常；測(cè)試發(fā)現(xiàn)“唐海供電一所”無(wú)法起呼蘇文慶、魏國(guó)星（合作方）發(fā)現(xiàn)故障基站，并進(jìn)行全網(wǎng)話務(wù)KPI指標(biāo)，發(fā)現(xiàn)26個(gè)基站接入次數(shù)為0次，部分未開(kāi)通基站7月15日14點(diǎn)檢查基站無(wú)告警、分析存在無(wú)法進(jìn)行呼叫基站均在同一Abis接口板，現(xiàn)場(chǎng)測(cè)試對(duì)不能呼叫基站進(jìn)行閉塞，對(duì)測(cè)試站進(jìn)行復(fù)位，詢問(wèn)現(xiàn)場(chǎng)近期無(wú)人進(jìn)行參數(shù)修改操作楊碩（B側(cè)）800建單，啟動(dòng)緊急處理流程7月15日14點(diǎn)30分省項(xiàng)目組召集電話會(huì)議，跟蹤督促問(wèn)題進(jìn)展河北省項(xiàng)目組7月15日16點(diǎn)研發(fā)分析發(fā)現(xiàn)硬指配存在問(wèn)題800現(xiàn)場(chǎng)對(duì)7個(gè)基站進(jìn)行檢查發(fā)現(xiàn)201和283頻點(diǎn)CCLM、ECCLM參數(shù)均設(shè)置為“不下發(fā)”，現(xiàn)場(chǎng)修改后正常7月

7、16日省項(xiàng)目組7月15日晚連夜趕赴唐山，7月16日上午向用戶出具報(bào)告，進(jìn)行安撫。靳慶剛、劉利鋒2、事件反思本次事件由一名網(wǎng)優(yōu)工程師進(jìn)行參數(shù)修改沒(méi)有按照流程執(zhí)行引起，但是從整個(gè)過(guò)程中發(fā)現(xiàn)了很多本應(yīng)能夠杜絕事件發(fā)生的關(guān)鍵點(diǎn)沒(méi)有把握好，導(dǎo)致問(wèn)題不斷擴(kuò)大。1. 每周項(xiàng)目會(huì)議均對(duì)網(wǎng)絡(luò)安全、參數(shù)修改流程（提交申請(qǐng)、審批、執(zhí)行、觀察、閉環(huán)）進(jìn)行重點(diǎn)強(qiáng)調(diào)，且上周剛完成規(guī)范學(xué)習(xí)考試，為什么現(xiàn)場(chǎng)仍然會(huì)存在私自修改參數(shù)的情況？2. 現(xiàn)場(chǎng)根據(jù)核查發(fā)現(xiàn)參數(shù)問(wèn)題，已經(jīng)制定了調(diào)整決策，卻沒(méi)有跟蹤進(jìn)展和過(guò)程，沒(méi)有給出操作時(shí)間和流程提醒，是缺少責(zé)任心還是已經(jīng)麻痹、還是自認(rèn)為小事情、不會(huì)出問(wèn)題。問(wèn)題往往都會(huì)存在認(rèn)為不可能出現(xiàn)問(wèn)題

8、的地方。3. 參數(shù)修改后，沒(méi)有對(duì)參數(shù)進(jìn)行檢查，且對(duì)修改基站指標(biāo)為什么沒(méi)有進(jìn)行跟蹤觀察？4. 收到用戶投訴后，僅對(duì)投訴基站進(jìn)行檢查；現(xiàn)場(chǎng)用戶只能通過(guò)位置進(jìn)行大概描述，第一次收到投訴分析時(shí)，僅分析用戶提及的基站，為什么不能擴(kuò)展到周邊基站？5. 現(xiàn)場(chǎng)進(jìn)行測(cè)試時(shí)，發(fā)現(xiàn)不能呼叫，從后來(lái)原因結(jié)果看，在廣播消息中完全安可以判斷出問(wèn)題，為什么現(xiàn)場(chǎng)處理人員就不能進(jìn)行判斷？6. 出現(xiàn)問(wèn)題時(shí)想到詢問(wèn)現(xiàn)場(chǎng)是否進(jìn)行參數(shù)修改，但是為什么就沒(méi)能查出來(lái)參數(shù)被修改問(wèn)題，而且LST CDMACH是常用命令，很快就能查到，為什么就沒(méi)能查到？7. 出現(xiàn)問(wèn)題時(shí)已經(jīng)詢問(wèn)現(xiàn)場(chǎng)人員是否進(jìn)行參數(shù)調(diào)整，現(xiàn)場(chǎng)均沒(méi)有人承認(rèn)自己進(jìn)行操作；且沒(méi)有該項(xiàng)操

9、作記錄；如果能夠多從自我分析，多想想自己，可能就會(huì)大大降低事態(tài)的擴(kuò)大？4、問(wèn)題的警惕及改進(jìn)措施此次事件中，貫穿著流程意識(shí)薄弱、項(xiàng)目管理、操作監(jiān)控、現(xiàn)網(wǎng)安全意識(shí)差、問(wèn)題跟蹤、操作記錄、故障判斷等眾多問(wèn)題；通過(guò)對(duì)本次事故的分析，本次事故產(chǎn)生存在嚴(yán)重的隱患：1. 搬遷順利完成后，網(wǎng)絡(luò)指標(biāo)、用戶評(píng)價(jià)等均優(yōu)于原來(lái)預(yù)期；成功喜悅掩蓋了潛在的更大危機(jī)；雖然在項(xiàng)目組在周例會(huì)多次強(qiáng)調(diào)網(wǎng)絡(luò)安全、操作流程，但仍然存在沒(méi)有真正落實(shí)到每個(gè)成員實(shí)際工作當(dāng)中、沒(méi)有真正貫徹到每個(gè)成員思想當(dāng)中。今后項(xiàng)目組不但要定期進(jìn)行規(guī)范學(xué)習(xí)、考試，還要組織進(jìn)行答辯，切實(shí)讓每個(gè)人都能吸取教訓(xùn)，網(wǎng)絡(luò)安全天天抓、時(shí)時(shí)抓。2. 責(zé)任心、認(rèn)真重視程度

10、需要加強(qiáng)：真?zhèn)€事件過(guò)程中從決策制定后的跟蹤執(zhí)行、腳本制作、投訴處理、測(cè)試即故障排查，無(wú)數(shù)個(gè)只要再認(rèn)真細(xì)心一點(diǎn)、責(zé)任心再增強(qiáng)一點(diǎn)、對(duì)事情再深入一點(diǎn)就能夠?qū)⑹录绊懽钚』皶r(shí)解決；可是每次的擦肩而過(guò)、點(diǎn)到為止讓事情不斷擴(kuò)大；可見(jiàn)提高每個(gè)人的職業(yè)素養(yǎng)、責(zé)任心、事事小心的意識(shí)仍是一項(xiàng)重要工作。3. 敲響警鐘，網(wǎng)絡(luò)安全不容忽視：本事件涉及7個(gè)基站，從中反映的問(wèn)題，想起來(lái)都后怕；如果修改的是BSC及或其它參數(shù)，后果不堪設(shè)想；每一個(gè)人都必須嚴(yán)格要求自己，網(wǎng)絡(luò)操作，責(zé)任重大，特別是優(yōu)化工作，所有操作都在現(xiàn)網(wǎng)進(jìn)行，只有按照規(guī)章制度辦事、按照流程操作，才能保證不犯錯(cuò)誤，順利交付。 4. 事故處理完畢以后，組織唐山項(xiàng)目組全員召開(kāi)事件進(jìn)行回溯會(huì)，通過(guò)對(duì)時(shí)間開(kāi)始到最后處理過(guò)程進(jìn)行分析，現(xiàn)場(chǎng)每人根據(jù)對(duì)本次事件認(rèn)識(shí)和教訓(xùn)，結(jié)合自己工作進(jìn)行分析并發(fā)言；刨析到項(xiàng)目管理工作監(jiān)控不到位、審核工作不到位、流程意識(shí)薄弱、現(xiàn)網(wǎng)安全意識(shí)差、對(duì)問(wèn)題跟蹤不徹底、沒(méi)有操作記錄危害、故障判斷不仔細(xì)等問(wèn)題；通過(guò)本次會(huì)議讓每個(gè)人都認(rèn)識(shí)到規(guī)章、流程重要性；自由按照規(guī)章制度、流程規(guī)范操作才能保證項(xiàng)目順利進(jìn)行，任何一次偶爾、僥幸的違規(guī)都將造成嚴(yán)重后果。本要在整個(gè)河北項(xiàng)目組進(jìn)行學(xué)習(xí)，讓每個(gè)人都從中吸取經(jīng)驗(yàn)，不