3.上海移動計費中心-提高10086短信發(fā)送及時率

中國移動通信集團上海有限公司計費信息中心 移動信使 QC小組 2009-03 一、小組 概況 小組名稱 移動信使 QC小組 成立時間 2005年 2月 1日 課題名稱 提高 10086短信發(fā)送及時率 登記編號 08-SY-JF-02 課題類型 攻 關 型 活動時間 2008年 5月 -2008年 12月 活動次數(shù) 15次 出勤率 100% 一、小組 概況 姓名 性別 職務 文化程度 組內分工 邱曉波 男 技術支撐 本科 組長 崔宏慧 男 技術督導 本科 副組長 沈琦 男 技術督導 本科 成員 胡可 男 技術支持 本科 成員 孫一凱 男 技術支撐 本科 成員 孫樂 男 技術支撐 本科 成員 潘俊杰 男 技術支持 本科 成員 楊一凡 男 技術支持 本科 成員 韓湧 男 技術支撐 本科 成員 羅曦 女 技術支撐 本科 成員 專業(yè)術語介紹 ： 95.0%95.5%96.0%96.5%97.0%97.5%98.0%98.5%99.0%99.5%100.0%2008年 2月 2008年 3月 2008年 4月 2008年 2-4月短信量及發(fā)送及時率 二、選擇課題 月均發(fā)送及時率 99 日均發(fā)送及時率 98 指標 ： 99% 現(xiàn)狀 ： 98.36% 組 號 區(qū)間 % 組中值 % 頻數(shù) 頻數(shù)統(tǒng)計 頻率 % 1 96.865 97.145 97.00 1 * 1.11% 2 97.145 97.425 97.28 4 * 4.44% 3 97.425 97.695 97.55 3 * 3.33% 4 97.695 97.975 97.83 5 * 5.56% 5 97.975 98.255 98.11 12 * 13.33% 6 98.255 98.525 98.38 17 * 18.89% 7 98.525 98.805 98.66 22 * 24.44% 8 98.805 99.085 98.94 15 * 16.67% 9 99.085 99.355 99.21 5 * 5.56% 10 99.355 99.635 99.49 5 * 5.56% 11 99.635 99.915 99.77 1 * 1.11% TL X 二、選擇課題 樣本數(shù) n=90 標準差 s=0.55181 平均值 x=98.36% 二、選擇課題 三、設定目標 97.50%98.00%98.50%99.00%99.50%100.00%現(xiàn)狀 目標 目標設定值圖 現(xiàn)狀 目標 1 中間件程序處理 3215311 81.55% 81.55% 2 根據(jù)手機尾號拆分 610732 15.49% 97.04% 3 接收用戶短信 73729 1.87% 98.91% 4 回寫發(fā)送表 37850 0.96% 99.87% 5 發(fā)送接入網(wǎng)關 5126 0.13% 100% 合計 3954549 100% 四、目標可行性分析 81.55% 20 40 60 80 100 0 81.55% 97.04% 98.91% 99.87% 中間件進程處理 手機尾號拆分 接收用戶短信 回寫發(fā)送表 發(fā)送接入網(wǎng)關 0 350 100 50 150 超時短信數(shù)量(萬條) 3215311 610732 73729 37850 5126 200 250 300 中間件進程處理 81.55% n=3954549 四、目標可行性分析 時間 短信總量 超時短信量 正常維護引起的超時量 正常維護引起超時所占比例 2008年 2月 74234674 1165484 16989 1.46% 2008年 3月 85156203 1405077 19421 1.38% 2008年 4月 81892760 1383988 13022 0.94% 總計 241283637 3954549 49432 平均值 80427879 1318183 16477 1.25% 86.24% 目前 及時率 + 目前不及時率 中間件 超時比例 可解決 程度 = 98.36% + 1.64% 81.55% 86.24% = 99.51% 五、原因分析 人 機 法 環(huán) 值班人員延誤處理 網(wǎng)絡連接無響應 中間件主機性能不足 數(shù)據(jù)庫連接易中斷 超時短信影響后續(xù)短信 調用其他系統(tǒng)緩慢 其他值班工作干擾 網(wǎng)絡瞬間中斷 主機 CPU負荷高 主機內存負荷高 程序缺乏自動重連機制 進程處理為串行 系統(tǒng)環(huán)境缺陷 中間件進程占 CPU過多 無法并行處理 程序反復連接無效地址 無法區(qū)分業(yè)務類型 短信告警處理要求缺失 制圖人：邱曉波 制圖時間： 2008年 5月 5日 值班人員未按規(guī)定操作 其他值班工作干擾其他值班工作干擾中間件進程處理超時次數(shù)多 短信告警處理要求缺失值班人員未按規(guī)定操作程序反復連接無效地址網(wǎng)絡瞬間中斷主機內存負荷高程序缺乏自動重連機制無法區(qū)分業(yè)系統(tǒng)環(huán)境缺陷告警處理要求未落實 六、要因確認 序號 末端因素 調查方法 確認標準 確認人 完成日期 1 無法區(qū)分業(yè)務類型 統(tǒng)計分析告警歷史記錄 因無法區(qū)分業(yè)務類型引起的超時短信應少于超時短信總數(shù)的 4%（ 根據(jù) 08年運行維護部中心指標分解計劃 ） 邱曉波 潘俊杰 2008年 5月 27日 2 程序反復嘗試連接無效地址 現(xiàn)場測試中間件CPU負荷 中間件主機 CPU負荷應保持在 50%以下 （ 短信系統(tǒng)設計說明書規(guī)定 ） 崔宏慧 韓湧 2008年 5月 23日 3 程序缺乏自動重連機制 統(tǒng)計分析告警歷史記錄 因程序缺乏自動重連機制引起的超時短信應少于超時短信總數(shù)的 4%（ 根據(jù) 08年運行維護部中心指標分解計劃 ） 楊一凡 沈琦 2008年 5月 26日 4 短信告警處理要求缺失 現(xiàn)場檢查 系統(tǒng)組值班規(guī)范 應存在短信告警處理方法及要求的相關條款 邱曉波 2008年 5月 9日 5 值班人員未按規(guī)定操作 統(tǒng)計分析告警處理歷史數(shù)據(jù) 所有值班人員每一天的告警處理及時率 （ 處理時長 15分鐘的比例 ） 全部在 90%以上 （ 根據(jù)部門指標 ） 孫一凱 羅曦 2008年 5月 12日 6 網(wǎng)絡瞬間中斷 統(tǒng)計分析告警歷史記錄 因網(wǎng)絡瞬間中斷影響到的短信 ， 應小于超時總數(shù)的 4%（ 根據(jù) 08年運行維護部中心指標分解計劃 ） 孫一凱 胡可 2008年 5月 15日 7 主機內存占用高 現(xiàn)場測試中間件內存負荷 中間件主機內存平均占用應保持在70%以下 （ 根據(jù)短信系統(tǒng)設計說明書規(guī)定 ） 孫樂 羅曦 2008年 5月 15日 統(tǒng)計周期 超時次 數(shù) 周期內總超時次數(shù) 比例 2008年 2月 478234 1165484 41.03% 2008年 3月 485684 1405077 34.57% 2008年 4月 492147 1383988 35.56% 總計 1456065 3954549 36.82% 0%5%10%15%20%25%30%35%40%45%50%2008年 2月 2008年 3月 2008年 4月 無法區(qū)分業(yè)務類型引發(fā)超時短信比例 六、要因確認 確認標準： 4% 36.82% 01020304050607080901002008年 2月 4月中間件 CPU負荷情況 均值： 64.34% 六、要因確認 確認標準： 50% 六、要因確認 4050607080901002月到 4月間主機內存負荷情況 均值： 62.55% 確認標準： 70% 六、要因確認 統(tǒng)計 周期 超時 次數(shù) 周期內總超時次數(shù) 比例 2008年 2月 218557 1165484 18.75% 2008年 3月 267889 1405077 19.07% 2008年 4月 264523 1383988 19.11% 總計 750969 3954549 18.99% 0%5%10%15%20%25%30%2008年 2月 2008年 3月 2008年 4月 缺乏自動重連機制引發(fā)超時短信比例 確認標準： 4% 18.99% 六、要因確認 其他一般告警 ， 如短信系統(tǒng) 告警 ， 必須在告警發(fā)生后 15分鐘內予以處理 。 六、要因確認 0.0%0.5%1.0%1.5%2.0%2.5%3.0%3.5%4.0%4.5%5.0%2008年 2月 2008年 3月 2008年 4月 網(wǎng)絡瞬間中斷引發(fā) 超時短信比例 六、要因確認 統(tǒng)計周期 超時次數(shù) 周期內總超時次數(shù) 比例 2008年 2月 6485 1165484 0.56% 2008年 3月 6665 1405077 0.47% 2008年 4月 7413 1383988 0.54% 總計 20563 3954549 0.52% 確認標準： 4% 六、要因確認 無法區(qū)分業(yè)務類型 程序反復嘗試連接無效地址 程序缺乏自動重連機制 七、制定對策 序號 要因 對策 目 標 措施 負責人 完成時間 地點 1 無法區(qū)分業(yè)務類型 區(qū)分業(yè)務類型以實現(xiàn)多路并行機制 區(qū)分業(yè)務 ， 提升短信并行度 ， 使無法區(qū)分業(yè)務引起的超時短信占超時總數(shù)的比例低于 4% 1. 整理出程序無法識別的業(yè)務短信 2. 用正交試驗法確定最優(yōu)并行方案 3. 優(yōu)化程序代碼 4. 詳細測試后上線運行 邱曉波 2008年 6月 23日 欽州 72 號樓 3樓機房 2 程序反復嘗試連接無效 地址 從程序中剔除嘗試連接已失效地址的語句 使相關主機 CPU負載低于 50% 1. 確認包含連接無效地址的程序列表 2. 撰寫程序修改需求工單 3. 優(yōu)化程序代碼并進行詳細測試 4. 程序正式上線運行 崔宏慧 2008 年6月 2日 欽州 72 號樓 3樓機房 3 程序缺乏自動重連機制 建立程序間自動重連機制 縮短重連時間 ，使缺乏重連機制引起的超時短信占超時總數(shù)的比例低于 4% 1. 整理缺乏自動重連機制的程序列表 2. 為相關程序的處理流程設計優(yōu)化方案 3. 優(yōu)化程序代碼 4. 對優(yōu)化后的程序實施詳細測試 5. 程序正式上線運行 沈 琦 2008 年6 月 24日 欽州 72 號樓 3樓機房 97.2097.4097.6097.8098.0098.2098.4098.6098.8099.0099.202A14A26A32B14B26B30.5C11C21.5C350D1100D2150D3及時率%主效應圖 因 子 水平 表 因 子 水平 業(yè)務分層數(shù) (A) 同業(yè)務并行度 (B) 輪詢周期 (C) 輪詢取數(shù)據(jù)量 (D) 1 2類 并行 2個程序 0.5秒 50條 2 4類 并行 4個程序 1秒 100條 3 6類 并行 6個程序 1.5秒 150條 正交試驗方案及結果 因子 A B C D 及時率 (%) 實驗 1 1(2類 ) 1(2個 ) 1(0.5秒 ) 1(50條 ) 96.96 實驗 2 1 2(4個 ) 2(1秒 ) 2(100條 ) 98.33 實驗 3 1 3(6個 ) 3(1.5秒 ) 3(150條 ) 98.21 實驗 4 2(4類 ) 1 2 3 98.50 實驗 5 2 2 3 1 99.30 實驗 6 2 3 1 2 99.28 實驗 7 3(6類 ) 1 3 2 98.69 實驗 8 3 2 1 3 98.75 實驗 9 3 3 2 1 98.41 均值 1 97.833 98.050 98.323 98.250 均值 2 99.047 98.820 98.413 98.760 均值 3 98.617 98.627 98.760 98.487 極差 1.214 0.77 0.437 0.51 八、對策實施 2933第 5號A2B2C3D1 A2B2C3D2A B C D 四因子三水平 0.00%10.00%20.00%30.00%40.00%50.00%60.00%0100000200000300000400000500000600000程序無法區(qū)分業(yè)務導致的超時短信數(shù)量 八、對策實施 統(tǒng)計周期 該類超時短 信 比例 2008年 2月 36.26% 2008年 3月 36.82% 2008年 4月 37.31% 2008年 5月 37.10% 2008年 6月 30.58% 2008年 7月 0.48% 超時比例： 0.48% 預期目標： 4% 八、對策實施 688010203040506070802008/2/12008/2/62008/2/112008/2/162008/2/212008/2/262008/3/22008/3/72008/3/122008/3/172008/3/222008/3/272008/4/12008/4/62008/4/112008/4/162008/4/212008/4/262008/5/12008/5/62008/5/112008/5/162008/5/212008/5/262008/5/312008/6/52008/6/102008/6/152008/6/202008/6/252008/6/30對策實施前后 CPU負荷 目前： 42.01% 預期目標： 50%以下 統(tǒng)計周期 該類超時短 信 比例 2008年 2月 16.57% 2008年 3月 20.31% 2008年 4月 20.05% 2008年 5月 20.35% 2008年 6月 14.14% 2008年 7月 0.12% 0.00%5.00%10.00%15.00%20.00%25.00%30.00%35.00%40.00%45.00%50.00%050000100000150000200000250000300000程序無法重連導致的超時短信數(shù)量 八、對策實施 耗時 5min 耗時 10s 超時比例： 0.12% 預期目標： 4% 6811九、效果檢查 08年2月 08年3月 08年4月 08年5月 08年6月 08年7月 08年8月 08年9月 08年10月 08年11月 08年12月 月平均及時率 (%) 98.43 98.35 98.31 98.51 99.18 99.37 99.34 99.41 99.39 99.38 99.40 階段 實施前 實施中 實施后 鞏固期 97.59898.59999.5100月均及時率（%）目標： 99% 九、效果檢查 97.