3.上海移動(dòng)計(jì)費(fèi)中心-提高10086短信發(fā)送及時(shí)率

中國(guó)移動(dòng)通信集團(tuán)上海有限公司計(jì)費(fèi)信息中心 移動(dòng)信使 QC小組 2009-03 一、小組 概況 小組名稱(chēng) 移動(dòng)信使 QC小組 成立時(shí)間 2005年 2月 1日 課題名稱(chēng) 提高 10086短信發(fā)送及時(shí)率 登記編號(hào) 08-SY-JF-02 課題類(lèi)型 攻 關(guān) 型 活動(dòng)時(shí)間 2008年 5月 -2008年 12月 活動(dòng)次數(shù) 15次 出勤率 100% 一、小組 概況 姓名 性別 職務(wù) 文化程度 組內(nèi)分工 邱曉波 男 技術(shù)支撐 本科 組長(zhǎng) 崔宏慧 男 技術(shù)督導(dǎo) 本科 副組長(zhǎng) 沈琦 男 技術(shù)督導(dǎo) 本科 成員 胡可 男 技術(shù)支持 本科 成員 孫一凱 男 技術(shù)支撐 本科 成員 孫樂(lè) 男 技術(shù)支撐 本科 成員 潘俊杰 男 技術(shù)支持 本科 成員 楊一凡 男 技術(shù)支持 本科 成員 韓湧 男 技術(shù)支撐 本科 成員 羅曦 女 技術(shù)支撐 本科 成員 專(zhuān)業(yè)術(shù)語(yǔ)介紹 ： 95.0%95.5%96.0%96.5%97.0%97.5%98.0%98.5%99.0%99.5%100.0%2008年 2月 2008年 3月 2008年 4月 2008年 2-4月短信量及發(fā)送及時(shí)率 二、選擇課題 月均發(fā)送及時(shí)率 99 日均發(fā)送及時(shí)率 98 指標(biāo) ： 99% 現(xiàn)狀 ： 98.36% 組 號(hào) 區(qū)間 % 組中值 % 頻數(shù) 頻數(shù)統(tǒng)計(jì) 頻率 % 1 96.865 97.145 97.00 1 * 1.11% 2 97.145 97.425 97.28 4 * 4.44% 3 97.425 97.695 97.55 3 * 3.33% 4 97.695 97.975 97.83 5 * 5.56% 5 97.975 98.255 98.11 12 * 13.33% 6 98.255 98.525 98.38 17 * 18.89% 7 98.525 98.805 98.66 22 * 24.44% 8 98.805 99.085 98.94 15 * 16.67% 9 99.085 99.355 99.21 5 * 5.56% 10 99.355 99.635 99.49 5 * 5.56% 11 99.635 99.915 99.77 1 * 1.11% TL X 二、選擇課題 樣本數(shù) n=90 標(biāo)準(zhǔn)差 s=0.55181 平均值 x=98.36% 二、選擇課題 三、設(shè)定目標(biāo) 97.50%98.00%98.50%99.00%99.50%100.00%現(xiàn)狀 目標(biāo) 目標(biāo)設(shè)定值圖 現(xiàn)狀 目標(biāo) 1 中間件程序處理 3215311 81.55% 81.55% 2 根據(jù)手機(jī)尾號(hào)拆分 610732 15.49% 97.04% 3 接收用戶(hù)短信 73729 1.87% 98.91% 4 回寫(xiě)發(fā)送表 37850 0.96% 99.87% 5 發(fā)送接入網(wǎng)關(guān) 5126 0.13% 100% 合計(jì) 3954549 100% 四、目標(biāo)可行性分析 81.55% 20 40 60 80 100 0 81.55% 97.04% 98.91% 99.87% 中間件進(jìn)程處理 手機(jī)尾號(hào)拆分 接收用戶(hù)短信 回寫(xiě)發(fā)送表 發(fā)送接入網(wǎng)關(guān) 0 350 100 50 150 超時(shí)短信數(shù)量(萬(wàn)條) 3215311 610732 73729 37850 5126 200 250 300 中間件進(jìn)程處理 81.55% n=3954549 四、目標(biāo)可行性分析 時(shí)間 短信總量 超時(shí)短信量 正常維護(hù)引起的超時(shí)量 正常維護(hù)引起超時(shí)所占比例 2008年 2月 74234674 1165484 16989 1.46% 2008年 3月 85156203 1405077 19421 1.38% 2008年 4月 81892760 1383988 13022 0.94% 總計(jì) 241283637 3954549 49432 平均值 80427879 1318183 16477 1.25% 86.24% 目前 及時(shí)率 + 目前不及時(shí)率 中間件 超時(shí)比例 可解決 程度 = 98.36% + 1.64% 81.55% 86.24% = 99.51% 五、原因分析 人 機(jī) 法 環(huán) 值班人員延誤處理 網(wǎng)絡(luò)連接無(wú)響應(yīng) 中間件主機(jī)性能不足 數(shù)據(jù)庫(kù)連接易中斷 超時(shí)短信影響后續(xù)短信 調(diào)用其他系統(tǒng)緩慢 其他值班工作干擾 網(wǎng)絡(luò)瞬間中斷 主機(jī) CPU負(fù)荷高 主機(jī)內(nèi)存負(fù)荷高 程序缺乏自動(dòng)重連機(jī)制 進(jìn)程處理為串行 系統(tǒng)環(huán)境缺陷 中間件進(jìn)程占 CPU過(guò)多 無(wú)法并行處理 程序反復(fù)連接無(wú)效地址 無(wú)法區(qū)分業(yè)務(wù)類(lèi)型 短信告警處理要求缺失 制圖人：邱曉波 制圖時(shí)間： 2008年 5月 5日 值班人員未按規(guī)定操作 其他值班工作干擾其他值班工作干擾中間件進(jìn)程處理超時(shí)次數(shù)多 短信告警處理要求缺失值班人員未按規(guī)定操作程序反復(fù)連接無(wú)效地址網(wǎng)絡(luò)瞬間中斷主機(jī)內(nèi)存負(fù)荷高程序缺乏自動(dòng)重連機(jī)制無(wú)法區(qū)分業(yè)系統(tǒng)環(huán)境缺陷告警處理要求未落實(shí) 六、要因確認(rèn) 序號(hào) 末端因素 調(diào)查方法 確認(rèn)標(biāo)準(zhǔn) 確認(rèn)人 完成日期 1 無(wú)法區(qū)分業(yè)務(wù)類(lèi)型 統(tǒng)計(jì)分析告警歷史記錄 因無(wú)法區(qū)分業(yè)務(wù)類(lèi)型引起的超時(shí)短信應(yīng)少于超時(shí)短信總數(shù)的 4%（ 根據(jù) 08年運(yùn)行維護(hù)部中心指標(biāo)分解計(jì)劃 ） 邱曉波 潘俊杰 2008年 5月 27日 2 程序反復(fù)嘗試連接無(wú)效地址 現(xiàn)場(chǎng)測(cè)試中間件CPU負(fù)荷 中間件主機(jī) CPU負(fù)荷應(yīng)保持在 50%以下 （ 短信系統(tǒng)設(shè)計(jì)說(shuō)明書(shū)規(guī)定 ） 崔宏慧 韓湧 2008年 5月 23日 3 程序缺乏自動(dòng)重連機(jī)制 統(tǒng)計(jì)分析告警歷史記錄 因程序缺乏自動(dòng)重連機(jī)制引起的超時(shí)短信應(yīng)少于超時(shí)短信總數(shù)的 4%（ 根據(jù) 08年運(yùn)行維護(hù)部中心指標(biāo)分解計(jì)劃 ） 楊一凡 沈琦 2008年 5月 26日 4 短信告警處理要求缺失 現(xiàn)場(chǎng)檢查 系統(tǒng)組值班規(guī)范 應(yīng)存在短信告警處理方法及要求的相關(guān)條款 邱曉波 2008年 5月 9日 5 值班人員未按規(guī)定操作 統(tǒng)計(jì)分析告警處理歷史數(shù)據(jù) 所有值班人員每一天的告警處理及時(shí)率 （ 處理時(shí)長(zhǎng) 15分鐘的比例 ） 全部在 90%以上 （ 根據(jù)部門(mén)指標(biāo) ） 孫一凱 羅曦 2008年 5月 12日 6 網(wǎng)絡(luò)瞬間中斷 統(tǒng)計(jì)分析告警歷史記錄 因網(wǎng)絡(luò)瞬間中斷影響到的短信 ， 應(yīng)小于超時(shí)總數(shù)的 4%（ 根據(jù) 08年運(yùn)行維護(hù)部中心指標(biāo)分解計(jì)劃 ） 孫一凱 胡可 2008年 5月 15日 7 主機(jī)內(nèi)存占用高 現(xiàn)場(chǎng)測(cè)試中間件內(nèi)存負(fù)荷 中間件主機(jī)內(nèi)存平均占用應(yīng)保持在70%以下 （ 根據(jù)短信系統(tǒng)設(shè)計(jì)說(shuō)明書(shū)規(guī)定 ） 孫樂(lè) 羅曦 2008年 5月 15日 統(tǒng)計(jì)周期 超時(shí)次 數(shù) 周期內(nèi)總超時(shí)次數(shù) 比例 2008年 2月 478234 1165484 41.03% 2008年 3月 485684 1405077 34.57% 2008年 4月 492147 1383988 35.56% 總計(jì) 1456065 3954549 36.82% 0%5%10%15%20%25%30%35%40%45%50%2008年 2月 2008年 3月 2008年 4月 無(wú)法區(qū)分業(yè)務(wù)類(lèi)型引發(fā)超時(shí)短信比例 六、要因確認(rèn) 確認(rèn)標(biāo)準(zhǔn)： 4% 36.82% 01020304050607080901002008年 2月 4月中間件 CPU負(fù)荷情況 均值： 64.34% 六、要因確認(rèn) 確認(rèn)標(biāo)準(zhǔn)： 50% 六、要因確認(rèn) 4050607080901002月到 4月間主機(jī)內(nèi)存負(fù)荷情況 均值： 62.55% 確認(rèn)標(biāo)準(zhǔn)： 70% 六、要因確認(rèn) 統(tǒng)計(jì) 周期 超時(shí) 次數(shù) 周期內(nèi)總超時(shí)次數(shù) 比例 2008年 2月 218557 1165484 18.75% 2008年 3月 267889 1405077 19.07% 2008年 4月 264523 1383988 19.11% 總計(jì) 750969 3954549 18.99% 0%5%10%15%20%25%30%2008年 2月 2008年 3月 2008年 4月 缺乏自動(dòng)重連機(jī)制引發(fā)超時(shí)短信比例 確認(rèn)標(biāo)準(zhǔn)： 4% 18.99% 六、要因確認(rèn) 其他一般告警 ， 如短信系統(tǒng) 告警 ， 必須在告警發(fā)生后 15分鐘內(nèi)予以處理 。 六、要因確認(rèn) 0.0%0.5%1.0%1.5%2.0%2.5%3.0%3.5%4.0%4.5%5.0%2008年 2月 2008年 3月 2008年 4月 網(wǎng)絡(luò)瞬間中斷引發(fā) 超時(shí)短信比例 六、要因確認(rèn) 統(tǒng)計(jì)周期 超時(shí)次數(shù) 周期內(nèi)總超時(shí)次數(shù) 比例 2008年 2月 6485 1165484 0.56% 2008年 3月 6665 1405077 0.47% 2008年 4月 7413 1383988 0.54% 總計(jì) 20563 3954549 0.52% 確認(rèn)標(biāo)準(zhǔn)： 4% 六、要因確認(rèn) 無(wú)法區(qū)分業(yè)務(wù)類(lèi)型 程序反復(fù)嘗試連接無(wú)效地址 程序缺乏自動(dòng)重連機(jī)制 七、制定對(duì)策 序號(hào) 要因 對(duì)策 目 標(biāo) 措施 負(fù)責(zé)人 完成時(shí)間 地點(diǎn) 1 無(wú)法區(qū)分業(yè)務(wù)類(lèi)型 區(qū)分業(yè)務(wù)類(lèi)型以實(shí)現(xiàn)多路并行機(jī)制 區(qū)分業(yè)務(wù) ， 提升短信并行度 ， 使無(wú)法區(qū)分業(yè)務(wù)引起的超時(shí)短信占超時(shí)總數(shù)的比例低于 4% 1. 整理出程序無(wú)法識(shí)別的業(yè)務(wù)短信 2. 用正交試驗(yàn)法確定最優(yōu)并行方案 3. 優(yōu)化程序代碼 4. 詳細(xì)測(cè)試后上線運(yùn)行 邱曉波 2008年 6月 23日 欽州 72 號(hào)樓 3樓機(jī)房 2 程序反復(fù)嘗試連接無(wú)效 地址 從程序中剔除嘗試連接已失效地址的語(yǔ)句 使相關(guān)主機(jī) CPU負(fù)載低于 50% 1. 確認(rèn)包含連接無(wú)效地址的程序列表 2. 撰寫(xiě)程序修改需求工單 3. 優(yōu)化程序代碼并進(jìn)行詳細(xì)測(cè)試 4. 程序正式上線運(yùn)行 崔宏慧 2008 年6月 2日 欽州 72 號(hào)樓 3樓機(jī)房 3 程序缺乏自動(dòng)重連機(jī)制 建立程序間自動(dòng)重連機(jī)制 縮短重連時(shí)間 ，使缺乏重連機(jī)制引起的超時(shí)短信占超時(shí)總數(shù)的比例低于 4% 1. 整理缺乏自動(dòng)重連機(jī)制的程序列表 2. 為相關(guān)程序的處理流程設(shè)計(jì)優(yōu)化方案 3. 優(yōu)化程序代碼 4. 對(duì)優(yōu)化后的程序?qū)嵤┰敿?xì)測(cè)試 5. 程序正式上線運(yùn)行 沈 琦 2008 年6 月 24日 欽州 72 號(hào)樓 3樓機(jī)房 97.2097.4097.6097.8098.0098.2098.4098.6098.8099.0099.202A14A26A32B14B26B30.5C11C21.5C350D1100D2150D3及時(shí)率%主效應(yīng)圖 因 子 水平 表 因 子 水平 業(yè)務(wù)分層數(shù) (A) 同業(yè)務(wù)并行度 (B) 輪詢(xún)周期 (C) 輪詢(xún)?nèi)?shù)據(jù)量 (D) 1 2類(lèi) 并行 2個(gè)程序 0.5秒 50條 2 4類(lèi) 并行 4個(gè)程序 1秒 100條 3 6類(lèi) 并行 6個(gè)程序 1.5秒 150條 正交試驗(yàn)方案及結(jié)果 因子 A B C D 及時(shí)率 (%) 實(shí)驗(yàn) 1 1(2類(lèi) ) 1(2個(gè) ) 1(0.5秒 ) 1(50條 ) 96.96 實(shí)驗(yàn) 2 1 2(4個(gè) ) 2(1秒 ) 2(100條 ) 98.33 實(shí)驗(yàn) 3 1 3(6個(gè) ) 3(1.5秒 ) 3(150條 ) 98.21 實(shí)驗(yàn) 4 2(4類(lèi) ) 1 2 3 98.50 實(shí)驗(yàn) 5 2 2 3 1 99.30 實(shí)驗(yàn) 6 2 3 1 2 99.28 實(shí)驗(yàn) 7 3(6類(lèi) ) 1 3 2 98.69 實(shí)驗(yàn) 8 3 2 1 3 98.75 實(shí)驗(yàn) 9 3 3 2 1 98.41 均值 1 97.833 98.050 98.323 98.250 均值 2 99.047 98.820 98.413 98.760 均值 3 98.617 98.627 98.760 98.487 極差 1.214 0.77 0.437 0.51 八、對(duì)策實(shí)施 2933第 5號(hào)A2B2C3D1 A2B2C3D2A B C D 四因子三水平 0.00%10.00%20.00%30.00%40.00%50.00%60.00%0100000200000300000400000500000600000程序無(wú)法區(qū)分業(yè)務(wù)導(dǎo)致的超時(shí)短信數(shù)量 八、對(duì)策實(shí)施 統(tǒng)計(jì)周期 該類(lèi)超時(shí)短 信 比例 2008年 2月 36.26% 2008年 3月 36.82% 2008年 4月 37.31% 2008年 5月 37.10% 2008年 6月 30.58% 2008年 7月 0.48% 超時(shí)比例： 0.48% 預(yù)期目標(biāo)： 4% 八、對(duì)策實(shí)施 688010203040506070802008/2/12008/2/62008/2/112008/2/162008/2/212008/2/262008/3/22008/3/72008/3/122008/3/172008/3/222008/3/272008/4/12008/4/62008/4/112008/4/162008/4/212008/4/262008/5/12008/5/62008/5/112008/5/162008/5/212008/5/262008/5/312008/6/52008/6/102008/6/152008/6/202008/6/252008/6/30對(duì)策實(shí)施前后 CPU負(fù)荷 目前： 42.01% 預(yù)期目標(biāo)： 50%以下 統(tǒng)計(jì)周期 該類(lèi)超時(shí)短 信 比例 2008年 2月 16.57% 2008年 3月 20.31% 2008年 4月 20.05% 2008年 5月 20.35% 2008年 6月 14.14% 2008年 7月 0.12% 0.00%5.00%10.00%15.00%20.00%25.00%30.00%35.00%40.00%45.00%50.00%050000100000150000200000250000300000程序無(wú)法重連導(dǎo)致的超時(shí)短信數(shù)量 八、對(duì)策實(shí)施 耗時(shí) 5min 耗時(shí) 10s 超時(shí)比例： 0.12% 預(yù)期目標(biāo)： 4% 6811九、效果檢查 08年2月 08年3月 08年4月 08年5月 08年6月 08年7月 08年8月 08年9月 08年10月 08年11月 08年12月 月平均及時(shí)率 (%) 98.43 98.35 98.31 98.51 99.18 99.37 99.34 99.41 99.39 99.38 99.40 階段 實(shí)施前 實(shí)施中 實(shí)施后 鞏固期 97.59898.59999.5100月均及時(shí)率（%）目標(biāo)： 99% 九、效果檢查 97.