研發(fā)垃圾短信監(jiān)控核查系統(tǒng)

海南公司網(wǎng)絡(luò)維護(hù)中心 中國移動通信海南公司網(wǎng)絡(luò)維護(hù)中心 短信 海南公司網(wǎng)絡(luò)維護(hù)中心 小組概況 秉承 “ 網(wǎng)絡(luò)質(zhì)量是通信企業(yè)的生命線 ” 的網(wǎng)絡(luò)工作核心理念，全面貫徹落實(shí)網(wǎng)絡(luò)運(yùn)行維護(hù)工作 “ 質(zhì)量領(lǐng)先，運(yùn)行高效，支撐有力 ” 戰(zhàn)略定位 ，中國移動海南公司專門成立了以提升短信業(yè)務(wù)質(zhì)量，追求細(xì)節(jié)品質(zhì)為目標(biāo)的短信 用質(zhì)量管理的理論和方法，圍繞生產(chǎn)活動中出現(xiàn)的實(shí)際問題，開展 組自成立以來，撰寫了多個(gè) 中 : 提高短信接通率 獲得了2006年海南省 2007年國際質(zhì)量管理小組會議卓越成果 信 006年海南省優(yōu)秀質(zhì)量管理小組， 2006年全國優(yōu)秀質(zhì)量管理小組。 海南公司網(wǎng)絡(luò)維護(hù)中心 小組簡介 短信 小組成員 本次課題活動時(shí)間 姓名 文化程度 組內(nèi)職務(wù) 組內(nèi)分工 馮成交 本科 組長 指揮調(diào)度 熊海蘭 碩士 組員 調(diào)查實(shí)施 李博 本科 組員 調(diào)查實(shí)施 成立時(shí)間2005年 3月 課題：研發(fā)垃圾短信監(jiān)控核查系統(tǒng) 時(shí)間： 2007年 11月2008年 3月 海南公司網(wǎng)絡(luò)維護(hù)中心 相關(guān)術(shù)語解釋 垃圾短信 指從某一客戶端號碼（網(wǎng)內(nèi)或網(wǎng)外）或服務(wù)端口號碼發(fā)起的，帶有非法或不健康信息內(nèi)容或未經(jīng)客戶允許而向客戶群發(fā)的商業(yè)、廣告短信或其他內(nèi)容的短信。 黑名單 指經(jīng)過 認(rèn)需要進(jìn)行停機(jī)處理的用戶號碼列表 海南公司網(wǎng)絡(luò)維護(hù)中心 選擇課題 一、 提出問題 垃圾短信問題是一個(gè)嚴(yán)重的社會問題，已引起各方面甚至中央的高度關(guān)注。垃圾短信干擾了客戶正常的工作、生活，客戶對此已產(chǎn)生不滿。同時(shí)垃圾短信的泛濫影響了公司的社會形象，很多客戶錯誤地認(rèn)為垃圾短信的發(fā)送與中國移動相關(guān)，而事實(shí)上，垃圾短信并未為我們帶來收益。 垃圾短信攔截平臺運(yùn)行不穩(wěn)定，在 10月 1日10月 10日、 11月 5日、 6日、 9日系統(tǒng)發(fā)生故障，沒有正常出黑名單文件，由于該平臺沒有網(wǎng)管監(jiān)控，無法及時(shí)發(fā)現(xiàn)故障。 11月 14日后，網(wǎng)絡(luò)維護(hù)中心對系統(tǒng)進(jìn)行定時(shí)重新應(yīng)用程序進(jìn)程方式改善系統(tǒng)情況，系統(tǒng)基本正常，但在 11月 19日、 20日、 25日、 27日、 28日、 29日部分時(shí)段無法正常提供黑名單。 短信中心 垃圾短信攔截平臺 南公司網(wǎng)絡(luò)維護(hù)中心 選擇課題 一、 提出問題 垃圾短信投訴量不斷上升問題 垃圾短信發(fā)送號碼高欠費(fèi)金額問題 異常導(dǎo)致上萬元欠費(fèi) 某號碼上萬元欠費(fèi) 07年 10月垃圾短信 1309例投訴 海南公司網(wǎng)絡(luò)維護(hù)中心 選擇課題 一、提出問題 本次討論課題： 如何有效攔截 垃圾短信呢？ 針對垃圾短信治理存在問題，小組成員需要研究并提出解決辦法。 海南公司網(wǎng)絡(luò)維護(hù)中心 選擇課題 二、 選擇突破口 針對這個(gè)問題，小組成員運(yùn)用頭腦風(fēng)暴法提出了三個(gè)可供選擇的突破口： （ 1）增加人力進(jìn)行垃圾短信攔截平臺的監(jiān)控； （ 2）要求廠家完善垃圾短信攔截平臺； （ 3）研發(fā)垃圾短信監(jiān)控核查系統(tǒng)。 海南公司網(wǎng)絡(luò)維護(hù)中心 選擇課題 三、 確定課題 研發(fā)垃圾短信監(jiān)控核查系統(tǒng) 海南公司網(wǎng)絡(luò)維護(hù)中心 目標(biāo)設(shè)定 選擇了上述課題后，我們要實(shí)現(xiàn)哪些目標(biāo)呢？ 1、 建立一個(gè)獨(dú)立的垃圾短信處理系統(tǒng)。 2、該系統(tǒng)能建立多條件的垃圾短信處理規(guī)則。 3、提供給業(yè)務(wù)部門較為準(zhǔn)確的現(xiàn)網(wǎng)數(shù)據(jù)，分析 垃圾短信方面的問題。 4、做為現(xiàn)網(wǎng)垃圾短信系統(tǒng)的補(bǔ)充，快速攔截垃圾短信。 海南公司網(wǎng)絡(luò)維護(hù)中心 提出并選擇方案 小組成員運(yùn)用頭腦風(fēng)暴法，圍繞實(shí)現(xiàn)小組活動目標(biāo)，提出許多想法和看法，初步歸納成以下三種方案： 方案一：旁接信令系統(tǒng)，對短信信令進(jìn)行分析，若為垃圾短信，則送至 方案二：對短信中心話單進(jìn)行分析，若為垃圾短信，則在短信中心上攔截該短信，不允許下發(fā)。 方案三：對短信中心話單進(jìn)行分析，若為垃圾短信，則送至 海南公司網(wǎng)絡(luò)維護(hù)中心 提出并選擇方案 經(jīng)過評估分析，決定采用方案三來研發(fā)垃圾短信監(jiān)控核查系統(tǒng)。 海南公司網(wǎng)絡(luò)維護(hù)中心 制定對策 序號 對策 目標(biāo) 措施 時(shí)間 負(fù)責(zé)人 1 硬件平臺分析 確認(rèn)可以承載該系統(tǒng)的硬件平臺 1、調(diào)研現(xiàn)有空閑設(shè)備； 2、對硬件能力進(jìn)行分析，確認(rèn)是否有合適的硬件平臺 博 2 可行性分析 確認(rèn)短信話單是否可以有效分析。 1、確定短信話單獲取方式； 2、確定短信話單存儲方式； 3、分析短信話單是否可以快速有效分析。 海蘭 3 系統(tǒng)規(guī)劃 對各接口及編程工具等進(jìn)行確定 小組討論確定。 成交 4 系統(tǒng)實(shí)施 研發(fā)垃圾短信監(jiān)控核查系統(tǒng) 編寫源代碼并進(jìn)行調(diào)試。 成交 海南公司網(wǎng)絡(luò)維護(hù)中心 對策實(shí)施 硬件平臺分析 原短信監(jiān)控系統(tǒng)淘汰主機(jī)，其 配置為： 2 80G G，可以利舊這兩臺設(shè)備。 海南公司網(wǎng)絡(luò)維護(hù)中心 對策實(shí)施 可行性分析 1、原始數(shù)據(jù)采集分析 短信中心存在日志查詢系統(tǒng)和流量監(jiān)控系統(tǒng) 2個(gè)對短信中心每日數(shù)據(jù)的實(shí)時(shí)監(jiān)控，在原始數(shù)據(jù)采集上不存在困難。 2、采集流程分析 短信中心日志查詢系統(tǒng)數(shù)據(jù)采集的流程為：短信中心 日志查詢系統(tǒng) 3、表結(jié)構(gòu)分析 經(jīng)分析，該數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計(jì)相對合理，采用以時(shí)間為單位，每小時(shí)建立存儲分區(qū)，在查詢時(shí)，如果注意引用分區(qū)數(shù)據(jù)，能較小的占用系統(tǒng)資源，提高查詢效率。 海南公司網(wǎng)絡(luò)維護(hù)中心 對策實(shí)施 系統(tǒng)規(guī)劃 1、系統(tǒng)使用編程語言： 、編程工具： 、系統(tǒng)實(shí)施 系統(tǒng)在原短信監(jiān)控系統(tǒng)主機(jī)上實(shí)施，數(shù)據(jù)庫基于原日志查詢系統(tǒng)數(shù)據(jù)庫 4、與其他系統(tǒng)接口 系統(tǒng)生成可疑用戶數(shù)據(jù)，自動 該服務(wù)器上運(yùn)行一個(gè)定時(shí)腳本，再自動將該文件 海南公司網(wǎng)絡(luò)維護(hù)中心 對策實(shí)施 系統(tǒng)實(shí)施 程序設(shè)計(jì) 為了保證數(shù)據(jù)庫連接的穩(wěn)定性， 時(shí)， 據(jù)庫連接池負(fù)責(zé)分配、管理和釋放數(shù)據(jù)庫連接，它允許應(yīng)用程序重復(fù)使用一個(gè)現(xiàn)有的數(shù)據(jù)庫連接，而再不是重新建立一個(gè)；釋放空閑時(shí)間超過最大空閑時(shí)間的數(shù)據(jù)庫連接來避免因?yàn)闆]有釋放數(shù)據(jù)庫連接而引起的數(shù)據(jù)庫連接遺漏。 類是我們程序的主要部分，垃圾短信用戶行為的監(jiān)控在該類中實(shí)現(xiàn)； 類調(diào)度系統(tǒng)各個(gè)資源，完成系統(tǒng)整體功能。 海南公司網(wǎng)絡(luò)維護(hù)中心 對策實(shí)施 系統(tǒng)實(shí)施 數(shù)據(jù)庫設(shè)計(jì) 源表： 中間表： 中 表包含了所有我省短信日志信息； 系統(tǒng)按照時(shí)間分區(qū)從 實(shí)時(shí)取出符合垃圾短信發(fā)送用戶可疑規(guī)則數(shù)據(jù)送入 后匯總到 中形成歷史數(shù)據(jù)。 疑名單文件的生成，同時(shí)，調(diào)用 成相關(guān)數(shù)據(jù)。 所有程序完成后，打包成 服務(wù)器運(yùn)行。 海南公司網(wǎng)絡(luò)維護(hù)中心 對策實(shí)施 系統(tǒng)實(shí)施 程序設(shè)計(jì) 主程序類圖 數(shù)據(jù)庫連接基礎(chǔ)類圖 海南公司網(wǎng)絡(luò)維護(hù)中心 對策實(shí)施 系統(tǒng)實(shí)施 為了保證數(shù)據(jù)庫連接的穩(wěn)定性， 時(shí)， 據(jù)庫連接池負(fù)責(zé)分配、管理和釋放數(shù)據(jù)庫連接，它允許應(yīng)用程序重復(fù)使用一個(gè)現(xiàn)有的數(shù)據(jù)庫連接，而不是重新建立一個(gè)；釋放空閑時(shí)間超過最大空閑時(shí)間的數(shù)據(jù)庫連接來避免因?yàn)闆]有釋放數(shù)據(jù)庫連接而引起的數(shù)據(jù)庫連接遺漏。 類是我們程序的主要部分，垃圾短信用戶行為的監(jiān)控在該類中實(shí)現(xiàn)； 類調(diào)度系統(tǒng)各個(gè)資源，完成系統(tǒng)整體功能。 海南公司網(wǎng)絡(luò)維護(hù)中心 源表： 中間表： 策實(shí)施 系統(tǒng)實(shí)施 其中 表包含了所有我省短信日志信息。 錄了某個(gè)號碼每隔 5分值的發(fā)送量， 海南公司網(wǎng)絡(luò)維護(hù)中心 對策實(shí)施 系統(tǒng)實(shí)施 日記數(shù)據(jù)庫表 每 5分鐘進(jìn)行流量統(tǒng)計(jì) 分析匯總超量號碼 排重生成黑名單 送往 程序處理流程 文件傳送腳本 !/sh n! 連接遠(yuǎn)程服務(wù)器 進(jìn)入傳送目錄 進(jìn)入本地存放目錄 傳送文件 海南公司網(wǎng)絡(luò)維護(hù)中心 在 2007年 12月正式運(yùn)行后，通過一段時(shí)間的檢驗(yàn)，確實(shí)發(fā)現(xiàn)了現(xiàn)有垃圾短信系統(tǒng)黑名單數(shù)據(jù)的不全及不準(zhǔn)確性，其中包括： 1、及時(shí)發(fā)現(xiàn)了已有垃圾短信系統(tǒng)生成垃圾短信黑名單的不準(zhǔn)確性。該系統(tǒng)運(yùn)行后，在比對 2個(gè)系統(tǒng)產(chǎn)生名單的情況，及時(shí)要就廠家校正攔截系統(tǒng)相關(guān)參數(shù)閥值，保證了系統(tǒng)數(shù)據(jù)的準(zhǔn)確性。 2、發(fā)現(xiàn)了已有垃圾短信系統(tǒng)攔截的缺陷。原垃圾短信系統(tǒng)在取攔截原始數(shù)據(jù)的時(shí)候，由于沒有考慮到手機(jī)群發(fā) 有將該類型數(shù)據(jù)加以統(tǒng)計(jì)，導(dǎo)致大量該類垃圾短信發(fā)送號碼未被攔截。 3、由于現(xiàn)網(wǎng)平臺只能實(shí)現(xiàn)單一攔截條件，不能對復(fù)雜的用戶行為加以攔截，據(jù)業(yè)務(wù)部門需求，在該系統(tǒng)上實(shí)現(xiàn)新的攔截規(guī)則，配合現(xiàn)有現(xiàn)網(wǎng)平臺實(shí)現(xiàn)多規(guī)則攔截垃圾短信用戶。 效果檢查 利用監(jiān)控核查系統(tǒng)我們發(fā)現(xiàn)并解決了現(xiàn)網(wǎng)以上 3個(gè)問題，垃圾短信攔截效果明顯提升，控制了垃圾短信泛濫，提高了用戶滿意度。 1 海南公司網(wǎng)絡(luò)維護(hù)中心 效果檢查 系統(tǒng)上線后，日攔截的用戶數(shù)從原最高的 712降到 20個(gè)左右，較好的進(jìn)行了垃圾短信的攔截，控制了垃圾短信蔓延，提升了企業(yè)的形象。 01002003004005006007008002008010120080103200801052008010720080109200801162008011820080120200801222008012420080126200801282008013020080201200802042008020720080209200802112008021420080216200802182008022120080223200802252008022720080229用戶數(shù)2 海南公司網(wǎng)絡(luò)維護(hù)中心 效果檢查 系統(tǒng)上線后，經(jīng)過客服投訴平臺數(shù)據(jù)統(tǒng)計(jì)，每月垃圾短信的投訴量和排重的發(fā)送號碼量不斷呈下降趨勢，達(dá)到了明顯的效果，減少了用戶投訴量 。 垃圾短信投訴總量和群發(fā)垃圾短信號碼量統(tǒng)計(jì)0200400600800100012001400200701 200703 200705 200707 200709 200711 200801 200803 200805 200807 200809 200811 200901投訴總量群發(fā)垃圾短信號碼量3 海南公司網(wǎng)絡(luò)維護(hù)中心 效果檢查 系統(tǒng)上線后，經(jīng)過 送垃圾短信的號碼欠費(fèi)金額從原最高的上萬元減少到幾十元，滿足了市場部門要求，控制了號碼欠費(fèi)風(fēng)險(xiǎn)，提高了欠費(fèi)回收率。 3 4垃圾短信號碼欠費(fèi)比較0200040006000800010000120001 2海南公司網(wǎng)絡(luò)維護(hù)中心 三大 標(biāo)準(zhǔn)化 手段 制定 垃圾短信監(jiān)控核查系統(tǒng)操作手冊 ，歸檔保存。 手段 1 制定 垃圾短信監(jiān)控核查系統(tǒng)維護(hù)手冊 ，歸檔保存。 制定 垃圾短信監(jiān)控核查系統(tǒng) 數(shù)據(jù)庫手冊 ，歸檔保存。 鞏固措施 手段 2 手段 3 海南公司網(wǎng)絡(luò)維護(hù)中心 總結(jié)與下一步打算 此次 小組成員通過