課程1-TMA系統(tǒng)篇.pptx

1、TMA流量監(jiān)控系統(tǒng)-系統(tǒng)篇,2011年9月,北京寬廣電信高技術發(fā)展有限公司,北京寬廣電信高技術發(fā)展有限公司成立于1994年，同年經(jīng)北京市高新技術產(chǎn)業(yè)開發(fā)區(qū)認定為新技術企業(yè)，2002年被認定為軟件企業(yè) 寬廣公司是長期從事電信設備研制，以技術研發(fā)為主的公司。為電信運營商及其他客戶提供全面的網(wǎng)絡交換、傳輸和監(jiān)控解決方案 1994年成功研制國內(nèi)第一臺DXC 設備，1995年自主研制國內(nèi)第一臺ATM交換機，獲國家科技進步二等獎，郵電部科技進步一等獎 多年來承擔多項國家級和省部級重大科研項目，在B-ISDN、骨干交換機、G比特MPLS路由器和寬帶信息網(wǎng)等領域承擔863、八五、九五、信息產(chǎn)業(yè)部和自然科學基金

2、重大項目 經(jīng)過多年的技術儲備，通過長期市場調(diào)研和技術跟蹤（包括流量工程、流量模型、網(wǎng)絡測量、業(yè)務識別、性能測評、數(shù)據(jù)挖掘、行為分析等）， 2002年確定新的產(chǎn)品方向為Internet網(wǎng)絡的監(jiān)測、分析和控制,2,公司發(fā)展歷程,承擔國家863重點項目課題，研制出國內(nèi)第一臺自主知識產(chǎn)權ATM骨干交換機和DXC數(shù)字交叉連接設備。 榮獲國家科技進步二等獎，郵電部科技進步一等獎 ATM交換機實現(xiàn)產(chǎn)業(yè)化商用，DXC占領50%軍隊份額,2002年起公司研發(fā)重心轉向IP領域，先后研制出VoIP、流量分析、流量控制、用戶行為分析、一拖N檢測、非法互聯(lián)、Web信息推送等產(chǎn)品，于2005年形成完整的TMA流量監(jiān)控體系

3、，在固網(wǎng)運營商集團、省公司和城域網(wǎng)出口規(guī)模商用,2007年開始研發(fā)面向3G的移動互聯(lián)網(wǎng)流量監(jiān)控解決方案，目前已具備對GPRS/TD、WCDMA、CDMA/EVDO主流3G制式網(wǎng)絡和2G網(wǎng)絡的監(jiān)控能力，獲得用戶廣泛認可,研發(fā)40G高速接口設備、支持IPv6，完善內(nèi)容計費、不良信息封堵、質(zhì)量監(jiān)測、網(wǎng)站備案等功能,寬帶互聯(lián)網(wǎng) 流量監(jiān)控,移動互聯(lián)網(wǎng) 流量監(jiān)控,持續(xù)發(fā)展,傳輸與交換 ATM&DXC,3,寬廣電信公司產(chǎn)品定位,2003年完成國內(nèi)第一臺網(wǎng)絡流量分析設備，2004年自主研發(fā)了國內(nèi)第一臺流量控制設備，2005和2006年相繼在業(yè)界率先推出2.5G和10G高速接口線速處理設備，在業(yè)務識別和流量控制

4、等方面居領先地位 2005年推出全系列TMA流量監(jiān)控綜合解決方案 產(chǎn)品包括：xFlow流量分析系統(tǒng)、二層流量監(jiān)測系統(tǒng)、網(wǎng)絡流量監(jiān)測系統(tǒng)，帶寬管理分配系統(tǒng)、用戶行為分析系統(tǒng)、應用監(jiān)控系統(tǒng)（VoIP、P2P、私接、一拖N、Web推送等）、網(wǎng)站質(zhì)量監(jiān)測系統(tǒng)、IDC網(wǎng)站自服務系統(tǒng)、ICSA安全審計系統(tǒng) 提供符合運營商要求基于硬件平臺的高速網(wǎng)絡監(jiān)控整體解決方案 幫助電信運營商實現(xiàn)：用戶可識別、業(yè)務可管控、行為可歸納 TMA流量監(jiān)控系統(tǒng)可部署于電信骨干網(wǎng)、城域網(wǎng)、移動核心數(shù)據(jù)網(wǎng)等高速鏈路，針對電信運營商網(wǎng)絡大量用戶和復雜業(yè)務環(huán)境，對因特網(wǎng)中的流量進行全面采集和分析，為網(wǎng)絡運營和管理者提供全方位的監(jiān)控分析平

5、臺，為客戶提供高效可靠的數(shù)據(jù)業(yè)務,4,TMA主要商用案例,中國移動集團網(wǎng)間、國際出口鏈路 中國電信集團網(wǎng)間、國際出口鏈路 中國聯(lián)通集團國際出口鏈路 浙江移動 湖南移動 安徽移動 海南移動 江西移動 陜西電信 江蘇電信 海南電信,上海電信 廣州電信 深圳電信 甘肅聯(lián)通 湖南聯(lián)通 河北聯(lián)通 國務院辦公廳 移動通信集團研究院 移動集團OA系統(tǒng)安全加固 IDC ,目前現(xiàn)網(wǎng)監(jiān)控鏈路帶寬超過7000Gbps,5,目錄,1、流量監(jiān)控需求,2、產(chǎn)品技術路線,3、TMA系統(tǒng)架構,4、TMA系統(tǒng)功能,5、DPI技術發(fā)展,6,3G時代移動數(shù)據(jù)業(yè)務面臨的挑戰(zhàn),7,3G時代移動數(shù)據(jù)業(yè)務面臨的挑戰(zhàn),寬帶網(wǎng)已經(jīng)逐步成為社會

6、生活的重要組成部分，不僅已經(jīng)成為一種基本通信工具，也已經(jīng)成為獲取信息和從事各種商務活動的平臺 寬帶網(wǎng)上的信息和業(yè)務提供者和客戶構成各種消費關系 網(wǎng)絡業(yè)務和用戶行為無法準確識別，無法充分了解，無法積累歷史資料；網(wǎng)絡業(yè)務的使用無法監(jiān)控，無法區(qū)分業(yè)務等級，無法提供高等級服務 流量監(jiān)測手段使運營商可以看到管道中的任何內(nèi)容，可以善加利用,8,從”管道工”到“服務商”,Monitoring and Monetizing through DPI!,9,流量監(jiān)控的市場驅動,大量的P2P等侵蝕型業(yè)務和部分損害型應用消耗了50%以上的帶寬資源，雖然用戶數(shù)量穩(wěn)步增加，但帶寬消耗的增長與收入不成比例，運營商無法從用戶

7、的增長中獲得最大化的利益，反而要投入更多的資金進行網(wǎng)絡的擴容以應對快速增長的用戶 隨著國內(nèi)電信市場競爭的日趨激烈，各大運營商的經(jīng)營模式逐漸從“技術驅動”向“市場驅動”、“客戶驅動”轉化。面對客戶的多樣化、層次化、個性化需求，以前的大眾化營銷已失去優(yōu)勢?；诳蛻粜畔?、客戶價值和行為，深入數(shù)據(jù)分析的精確服務與營銷需求日益顯現(xiàn)潛力，迫切要求運營商能夠實現(xiàn)精確服務、精確營銷，提高服務質(zhì)量，增強現(xiàn)有客戶的忠誠度、發(fā)掘新客戶增加收入。 流量分析控制系統(tǒng)是移動數(shù)據(jù)網(wǎng)絡運營維護的重要支撐系統(tǒng)，在現(xiàn)有的移動數(shù)據(jù)網(wǎng)絡中引入DPI集中監(jiān)控功能將在助力移動數(shù)據(jù)業(yè)務發(fā)展中發(fā)揮重大作用，具有重要現(xiàn)實價值,10,流量監(jiān)控需

8、求分析,識別、評估、監(jiān)管、控制業(yè)務對網(wǎng)絡的有效運行和安全運營具有重要意義 使運營商深入了解數(shù)據(jù)管道中的內(nèi)容，善加利用實現(xiàn)增值 有效識別業(yè)務和用戶，進行流量分析統(tǒng)計和行為分析 調(diào)整目前資源占用的不合理狀態(tài)，限制疏導垃圾和低價值流量 為重要商業(yè)客戶提供高品質(zhì)服務，向普通客戶提供增值服務 建立用戶行為數(shù)據(jù)庫，充分了解移動用戶的上網(wǎng)行為和習慣 根據(jù)用戶行為進行針對性營銷和開發(fā)新業(yè)務引導消費 在業(yè)務和流量監(jiān)測和控制的基礎上發(fā)掘潛在的服務包裝 目標：在現(xiàn)有的寬帶IP網(wǎng)基礎結構上增加一個業(yè)務監(jiān)控的層面 構建靈活的、可管控、融合的全IP網(wǎng)絡的必要手段流量分析控制系統(tǒng),11,移動互聯(lián)網(wǎng)監(jiān)控目標,3G業(yè)務將逐漸成

9、為主流，移動數(shù)據(jù)業(yè)務將逐漸成為中國移動的主要收入來源，建設集中化管理的中國移動互聯(lián)網(wǎng)流量分析控制系統(tǒng)，對促進移動數(shù)據(jù)業(yè)務的發(fā)展將起重大的關鍵性作用 建設一個集中和開放的移動互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務采集、分析、控制和應用系統(tǒng)，將全網(wǎng)數(shù)據(jù)業(yè)務監(jiān)控功能統(tǒng)一到這個平臺 通過流量分析控制系統(tǒng)能夠為網(wǎng)絡、業(yè)務、用戶提供運維、運營和服務手段。保障網(wǎng)絡高效安全輕載運行，提供高質(zhì)量可靠的寬帶業(yè)務，為客戶提供滿意多樣化的服務 集團對移動數(shù)據(jù)業(yè)務缺乏系統(tǒng)、整體和實時的掌控，急需加強對GPRS、TD網(wǎng)絡流量和業(yè)務的全局分析和控制能力，改變各省“分而治之”的現(xiàn)狀,12,移動互聯(lián)網(wǎng)監(jiān)控目標,以DPI設備為核心的網(wǎng)絡監(jiān)控解決方案，圍

10、繞著“用戶可識別、業(yè)務可區(qū)分、用戶行為可管控”的核心，提供深入全面的分析能力和靈活有效的管控能力 最基本和核心的功能是監(jiān)控鏈路、網(wǎng)元、業(yè)務和用戶的流量和質(zhì)量狀況，保障移動互聯(lián)網(wǎng)高效和輕載運行 提供安全保障、異常告警、熱點分析、用戶行為分析、精細化運營、增值業(yè)務等功能，并可為新業(yè)務提供數(shù)據(jù)支持和網(wǎng)絡支撐 建立一體化的集中管理系統(tǒng)進行全網(wǎng)的業(yè)務管理控制，通過監(jiān)控形成基準數(shù)據(jù)，幫助網(wǎng)管和市場人員了解網(wǎng)絡的流量和業(yè)務模型，精確分析網(wǎng)絡使用狀況，提升整體網(wǎng)絡的質(zhì)量及效能,13,目錄,1、流量監(jiān)控需求,2、產(chǎn)品技術路線,3、TMA系統(tǒng)架構,4、TMA系統(tǒng)功能,5、DPI技術發(fā)展,14,監(jiān)控產(chǎn)品技術難點,高

11、速：骨干鏈路速率2.5G/10G，要求線速流量檢測、業(yè)務識別、用戶識別、報文過濾、連接緩存，流量和用戶數(shù)目大 復雜：骨干和出口鏈路的網(wǎng)絡、用戶、業(yè)務、協(xié)議組成都非常復雜，需要去蕪存精，化繁為簡 可變：業(yè)務和應用紛繁復雜，新的軟件和服務日新月異，分析需求和控制要求也不斷變化，要求架構穩(wěn)定，部署靈活，功能模塊可靈活擴展和升級 可靠：提供電信級解決方案的高可靠性產(chǎn)品,15,關鍵技術路線,串接 vs 并接 單機 vs 分流 硬件 vs 軟件 DPI vs DFI 雙向 vs 單向 逐包 vs 采樣 漏桶流控 vs 偽造報文 專用設備 vs 附加功能,16,串接 vs 并接,1、串接方式,2、旁路方式,

12、3、掛接方式,監(jiān)控系統(tǒng)采用串接或并接兩種技術路線，寬廣公司采用串接方式 其他國內(nèi)廠家大都采用并接方式，旁路或掛接。 國外廠家?guī)缀跛械膹S家都采用串接方式 串接方式一般有旁路保護設備，故障時切換到直通 串接控制方式靈活、控制有效而精確；并接方式實現(xiàn)簡單，部署風險小，但控制效果較差 掛接是并接方式的一種,17,串接 vs 并接,控制方式 串接方式：直接對業(yè)務或用戶流量實施各種控制（禁止、限制和整形） 旁路方式：通過中斷或干擾用戶正常業(yè)務連接達到限制的目的 控制能力 串接方式：可以實施全面的流量控制，能夠對所有可識別和不可識別的業(yè)務流量實施流控 旁路方式：能夠控制的業(yè)務種類和支持的控制方式都很有限，

13、只能對TCP業(yè)務進行流量控制，對UDP業(yè)務難以實施有效的控制，擴展性差 控制粒度 串接方式：控制精度和粒度可滿足精細化運營要求 旁路方式：無法滿足精確控制需求 法律糾紛 串接方式：模擬網(wǎng)絡正常行為，是非侵入式控制，不會有法律風險 旁路方式：控制方式類似于黑客行為，面臨法律風險和用戶投訴,18,串接 vs 并接,加密流量控制 串接方式：通過DPIDFI特征識別出業(yè)務，針對連接直接實施控制 旁路方式：難以控制大多數(shù)經(jīng)過加密的業(yè)務，對于加密的連接無法實施阻斷或流量控制，尤其是UDP的業(yè)務 流量工程原則 串接方式：遵循流量工程原則，部署的DPI系統(tǒng)實際成為核心網(wǎng)絡進行流量工程的邊界控制設備 旁路方式：

14、無法實現(xiàn)此功能 總結 較之旁路方式，串接方式在流量控制方面有明顯的優(yōu)勢，已經(jīng)成為國內(nèi)外流量控制領域的共識。設計在高速環(huán)境和復雜流量下，能夠線速處理、簡單直接的業(yè)務控制技術是目前研究和產(chǎn)品的熱點 基于特征識別的串接控制設備比單純的帶寬限制設備更富價值,19,單機 vs 分流,10G 或 2.5G,GE,GE,GE,GE,普通PC服務器,普通PC服務器,10G 或 2.5G,TMA單臺設備即可完成10G鏈路雙向監(jiān)測和控制 不需要增加轉換設備或分流路由器拆分成多個GE 監(jiān)控10G鏈路只需2U機架空間、功耗小、易于維護單鏈路性價比遠大于分流 轉換和分流方式只適合于分析，分路容易合路難，無法直接控制業(yè)務

15、,TMA硬件設備,20,硬件 vs 軟件,硬件處理方式（ASIC/FPGA）,軟件處理方式 （NP/CPU）,Data A,Data B,Data C,條件 A,條件 B,條件 C,原始數(shù)據(jù)報文,數(shù)據(jù)分析流程,業(yè)務C,業(yè)務B,業(yè)務A,數(shù)據(jù)分析結果,Data A,Data B,Data C,業(yè)務C,業(yè)務B,業(yè)務A,效率,性能,條件 A,條件 B,條件 C,操作系統(tǒng),軟件指令,軟件指令,21,硬件 vs 軟件,硬件架構,軟件CPU,硬件處理能力不依賴于用戶、業(yè)務和策略的復雜度在滿配置方式下不影響處理性能,硬件相關：FPGA、總線、頻率、定時、高速、流水線、并行、寄存器、存儲器、邏輯、納秒、重復、固

16、化,軟件相關：CPU、內(nèi)存、線程、同步、算法、緩存、串行、指針、數(shù)組、鏈表、變量、尋址、靈活、插件、升級,10G線速轉發(fā)在典型報文長度分布滿速率條件下轉發(fā)時延平均值14us最大值18us,22,硬件 vs 軟件,硬件結構 高速信息被送到大規(guī)模高速集成電路后，被立即復制為若干個 所有需要的分析處理在硬件中多路并行分布地進行，時延確定 硬件電路以最基本的處理單元為單位，按照預先設定的程序組合成各種專門的處理功能，以最為經(jīng)濟有效的方式完成處理 可以達到純軟件方式不能企及的效率和性能 提供無損透傳、鏡像等基于CPU體系無法實現(xiàn)的功能 硬件主要由物理接口、報文過濾、特征提取、流量累積、連接緩存、策略控制

17、等模塊組成。內(nèi)置高速數(shù)字芯片能夠對雙向流量進行線速1:1報文采集，逐報文進行協(xié)議特征識別和流量行為分析,23,通過不同業(yè)務流的流量統(tǒng)計規(guī)律和連接規(guī)律進行業(yè)務識別，例如連接速率、流持續(xù)時間、報文長度分布等,- 24 -,DPIDeep Packet Inspection,通過深度分析報文凈荷中的特征指紋Signature進行業(yè)務識別，是目前識別協(xié)議和應用最重要的技術手段,DFIDeep Flow Inspection,DPI vs DFI,24,DPI vs DFI,DPIDeep Packet Inspection 基于關鍵字、應用層特征、行為模式及啟發(fā)式進行分類 優(yōu)點：實施性好、識別準確率高

18、、可區(qū)分到具體應用 缺點：檢測凈荷、實現(xiàn)復雜、性能要求高、涉及隱私 DFIDeep Flow Inspection 基于五元組流統(tǒng)計特征和連接行為進行分類 優(yōu)點：速度較快、不依賴具體應用、可識別加密協(xié)議 缺點：識別精確比DPI差、受網(wǎng)絡環(huán)境影響、存在誤判 現(xiàn)狀 國內(nèi)外很多運營商已大規(guī)模應用DPI技術進行監(jiān)控 近年來未來25年國內(nèi)運營商正全面部署DPI監(jiān)測與業(yè)務控制系統(tǒng)，實現(xiàn)真正意義上的差異化服務 預計510年后DPI將與國家信息安全監(jiān)管政策結合,25,雙向 vs 單向,串接系統(tǒng)天然提供雙向流量監(jiān)控能力，不需額外增加系統(tǒng)設備和投資，而并接系統(tǒng)為節(jié)省硬件投資往往只實現(xiàn)單向監(jiān)測 單向監(jiān)控只能提供部分

19、信令信息，無法獲得全面的流量數(shù)據(jù)尤其是基于統(tǒng)計、計費等應用，雙向監(jiān)控能采集到更多用戶行為信息 雙向流量監(jiān)控可以識別請求和響應雙向協(xié)議，識別和控制交互式應用更準確。單向監(jiān)控無法獲取業(yè)務的內(nèi)容和質(zhì)量 DFI流量識別算法在雙向監(jiān)控情況下比單向更加準確和有效 雙向監(jiān)控可以進行單方向的控制，或對于出入境流量采用不同的限制策略，流量控制手段更豐富，策略能力更強大,26,相同的令牌漏桶流控機制針對不同業(yè)務的流控效果,周期注入令牌,網(wǎng)絡A,網(wǎng)絡B,D,S,DPI監(jiān)控,漏桶流控 vs 偽造報文,交互式短數(shù)據(jù)流突發(fā)業(yè)務 例: Web、Email、IM,非交互式下載型持續(xù)業(yè)務例: P2P、FTP、Stream,漏桶

20、容量,漏桶容量,周期注入令牌,27,漏桶流控 vs 偽造報文,P2P用戶A,P2P用戶B,業(yè)務服務器,用戶報文,鏈路報文,偽造報文,截獲報文,偽造用戶干擾報文類似黑客行為，容易被發(fā)現(xiàn)遭投訴且存在法律風險 向網(wǎng)絡注入非法報文導致異常流量增加，也不符合安全網(wǎng)絡運行的要求 對于DDoS和病毒流量無能為力，反而增加負擔,28,專用設備 vs 附加功能,流量監(jiān)控系統(tǒng)是專門針對電信和移動運營商大量用戶和復雜業(yè)務環(huán)境設計的監(jiān)控分析平臺能夠提供足夠的分析處理能力，產(chǎn)品大多采用高速處理性能的芯片或網(wǎng)絡處理器，完成GE、2.5G、10G等高速鏈路的雙向全業(yè)務監(jiān)控能力 而傳統(tǒng)的交換機和路由器其主要功能是完成交換、路

21、由，根據(jù)包頭的二三層地址信息實現(xiàn)快速的決策和轉發(fā)；固網(wǎng)的BRAS、移動核心網(wǎng)的SGSN和GGSN其主要功能負責用戶的接入、認證、計費和管理，完成信令處理和數(shù)據(jù)傳輸，核心是保證業(yè)務連接的可靠建立和數(shù)據(jù)的高速傳輸 從業(yè)務識別、業(yè)務分析、流量控制、用戶行為分析等功能而言，路由器、BRAS、SGSN、GGSN等設備從某種程度上也可以具備部分或類似功能，但由于系統(tǒng)設計、資源限制、設備造價等角度考慮，它們并不適合進行專門的流量監(jiān)控和用戶分析,29,目錄,1、流量監(jiān)控需求,2、產(chǎn)品技術路線,3、TMA系統(tǒng)架構,4、TMA系統(tǒng)功能,5、DPI技術發(fā)展,30,TMA系統(tǒng)分層模型,31,TMA系統(tǒng)體系結構,硬件架

22、構探針設備監(jiān)控應用軟件業(yè)務平臺 統(tǒng)一硬件平臺和軟件結構 探針適應高速鏈路過濾和轉發(fā) 探針內(nèi)嵌軟件的前置分析處理 前端采集器多設備關聯(lián)和管理 基于數(shù)據(jù)庫的存儲分析和挖掘 統(tǒng)一的開放性的多業(yè)務平臺 基于B/S架構的管理和業(yè)務流程,高速數(shù)字芯片,網(wǎng)絡處理器,前端采集器,數(shù)據(jù)庫存儲分析,中心服務器,中心服務器,探針設備,業(yè)務平臺,32,TMA設備功能模型,識別R,統(tǒng)計S,過濾F,流控C,策略P,鏡像分發(fā),管理M,丟棄！,轉發(fā),33,TMA設備功能特性,高速線路轉發(fā)引擎，高性能低時延 基于硬件的特征匹配和連接累積 針對控制和信令進行過濾分離提供后分析 針對數(shù)據(jù)和傳輸進行跟蹤和統(tǒng)計提供流量 提供強大的流過

23、濾鏡像能力進行專項分析 配合前置內(nèi)嵌軟件進行協(xié)同分析和互操作 結構統(tǒng)一，算法和模塊可共用，按需組合 邏輯微碼遠程升級，支持不同產(chǎn)品的在線轉換,34,服務器群,服務器群,前置服務器功能模型,流記錄,Radius >P.,數(shù)據(jù)分發(fā),數(shù)據(jù)庫,IP報文,管理&控制,用戶分析,xDR文件,業(yè)務解析,業(yè)務分析,行為喜好,TMA設備,專項分析,安全檢測,35,區(qū)域1,業(yè)務服務器功能模型,分析系統(tǒng),業(yè)務分析,報表系統(tǒng),趨勢分析,熱點分析,用戶分析,在線分析,離線分析,接口表,用戶表,中心資源管理庫,資源表,WebWAP,彩信飛信,用戶表,統(tǒng)計表,策略表,專項分析,數(shù)據(jù)挖掘,業(yè)務系統(tǒng)1,業(yè)務系統(tǒng)2,區(qū)域2,

24、用戶表,統(tǒng)計表,區(qū)域分析,匯總報表,TCP/IP,數(shù)據(jù)庫服務器群,后臺業(yè)務服務器群,報表輸出,36,37,TMA系統(tǒng)功能組成,數(shù)據(jù)庫服務器,鏈路#1,前置采集服務器,探針設備(分析),PDP上下線消息,探針設備(控制),業(yè)務監(jiān)控服務器,前置采集服務器,探針設備(分析),探針設備(控制),前置采集服務器,探針設備(分析),探針設備(控制),手機用戶信息,業(yè)務分析服務器,行為分析服務器,增值業(yè)務服務器,網(wǎng)頁推送服務器,策略管理服務器,Radius/GTP采集,鏈路#2,鏈路#N,信息過濾匯聚,Web服務器,信息過濾匯聚,信息過濾匯聚,37,38,系統(tǒng)架構的靈活性,兩級服務器架構提供了高效處理能力

25、前置采集服務器對經(jīng)過硬件探針匯聚、過濾后的鏈路用戶、業(yè)務流量信息進行預處理 后臺服務器對前置采集服務器上報信息進行集中處理，大大減少了服務器的數(shù)量 系統(tǒng)架構靈活，擴展性強 可以通過在前置采集機上安裝不同功能模塊、在后臺部署對應中心管理服務器的方式靈活增加功能 支持增加前置采集服務器、后臺服務器數(shù)量方式實現(xiàn)系統(tǒng)處理能力的擴充,38,系統(tǒng)特點：單臺設備支持10G鏈路雙向線速監(jiān)控,自主研發(fā)的大規(guī)模高速數(shù)字芯片專門針對業(yè)務監(jiān)控需求 基于硬件令牌漏桶的管控策略支持多維高精度流量管控 國內(nèi)唯一單臺設備即可完成10G鏈路的雙向監(jiān)測和控制 10G/2.5Gbps的線速識別、轉發(fā)和控制，轉發(fā)性能20Gbps 不

26、需要增加接口轉換設備拆分成多個GE，監(jiān)控2.5G/10G鏈路只需2U機架空間，功耗小于150W。占用空間最小，整體耗電量最低，安裝和維護最簡單,39,系統(tǒng)特點：硬件實現(xiàn)DPI+DFI技術,DPI：通過關鍵字、協(xié)議指紋等特征實現(xiàn)對業(yè)務的精確識別 DFI：通過統(tǒng)計連接上的流量特征，比如流量速率和時長、平均報文長度和變化規(guī)律、序列化累積特征等信息，實現(xiàn)對業(yè)務的識別，能識別采用加密協(xié)議的業(yè)務 高速線路轉發(fā)引擎，基于硬件的特征匹配和連接累積，高性能低時延。逐報文進行特征分析和指紋識別，逐流統(tǒng)計流量特征 采用DPI+DFI結合的方式，高效準確識別出業(yè)務應用，既能識別加密業(yè)務，又能有效減小單純DFI算法的誤

27、判率,40,系統(tǒng)特點：硬件多路并行流水線處理,硬件處理方式（ASIC/FPGA）,Data A,Data B,Data C,業(yè)務C,業(yè)務B,業(yè)務A,效率,性能,條件 A,條件 B,條件 C,線速報文識別、控制、轉發(fā),報文轉發(fā)時延小于50微秒,滿策略、滿流量時處理性能和轉發(fā)時延不受影響,41,系統(tǒng)特點：硬件令牌桶和多維流量管控,既支持雙向流量也支持單向控制 針對出入境流量可采用不同的限制劣化策略 過濾分離控制和信令進行深入分析 提供強大的流過濾鏡像能力進行專項分析 支持最多7個維度的流量管控 根據(jù)客戶和業(yè)務區(qū)分QoS等級，支持TOS/DSCP重標識，與其他網(wǎng)絡設備配合實施流量工程 系統(tǒng)架構靈活擴

28、展性強，支持設備邏輯微碼和業(yè)務特征庫在線遠程升級,42,標準接口,定制接口,高度開放接口,OptiSwap監(jiān)測口 智能過濾鏡像端口 鏡像指定用戶報文 鏡像指定業(yè)務報文 組合條件策略鏡像,SNMP、SysLog ODBC、JDBC SOAP、XML 報表接口 ,原始報文,流記錄上報,連接統(tǒng)計記錄 DPI過濾流記錄 經(jīng)分系統(tǒng)或VGOP 系統(tǒng)數(shù)據(jù)源 ,計費系統(tǒng)接口 CRM系統(tǒng)接口 網(wǎng)管告警接口 開放API接口 ,數(shù)據(jù)接口作為TMA系統(tǒng)的一個重要的對外通道，在現(xiàn)網(wǎng)環(huán)境中長期持續(xù)的為運營商各部門提供著數(shù)據(jù)支撐，詳盡的數(shù)據(jù)報表為運營商自有系統(tǒng)和第三方系統(tǒng)的后分析提供了堅實的基礎。,43,目錄,1、流量監(jiān)控

29、需求,2、產(chǎn)品技術路線,3、TMA系統(tǒng)架構,4、TMA系統(tǒng)功能,5、DPI技術發(fā)展,44,系統(tǒng)部署方式,前端TMA設備線速識別、轉發(fā)和控制，后端采用商用服務器 支持GE、2.5G POS、10G POS和10GE鏈路，轉發(fā)性能20Gbps,10G DPI設備，2U高度,GE/2.5G DPI設備，1U,旁路設備，直通和控制方式,45,移動數(shù)據(jù)核心網(wǎng),46,IP數(shù)據(jù)網(wǎng)業(yè)務承載與質(zhì)量分析目標 支撐市場業(yè)務發(fā)展、研究業(yè)務組成與用戶行為特征、提高客戶感知和質(zhì)量 技術部門 業(yè)務承載質(zhì)量如何？ 質(zhì)量問題出現(xiàn)在哪？ 業(yè)務部門 各市場領域的業(yè)務發(fā)展情況？ 業(yè)務推廣的效果如何？ 用戶對業(yè)務的喜好如何？ 決策部門

30、 全網(wǎng)數(shù)據(jù)業(yè)務資源占用情況如何？ 全網(wǎng)業(yè)務分布和發(fā)展情況如何？ 用戶群體對業(yè)務的使用和發(fā)展趨勢如何？,監(jiān)控解決的問題,47,業(yè)務可區(qū)分,綜合DPI和DFI算法識別業(yè)務,及時跟蹤和識別熱門業(yè)務,自定義業(yè)務特征識別自有業(yè)務,業(yè)務特征庫支持遠程更新,支持隧道協(xié)議和各類封裝業(yè)務,48,業(yè)務可區(qū)分支持的協(xié)議,主流IP協(xié)議：HTTP、FTP、SMTP、POP3、Telnet、DNS、Radius等 P2P協(xié)議：BitTorrent、eMule、迅雷、Poco、DC、Gnutella、Kugoo、Vagaa、FlastGet等 流媒體：RTSP、MMS、PPLive、PPStream、QQLive、UUSe

31、e、沸點、QVOD、SinaTV等 VoIP：H.323、SIP、MGCP、H.248、Skype、私有協(xié)議等 即時通信：QQ、MSN、Yahoo、Skype等 移動業(yè)務：WAP、彩信、飛信、Socket等 可根據(jù)移動提供的特征識別自有業(yè)務,49,49,用戶可識別,50,位置可知曉,終端的可移動性是與固網(wǎng)的基本區(qū)別 結合用戶位置信息能增加分析和控制的維度 Gn接口上的GTP信令可提取SGSN、LAC和CI信息,51,流量可統(tǒng)計,系統(tǒng)可以提供各種靈活的流量統(tǒng)計分析手段 支持分布采集，集中分析，關聯(lián)各種信息 支持定制化數(shù)據(jù)報表,多種文件輸出格式,歷史流量趨勢圖,流量流向分布圖,業(yè)務組分分布比例分析

32、,流量TopN排名,52,提供全業(yè)務流量控制能力 支持設置絕對和相對閾值 支持對出入方向獨立控制 支持策略的交叉和包含關系 支持黑白名單和時變策略 支持TOS/DSCP標記和重標記 支持多維策略同時生效 各類策略獨立流控，結果進行 綜合決策，“一票通過”或 “一票否決”,業(yè)務,用戶,位置,帶寬可管控,53,靈活動態(tài)的管控,比特帶寬，原始傳輸?shù)臄?shù)據(jù)帶寬，按比特或字節(jié)計算 業(yè)務帶寬，內(nèi)容級別的數(shù)據(jù)流量，用戶可感知業(yè)務質(zhì)量 策略帶寬，根據(jù)網(wǎng)絡和用戶規(guī)模以及業(yè)務需求制定策略分配帶寬 動態(tài)帶寬，根據(jù)用戶級別或屬性動態(tài)調(diào)整帶寬需求，按需臨時申請 提供靈活的用戶策略、網(wǎng)絡策略和時變策略 按用戶、應用、鏈路、

33、時段組合設置策略 提供基于應用分類的速率限制和動態(tài)策略 按網(wǎng)絡擁塞程度和時間區(qū)段動態(tài)調(diào)整帶寬 逐用戶進行業(yè)務應用的定制和帶寬套餐,54,行為可感知,2G上網(wǎng)卡日流量趨勢,3G上網(wǎng)卡日流量趨勢,網(wǎng)站訪問量排名,搜索關鍵字排名,用戶流量模型對比分析,55,流量流向分析,網(wǎng)外流向分析,以BGP路由表為基礎，按AS域為對象，分析骨干網(wǎng)進出流量去向,提供以指定國家、省份、運營商為目的 的流量業(yè)務分布,提供各省網(wǎng)、城域網(wǎng)在出口鏈路上的各種業(yè)務、流向流量分布情況,為調(diào)整Peer互聯(lián)鏈路，合理分配資源提供科學依據(jù),56,用戶行為數(shù)據(jù)中心,以數(shù)據(jù)用戶上網(wǎng)行為數(shù)據(jù)為中心 直接反映數(shù)據(jù)用戶上網(wǎng)消費行為特征 形成具有

34、高價值的分析結果和業(yè)務模式 統(tǒng)合數(shù)據(jù)采集流程的建立 數(shù)據(jù)用戶信息多種多樣，涉及的系統(tǒng)眾多且各不相同 上網(wǎng)行為數(shù)據(jù)與其他用戶信息綜合能夠產(chǎn)生更好的效果 從不同系統(tǒng)采集數(shù)據(jù)的模式和流程，包括： DPI和AAA系統(tǒng)：用戶上下線、時長、使用量和上網(wǎng)喜好數(shù)據(jù) BOSS和CRM系統(tǒng)：用戶屬性數(shù)據(jù)和業(yè)務套餐 各業(yè)務系統(tǒng)的話單信息：語音、短信、彩信等 其他信息：用戶歸屬信、移動終端信息、客服號投訴和咨詢紀錄、數(shù)據(jù)業(yè)務推介、回訪的反饋記錄,57,TMA系統(tǒng)主要功能,業(yè)務識別 用戶和群組 統(tǒng)計分析 流向分析 行為分析 流量管控 業(yè)務質(zhì)量 信息推送 安全防御,58,網(wǎng)絡業(yè)務識別,網(wǎng)絡業(yè)務的準確識別是各級網(wǎng)絡流量監(jiān)控

35、的基礎。 業(yè)務識別的難度 對網(wǎng)絡應用需求的不斷擴大帶動了網(wǎng)絡業(yè)務的發(fā)展，目前的網(wǎng)絡業(yè)務種類繁多。 因特網(wǎng)的自由發(fā)展的特點也使得網(wǎng)絡業(yè)務的設計和應用非常自由，增加了業(yè)務多元化程度。 網(wǎng)絡業(yè)務軟件發(fā)展和變化速度很快，不同版本軟件可能帶來業(yè)務特性的不同。 為了能夠準確地進行業(yè)務識別，必須根據(jù)業(yè)務特點采用多種方式。 業(yè)務和應用軟件的不斷變化，要求業(yè)務識別的實現(xiàn)也需要及時進行更新。,59,DPI業(yè)務識別,特征字識別 并非只匹配識別內(nèi)容凈荷的前幾個字節(jié)或固定偏移位置，而是對整個報文的凈荷進行滑動匹配一個或多個協(xié)議關鍵字，在10Gbps線速下逐報文匹配。以BT為例，HandShake特征字為.BitTorr

36、ent Protocol“,60,DPI業(yè)務識別,協(xié)議指紋 報文的應用層格式符合特定的約束條件，以eMule為例包括Marker、Message Type、Message Length等。大多數(shù)P2P協(xié)議的應用層封裝中都呈現(xiàn)出類似TLV的格式，而且有些協(xié)議在內(nèi)容凈荷的頭和尾部還有一些特殊的字符，例如“|”，“$”等；QQ的報文結構是固定的，可以根據(jù)相應字節(jié)表示的含義去判斷該報文是否符合QQ的結構,61,DPI業(yè)務識別,協(xié)議狀態(tài)機 P2P的客戶端在Peer和Peer的交互過程中大多采用特有的“信令”過程，以BT為例，如Handshake, Bitfield, Unchoke, Intereste

37、d, Request, Piece等。即使在數(shù)據(jù)傳輸階段也有類似的握手報文，例如Peer申請下載哪個Piece，通告其他Peer自己有哪些Piece等，通過這些特殊報文的識別進行特征增強,62,DPI業(yè)務識別,信令消息解析 某些業(yè)務在通信過程中，會在報文給出重要的信息，例如P2P通信中會給出其它節(jié)點的IP地址及端口信息，F(xiàn)TP被動模式會給出服務器即將使用的端口信息，捕獲并分析這些報文中的信息可以幫助我們相應的業(yè)務,63,DFI業(yè)務識別,DFI對每個連接的報文速率和比特速率、流持續(xù)時間、報文長度分布規(guī)律等進行統(tǒng)計，根據(jù)多維度的統(tǒng)計規(guī)律，可以大致判斷出一些業(yè)務 加密和私有業(yè)務的報文內(nèi)容中沒有DPI

38、特征，DFI算法是識別加密業(yè)務有效方法，是對DPI無效時的有效補充,64,綜合DPI和DFI的業(yè)務識別,TMA綜合DPI/DFI，協(xié)議指紋、通信模式和流量特征進行識別 基于協(xié)議指紋、握手信令、狀態(tài)機等 基于流量統(tǒng)計特性的分析 基于時間序列累積特性的分析 識別流程是一系列遞進疊代的分析過程，通過一般疑似、重點分析、高度疑似、排除或確認自學習分步驟的方法進行多維度分析和篩選 支持P2P下載、P2P流媒體、VoIP、即時通信等各類業(yè)務，大類業(yè)務下細分為小類業(yè)務，如P2P下載業(yè)務下區(qū)分BT、eMule、迅雷等 持續(xù)跟蹤各種主流P2P應用和其他應用的發(fā)展和演進，形成協(xié)議分析識別的標準流程，可輕松應對新出

39、現(xiàn)的P2P業(yè)務,65,TMA系統(tǒng)功能展示,66,Gn/Gi鏈路流量和利用率分析,各類業(yè)務流量趨勢預測,cmnet和cmwap流量比例分析,分運營商分省流向分析,用戶流量排名和行為分析,活躍用戶數(shù)量、流量和業(yè)務,移動自營業(yè)務和網(wǎng)站分析,指定APN的業(yè)務和用戶分析,TMA系統(tǒng)功能展示,67,熱點LAC和小區(qū)的流量排名分析,熱點區(qū)域的用戶排名分析,TMA系統(tǒng)功能展示,68,TMA系統(tǒng)性能指標,光旁路保護設備OptiSwap切換時延小于5ms 支持2.5G和10G雙向線速轉發(fā)和業(yè)務管控能力 單設備在2.5G和10G滿速率條件下實測72小時丟包率為0 單設備在滿速率和配置最大策略數(shù)的條件下轉發(fā)時延小于5

40、0us 省網(wǎng)和運營商典型鏈路識別的業(yè)務流量大于總流量的80% 已識別業(yè)務在滿速率條件下的識別率大于99% 單設備最大支持4K個用戶分群和16K個管控策略 單個流管控策略流控精度小于1Kbps 聚合流管控策略流控精度小于10Kbps 管控策略下發(fā)到生效時延小于1秒,69,CMNET網(wǎng)絡主要應用,中國移動互聯(lián)網(wǎng)流量分析控制系統(tǒng)實現(xiàn)對鏈路、網(wǎng)元、終端、用戶和服務提供商的全面監(jiān)控，綜合提供擁塞發(fā)現(xiàn)和流控、網(wǎng)元安全防護、業(yè)務熱點發(fā)現(xiàn)、用戶喜好分析、服務提供商管理、用戶網(wǎng)絡交互功能。服務于網(wǎng)絡運維，并支撐業(yè)務拓展 中國移動互聯(lián)網(wǎng)流量分析控制系統(tǒng)的部署將覆蓋CMNET國際出口、國內(nèi)運營商互連出口、移動各省網(wǎng)

41、出口；移動各省省間互連接口和與其他運營商直連鏈路；IDC出口鏈路；以及核心網(wǎng)分組域Gi接口和Gn接口鏈路。,70,網(wǎng)站流量統(tǒng)計,在CMNET骨干互聯(lián)出口和各省第三方互聯(lián)出口可以觀測到中國移動內(nèi)部用所有對外部的訪問流量，對于掌握和評估中國移動整體及移動各省產(chǎn)生的互聯(lián)流量流向具有重要意義。 在出口層面，移動用戶訪問外部流量中最主要的是P2P類流量和網(wǎng)站訪問流量。對于P2P流量一般采用管控和疏導處理，而對于網(wǎng)站訪問則可能進行進一步的優(yōu)化。 分析移動用戶訪問的主要外網(wǎng)熱點網(wǎng)站資源分布情況，為合理規(guī)劃引入網(wǎng)絡資源，降低網(wǎng)間依賴度提供重要的決策依據(jù)。,71,網(wǎng)站的定義,網(wǎng)站（英文：Website）是指在互

42、聯(lián)網(wǎng)上，根據(jù)一定的規(guī)則，使用HTML等工具制作的用于展示特定內(nèi)容的相關網(wǎng)頁的集合。簡單地說，網(wǎng)站是一種通信工具，就像布告欄一樣，人們可以通過網(wǎng)站來發(fā)布自己想要公開的信息，或者利用網(wǎng)站來提供相關的網(wǎng)絡服務。人們可以通過網(wǎng)頁瀏覽器來訪問網(wǎng)站，獲取自己需要的信息或者享受網(wǎng)絡服務。 在互聯(lián)網(wǎng)的早期，網(wǎng)站還只能保存單純的文本。經(jīng)過幾年的發(fā)展，當萬維網(wǎng)出現(xiàn)之后，圖像、聲音、動畫、視頻，甚至3D技術開始在互聯(lián)網(wǎng)上流行起來，網(wǎng)站也慢慢地發(fā)展成我們現(xiàn)在看到的圖文并茂的樣子。通過動態(tài)網(wǎng)頁技術，用戶也可以與其他用戶或者網(wǎng)站管理者交流。也有一些網(wǎng)站提供電子郵件服務。,72,網(wǎng)站訪問的定義,一般而言，網(wǎng)站訪問為用戶使用

43、瀏覽器通過HTTP協(xié)議按照域名訪問一定的網(wǎng)頁內(nèi)容的過程，隨著瀏覽器支持協(xié)議增多和能力增強，網(wǎng)站內(nèi)容的多樣化，網(wǎng)站訪問的組成也變得復雜。 所有通過瀏覽器的訪問記關聯(lián)的訪問： 從訪問協(xié)議：HTTP、HTTPS、流媒體協(xié)議、P2P流媒體下載協(xié)議等 從訪問方式：瀏覽器、瀏覽器嵌入的媒體播放器、P2P播放軟件、其它使用HTTP協(xié)議的軟件等 從訪問內(nèi)容：靜態(tài)網(wǎng)頁、圖片、文件、流媒體文件等,73,網(wǎng)站的標識,網(wǎng)站一般由域名標識資源，但一個網(wǎng)站可能使用多個二級或三級域名來表示不同的服務內(nèi)容。在統(tǒng)計分析中，可以從Host域名角度進行分析，但在多個域名屬于同一個網(wǎng)站的情況下，可以根據(jù)網(wǎng)站域名歸納出一級域名，用來定

44、義和表征網(wǎng)站。 網(wǎng)站除了通過域名訪問外，也可能存在通過IP地址訪問，這部分IP地址，可以通過配置來制定，也可以通過在DNS或GET報文中將網(wǎng)管關聯(lián)的域名與IP地址對應來動態(tài)指定。 對于出口層面的網(wǎng)站分析，目的是在于找到訪問熱點，而一般訪問熱點由特定的內(nèi)容提供商SP提供，所以在識別和統(tǒng)計域名的基礎上，需要將域名按照提供他們的運營商來歸納進行統(tǒng)計。,74,網(wǎng)站訪問的具體過程,一般瀏覽器訪問過程 用戶在瀏覽器地址欄輸入提供要訪問的URL（包括Host域名、URI路徑）； 瀏覽器提取URL中的域名，向域名服務器發(fā)出DNS解析請求報文； 域名服務器返回DNS應答報文，其中包含該域名對應的IP地址信息，可

45、能有多個IP； 瀏覽器選擇其中的一個IP地址，向網(wǎng)站服務器IP出數(shù)據(jù)訪問請求，請求報文中包含域名和URI信息。 瀏覽器根據(jù)域名主機返回的數(shù)據(jù)顯示網(wǎng)頁的內(nèi)容。,75,訪問網(wǎng)站的方式,服務器或服務器群提供，通過域名解析訪問。 訪問Web Cache。 通過代理訪問。 訪問CDN資源。 主機域名托管方式。,76,CMNET出口的網(wǎng)站流量統(tǒng)計的難點,出口層面，網(wǎng)站訪問的流量比較大。 如何定義完整的網(wǎng)站流量并準確統(tǒng)計 訪問資源多種多樣，包括網(wǎng)頁、圖片、流媒體、文件等。 網(wǎng)站提供服務的不同方式?jīng)Q定了網(wǎng)站訪問包括域名訪問、IP地址訪問、CDN或Web Cache等，網(wǎng)站標識復雜。 網(wǎng)站訪問工具包括了各種瀏覽器、應用軟件。 域名和網(wǎng)站、SP的對應關系沒有一定之規(guī)。 包含了媒體、文件等關聯(lián)訪問，域名、IP地址、訪問協(xié)議等情況比較復雜。 網(wǎng)站流量統(tǒng)計，既要統(tǒng)計出網(wǎng)流量，更要