網絡管控系統(tǒng)的柔性可重構結構設計_圖文

1、2012年11月Journal on CommunicationsNovember 2012第33卷第11期 通 信 學 報 V ol.33 No. 11網絡管控系統(tǒng)的柔性可重構結構設計李玉峰，邱菡，劉勤讓，蘭巨龍（國家數字交換系統(tǒng)工程技術研究中心，河南 鄭州 450002）摘 要：網絡管控系統(tǒng)是面向互聯(lián)網“可管、可控、可信”需求提出的新設備形態(tài)。骨干鏈路級管控設備的體系結構目前基本沿襲核心路由器的設計思路，存在數據平面、控制平面分離無法滿足管控系統(tǒng)軟硬件協(xié)同深層次數據處理需求，剛性封閉系統(tǒng)構建方式無法滿足新業(yè)務識別柔性需求的問題。由此提出網絡管控系統(tǒng)的軟硬件交換式松耦合協(xié)同處理結構和軟硬件循

2、環(huán)迭代遷移結構和方法，可實現軟硬件融和式協(xié)同數據處理，滿足了新業(yè)務識別的柔性遷移需求。關鍵詞：網絡管控系統(tǒng)；體系結構；可重構；循環(huán)迭代；遷移中圖分類號：TP393.08 文獻標識碼：A 文章編號：1000-436X(201211-0084-07Design of network management and regulationsystem over flexible reconfigurationLI Yu-feng, QIU Han, LIU Qin-rang, LAN Ju-long(National Digital Switching System Engineering and Te

3、chnological Research Center, Zhengzhou 450002,ChinaAbstract: Network management and regulation system is a new arising appliance for the manageable, controllable and trustworthy demand of the Internet. The architecture design of the backbone link-level management and regulation sys-tem usually follo

4、ws the core router, in which the separation of the data plane and the control plane could not meet the re-quirement of HW/SW data co-process, the rigid connection with closed building style could not satisfy the flexible iden-tification of new applications. The loosely coupled switching HW/SW co-pro

5、cess architecture and the iterative looping HW/SW migration architecture were proposed, which could satisfy the above HW/SW co-process demand and the new application flexible identification demand.Key words: network management and regulation system; architecture design; flexible reconfiguration; ite

6、rative loop; migration1 引言互聯(lián)網逐步成為各種通信基礎設施的統(tǒng)一平臺，承載的業(yè)務越來越多，并且呈現出新的特點：少數低價值的業(yè)務正在吞噬越來越多的帶寬資源，如P2P (peer to peer類業(yè)務流量占用了近三分之二的骨干網帶寬1，運營商正面臨著增容不增收的窘境；網絡游戲、高清晰IPTV 等各種新興業(yè)務不斷涌現，使得網絡業(yè)務日趨復雜多樣，對傳統(tǒng)的粗放式網絡運行維護和運營模式提出了更為嚴峻的挑戰(zhàn)，由于缺乏精細化運營的基礎，運營商愈發(fā)難以掌控客戶的網絡行為，無法進行針對性的業(yè)務開發(fā)和營銷；更為嚴重的是，對于一些如非法宣傳、網絡病毒、網絡攻擊、垃圾郵件等不良信息，由于缺收稿日

7、期：2011-12-02；修回日期：2012-06-20 基金項目：國家高技術研究發(fā)展計劃（“863”計劃）基金資助項目（2011AA01A103）；國家重點基礎研究發(fā)展技術（“973”計劃）基金資助項目（2012CB315900）Foundation Items: The National High Technology Research and Development Program of China (863 Program (2011AA01A103; The National Basic Research Program of China (973 Program (2012CB31

8、5900第11期 李玉峰等：網絡管控系統(tǒng)的柔性可重構結構設計 85乏有效的識別和管控手段，致使其能夠通過網絡廣泛傳播、大規(guī)模泛濫，對網絡安全和可信造成了嚴重威脅。為此，我國互聯(lián)網提出了“可管、可控、可信”的具體要求，網絡管控系統(tǒng)應運而生2。從本質上講，網絡管控系統(tǒng)是一種感知網絡、控制網絡的設備，其涉及的關鍵技術主要包括全分組范圍內容級搜索、全維信息判決、用戶行為分析、不良信息檢測、流量統(tǒng)計特征和主機行為特征分析等，這與以轉發(fā)、交換為核心的傳統(tǒng)路由器、交換機設備大相徑庭。當前，具備一定業(yè)務識別和控制能力的是DPI(deep packet inspection類設備3,4，整體而言，該類設備是在傳

9、統(tǒng)路由器基礎上進行了簡單的網絡管控功能增強，其低端產品基本沿用以軟件處理為核心的“存儲分析”結構，無法適應網絡管控的高速處理要求，其高端產品也基本沿襲數據平面、控制平面分離的傳統(tǒng)核心路由器設計思路，在面對網絡管控系統(tǒng)深層次的軟硬件協(xié)同數據處理需求時基本無能為力。 互聯(lián)網上應用創(chuàng)新已經成為其發(fā)展常態(tài)，目前， 互聯(lián)網高端DPI 設備廠商普遍面臨一個窘境：一款新設備剛推出，馬上就需要針對新業(yè)務開發(fā)的新管控方法。新業(yè)務出現初期流量較小，可以通過升級軟件、打補丁方法支持。此后，若該業(yè)務發(fā)展緩慢，流量未出現較大增長，則設備廠商可維持補丁形態(tài)；相反，若該業(yè)務發(fā)展迅猛，其流量在短期內出現了爆炸式增長，超過了軟

10、件處理的能力范圍，導致軟件補丁方法難以為繼，這種情況下，設備廠商只能將軟件補丁硬件化實現，完成軟件處理的硬件遷移。目前，骨干鏈路級管控設備為應對高速業(yè)務識別和控制需求，普遍最大化地將設備功能使用定制電路實現，其系統(tǒng)構建本質上是一種剛性封閉方式，無法完成軟件功能向電路的動態(tài)遷移。要實現遷移，設備廠商可選用的方法只能是推倒從來，開發(fā)出新一代的硬件平臺并基于新平臺完成定制電路升級，從而實現對新業(yè)務管控的支持。至此，設備廠商完成了一次“新業(yè)務出現軟件補丁發(fā)布新業(yè)務流量激增新平臺推出定制電路升級遷移完成”的輪回。近年來，新業(yè)務的出現呈現出數量大、間隔短的特點，管控設備廠商面臨的硬件遷移輪回周期愈來愈短，

11、管控設備的生命周期正變得越來越短，新產品推出的間隔也越來越短。針對上述問題，本文提出網絡管控系統(tǒng)的軟硬件交換式松耦合協(xié)同處理結構，支持軟硬件無阻塞協(xié)同數據處理，提出軟硬件循環(huán)迭代遷移結構和方法，滿足新業(yè)務的“軟件硬件”動態(tài)遷移需求，從而給出一個“能力可擴展、功能可遷移、識控一體化”的網絡管控系統(tǒng)結構。2 軟硬件交換式松耦合協(xié)同處理結構網絡管控系統(tǒng)結構遵循自頂向下設計思路，基本思想是：通過大容量多級交換組件完成系統(tǒng)前臺各個硬件組件和系統(tǒng)后臺各個軟件子系統(tǒng)的松耦合無阻塞數據傳輸，實現軟硬件數據平面的功能融合；通過系統(tǒng)內硬件構件、組件和軟件子系統(tǒng)的柔性迭代組合，實現管控系統(tǒng)功能與性能的可重構；通過控

12、制信息的交換實現所提的網絡化管控理念5，支持“一點發(fā)現，全網聯(lián)動控制”的管控方式。圖1是本文所提的網絡管控系統(tǒng)結構。圖1 網絡管控系統(tǒng)軟硬件交換式松耦合協(xié)同處理結構86 通 信 學 報 第33卷該結構中，數據平面包括線路匯聚組件、復制阻斷組件、深度數據挖掘組件、數據分發(fā)組件、輸出組件、大容量多級交換組件6類硬件組件以及本地大容量數據存儲子系統(tǒng)、用戶行為分析子系統(tǒng)、內容推送子系統(tǒng)、不良信息檢測及研判子系統(tǒng)、多維信息展示子系統(tǒng)等軟件子系統(tǒng)。數據平面上，硬件組件完成對報文的串行接收、封裝解封裝、在線業(yè)務種類識別、在線管控、串行輸出和篩選操作，篩選出的數據通過交換組件送到后臺軟件子系統(tǒng)進行相應的分析處

13、理，從而實現前臺快速識別管控和后臺綜合處理的功能融合。控制平面包括中央控制組件和維護管理組件，完成管控系統(tǒng)的控制、維護和管理。受硬件工藝水平的限制，單個深度數據挖掘組件支持的規(guī)則數量和規(guī)則長度受限，為應對管控系統(tǒng)對規(guī)則數量和規(guī)則長度的多樣化需求，該結構提供了多個深度挖掘組件的級聯(lián)處理能力，數據分組輸入后可通過交換組件循環(huán)交換到多個深度挖掘組件迭代處理，實現了規(guī)則數目、關鍵詞寬度的靈活擴展，提高了系統(tǒng)的靈活性。3 軟硬件循環(huán)迭代遷移結構和方法網絡管控系統(tǒng)將網絡業(yè)務劃分為2大類，第1類是載荷中存在業(yè)務“指紋”的業(yè)務，針對這類業(yè)務，管控系統(tǒng)存在的主要技術難題是線速、深度、多模式、大容量聯(lián)合“指紋”匹

14、配。從實現層面上看，已有很多研究工作圍繞該難題展開，這些工作大多都基于專用處理芯片和專用存儲器件（例如三態(tài)內容尋址存儲器）68，采用關鍵詞聯(lián)合匹配方法實現。第2類是載荷中無業(yè)務“指紋”或者指紋特征很難獲取的業(yè)務，例如加密類網絡業(yè)務、新型網絡異常攻擊或者暫時無法獲取“指紋”特征的各類新涌現業(yè)務。針對第2類業(yè)務，管控系統(tǒng)面臨2個技術難題：一是識別速率低。第2類業(yè)務的識別可基于分析通聯(lián)過程特征實現。通聯(lián)過程特征可概括為2類：流量統(tǒng)計特征和用戶行為特征。流量統(tǒng)計特征中如流平均分組長、流持續(xù)時間等在加密前后變化不明顯，而且新業(yè)務出現時也往往會伴隨新的通聯(lián)特征出現，故基于通聯(lián)特征可有效識別加密、異常和新出

15、現業(yè)務。通聯(lián)特征維度高達248余種9，基于通聯(lián)特征的業(yè)務識別具有復雜、靈活和智能特性，目前普遍基于軟件實現，業(yè)務識別速率通常在兆(M比特級。二是新業(yè)務識別“軟件硬件”遷移難。新業(yè)務出現的初期，流量較少，可以通過軟件處理。隨著業(yè)務的發(fā)展，其流量增大，當流量增大到超過軟件處理能力時，就需要將相應的軟件功能轉化為硬件實現，而傳統(tǒng)硬件電路具有固化和非靈活的特性，無法動態(tài)適應這種靈活的軟件識別向硬件識別遷移需求。為解決上述2個問題，網絡管控系統(tǒng)提出軟硬件循環(huán)迭代遷移處理方法。以柔性可重構技術實現軟件功能的硬件遷移，突破了傳統(tǒng)的剛性封閉系統(tǒng)的構建方式；以關鍵詞聯(lián)合匹配構件組串聯(lián)前置于深度挖掘組件，將帶“指

16、紋”特征的數據分流，僅使無“指紋”特征數據進入軟硬件循環(huán)迭代流程，降低了對識別速率的要求；以軟硬件循環(huán)迭代結構實現軟硬件協(xié)同遞歸式最優(yōu)通聯(lián)特征遴選，突破了無“指紋”特征業(yè)務的純軟件通聯(lián)特征遴選和業(yè)務識別模式，在現有器件支持下，可將遷移前每輪次兆比特級處理速度提升至遷移后的每輪次吉比特級。3.1 軟硬件循環(huán)迭代遷移結構圖2是軟硬件循環(huán)迭代遷移處理結構，該結構中，關鍵詞聯(lián)合匹配構件組前置于遷移構件組，負責將具有“指紋”特征的數據分流，約減后的未識別流量（循環(huán)迭代遷移流量）輸入由遷移構件組、交換組件、數據分發(fā)組件和后臺軟件組成的軟硬件循環(huán)迭代遷移流程。其中，交換組件實現深度挖掘到組件和數據分發(fā)組件的

17、數據交換，為組件間數據交互提供可靠、可控的通路。數據分發(fā)組件將交換組件送來的數據無阻塞地分發(fā)至各個后臺軟件子系統(tǒng)。遷移構件組的遷移穩(wěn)態(tài)構件在軟硬件循環(huán)迭代完成最優(yōu)通聯(lián)特征遴選、業(yè)務識別模板確認和業(yè)務識別驗證后，實施硬件電路重構配置，實現“軟件硬件”遷移，后續(xù)輸入的該業(yè)務數據可完全由穩(wěn)態(tài)構件硬件識別，并通過遷移閥將識別結果傳送出去，后臺軟件系統(tǒng)和遷移暫態(tài)構件將不再參與該業(yè)務識別。遷移暫態(tài)構件與特征學習構件聯(lián)合后臺軟件具體完成最優(yōu)通聯(lián)特征遴選、業(yè)務預識別模板自學習和業(yè)務識別驗證。特征學習構件完成聯(lián)通特征的線速提取、存儲、更新和剔除，并將最新的學習結果反饋給軟件。遷移暫態(tài)構件包含多個業(yè)務預識別模板，

18、每一個模板對應一種業(yè)務的“預熱”識別方法，具體就是指該業(yè)務識別使用了哪些特征，如何綜合各種特征判定該業(yè)務類型，遷移暫態(tài)構件基于遴選特征、預識別模板進行業(yè)務“預熱”識別第11期 李玉峰等：網絡管控系統(tǒng)的柔性可重構結構設計 87 和驗證。這里，“預熱”識別是指聯(lián)通特征遴選未完成，業(yè)務識別模板未確定，遷移未實施前由遷移暫態(tài)構件基于當前特征和預識別模板完成的業(yè)務識別。重構配置模塊為遷移穩(wěn)態(tài)構件提供識別模板及參數支持，控制電路重構。互聯(lián)網業(yè)務識別與管控系統(tǒng)中，深度挖掘組件由大規(guī)模FPGA （field programmable gate array）構成，在具備高速工作能力的同時提供了硬件重構基礎10。

19、 3.2 軟硬件循環(huán)迭代遷移流程圖3是軟硬件循環(huán)迭代遷移處理無“指紋”特征或指紋特征難獲取業(yè)務的過程。該過程為分組觸發(fā)處理過程，當新數據分組輸入后，首先經過關鍵詞聯(lián)合匹配構件組進行識別，分流出具有“指紋”特征的業(yè)務流，從而降低后續(xù)的軟硬件循環(huán)迭代處理壓力。關鍵詞聯(lián)合匹配構件組未識別的數據分組進入遷移穩(wěn)態(tài)構件進行識別，若識別成功，表明該數據分組屬于已經完成“軟件硬件”遷移的某業(yè)務類型，識別過程結束，若未識別，則表明該數據分組所對應的業(yè)務特征未開始或者未完成業(yè)務特征遴選、業(yè)務識別驗證和遷移，需進入遷移暫態(tài)構件進行“預熱”識別，由此進入軟硬件循環(huán)迭代遷移處理。首先由硬件遷移構件組的特征學習構件在原存

20、特征信息的基礎上，線速完成當前分組的流識別和通聯(lián)特征信息的提取及更新。隨后，遷移暫態(tài)構件基于更新的通聯(lián)特征統(tǒng)計結果和軟件通告的業(yè)務預識別模板完成新一輪的業(yè)務“預熱”識別，并根據所采用的早期識別算法1113判定本輪“預熱”識別是否標志整個“預熱”識別結束：若未結束，則將本輪更新的通聯(lián)特征通過交換組件和數據分發(fā)組件輸出至后臺軟件，由軟件進行業(yè)務特征的智能學習、遴選、“疑似”特征降維和預識別模板自學習，并將本輪降維后的疑似“特征”和預識別模板通告給硬件遷移構件組的特征學習構件，由該構件在原來流信息的基礎上增建新特征，并線速完成特征信息的維護和更新，從而完成新特征的軟件篩選、硬件同步，本輪軟硬件循環(huán)迭代遷移處理結束，等待新數據輸入觸發(fā)新一輪循環(huán)迭代遷移處理；若結束，即本輪“預熱”識別是最后一輪，則該結束信息聯(lián)合流量遷移門限共同判定是否遷移，若遷移，則對遷移“穩(wěn)態(tài)”構件進行重構配置，并將遷移“暫態(tài)”構件最后接收到的預識別模板作為最