數據挖掘在綜合網管告警相關性中的研究與應用

1、    數據挖掘在綜合網管告警相關性中的研究與應用    摘  要： 隨著社會經濟的不斷進步，我國的電信事業(yè)得到了很大的發(fā)展，對電信網進行綜合化的管理以及讓電信網的管理變得更加智能化，也是目前電信網網絡管理系統(tǒng)主要發(fā)展的方向。綜合性的網絡管理系統(tǒng)的目標就是能夠集中監(jiān)控多個子網，但是由于目前電信網絡的規(guī)模逐漸變大且結構也相對比較復雜，在同一時間產生的一些告警信息具有多類型、數量龐大等的特點，要想對告告警的根源進行分析和定位是非常困難的事情，而有效利用好數據挖掘技術能夠進一步解決綜合網管告警當中存在的問題，讓網絡的運行更加流暢，質量不斷提高。因此本

2、文主要研究了數據挖掘在綜合網管告警相關性及其應用，希望能夠提供一定的參考價值。關鍵詞： 數據挖掘;綜合管網告警： tp391. 41    ： a    doi：10.3969/j.issn.1003-6970.2019.09.031本文著錄格式：曹素娥. 數據挖掘在綜合網管告警相關性中的研究與應用j. 軟件，2019，40（9）：135-138research and application of data mining in alarm relevance of integrate

3、d network managementcao su-e（school of computer and network engineering， shanxi datong university， shanxi datong， 037009）【abstract】： with the continuous progress of social economy， china's telecommunications industry has been greatly developed. integrated management of telecommunicatio

4、ns network and making the management of telecommuni cations network more intelligent are also the main development direction of telecommunications network manage ement system. the goal of a comprehensive network management system is to be able to centrally monitor multiple subnetworks. however， as t

5、he scale of the telecommunication network is becoming larger and the structure is rela tively complex， some alarm information generated at the same time has the characteristics of many types and large quantities. it is very difficult to analyze and locate the origin of the alarm， and to make good us

6、e of the data. mining technology can further solve the problems existing in the integrated network management alarm， make the network run more smoothly and improve the quality continuously. therefore， this paper mainly studies the corr elation and application of data mining in integrated network man

7、agement alarm， hoping to provide some reference value.【key words】： data mining; integrated pipeline network warning0  引言社會經濟在不斷發(fā)展的過程當中，通信業(yè)務的需求也在不斷擴大，導致網絡規(guī)模也呈現擴大的趨勢，增強了網絡規(guī)模的復雜性和帶寬需求量，所以對網絡進行綜合化、自動化以及智能化的管理是目前發(fā)展的主要趨勢，相關研究人員必須要認識到綜合網絡管理系統(tǒng)的重要性，并對其進行深入的研究，讓其能夠將信息進行收集、傳輸、儲存、維護、運營等功能集為一體，將網絡

8、資源最大限度利用起來，從而讓網絡的運行質量和效率不斷提高，也進一步價格低網絡管理和控制的成本，讓網絡維護的手段呈現多樣化發(fā)展，促進我國網絡的進一步發(fā)展。1  告警相關性以及數據挖掘的綜合概述1.1告警相關性的綜合概述告警相關性1主要表示兩個或兩個以上的告警實體之間相互聯系、相互出現的情況，其相關性的結果一般有兩個：第一時增加了信息的語義內容，第二是縮減了獨立單元的總數。所以告警相關性是對網絡中出現的多個告警的解釋和分析，將一個熟練縮減后的的告警的語義信息內容提高的一種聯系。告警主要是在綜合網絡管理的區(qū)域內被定義的故障產生異常功能的原因，而故障是產生告警的主要因素，在特定事件

9、發(fā)生的過程當中，被管制的對象發(fā)出的一個通報就是告警，在系統(tǒng)當中，發(fā)出的告警信息就表示其發(fā)生了一些異?；蚰承﹩栴}，告警指示對可能有故障發(fā)生進行表示，但是并不一定真正有故障發(fā)生，告警事件2主要包括被管制的對象異常狀態(tài)下的信息。一般是故障的征兆、告警產生的時間等，但是告警并不會將網絡故障的問題根源確切的位置信息明顯顯示出來，所以這就需要通過對網絡產生的告警進行分析，從而對故障產生的原因進行判斷。告警主要包含時間不同步、重復、閃斷、擴散等的特點，其中時間不同步主要是由于在大型或者異構的通訊網絡當中，并沒有一個統(tǒng)一的網絡時間，導致告警事件發(fā)生時，會存在一定的時間誤差，所以會讓告警事件的分析以及解決面臨比

10、較大的困難;重復告警主要是多個網絡部件檢測到了單獨一個告警，但是每一個都把告警事件發(fā)送導致告警信息出現重復的現象;閃斷告警主要是當網絡業(yè)務量不斷增加的過程中，出現了網絡阻塞，或者是電腦的硬件處理能力較差，導致網絡管理的系統(tǒng)沒有處于正常狀態(tài)下，其處理器就會產生波動負荷，導致網絡管理系統(tǒng)與設備管理系統(tǒng)在進行通信的過程當中出現超時的錯誤，從而導致閃電告警出現。根據以上告警的特點對告警信息進行處理，過濾掉告警數據，將告警的一些冗余數據消除，可以在一定程度讓告警數據的處理更具針對性和專業(yè)性，也讓告警的相關性分析效率有效提高。1.2數據挖掘的綜合概述隨著計算機網絡技術的不斷進步，數據挖掘機技術的出現是必然

11、趨勢，它的出現一開始就是與應用相關。由于現在各個行業(yè)當中進行業(yè)務操作的發(fā)展方向都是流程自動化發(fā)展，企業(yè)在經營的過程當中產生的業(yè)務數據非常大量，所以企業(yè)在發(fā)展的過程當中積極應用數據挖掘能夠讓數據分析變得更加高層次和高效。目前在很多領域當中，都有效應用了數據挖掘，比如銀行、保險、電信等商業(yè)領域，盡管它在這些領域當中都將其技術優(yōu)勢有效展現出來，但是在綜合館網絡管理的應用當中，由于沒有比較成熟的經驗，所以其應用還不完善。在電信當中，應用數據挖掘能夠幫助電信企業(yè)制定出更加合理的收費和服務的標準，防止出現費用欺詐等情況;在信息安全當中應用數據挖掘，這是因為在網上日益增多的儲存處理的敏感問題，出現了許多安全

12、問題，所以人們希望能有軟件進行自動的審計數據，并對數據進行更深層次的分析，從中挑篩選出有用的信息，數據挖掘能夠判斷和與安全相關的一些特征，從而及時阻止一些未知入侵行為的出現。2  數據挖掘在綜合網管告警相關性中的研究2.1改進設計綜合管網中的算法在綜合網管系統(tǒng)當中，使用關聯規(guī)則挖掘算法處理的對象主要是告警的數據，所以就需要對層次分析法和序列模式進行了解，在綜合網絡管理當中告警數據怎樣進行關聯規(guī)則性的挖掘是面臨的主要問題。告警數據的屬性3-4有對象、id、原因、級別等，其中告警的級別更是將告警的輕重程度直觀展現出來。在告警網元的度數表當中其基本的屬性也包括網元的id、名稱、拓

13、撲的度數等，由于使用層次分析法可以了解到當屬性的維數較高，則會在降低其效率，所以可以區(qū)按照度數區(qū)間劃分出網元拓撲，這樣就可以避免出現因為維度較高而出現的效率較低的問題，其中綜合網絡管理中局部網元之間存在的拓撲關系如下圖1所示。由以上的關系圖當中可以看出，在整個網絡當中的關聯強度是每個網元當中的連接線數表明的，在綜合網絡管理系統(tǒng)當中網元的數量非常多，并且網元不同，其拓撲度數也不相同，因此為了讓應用層次分析法能夠方便計算，所以可以按照網元的拓撲度數進行區(qū)間劃分，從而有效避免出現效率較低的情況，根據相關的專家研究顯示，在網元的拓撲度數5一般要10，所以在具體工程當中，對網元拓撲度數進行獲取時，可以根

14、據實際的情況對區(qū)間進行劃分，如果說普度數小于10則實際的度數值不做劃分，如果大于10則需要將拓撲度數劃分在10個以內，所以在綜合網絡管理的系統(tǒng)當中，為了能夠將影響權值的數據信息獲取，就可以建立一個確定兩個因素權值的層次模型，其設計結構圖如圖2所示。在上圖當中的n值應該取10。根據設計的層次模型，建立起判斷的矩陣，就可以對告警級別和網元拓撲度數組合方案對應的權值進行計算，從而減少一些冗余且頻繁的項目產生，讓網絡效果更好。2.2構建綜合網管中的數據挖掘算法模型通過改進設計關聯規(guī)則挖掘算法，可以構建出綜合網絡管理當中數據挖掘算法的模型6。本文所使用的算法挖掘的對象是網絡管理系統(tǒng)當中的告警數據，所以其

15、關聯的規(guī)則是挖掘告警數據相關的規(guī)則。整個算法的步驟7-8首先要預處理告警數據后，按照時間的跨度和順序將告警發(fā)劃分為多個告警集合，并將每個告警當中重復的告警類有效去除，在對所有的告警集合t進行劃分的過程當中，要找到1項目中的告警頻繁的項目集l1，以其為基礎，在對所有的告警集合t進行劃分的過程當中，還要尋找第k項的告警頻繁的項目集lk，直到所得到的lk出現空集為止，可以獲取到頻繁項目集當中的集合l，將告警頻繁項目集和l中的lk元素取出，尋找并對其每個元素中存在的相關規(guī)則進行計算，直到都處理完，最后要在規(guī)則庫當中，把所有滿足要求的告警關聯規(guī)則放入其中，整個算法才算完成，其主要的流程圖如下圖3所示。這

16、樣就可以設計出基于數據挖掘算法的相關性分析系統(tǒng)。在綜合網絡管理的系統(tǒng)9當中包括配置安全、告警故障等的管理，其中告警與故障管理兩者進行配合能夠起到監(jiān)測的作用，迅速發(fā)現和糾正網絡中的故障，從而對網絡進行維護，其主要的硬件結構拓撲圖如圖4所示。告警相關性分析的流程圖如圖5所示。3  數據挖掘在綜合網管告警相關性中的應用數據挖掘在綜合網管告警相關性當中的運用10，主要應用在規(guī)則發(fā)現數據的預處理階段、挖掘階段以及后處理階段。其中用在規(guī)則發(fā)現數據預處理模塊當中，需要對數據庫進行頻繁的訪問，其作用是進行一定的降維操作，并且讓告警屬性具有特征性，把告警記錄表示出來，并在面對雪崩告警時能對一

17、些重復性的告警進行刪除，然后對告警進行分類，從而讓告警信息的權值不斷增加，其主要的流程圖如圖6所示。應用在規(guī)則挖掘的模塊當中，主要是在處理完告警數據之后，規(guī)則發(fā)現系統(tǒng)當中的挖掘模塊，挖掘這些數據當中一些頻繁的項目。規(guī)則挖掘模塊是一個內部處理的模塊，通過研究出相關的函數代碼，可以讓一些頻繁項目集和規(guī)則的挖掘更加方便，在規(guī)則挖掘模塊當中具有兩大功能，第一是發(fā)現頻繁項目集，第二是發(fā)現規(guī)則，在頻繁項目集表和挖掘規(guī)則表當中存放入符合的支持度和置信度挖掘的結果，從而讓用戶可以通過平臺對這些挖掘的規(guī)則進行編輯。用于規(guī)則發(fā)現規(guī)則后處理的模塊，主要是對用戶提供一些編輯挖掘規(guī)則的界面，但是該模塊只是總結歷史數據，

18、對信息統(tǒng)計，所以很難保證信息的準確度和準確性，但是其也有一定的優(yōu)勢，其主要的優(yōu)勢是能夠在海量的信息當中挖掘出有用的信息和人們所關注的數據信息，但必須要用戶進行一定的編輯之后才能使用，規(guī)則的后處理模塊主要是對用戶以及挖掘規(guī)則之間提供一個相互交互的平臺，由于挖掘的規(guī)則格式中還有一些冗余的規(guī)則，其描述也相對比較簡單，所以規(guī)則模式是非常粗糙，因此需要增添和設置一些規(guī)則屬性，比如有限的時間、級別等，從而讓規(guī)則描述不斷得到豐富。4  結束語隨著社會經濟的不斷發(fā)展，網絡的規(guī)模不斷擴大是必然趨勢，逐漸建立的綜合網絡管理系統(tǒng)讓網絡運行的質量和效率得到了很大的提升，降低了一些運營商的運營成本，

19、也讓維護的手段更加多樣化，從而讓相關企業(yè)得到了進一步的發(fā)展，但是在社會發(fā)展的過程當中，通訊網絡的節(jié)點構成有成千上萬種，所以當發(fā)生一個網絡故障或者問題的時候，就會產生大量的告警信息，從而影響了用戶用網的體驗，因此在綜合網絡管理告警相關性分析中運用數據挖掘技術，能夠幫助網絡管理人員對故障的信息進行分析，并準確定位故障的位置，從而縮減網絡故障的時間，減少一些告警數據，提高網絡的質量，讓綜合網絡管理系統(tǒng)發(fā)揮出最大的作用，促進其進一步的發(fā)展。參考文獻· 韓宏瑩. 并行數據挖掘技術在電信網管告警中的應用研究d. 長春工業(yè)大學， 2016.· 吳英虎. 寧夏鐵通網絡綜合告警系統(tǒng)設計與實現d. 電子科技大學， 2015.· wei chen， paraskevas tsangaratos， ioanna ilia， zhao duan， xinjian chen. groundwater spring potential ma