（計算機(jī)應(yīng)用技術(shù)專業(yè)論文）gsm話務(wù)網(wǎng)管數(shù)據(jù)采集系統(tǒng)的設(shè)計與實(shí)現(xiàn).pdf

g s m 話務(wù)網(wǎng)管數(shù)據(jù)采集系統(tǒng)的設(shè)計與實(shí)現(xiàn) 計算機(jī)應(yīng)用技術(shù)專業(yè) 研究生孔玨指導(dǎo)老師李志蜀 摘要：隨著電信網(wǎng)絡(luò)規(guī)模的增長，電信業(yè)務(wù)的擴(kuò)充，電信運(yùn) 營者對網(wǎng)絡(luò)管理的需求也不斷增加、改動。計算機(jī)產(chǎn)業(yè)的飛速發(fā)展 無疑為以高效、智能為目標(biāo)的電信網(wǎng)網(wǎng)絡(luò)管理技術(shù)提供了根本的保 證。本文所述的省級g s m 話務(wù)網(wǎng)管系統(tǒng)已經(jīng)經(jīng)歷了一期、二期工 程，并在移動、聯(lián)通共計5 4 個省級項(xiàng)目，陸續(xù)開展三期工程的開 發(fā)和施工。作者進(jìn)入與四川大學(xué)計算機(jī)學(xué)院合作的億陽信通公司實(shí) 習(xí)，加入g s m 話務(wù)網(wǎng)管三期項(xiàng)目，從事網(wǎng)管底層數(shù)據(jù)采集平臺的 開發(fā)工作。作者在職期間負(fù)責(zé)全網(wǎng)項(xiàng)目中諾基亞和摩托羅拉兩廠商 所有通信設(shè)備的性能和資源數(shù)據(jù)采集開發(fā)。目前，g s m 網(wǎng)項(xiàng)目已 全面投入應(yīng)用，運(yùn)行穩(wěn)定。 數(shù)據(jù)采集平臺是網(wǎng)管系統(tǒng)的數(shù)據(jù)接入層，它負(fù)責(zé)從各廠商設(shè)備 采集原始數(shù)據(jù)，進(jìn)行歸一化處理，為網(wǎng)管系統(tǒng)所有中上層應(yīng)用提供 統(tǒng)一的數(shù)據(jù)平臺，因此數(shù)據(jù)采集系統(tǒng)是網(wǎng)管建設(shè)非常核心以及重要 的部分。 論文具體組織如下： 第一章，概述移動通信網(wǎng)管系統(tǒng)的產(chǎn)生歷史。 第二章，闡述了電信網(wǎng)絡(luò)管理的理論背景。 第三章，詳述o s m 網(wǎng)性能數(shù)據(jù)采集系統(tǒng)的設(shè)計，并分析如何 既實(shí)現(xiàn)高效、準(zhǔn)確的數(shù)據(jù)采集，又保持系統(tǒng)應(yīng)用的靈活性、可擴(kuò)展 性；在采集系統(tǒng)的分析過程中，本文將穿插介紹相應(yīng)的技術(shù)原理及 特色，并且與二期系統(tǒng)進(jìn)行一定對比。 第四章，舉一個由作者開發(fā)的具體設(shè)備采集實(shí)例，揭示通信設(shè) 備數(shù)據(jù)采集的實(shí)現(xiàn)過程。 第五章，文章簡略概述系統(tǒng)正在著手進(jìn)行的軟件升級和功能擴(kuò) 展情況。 第六章，結(jié)束語。 關(guān)鍵詞：電信網(wǎng)絡(luò)管理系統(tǒng)、數(shù)據(jù)采集、l d a p 、文件數(shù)據(jù)庫 2 t h ed e s i g na n di m p l e m e n t a t i o no f d a t ac o l l e c t i o ni ng s mn e t w o r k m a n a g e m e n ts y s t e m c o m p u t e r a p p l i c a t i o n s g r a d u a t ek o n gj u ea d v i s o rl iz h i s h u a b s t r a c t ：w i t ht h e g r o w t ho ft e l e c o m m u n i c a t i o nn e t w o r k ，t h e r e q u i r e m e n to fn e t w o r km a n a g e m e n ti si n c r e a s i n g a n dt h eh i g h - s p e e d d e v e l o p m e n to fc o m p u t e rs c i e n c eg u a r a n t e e st h eh i g h - e f f i c i e n c ya n d i n t e l l i g e n c eo ft e l e c o m m u n i c a t i o nn e t w o r km a n a g e m e n ts y s t e m t h e g s mn e t w o r km a n a g e m e n ti nt h i sp a p e r ，w h i c hi sd e v e l o p e db yb o c o i n t e r - t e l e c o mc o r p o r a t i o nc o o p e r a t e d 、i t l lc o m p u t e r d e p a r t m e n t s i c h u a nu n i v e r s i t y ，h a s a l r e a d yb e e nt h r o u g ho n ep e r i o d ，s e c o n d p e r i o d ，a n dn o w i sg o i n gt ob et h i r dp e r i o di n5 4p r o v i n c e so fc m c c a n du n i c o m ih a v eb e e ne n g a g e di nt h ed e v e l o p m e n to fd a t a c o l l e c t i o ns y s t e mi nt h e 也i r dp e r i o dp r o j e c t a n da l lt h ee q u i p m e n t so f m o t o r o l aa n dn o k i ai sm yt a s k n o w , t h eg s mn e t w o r km a n a g e m e n t s y s t e mh a sa l r e a d yb e e na p p l i e da n di sr u n n i n gs t a b l y t h ed a t ac o l l e c t i o nf l a ti st h ed a t a - a c c e s s e dl a y e ro fn e t w o r k m a n a g e m e n ts y s t e m t h ef l a tc o l l e c t st h ed a t af r o mm a n yk i n d so f 3 t e l e c o m m u n i c a t i o n e q u i p m e n t s w h i c h a r em a d e b y d i f f e r e n t m a n u f a c t u r e r s ，a n df i n a l l yp r e s e n t sau n i f o r md a t af l a tt ot h eo t h e r a p p l i c a t i o n so fg s m n e t w o r km a n a g e m e n ts y s t e m t h i sp a p e ri so r g a n i z e da sf o l l o w s ： c h a p t e r1 ，t h eh i s t o r yo fm o b i l et e l e c o m m u n i c a t i o nn e t w o r k m a n a g e m e n ts y s t e m c h a p t e r2 ，id e s c r i b et h eb a c k g r o u n dt h e o r yo ft e l e c o m m u n i c a t i o n n e t w o r km a n a g e m e n ts y s t e m c h a p t e r3 t h ep a p e ra n a l y z e st h eg s mn e t w o r kd a t ac o l l e c t i o n s y s t e m a tt h es a l n et i m e ，i 繭v et h ec h a r a c t e r so ft e c h n o l o g yi nt h i r d p e r i o dp r o j e c tw h i c ha r eb e t t e rt h a nt h es e c o n d c h a p t e r4 ，ig i v ea ni n s t a n c et od e s c r i b et h ei m p l e m e n to fd a t a c o l l e c t i o nw h i c hi sb o t hh i g h - e f f i c i e n ta n df l e x i b l e c h a p t e r5 ，a n a l y z i n gp r o b l e m sa n dt a l k i n ga b o u tt h et r e n do fe l k s y s t e md e v e l o p m e n t c h a p t e r6 ，t h es u m m a r i z a t i o n k e y w o r d s ：t e l e c o m m u n i c a t i o nm a n a g e m e n tn e t w o r ks y s t e m ， d a t ac o l l e c t i o n ，l d a p , t e x td a t a b a s e 4 1引言 中國通信市場不斷擴(kuò)大，電信網(wǎng)絡(luò)規(guī)模的增長速度驚人，每個 電信網(wǎng)絡(luò)的運(yùn)營者都趨向擁有可以經(jīng)營多種業(yè)務(wù)和可以負(fù)擔(dān)大量用 戶的電信網(wǎng)絡(luò)。電信網(wǎng)絡(luò)的規(guī)模在增長，電信網(wǎng)絡(luò)內(nèi)的設(shè)備也在增 長，不同類型的設(shè)備，不同廠商的設(shè)備出現(xiàn)在同一個電信網(wǎng)絡(luò)內(nèi)， 而不同類型的設(shè)備有不同的特性，需要不同的管理方式，不同廠商 的設(shè)備有不同的管理接口，提供不同的管理信息，并且這些管理接 口、管理信息隨時可能變動。如何管理這樣龐大復(fù)雜的電信網(wǎng)絡(luò)是 電信運(yùn)營者所面對的問題，也是電信網(wǎng)網(wǎng)絡(luò)管理所面臨的一大問 題。 g s m 話務(wù)網(wǎng)是目前移動通信的主體運(yùn)營網(wǎng)絡(luò)，網(wǎng)絡(luò)規(guī)模大、 結(jié)構(gòu)復(fù)雜、業(yè)務(wù)總類多。電信運(yùn)營商為了發(fā)展的需要，在總部和省 一級移動電話網(wǎng)絡(luò)管理中心建設(shè)綜合網(wǎng)絡(luò)管理系統(tǒng)，以實(shí)現(xiàn)集中化 管理與維護(hù)。本文介紹的省級g s m 話務(wù)網(wǎng)網(wǎng)管系統(tǒng)，是對移動通 信網(wǎng)絡(luò)管理的全面、整體以及可持續(xù)發(fā)展的綜合解決方案。網(wǎng)管上 層應(yīng)用按照運(yùn)營商的需求向其提供有效的管理數(shù)據(jù)，而這些以多種 形式呈現(xiàn)的數(shù)據(jù)均源自網(wǎng)管底層的數(shù)據(jù)采集平臺。要實(shí)現(xiàn)不同廠商、 不同設(shè)備數(shù)據(jù)快速、準(zhǔn)確采集入庫。就需要一個健壯、高效，同時 又具備可擴(kuò)展性的數(shù)據(jù)采集系統(tǒng)?？梢哉f，數(shù)據(jù)采集平臺在網(wǎng)管系 統(tǒng)中扮演了一個核心并且重要的角色，它屏蔽了底層網(wǎng)絡(luò)設(shè)備的異 構(gòu)問題，為網(wǎng)管中上層應(yīng)用提供了統(tǒng)一的數(shù)據(jù)平臺。 2 背景知識 2 1t m n 基本原理 t m n ( t e l e c o m m u n i c a t i o nm a n a g e m e n tn e t w o r k ，電信管理網(wǎng) 絡(luò)) 是i t u t ( 國際電信聯(lián)盟) 提出來的關(guān)于網(wǎng)絡(luò)管理系統(tǒng)化的解 決方案。在c c i t t 的推薦標(biāo)準(zhǔn)m 3 0 1 0 中對t m n 作了如下的定義， 即t m n 提供一個有組織的體系結(jié)構(gòu)，以實(shí)現(xiàn)各種類型的運(yùn)營系統(tǒng) 和( 或) 電信設(shè)備的互聯(lián)，同時使用一種共同的結(jié)構(gòu)和包括協(xié)議和 消息的標(biāo)準(zhǔn)化的接口來交換管理信息。電信管理網(wǎng)將一系列網(wǎng)絡(luò)管 理功能綜合起來，通過采集網(wǎng)絡(luò)工作參數(shù)、控制相應(yīng)設(shè)備等，協(xié)調(diào) 整個網(wǎng)絡(luò)的正常運(yùn)營。 t m n 和電信網(wǎng)的關(guān)系如下圖2 1 所示： 電信網(wǎng)絡(luò) 圖2 1t m n 與電信網(wǎng)關(guān)系圖 2 2 2g s m 數(shù)字移動通信原理 g s m ( g l o b a ls y s t e mf o rm o b i l ec o m m u n i c a t i o n ，全球移動通信 系統(tǒng)) 是最重要的第二代移動通信標(biāo)準(zhǔn)之一，本文介紹的采集系統(tǒng) 正是以采集g s m 網(wǎng)絡(luò)單元( 簡稱網(wǎng)元) 的數(shù)據(jù)為例。 g s m 系統(tǒng)典型結(jié)構(gòu)如下圖2 2 所示，可以看作四個子系統(tǒng)或功 能實(shí)體組成，即m s 、b s s 、n s s 、o s s 。 r ：0 s s ： ii 圖2 2g s m 系統(tǒng)結(jié)構(gòu)圖 圖示說明： m s ：m o b i l es t a t i o n ，移動臺 b s s ：b a s es t a t i o ns y s t e m ，基站子系統(tǒng) b s c ：b a s es t a t i o nc o n t r o l l e r ，基站控制器 b t s ：b a s et r a n s c e i v e rs t a t i o n ，基站收發(fā)信臺 n s s ：n e t w o r ks w i t c h i n gs y s t e m ，網(wǎng)絡(luò)交換予系統(tǒng) o s s ：o p e r a t i o ns u p p o r ts y s t e m ，操作支持予系統(tǒng) o m c ：o p e r a t i o na n dm a i n t e n a n c ec e n t e r ，操作維護(hù)中心 m s c ：m o b i l e s e r v i c es w i t c h i n gc e n t e r ，移動業(yè)務(wù)交換中心 v l r ：v i s i t o rl o c a t i o nr e g i s t e r ，來訪用戶位置寄存器 h l r ：h o m el o c a t er e g i s t e r ，歸屬用戶位置寄存器 a u c ：a u t h e n t i c a t i o nc e n t e r ，鑒權(quán)中心 e i r ：e q u i p m e n ti d e n t i f i c a t i o nr e g i s t e r ，移動設(shè)備識別寄存器 主要子系統(tǒng)和功能實(shí)體介紹如下： ( 1 ) m s ( 移動臺) m s 是公用g s m 移動通信網(wǎng)中用戶使用的設(shè)備。 ( 2 ) b s s ( 基站子系統(tǒng)) b s s 是由b t s ( 基站收發(fā)信臺) 和b s c ( 基站控制器) 這兩部 分的功能實(shí)體組成，是g s m 系統(tǒng)中與無線蜂窩方面關(guān)系最直接的 基本組成部分。 ( 3 ) n s s ( 網(wǎng)絡(luò)交換子系統(tǒng)) n s s 由六個功能單元組成，即m s c ( 移動業(yè)務(wù)交換中心) 、 h l r ( 歸屬用戶位置寄存器) 、v l r ( 訪問用戶位置寄存器) 、a u c ( 鑒權(quán)中心) 、e i r ( 移動設(shè)備識別寄存器) 、o m c ( 操作與維護(hù)中 心) 。n s s 主要包含有g(shù) s m 系統(tǒng)的交換功能和用于用戶數(shù)據(jù)與移 動性管理、安全性管理所需的數(shù)據(jù)庫功能。 m s c 是網(wǎng)絡(luò)的核心，它提供交換功能并面向系統(tǒng)其它功能實(shí) 體，m s c 可從三種數(shù)據(jù)庫，即h l r 、v l r 和a u c 獲取處理用戶 位置登記和呼叫請求所需的全部數(shù)據(jù)。反之，m s c 也根據(jù)其最新 獲取的信息請求更新數(shù)據(jù)庫的部分?jǐn)?shù)據(jù)。 0 m c 用于對g s m 系統(tǒng)的集中操作與維護(hù)，允許遠(yuǎn)程集中操作 維護(hù)管理。o m c 根據(jù)與電信網(wǎng)絡(luò)中所接設(shè)備類別不同分為管理無 線設(shè)備的o m c r ( o m c r a d i o ) 和管理交換設(shè)備的o m c s ( o m c s w i t c h ) ，o m c r 對b s s 進(jìn)行操作和維護(hù)，o m c s 對n s s 進(jìn)行操作和維護(hù)。網(wǎng)管系統(tǒng)對g s m 網(wǎng)無線和交換兩類設(shè)備數(shù)據(jù)采 集，一般情況下通過管理無線和交換設(shè)備的o m c 進(jìn)行，有時候也 通過設(shè)備直聯(lián)網(wǎng)管系統(tǒng)進(jìn)行。 ( 4 ) o s s ( 操作支持系統(tǒng)) o s s 是相對獨(dú)立的對g s m 系統(tǒng)提供管理和服務(wù)功能的單元， 包括移動用戶管理、移動設(shè)備管理以及網(wǎng)路操作與控制。 2 3 省級g s 麓話務(wù)網(wǎng)管體系架構(gòu) 三期g s m 網(wǎng)絡(luò)管理系統(tǒng)的體系架構(gòu)主要分為5 個層次，從底 層業(yè)務(wù)到上層應(yīng)用依次為：數(shù)據(jù)采集層，數(shù)據(jù)處理層，核心服務(wù) 層，應(yīng)用服務(wù)層，應(yīng)用展現(xiàn)層。軟件結(jié)構(gòu)如下圖2 3 ： 圖2 3網(wǎng)管軟件體系結(jié)構(gòu)圖 數(shù)據(jù)采集層主要完成接入?yún)f(xié)議轉(zhuǎn)換、接入服務(wù)和數(shù)據(jù)采集的功 能，完成網(wǎng)絡(luò)的配置、性能、告警數(shù)據(jù)采集和網(wǎng)元操作維護(hù)的接口 管理。 數(shù)據(jù)處理層完成數(shù)據(jù)在時間、地域、網(wǎng)元等各種維度上的數(shù)據(jù) 匯總工作，為上層應(yīng)用提供不同維度和粒度的預(yù)處理數(shù)據(jù)。 核心服務(wù)層完成對象的標(biāo)準(zhǔn)化建模工作，并提供系統(tǒng)關(guān)鍵服 務(wù)，提高模塊重用程度，便于系統(tǒng)統(tǒng)一管理和集中控制。 應(yīng)用服務(wù)層完成系統(tǒng)核心業(yè)務(wù)，為上層程序提供基于業(yè)務(wù)的操 作管理功能。 應(yīng)用展現(xiàn)層為用戶直接提供基于c s 、b s 架構(gòu)的g u i ( 圖形用 戶界面) 功能。 2 4 網(wǎng)管數(shù)據(jù)采集系統(tǒng) 采集平臺是網(wǎng)管系統(tǒng)的數(shù)據(jù)接入層，它負(fù)責(zé)從不同廠商的通信 設(shè)備采集原始數(shù)據(jù)，進(jìn)行算法映射，形成歸一化數(shù)據(jù)。網(wǎng)元數(shù)據(jù)采 集類型有兩種：配置管理數(shù)據(jù)和性能管理數(shù)據(jù)。為完成這兩種數(shù)據(jù) 采集任務(wù)，項(xiàng)目組設(shè)計了兩個相對獨(dú)立的采集系統(tǒng)：n r m 配置采 集系統(tǒng)和n p m 性能采集系統(tǒng)。n r m ( n e t w o r kr e s o u r c e m a n a g e m e n t ) 采集網(wǎng)元的配置管理數(shù)據(jù)，n p m ( n e t w o r k p e r f o r m a n c em a n a g e m e n t ) 采集網(wǎng)元的性能管理數(shù)據(jù)。 本文將僅對n p m 性能數(shù)據(jù)采集系統(tǒng)進(jìn)行分析，而不再介紹 n r m 采集系統(tǒng)，主要基于以下原因： ( 1 ) 性能數(shù)據(jù)采集時問頻繁，數(shù)據(jù)量大，采集形式復(fù)雜多 樣。性能數(shù)據(jù)采集一般需要小時粒度，及時性要求高：而配置數(shù)據(jù) 比較穩(wěn)定，采集可以按情況一天一次，或幾天一次。 ( 2 ) n p m 系統(tǒng)不僅包含了n r m 系統(tǒng)的關(guān)鍵技術(shù)。并且軟件 體系設(shè)計更健壯，能夠支持性能數(shù)據(jù)采集的復(fù)雜性和實(shí)時性。 ( 3 ) n r m 系統(tǒng)和n p m 采集系統(tǒng)是兩個互不影響的系統(tǒng)，可 以獨(dú)立運(yùn)行。 3 n p m 系統(tǒng)設(shè)計分析 3 1 n p m 系統(tǒng)結(jié)構(gòu)要解決的問題 二期網(wǎng)管系統(tǒng)在移動通信網(wǎng)絡(luò)管理與維護(hù)中發(fā)揮了重要的作 用但隨著對業(yè)務(wù)處理能力的要求越來越高，也出現(xiàn)了一定的局限 性： ( 1 ) 采集時間不靈活 數(shù)據(jù)采集程序以u n i x 系統(tǒng)c r o n t a b 方式定時運(yùn)行，人工設(shè)定 不同設(shè)備采集時間及其間隔。要判斷不同廠商設(shè)備數(shù)據(jù)的產(chǎn)生時 聞。需要長期的維護(hù)經(jīng)驗(yàn)，因此系統(tǒng)對維護(hù)人員有很強(qiáng)的依賴型， 而且無法適應(yīng)數(shù)據(jù)產(chǎn)生時間發(fā)生突變的情況。 ( 2 ) 所采數(shù)據(jù)的完整性和及時性難以協(xié)調(diào) 一方面，運(yùn)營商希望網(wǎng)元o m c 端產(chǎn)生原始數(shù)據(jù)后，網(wǎng)管系統(tǒng) 能夠及時采集呈現(xiàn)這需要采集時間盡量早；另一方面，網(wǎng)元的數(shù) 據(jù)產(chǎn)生時闖有一定的波動范圍，為了在執(zhí)行采集程序時確保圊元數(shù) 據(jù)已經(jīng)產(chǎn)生，需要將程序執(zhí)行時間定的適當(dāng)晚，才能保證數(shù)據(jù)的完 整性。要人為確定一個最佳時間非常困難，并且還無法預(yù)防設(shè)備出 現(xiàn)突發(fā)事件所導(dǎo)致的數(shù)據(jù)延遲數(shù)個小時的情況。 ( 3 ) 網(wǎng)元配置信息管理有待加強(qiáng) 二期系統(tǒng)對所有網(wǎng)元配置信息諸如主機(jī)地址，接口信息等都通 過一個i n i 配置文件完成，并定時備份此文件。但是一個簡單的i n i 文件不能配置更復(fù)雜的網(wǎng)元信息，傳統(tǒng)的文件備份方式也存在很大 安全隱患。 ( 4 ) 網(wǎng)管核心數(shù)據(jù)庫負(fù)擔(dān)過大 二期系統(tǒng)中，網(wǎng)管核心數(shù)據(jù)庫同時負(fù)責(zé)數(shù)據(jù)采集以及其它中上 層任務(wù)。采集系統(tǒng)對核心數(shù)據(jù)庫頻繁的進(jìn)行大規(guī)模數(shù)據(jù)操作增加、 修改、刪除大量臨時表及臨時數(shù)據(jù)，數(shù)據(jù)庫服務(wù)器負(fù)擔(dān)過重，并且 已經(jīng)開始影響到網(wǎng)管中上層應(yīng)用。 3 2 n p m 采集系統(tǒng)結(jié)構(gòu) 三期網(wǎng)管工程的性能數(shù)據(jù)采集系統(tǒng)我們稱之為n p m 采集系 統(tǒng)，它由采集配置管理、采集控制、采集實(shí)現(xiàn)三大部分組成。 系統(tǒng)架構(gòu)如圖3 1 所示： 囤3 1n p m 性能采集系統(tǒng)架構(gòu) n p m ：網(wǎng)管性能管理平臺，它將負(fù)責(zé)g s m 移動話務(wù)網(wǎng)絡(luò)性能 數(shù)據(jù)的采集、存儲、分析，并且是網(wǎng)管中上層應(yīng)用以及其它支撐系 統(tǒng)獲得性能數(shù)據(jù)的唯一渠道。 n p m d b ：網(wǎng)管性能管理平臺核心數(shù)據(jù)庫，包括網(wǎng)管系統(tǒng)的底 層、中層和上層應(yīng)用數(shù)據(jù)。 m d ：網(wǎng)管數(shù)據(jù)采集服務(wù)器 m d d b ：采集服務(wù)器數(shù)據(jù)庫，它有限期的存儲數(shù)據(jù)采集過程中 使用的臨時表和臨時數(shù)據(jù)。三期系統(tǒng)采用獨(dú)立的數(shù)據(jù)庫輔助采集過 程，減輕核心數(shù)據(jù)庫n p m d b 的壓力，而n p m d b 所使用的底層表 數(shù)據(jù)由m d d b 同步得到。 o m c 數(shù)據(jù)源：通常設(shè)備的無線和交換數(shù)據(jù)都來自于管理無線和 交換設(shè)備的o m c ，也有部分?jǐn)?shù)據(jù)采自直聯(lián)網(wǎng)元。 匯總模塊：是網(wǎng)管性能管理平臺中層模塊。 系統(tǒng)通過數(shù)據(jù)源檢測模塊( d a t a c h e c k ) 按照一定的時間和網(wǎng)元 粒度來檢查數(shù)據(jù)的完整性，這種檢測需根據(jù)不同廠商設(shè)備特性完 成，基本上是定時( 可以配置) 去輪詢數(shù)據(jù)源的方式。一旦數(shù)據(jù)的 生成情況符合設(shè)置的完整性要求的時候，就發(fā)“采集任務(wù)請求”消 息給采集任務(wù)生成器( t a s k g e n e r a t o r ) ，讓它負(fù)責(zé)去調(diào)度實(shí)際采集 任務(wù)的執(zhí)行并進(jìn)行狀態(tài)跟蹤，采集任務(wù)由i n v o k e r 負(fù)責(zé)協(xié)調(diào)采集過 程的各步驟，將設(shè)備性能數(shù)據(jù)采集到m d d b 中。任務(wù)管理器 t a s k _ y a n a g e r 主要用來協(xié)調(diào)多采集服務(wù)器的數(shù)據(jù)同步請求，調(diào)度 同步任務(wù)，將采集到m d d b 中的數(shù)據(jù)同步到n p m d b 中，并由 s y n cp m 調(diào)用b r i d g e 燎匯總?cè)蝿?wù)消息發(fā)至匯總模塊，通知執(zhí)行網(wǎng)管 中層數(shù)據(jù)處理。 3 3 采集配置管理部分 網(wǎng)管二期系統(tǒng)采用一個i n i 文件存儲所有廠家o m c 網(wǎng)元的配 置信息。 比如一個標(biāo)志為o s s 3 0 3 的o m c 部分配置信息存儲格式如 下： o s s 3 0 3 】 0 m ch o s t o m cp w d 0 m cu i d v e n d o r n a m e v e r s i o n = $ o m ci p = $ o m cp w d = $ 0 m cu i d = m o t o r o l a = 1 6 2 0 # o m c 主機(jī)i p 地址 # o m c 登陸密碼 # o m c 登陸用戶 # o m c 所屬廠商 # 設(shè)備版本 二期系統(tǒng)的配置管理相對于三期系統(tǒng)，有以下幾個不足點(diǎn)： 第一，舊系統(tǒng)的采集配置管理只是一個平面的一層結(jié)構(gòu)，難以 表示一個具有多層結(jié)構(gòu)的模型。 第二，二期系統(tǒng)中不同程序模塊間為共享配置數(shù)據(jù)產(chǎn)生了很多 臨時文件，在使用l d a p 技術(shù)以后，數(shù)據(jù)共享不再主要使用臨時文 件方式，而是通過訪問l d a p 服務(wù)器獲得。系統(tǒng)性能得到優(yōu)化。 第三，二期系統(tǒng)的配置文件采用定時進(jìn)行文件備份的維護(hù)方 式，存在比較大的安全隱患。 三期系統(tǒng)所有廠商設(shè)備以及系統(tǒng)自身有關(guān)的配置信息都存放在 l d a p 服務(wù)器上，通過使用l d a p 技術(shù)，不同應(yīng)用有了統(tǒng)一的操作 接口。 3 3 1l d a p 技術(shù)原理 l d a p ( l i g h t w e i g h td i r e c t o r ya c c e s sp r o t o c o l 輕型目錄訪問協(xié) 議) 是一種部分基于x 5 0 0 目錄標(biāo)準(zhǔn)的開放標(biāo)準(zhǔn)，但更簡單、更精 練且可擴(kuò)展性更好。l d a p 目錄是一種數(shù)據(jù)庫，但它不是關(guān)系型數(shù) 據(jù)庫，而是一個樹狀的目錄型數(shù)據(jù)庫，信息被集中存儲在l d a p 服 務(wù)器上的l d a p 目錄中。 l d a p 目錄結(jié)構(gòu)與u n i x 文件系統(tǒng)非常相似，數(shù)據(jù)按層次存 儲?；窘M成元素有d n 、0 u 、數(shù)據(jù)項(xiàng)?！案被颉盎綿 n ” ( d i s t i n g u i s h e d n a m e ，專有名稱) ，類似于u n i x 系統(tǒng)的根目錄； 目錄被進(jìn)一步細(xì)分成組織單元o u ( o r g a n i z a t i o nu n i t s ) ；有一些 o u 下一級仍舊是o u ，類似于u n i x 系統(tǒng)中文件夾下的文件夾，而 1 0 有些o u 中包含數(shù)據(jù)項(xiàng)，這是整個樹的葉子部分，這種“樹一葉” 結(jié)構(gòu)使l d a p 變得易于擴(kuò)展。l d a p 技術(shù)的主要特點(diǎn)有： ( 1 ) 目錄型數(shù)據(jù)庫和關(guān)系型數(shù)據(jù)庫最基本的不同是，目錄服 務(wù)器是為執(zhí)行快速查詢而設(shè)計的，而關(guān)系型數(shù)據(jù)庫還需要為事務(wù)處 理等復(fù)雜應(yīng)用進(jìn)行優(yōu)化。 ( 2 )目錄是一個典型的層次結(jié)構(gòu)，可以進(jìn)行特定的數(shù)據(jù)管 理。 ( 3 ) l d a p 專門制定了一套標(biāo)準(zhǔn)，處理數(shù)據(jù)訪問，數(shù)據(jù)庫通 信等問題，l d a p 應(yīng)用程序接口可以隱藏協(xié)議的細(xì)節(jié)問題。 ( 4 ) l d a p 無需專門的d b a 管理數(shù)據(jù)庫，服務(wù)器易于安裝。 通過使用l d a p 協(xié)議，客戶機(jī)將查詢發(fā)送給l d a p 服務(wù)器 ( 從技術(shù)上講，l d a p 沒有“讀”功能：客戶機(jī)通過將搜索請求發(fā)送 給服務(wù)器來“讀”目錄項(xiàng)) 。服務(wù)器檢查客戶機(jī)權(quán)限( 即，客戶機(jī) 有權(quán)訪問數(shù)據(jù)庫嗎? 可以讀被請求的樹嗎? 可以將信息寫入數(shù)據(jù)庫 嗎? 可以刪除項(xiàng)嗎? ，等等) ，然后返回請求信息。凡乎所有的現(xiàn) 代編程語言都有l(wèi) d a p 的a p i ，這意味著幾乎任何一個軟件都可以 支持l d a p 。l d a p 的應(yīng)用系統(tǒng)見下圖3 2 ： 圖3 2l d a p 應(yīng)用系統(tǒng)結(jié)構(gòu) 3 3 2l d a p - a p i 模塊設(shè)計 采集系統(tǒng)采用p e r l 作為編程語言，p e r l 模塊n e t ：l d a p 可以用 于搜索l d a p 目錄，增加、刪除、修改目錄或數(shù)據(jù)項(xiàng)信息。采集系 統(tǒng)以n e t ：l d a p 為基礎(chǔ)編寫l d a p - a p i ( l d a p a p i p m ) 模塊，提 供對l d a p 服務(wù)器的訪問接口，模塊實(shí)現(xiàn)的主要功能如下表3 1 舞熬i 麓；囊謄善 接口參數(shù)說明 瀛鞘搿j 蕊曩彗對象初始化 一i j j ：+ ，t ji ；：； i d a p b a s e ：搜索起點(diǎn) 按照關(guān)鍵字法搜索，通 ：露曩曩臻謄 g 章辮 囊峨髑葑囊 i d a p f i l t e r ：搜索目標(biāo) 過h a s h 表獲取搜索節(jié) ：t 囂：囂冀未蓋囂臻： 鬻聯(lián)鬻褰j(luò) 泌囊 點(diǎn)的各項(xiàng)屬性 囊囂囊嘏驀麓i ； i d a p _ b a s e ：搜索起點(diǎn) 通過準(zhǔn)確的d s n 名稱 疊冀誓t ；籌；j ：冀i j i d a p _ f i l t e r ：搜索目標(biāo) 搜索使用h a s h 表獲取 荔薹霧臻篙黲 搜索節(jié)點(diǎn)的各項(xiàng)屬性 辮然 e n t r y _ n a m e ：目錄名 增加指定節(jié)點(diǎn)及其屬 l d a p _ b a s e ：搜索起點(diǎn) 性 。：一；囂；曩，： a t t r _ h a s h ( h a s h 表) ：增加的屬性 緩j 驀警囂 l d a p _ b a s e ：搜索起點(diǎn) 刪除指定節(jié)點(diǎn) 蓑罄緊緩。 e n t r y _ n a m e ：節(jié)點(diǎn)名 瓣 l d a p _ b a s e ：搜索起點(diǎn) e n t r y _ n a m e ：節(jié)點(diǎn)名 增加指定節(jié)點(diǎn)某屬性 a t t rh a s ( h a s h 表) ：增加的屬性 瓣搿搿i i 囂辮 i d a p _ b a s e ：搜索起點(diǎn) 震 e n t r y _ _ n a m e ：節(jié)點(diǎn)名 刪除指定節(jié)點(diǎn)某屬性 a t t r _ a r r a y ( h a s h 表) ：待刪除屬 性 刪 i d a p _ b a s e ：搜索起點(diǎn) e n t r y _ n a m e ：節(jié)點(diǎn)名 修改指定節(jié)點(diǎn)某屬性 a n r _ a r r a y ( 數(shù)組) ；待刪除屬性 表3 1l d a p _ a p i 模塊 3 3 3l d a p 樹結(jié)構(gòu) n p m 采集系統(tǒng)的l d a p 樹結(jié)構(gòu)示例如下圖3 3 ： l _ 0 u 2 i n i l m d0 0 1 型! 竺耋竺! 皇lj d ：、 i 1 型里! ! ! ! ! ! ! ! 耋型羔塞j ，。、 圖3 3l d a p 樹結(jié)構(gòu)示意圖 o = n e t s c a p e r o o t 是l d a p 目錄的裉，采集系統(tǒng)所有的配置信息都 屬于組織單元o u = b o c o 以下層次。節(jié)點(diǎn)的專有名稱d n 由根到此節(jié) 點(diǎn)中的一系列d n 組成，它們之間用逗號間隔。比如d n 是 “o u = 3 0 1 ，o u = d s n ，o u = i n i ，o u = b o c o ，o = n e t s e a p e r o o t ”的節(jié)點(diǎn)，表達(dá) 了如下的層次關(guān)系： b d 曲 們 h 刪一鎣：柏 芒j 一 一l “ l i i 【 0 o = n e t s c a p e r o o t l _ 0 u = b o c o o u = i n i l o u = d s n l o h 2 3 0 t 3 3 4 采集系統(tǒng)l d a p 節(jié)點(diǎn)類型 ( 1 ) o m c 類型節(jié)點(diǎn)：列出o m c 的詳細(xì)配置信息。 瘸擐鬈曩曩 值例描述 ：巧托電l 赫，、：。：j 。： o m c 節(jié)點(diǎn)類型 鰳n 1 4 鋤j i s 曩i ： t p m m s c _ n o k i a t p m r a d 采集的目標(biāo)以短豎線間 ：o ，：j ：c 。、，i 、 i o b t sn o k i a t p dc e l l - h隔，所列舉參數(shù)在專門 ：矗：、：、。， ：，。：，、一，： o _ n o k l a t p d r a d l 0 b s c 的映射文件中有定義 ：曩：o 、； “i e ?j，7n o k l a t p m j k g p 奠o k i a i t 蠹：蔓 p m _ d e s t c o d en o k i a 惑蕊瞧拶： 4 0 lt x t 數(shù)據(jù)源 蜱辮薅：警i 4 0 1 數(shù)據(jù)源 罐舔：曩 t 1 2 o m c 版本 。：v e n d b 一；i d ：，。： 4 設(shè)備廠商數(shù)字標(biāo)識 塑乎唧h m 糾1 二罌8 刪蹋i o p t b o c o d a l f n p m m a p p i n g 算法映射文件( 即 n o k i a r e l e a s e p u b p m _ n o k i a _ 2 0m a p p i n g 文件) 路徑 0 3 m a p o m e ，u s e 謄：； u s e 0 m cu s e r 螂l c * d蔓薹：； p a s s w o r do m cp a s s w d 。矗n i 涵薯 曩曩曩 4 0 1a 1 id s ni i s lf o rd a t a c h e c k 赫曲遺矗峨。： n o k i a ! 瓤溉灑噬一墨 o u = m d ，o u = n p m ，o u = i n i ，o u = b o c節(jié)點(diǎn)路徑 鷥蟄o !0 , 0 2 n e t s e a p e r o o t ，t 、i ”、，、一， 鰳瓤斌：警j 警 4 0 l o u 名稱 1 4 ( 2 ) d s n 類型節(jié)點(diǎn)：列出某o m c 的數(shù)據(jù)源信息。 ? 穗擎：，、! 。 值例描述 一卿e c t c f a 拶：、：、。+ 。 d s n 節(jié)點(diǎn)類型 一曲： 揣j _ 一一_ j ：、5 ：i4 0 1 設(shè)備數(shù)據(jù)庫名 攀鞭章，；：。：、：蠢， u s e rd bu s e r 憩j ；p 姆：；：? p a s s w d d bp a s s w d 曩b 毋限j ：蠹o(jì) ：曩：j o d b c 數(shù)據(jù)庫驅(qū)動類型 辟a _ 謄蠢：樹0 d e ：j ：，：o u = d s n ，o u = i n i ，o u = b o c o ，o = n節(jié)點(diǎn)路徑 、：f ：一! 曩+ 、一 ：；：j j 疊、一。i j ：j e t s c a p e r o o t ，、+y x+ 。 o u ：嗣a m e ：一一，、：4 0 1o u 名稱 ( 3 ) d a t a c h e c k 類型節(jié)點(diǎn)：配置設(shè)備數(shù)據(jù)檢測信息。 。桶性：，： ：、： 值描述 、， j j 姝森蔽ii 、 d a t a c h e c k 節(jié)點(diǎn)類型 o m c1 4 一； t ：、： 4 0 1 鬻孵蕾誓曩 d 4 0 lb t s 進(jìn)行d a t a e h e e k 操作的數(shù) 、：i ：。：7s ：譬，：i 據(jù)類型 t e s 如好a ( ：d 贏d ；=，：。：+ + ， d a t a c h e c k ，p l id 4 0 1 一b t s d 砒a e h e c k 啟動命令 # 蝴f i 虹菇：?r “曩j 羔i n o k i a _ b t s x m l d a t a c h e k 的配置文件 i q y o b e e c 嘞心： g p - n p mi n v o k e r p l 執(zhí)行i n v o k e r 的命令格 _ ，一 、 i f ，+ i 式 燃i 貶謄鬻“ o p t b o c o d a l n p m t r a c e 日志路徑 ：，、一“ n d a t a c h e c k d 4 0 1b t s 1 0 9 、b 強(qiáng)s e n o d e 、一o u = d a t a c h e c k ，o n = m d ，o u = n p 節(jié)點(diǎn)路徑 m ，o u = i n i ，o u = b o c o ，o = n e t s e a p i ，6 + ，” e r o o t 9 j o 捌 i 蝎 4 0 1o u 名稱 3 4 采集控制部分運(yùn)行機(jī)制 3 4 1 采集控制機(jī)制 n p m 采集系統(tǒng)通過檢測數(shù)據(jù)源生成情況，來控制采集任務(wù)并 驅(qū)動日常采集。采集控制部分負(fù)責(zé)底層采集任務(wù)的生成調(diào)度，最終 實(shí)現(xiàn)主動采集并及時通知匯總。 采集控制的基本機(jī)制如圖3 4 所示： 圖3 , 4 采集控制機(jī)制示意圖 1 6 首先通過d a t a c h e c k ( 數(shù)據(jù)源檢測工具) 來檢測采集是否可 行。然后生成采集任務(wù)發(fā)給特定m d ( 采集服務(wù)器) 上的 t a s k g e n e r a t o r ( 采集任務(wù)生成器) ，通過t a s k g e n e r a t o r 來調(diào)度 i n v o k e r 采集過程；調(diào)度完成后，t a s kg e n e r a t o r 向t a s km a n a g e r ( 任務(wù)管理器) 發(fā)送性能數(shù)據(jù)同步請求，t a s km a n a g e r 將協(xié)調(diào)多采 集服務(wù)器的數(shù)據(jù)同步請求。s y n c 完成到的數(shù)_pmm d d bn p m d b 據(jù)同步后，向即時匯總調(diào)度器發(fā)送即時匯總請求。d a l 2 d b 負(fù)責(zé)管 理從多個采集服務(wù)器( m d ) 發(fā)送的性能數(shù)據(jù)同步請求，擠調(diào)即時 匯總過程。 3 。4 2 d a t a c h e e k 數(shù)據(jù)源檢測工具 d a t a c h e c k 做為主動采集的發(fā)起方，是駐留采集服務(wù)器或o m c 上的守護(hù)進(jìn)程，它定時的對o m c 的數(shù)據(jù)進(jìn)行完整性檢查，一旦某 時間段數(shù)據(jù)符合采集條件，就向t a s k g e n e r a t o r 任務(wù)生成器發(fā)送采 集任務(wù)消息，觸發(fā)采集。 3 4 2 1 采集模式分類 對于不同設(shè)備，其數(shù)據(jù)產(chǎn)生與存儲形式也相應(yīng)不同，按設(shè)備采 集接口類型分有數(shù)據(jù)庫接口和文件接口兩種模式。 數(shù)據(jù)庫模式采集使用應(yīng)用程序接口訪問設(shè)備數(shù)據(jù)庫。數(shù)據(jù)源檢 測原理通常是：檢查特定表集合的數(shù)據(jù)是否有根據(jù)比例判斷是否 已經(jīng)符合采集條件專以上都符合，那么d a t a c h e c k 將會認(rèn)為一個特 定的采集任務(wù)已經(jīng)形成。 文件模式采集形式多樣，有的設(shè)備定時產(chǎn)生數(shù)據(jù)到特定目錄下， 有的需要在設(shè)備主機(jī)發(fā)命令取文件，有的通過代理協(xié)議訪問等等， 待采數(shù)據(jù)可能存在于一個或幾個文件中。文件模式檢查數(shù)據(jù)的原理 通常是：檢查特定的文件列表中的文件是否存在專檢查文件是否還 在變化專判斷文件大小專以上都符合，那么d a t a c h e e k 將會認(rèn)為一 個特定的采集任務(wù)已經(jīng)形成。 3 4 2 2d a t a c h e c k 數(shù)據(jù)源檢測工具 d a t a e h e e k 采用“核心程序+ 廠家模塊”的方式，如圖3 5 所示 m a i np r o c e s s v e n d o rp r o c e s s d a t a c h e c k 1 rc h e c k o m e s t a t d a t a c h e c k p l d a t a c h e e k 圖3 , 5d a t a c h e c k 模塊設(shè)計圖 ( 1 ) 核心程序d a t a c h e c k p l 調(diào)用接口：d a t a c h e c k p l - i $ c h e c ki d 核心程序d a t a c h e e k p l 負(fù)責(zé)與廠家無關(guān)的流程處理，參數(shù) $ c h e c ki d 是l d a p 目錄中d a t a c h e c k 類型節(jié)點(diǎn)的o u 名，以此調(diào)用 不同的數(shù)據(jù)源檢測模塊。 ( 2 ) 廠家模塊 廠家模塊由兩部分組成：x m l 配置文件和程序包。 x m l 文件用于配置不同設(shè)備采集條件：程序包必須包括兩個 函數(shù)c h e c k o m c s t a t 和d a t a _ c h e c k ，c h e c k _ o m c s t a t 檢查廠家的網(wǎng)元 o m c 狀態(tài)，d a t ac h e c k 檢測待采集數(shù)據(jù)的準(zhǔn)備情況。 3 4 3t a s kg e n e r a t o r 采集任務(wù)生成器 采集任務(wù)生成器是位于采集服務(wù)器上的守護(hù)進(jìn)程，每臺采集上 均會運(yùn)行一個t a s kg e n e r a t o r ，負(fù)責(zé)從各個廠家的d a t a c h e c k 模塊 接收消息，形成采集調(diào)度的實(shí)際任務(wù)。 任務(wù)生成器運(yùn)行時會f b r k 三個守護(hù)進(jìn)程： 進(jìn)程一：定時檢查自己的三個后臺進(jìn)程是否還在運(yùn)行，如果不 正常，將狀態(tài)記入r 志。 進(jìn)程二：以s o c k e t 方式從d a t a c h e c k 接收消息，并向 t a s km a n a g e r 發(fā)送消息。 d a t a c h e c k 發(fā)送簽到消息； 心跳檢測消息：控制d a t a c h e c k 的運(yùn)行情況。如果某一個 d a t a c h e c k 心跳超時則重新啟動它： 采集任務(wù)到達(dá)消息： 一個采集任務(wù)完成后向t a s km a n a g e r 發(fā)送性能同步、即時 匯總消息。 進(jìn)程三：接收消息隊(duì)列的消息并進(jìn)行處理，啟動采集任務(wù)。 3 4 4t a s km a n a g e r 任務(wù)管理器 任務(wù)管理器是運(yùn)行在某一臺采集服務(wù)器上的守護(hù)進(jìn)程，負(fù)責(zé)管 理從多個采集服務(wù)器( m d ) 發(fā)送的性能數(shù)據(jù)同步請求，協(xié)調(diào)調(diào)用 性能同步( s y n cp m ) 過程，并負(fù)責(zé)監(jiān)控采集服務(wù)器上的 t a s kg e n e r a t o r 的運(yùn)行情況。 任務(wù)管理器運(yùn)行時會f b r k 三個守護(hù)進(jìn)程： 進(jìn)程一：定時檢查自己的三個后臺進(jìn)程是否還在運(yùn)行。否則啟 動。定時查看表d a ld a t a c h e c k ( 存放d a t a c h e c k 的運(yùn)行信息) 中的 l a s tu p d t i m e 字段，來判斷該m d 上的t a s kg e n e r a t o r 是否正常運(yùn) 行，否則t e l n e t 到相應(yīng)m d 上重啟該m d 上的t a s kg e n e r a t o r 程序 進(jìn)程二：s o c k e t 偵聽s e r v e r ，接收t a s kg e n e r a t o r 發(fā)送的s o c k e t 消息，并進(jìn)行相應(yīng)處理。 簽到消息：如果是首次簽到，將在表d a ld a t a c h e c k 中插入 一條記錄： 心跳檢測消息：均會把當(dāng)時的時間u p d a t e 到表 d a ld a l a c h e c k 中l(wèi) a s t ，以便第一個進(jìn)程判斷狀態(tài)；updtime 性能同步請求：則將該請求發(fā)送到消息隊(duì)列中： 進(jìn)程三：接收消息隊(duì)列的消息并進(jìn)行處理，啟動同步程序 s y n cp m 。 9 3 4 5s y n c p m 性能同步 采集服務(wù)器m d 將數(shù)據(jù)采集入m d d b 的底層性能表，然后性能 同步程序負(fù)責(zé)生成導(dǎo)出m d d b 底層性能數(shù)據(jù)的腳本，并運(yùn)行之生成 數(shù)據(jù)文件，以f t p 的方式傳送到n p m ，再將文件導(dǎo)入n p m d b 對 應(yīng)表。 3 5 采集實(shí)現(xiàn)部分運(yùn)行機(jī)制 采集實(shí)現(xiàn)運(yùn)行機(jī)制如圖3 , 6 、圖3 7 所示： 一個采集任務(wù) 暑 要 黿 調(diào) 度 程 序 源文件校驗(yàn)( c h e c ks o u r c e ) 文件分析( p a r s e r ) 圖3 6 文件模式采集實(shí)現(xiàn)機(jī)制 以盈1 c o a t a 曲。吐， i 圖3 7 數(shù)據(jù)庫模式采集實(shí)現(xiàn)機(jī)制 i n v o k e r 是采集過程的總調(diào)度程序；f i l e c o l l e c t o r 負(fù)責(zé)取得文 件，c h e e k s o u r c e 負(fù)責(zé)檢查源文件中的錯誤并記錄，p a r s e r 負(fù)責(zé) 解析源文件生成格式化的目的文件，c h e c k _ d e s t 負(fù)責(zé)檢查目的文 件的格式類型錯誤，o d b c _ e o l l e e t o r 負(fù)責(zé)將數(shù)據(jù)入m d d b 臨時 表，a d a p t o r 將臨時表數(shù)據(jù)整理入最終底層性能表。 3 5 1i n v o k e r 3 5 1 。li n v o k e r 設(shè)計 i n v o k e r 負(fù)責(zé)全程調(diào)用采集的各個過程，工作流程如下圖3 8 所 示： i n v o k e r 初始化 從l d a p 讀取信息，向 d a l l n s l a n e e 添加目志 上 讀取x m l 配置文件， 組