世紀鼎利云計算技術方案建議書

STYLEREF標題目錄三、技術方案建議書目錄1 系統(tǒng)總體設計 頁世紀通信鼎利支持系統(tǒng)總體設計云計算系統(tǒng)設計方案概述系統(tǒng)基本功能本期工程的建設思路是，既滿足中國移動總部規(guī)范，又要緊密結合實際網(wǎng)絡情況，提供一套適合移動集團當前管理模式，又能適應今后發(fā)展的信令數(shù)據(jù)共享平臺。系統(tǒng)的基本功能和性能如下：海量原始信令實時解析、合成CDR能夠?qū)α髁砍^48Gbps的全量原始信令流進行實時處理。海量CDR存儲、計算能夠存儲PB級別的CDR數(shù)據(jù)，并完成各種復雜業(yè)務應用計算。PB級數(shù)據(jù)秒級查詢能力：高效索引算法，智能化調(diào)度任務系統(tǒng)，滿足秒級查詢速度。秒級實時業(yè)務響應高效實時數(shù)據(jù)通道，對于像實時跟蹤、告警等實時業(yè)務，提供秒級響應時間。主要設計思想和設計目標、設計原則設計思想：將海量數(shù)據(jù)分解到由大量X86架構計算機構成的低成本計算平臺上進行實時處理，依靠分布式云計算軟件進行容錯，從而提升移動網(wǎng)絡海量信令數(shù)據(jù)分析的實時性和性價比。設計目標：利用中國移動計算資源池中的X86架構計算機，建立云計算平臺，能夠?qū)α髁砍^48Gbps的信令監(jiān)測流進行實時處理，提供CDR實時查詢、專題分析和KPI分析等多種業(yè)務支持。系統(tǒng)具有可動態(tài)可伸縮性、高度容錯性和響應實時性，達到較之傳統(tǒng)方案有一個數(shù)據(jù)量級的性能價格比提升。設計原則：（1）前瞻性技術與實際應用環(huán)境相結合本項目是既是先進技術應用示范項目，又是工程實施型項目。把握技術正確性和先進性是前提，但是前瞻性技術實施必須在資源池的實際應用環(huán)境和實際監(jiān)測流量的基礎上進行，必須結合資源池平臺的實際情況進行研究和開發(fā)，只有與實際應用環(huán)境相結合才有實際應用價值。（2）學習借鑒國外先進技術與自主創(chuàng)新相結合在基于資源池的云計算平臺用于超大規(guī)模數(shù)據(jù)處理方面，國內(nèi)外幾乎是在一個起跑線上；但在關鍵技術研究及既往的技術積累方面，國外一些大公司有著明顯的優(yōu)勢。同時，中國移動信令處理云計算平臺所將要面對的信令流高達48Gbps，是一個世界級的云計算應用。我們將積極學習借鑒國外先進的云計算技術，同時與自主創(chuàng)新相結合，形成功能強大、性能卓越的能夠滿足實際應用環(huán)境需求的云計算信令處理和分析平臺。（3）遵循國家和中移動相關標準規(guī)范本項目的設計將嚴格遵循國家和中移動企業(yè)規(guī)范，包括：《中國移動信令監(jiān)測系統(tǒng)總體技術要求》、《信令監(jiān)測系統(tǒng)設備規(guī)范——信令共享平臺分冊》、《信令監(jiān)測系統(tǒng)接口規(guī)范——信令共享平臺分冊》、《私有云資源池部署應用系統(tǒng)的總體技術要求》等最新版本。信令共享平臺的云計算解決方案在中國移動提供的計算資源池上，申請若干X86架構計算/存儲節(jié)點，虛擬出海量存儲空間、處理能力和數(shù)據(jù)管理能力。同時研制面向應用的分布式數(shù)據(jù)處理軟件，滿足CDR合成、索引、查詢、KPI分析、專題分析、深度數(shù)據(jù)挖掘等應用需求。圖表SEQ圖表\*ARABIC1信令共享平臺云計算解決方案系統(tǒng)的主要技術特點實時性：平臺在高效率并行分布式軟件的支撐下，可以實時完成信令合成和分析工作，如CDR合成、CDR查詢、KPI查詢和專題分析等。CDR合成不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分析和查詢工作基本都在秒級完成，具有前所未有的高效性。高可靠性：基于對云計算可靠性深厚的研究積累，徹底解決了當前分布式計算平臺易出現(xiàn)的單點故障問題。任何一個節(jié)點出現(xiàn)故障，系統(tǒng)將自動屏蔽，而且不會出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。包括CDR任務分配節(jié)點、CDR合成節(jié)點、HDFS元數(shù)據(jù)節(jié)點、HDFS數(shù)據(jù)存儲節(jié)點、MapReduce

JobTracker節(jié)點、MapReduceWorker節(jié)點、DataCube節(jié)點等?？缮炜s性：在不停機的情況下，增加節(jié)點，平臺的處理能力自動增加；減少節(jié)點，平臺的處理能力自動縮減。這樣，可以做到與資源池的無縫對接，根據(jù)計算和存儲任務動態(tài)地申請或釋放資源，最大限度地提高資源利用率。高性價比：采用X86架構廉價計算機構建云計算平臺，用軟件容錯替代硬件容錯，大大節(jié)省成本。在目標性能和可靠性條件下，可比傳統(tǒng)的小型機加商用數(shù)據(jù)庫方案節(jié)省10倍左右的成本。全業(yè)務支持：采用NoSQL＋關系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放于分布式平臺并進行分布式處理，少量實時性要求很高的數(shù)據(jù)存放于關系數(shù)據(jù)庫，可支撐各種類型的業(yè)務。不僅支撐查詢、統(tǒng)計、分析業(yè)務，還可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務。系統(tǒng)總體構架系統(tǒng)基本組成與構架信令共享平臺是一個處于信令采集與信令監(jiān)測應用之間的系統(tǒng)。從系統(tǒng)基本組成與構架上來看，該共享平臺由7個主要部分組成：信令數(shù)據(jù)合成處理系統(tǒng)，信令數(shù)據(jù)訂閱系統(tǒng)，實時跟蹤系統(tǒng)，信令數(shù)據(jù)存儲系統(tǒng)，信令數(shù)據(jù)查詢分析應用系統(tǒng)，網(wǎng)絡管理系統(tǒng)以及系統(tǒng)管理。在基礎設施構架上，該共享平臺將架構將構建在中國移動私有云資源池平臺之上，利用資源池所提供的計算資源、存儲資源和網(wǎng)絡資源，作為信令共享平臺的基礎設施和支撐平臺。圖表SEQ圖表\*ARABIC2信令共享平臺的基本組成與構架系統(tǒng)功能構架信令共享平臺需要提供的7大主要功能描述如下。（1）信令數(shù)據(jù)合成處理信令數(shù)據(jù)合成處理主要負責從信令采集系統(tǒng)接收全量原始信令數(shù)據(jù)，進行信令解析處理，并將原始信令數(shù)據(jù)按照一定的時間粒度（如每分鐘）合成轉(zhuǎn)換為CDR數(shù)據(jù)，并進一步從CDR數(shù)據(jù)匯總計算出KPI數(shù)據(jù)。計算出的CDR和KPI數(shù)據(jù)將根據(jù)用戶的信令數(shù)據(jù)訂閱要求，經(jīng)過濾處理后發(fā)送給訂閱用戶。同時，合成后的CDR數(shù)據(jù)和KPI統(tǒng)計數(shù)據(jù)將轉(zhuǎn)發(fā)給實時跟蹤和監(jiān)控系統(tǒng)，進行實時跟蹤處理并發(fā)送到用戶端。為了能進行信令數(shù)據(jù)的查詢分析，計算出的CDR和KPI數(shù)據(jù)將傳送并保存到信令數(shù)據(jù)存儲系統(tǒng)。在內(nèi)部處理模塊上，信令數(shù)據(jù)合成系統(tǒng)主要包括兩個模塊：接入模塊和合成處理模塊。接入模塊主要負責處理協(xié)議轉(zhuǎn)換和數(shù)據(jù)分發(fā)，而合成處理模塊主要負責信令數(shù)據(jù)的解析和合成處理、以及KPI數(shù)據(jù)匯總計算。在系統(tǒng)構架上，為了滿足不同流量的信令數(shù)據(jù)處理需要，需要構建一個專用的信令數(shù)據(jù)合成處理集群。（2）信令數(shù)據(jù)訂閱系統(tǒng)合成的CDR數(shù)據(jù)、信令指標數(shù)據(jù)、業(yè)務信令數(shù)據(jù)將轉(zhuǎn)發(fā)給信令數(shù)據(jù)訂閱系統(tǒng)。信令監(jiān)測系統(tǒng)根據(jù)應用系統(tǒng)的數(shù)據(jù)訂閱策略，對應用系統(tǒng)需要的信令數(shù)據(jù)進行處理和過濾后，將信令數(shù)據(jù)通過接入模塊發(fā)送給用戶應用系統(tǒng)。信令訂閱系統(tǒng)支持實時/準實時訂閱/通知方式的數(shù)據(jù)共享，可實現(xiàn)CDR數(shù)據(jù)、信令指標數(shù)據(jù)、業(yè)務信令數(shù)據(jù)的訂閱，可為應用系統(tǒng)進行網(wǎng)絡管理、業(yè)務管理、用戶管理以及網(wǎng)絡優(yōu)化、網(wǎng)絡規(guī)劃、網(wǎng)絡設計提供基礎的原始數(shù)據(jù)。信令訂閱系統(tǒng)可支持靈活的過濾策略，使用從訂閱請求所生成的過濾策略對輸出信令數(shù)據(jù)進行過濾,可支持信令事件過濾、事件中具體字段的過濾以及字段取值的過濾。為了支持信令訂閱處理，需要設計信令數(shù)據(jù)訂閱管理系統(tǒng)，通過該管理系統(tǒng)事先接收用戶發(fā)來的具體的信令數(shù)據(jù)訂閱請求，這些請求經(jīng)過審批處理后將存儲在管理系統(tǒng)中。當信令數(shù)據(jù)合成后，系統(tǒng)將從信令訂閱管理系統(tǒng)中取出用戶的訂閱請求，以此為依據(jù)對信令數(shù)據(jù)進行過濾處理。（3）實時跟蹤系統(tǒng)合成的CDR數(shù)據(jù)、信令指標數(shù)據(jù)、業(yè)務信令數(shù)據(jù)同時也將轉(zhuǎn)發(fā)給實時跟蹤系統(tǒng)，以完成協(xié)議分析、實時業(yè)務跟蹤、多接口多協(xié)議關聯(lián)分析等實時追蹤功能。監(jiān)測系統(tǒng)可對監(jiān)測范圍內(nèi)協(xié)議消息原始數(shù)據(jù)進行捕獲并傳送至維護終端顯示；實時業(yè)務跟蹤提供對某一業(yè)務完整信令過程的跟蹤，以協(xié)助用戶實時分析網(wǎng)絡實體之間信令配合問題或網(wǎng)絡異常。能對一次呼叫中的所有相關信令流程進行實時關聯(lián)分析，包括多接口（無線接入網(wǎng)、核心網(wǎng)）、多協(xié)議（BSSAP/RANAP、ISUP、BICC、MAP、CAP、H.248等）關聯(lián)。（4）信令數(shù)據(jù)存儲系統(tǒng)原始信令數(shù)據(jù)、CDR數(shù)據(jù)、KPI指標數(shù)據(jù)、業(yè)務信令數(shù)據(jù)、以及計算生成的專題數(shù)據(jù)，依照招標技術規(guī)范要求，將全部存儲在中國移動私有云資源池的云存儲資源中。資源池提供兩種存儲資源：一種是結構化數(shù)據(jù)存儲資源，用于存儲少量的接口花數(shù)據(jù)；另一種是分布式文件系統(tǒng)，用于存儲海量的非結構化數(shù)據(jù)。為了滿足和適應數(shù)據(jù)量、數(shù)據(jù)特征和查詢處理的不同需求，將采用一種混搭式的數(shù)據(jù)存儲方案。對容量巨大、常規(guī)數(shù)據(jù)庫難以處理的數(shù)據(jù)，如原始信令數(shù)據(jù)、CDR數(shù)據(jù)、業(yè)務信令數(shù)據(jù)等，將主要存儲在基于HDFS的DataCube分布式云處理系統(tǒng)中；這些數(shù)據(jù)將通過DataCube接口進行訪問和計算處理。而對于部分數(shù)據(jù)量不大、且查詢響應性能要求很高的數(shù)據(jù)，如KPI數(shù)據(jù)，計算生成的專題數(shù)據(jù)，系統(tǒng)配置和管理數(shù)據(jù)等，將被存放在關系數(shù)據(jù)庫中。關系數(shù)據(jù)庫將采用SybaseASE版本。這些數(shù)據(jù)將通過結構化數(shù)據(jù)存儲訪問接口（如JDBC）進行訪問。在存儲構架上，若以存儲7天的原始信令數(shù)據(jù)和60天的CDR數(shù)據(jù)的存儲量為依據(jù)，加上KPI、專題等其它需要保存更長時間的歷史數(shù)據(jù)，在1000M、2000M、3000M、7000Mbps的不同信令數(shù)據(jù)流量下，將大約分別需要200TB、400TB、600TB、1400TB的存儲容量，按照每個存儲節(jié)點10TB的存儲容量，加上少量的冗余節(jié)點，將分別需要21、42、64、144個存儲節(jié)點。若實現(xiàn)全國集中式的信令數(shù)據(jù)存儲，按照全國48Gbps的總流量，則需要能提供8PB存儲容量的分布式云存儲系統(tǒng)，若以每個服務器節(jié)點配置10TB的硬盤估算，則形成這樣一個全國集中式的分布式云存儲系統(tǒng)將需要大約800個服務器節(jié)點。（5）信令數(shù)據(jù)查詢分析應用系統(tǒng)信令數(shù)據(jù)查詢分析應用主要提供包括CDR數(shù)據(jù)查詢、KPI業(yè)務數(shù)據(jù)查詢、核心網(wǎng)分析、網(wǎng)絡優(yōu)化分析、終端專題分析查詢、CDR專題分析查詢、用戶專題分析查詢等功能，以及相關的報表處理等功能。CDR查詢處理時，由于CDR數(shù)據(jù)量巨大，難以存儲在常規(guī)的關系數(shù)據(jù)庫中，而如果直接存儲在HDFS中又難以保證查詢效率。為此，需要對CDR數(shù)據(jù)進行索引處理，并將索引數(shù)據(jù)存儲在HDFS中，考慮使用DataCube系統(tǒng)。為了建立CDR索引，需要在CDR數(shù)據(jù)傳送到云存儲系統(tǒng)中時，進行實時的索引處理。但由于信令數(shù)據(jù)流量巨大，需要調(diào)度使用多臺服務器節(jié)點進行并行處理。同樣，5分鐘以上時間粒度的KPI統(tǒng)計數(shù)據(jù)計算、以及各種專題數(shù)據(jù)的計算也需要進行并行處理。此外，用戶從客戶端發(fā)起以上各種數(shù)據(jù)查詢分析任務時，也會產(chǎn)生大量并發(fā)的查詢?nèi)蝿?。以上各種查詢分析計算任務的處理將需要考慮在計算集群上進行并行化任務調(diào)度和負載均衡處理。這些并行計算任務及負載均衡處理將使用Zookeeper基于計算集群完成統(tǒng)一的控制和實現(xiàn)。在系統(tǒng)構架上，以上查詢分析計算任務將需要使用一個大規(guī)模數(shù)據(jù)并行計算集群。在編程實現(xiàn)上，存儲在數(shù)據(jù)庫中的數(shù)據(jù)將使用常規(guī)的數(shù)據(jù)庫查詢語言實現(xiàn)；對存儲在分布式文件系統(tǒng)中的信令數(shù)據(jù)，針對不同的處理要求，在數(shù)據(jù)量極大而處理實時性要求不是特別高的情況下，為了方便對海量數(shù)據(jù)的并行處理，將采用MapReduce編程方式實現(xiàn)；而對于那些實時性要求很高的查詢分析計算，由于MapReduce啟動作業(yè)需要較長的時間開銷，將不適合采用MapReduce編程實現(xiàn)，而需要用DataCube。（6）網(wǎng)絡管理系統(tǒng)包括核心網(wǎng)絡管理和自系統(tǒng)網(wǎng)絡管理兩大部分。核心網(wǎng)管理主要包括網(wǎng)絡拓撲管理、核心網(wǎng)告警預警管理、網(wǎng)絡指標實時監(jiān)視等。而自系統(tǒng)網(wǎng)絡管理主要包括信令監(jiān)測系統(tǒng)自身網(wǎng)絡狀況的管理、監(jiān)控、和告警等功能。（7）系統(tǒng)管理系統(tǒng)管理主要包括信令監(jiān)測系統(tǒng)的配置管理、系統(tǒng)安全管理、系統(tǒng)用戶管理，以及數(shù)據(jù)備份、系統(tǒng)故障監(jiān)測復等管理維護功能。配置管理是其中最主要的部分，是系統(tǒng)各個模塊正常運行的基礎。系統(tǒng)應能夠從信令數(shù)據(jù)中自動獲取部分配置數(shù)據(jù)（如包括信令點、鏈路、信令設備地址、邏輯信道和傳輸信道映射關系等）；能夠從其他系統(tǒng)導入配置數(shù)據(jù)；并對所有配置數(shù)據(jù)提供錄入、編輯、查詢功能。系統(tǒng)應支持樹圖、數(shù)據(jù)表格、網(wǎng)絡拓撲圖形式展示配置數(shù)據(jù)。主要包括基本配置數(shù)據(jù)管理（如國家、省、地區(qū)、運營商、信令點類型、路由組類型、鏈路組類型、協(xié)議類型、協(xié)議參數(shù)、移動國家碼、移動網(wǎng)號、國內(nèi)長途區(qū)號、國際字冠、業(yè)務接入號碼、IMEI終端類型等配置數(shù)據(jù)），網(wǎng)絡配置數(shù)據(jù)（信令點、信令鏈路、信令鏈路組、IP地址、協(xié)議棧配置、號碼資源、目的碼、移動網(wǎng)標準局數(shù)據(jù)、互聯(lián)互通標準局數(shù)據(jù)、HLR的號段歸屬設置、SCP的號段歸屬設置、GT配置、各種業(yè)務路由配置、局號的字冠配置、基站配置、小區(qū)配置、VLR-GT碼的對應關系表以及MSISDN號段-歸屬地信息對應關系表、網(wǎng)元物理信息），業(yè)務配置數(shù)據(jù)（各種業(yè)務字冠配置、呼叫類型配置、業(yè)務類型配置、智能網(wǎng)業(yè)務類型配置、計費屬性配置、特殊號碼、業(yè)務接入號碼等），協(xié)議配置數(shù)據(jù)（各類協(xié)議的呼叫結果、釋放原因、錯誤碼、失敗原因等），以及統(tǒng)計和門限值配置數(shù)據(jù)管理。系統(tǒng)總體構架與功能模塊基于以上基本的系統(tǒng)組成和功能構架，系統(tǒng)的詳細總體構架和功能模塊設計如圖所示。圖表SEQ圖表\*ARABIC3信令共享平臺總體構架與功能模塊圖上圖中，自底向上分為五個層面。最下層是硬件平臺層，將使用中國移動所提供的私有云資源池所提供的計算、存儲和網(wǎng)絡資源。從系統(tǒng)處理系統(tǒng)的角度看，這一層主要包括CDR合成處理集群（包括用于信令訂閱、實時跟蹤的集群）、云存儲集群、以及綜合分析云計算集群，此外還包括接口和管理服務器、包括用于實現(xiàn)客戶端訪問的Web服務器。第二層是系統(tǒng)軟件層，包括移動的云存儲系統(tǒng)軟件，綜合分析云計算軟件平臺，以及Web服務軟件等。云存儲系統(tǒng)將提供基于SybaseASE關系數(shù)據(jù)庫的結構化數(shù)據(jù)存儲訪問能力，以及基于HDFS的分布式文件系統(tǒng)存儲訪問能力，分別提供基于JDBC/SQL的數(shù)據(jù)庫訪問接口以及HDFS訪問接口。綜合分析云計算軟件平臺可提供對HDFS、DataCube數(shù)據(jù)的訪問，并提供MapReduce編程模型和接口、以及非MapReduce模型的編程接口，以及用于實現(xiàn)并行計算任務負載均衡和服務器單點失效恢復的Zookeeper。第三層是信令共享平臺中的數(shù)據(jù)層，包括原始信令數(shù)據(jù)、業(yè)務信令數(shù)據(jù)、CDR數(shù)據(jù)、KPI統(tǒng)計數(shù)據(jù)、專題數(shù)據(jù)、用戶訂閱訂單管理數(shù)據(jù)、以及系統(tǒng)配置數(shù)據(jù)等。其中，原始信令數(shù)據(jù)、業(yè)務信令數(shù)據(jù)、CDR數(shù)據(jù)等海量數(shù)據(jù)將存儲在中國移動云存儲系統(tǒng)的HDFS分布式文件系統(tǒng)中，用HDFS接口進行存儲和訪問處理；而其它如KPI指標數(shù)據(jù)、專題數(shù)據(jù)、用戶訂閱訂單數(shù)據(jù)等數(shù)據(jù)量不大、但處理響應性能要求較高的數(shù)據(jù)，將存儲在云存儲系統(tǒng)的關系數(shù)據(jù)庫系統(tǒng)中，用JDBC/SQL進行存儲和訪問處理。第四層是信令數(shù)據(jù)處理軟件層，主要完成信令共享平臺所需要提供的諸多功能，包括CDR數(shù)據(jù)合成、信令數(shù)據(jù)訂閱與訂閱管理、實時跟蹤處理、綜合分析查詢處理、核心網(wǎng)絡和自系統(tǒng)網(wǎng)絡管理、以及系統(tǒng)管理功能。最上層是客戶端用戶界面軟件，主要供用戶查詢和監(jiān)視相關的數(shù)據(jù)信息，出CDR合成部分不需要用戶界面外，其它部分都需要實現(xiàn)對應的用戶界面。系統(tǒng)基本功能與處理方案信令CDR合成功能與處理方案信令合成處理系統(tǒng)總架構如圖：圖表SEQ圖表\*ARABIC4信令合成處理系統(tǒng)架構 信令共享平臺通過IF1口接入采集層全量原始信令，全量數(shù)據(jù)按流量分配進入負載均衡機，負載均衡機根據(jù)CDR合成集群各節(jié)點負載情況，動態(tài)分配全量原始信令到各CDR合成處理機，CDR合成后進行預統(tǒng)計、用戶訂閱數(shù)據(jù)分發(fā)、實時跟蹤等業(yè)務應用處理，同時將CDR存入分步式存儲系統(tǒng)。負載均衡機功能監(jiān)控所有CDR合成機負載情況，動態(tài)分配全量原始數(shù)據(jù)。監(jiān)控所有CDR合成機運行狀態(tài)，如果發(fā)現(xiàn)CDR合成機出現(xiàn)問題，那么就把分配給這臺機器的全量原始數(shù)據(jù)，重新分配到其他CDR合成機，以消除單點故障，提高系統(tǒng)可靠性。負載均衡機采用Paxos算法解決一致性問題，集群在某一時刻只有一個Master負責均衡能力，當Master宕機后，其他節(jié)點重新選舉Master。保證負載均衡機不會存在單點問題，CDR合成機負載一致性。CDR合成處理機功能：將全量原始信令進行信令解碼、合成處理。生成后的不完整CDR進入關聯(lián)合成模塊，補充完整CDR所有信息，合成完整的CDR。合成后的CDR分別進入預統(tǒng)計模塊進行1分鐘粒度統(tǒng)計、CDR分發(fā)模塊進行按訂閱條件分發(fā)CDR到各應用系統(tǒng)、實時跟蹤模塊按條件分發(fā)CDR到用戶端、將CDR存入分步式存儲系統(tǒng)。實時業(yè)務 對于實時性要求高的業(yè)務應用，如：實時跟蹤、網(wǎng)絡指標分析、告警等業(yè)務，走實時專道。自管理系統(tǒng)提供集群自管理功能，包括：拓撲管理、告警管理、用戶權限管理等。數(shù)據(jù)存儲功能與處理方案數(shù)據(jù)存儲處理總架如圖：圖表SEQ圖表\*ARABIC5數(shù)據(jù)存儲處理架構數(shù)據(jù)存儲系統(tǒng)提供如下功能：CDR數(shù)據(jù)處理：接收來自CDR合成系統(tǒng)的CDR數(shù)據(jù)，索引模塊實時生成索引文件，以提高查詢速度。生成的索引文件存儲到HDFS中，以供查詢CDR使用。專題業(yè)務分析，通過MapReduce并行計算，同期提取業(yè)務數(shù)據(jù)，將結果分存兩路，一路存入DataCube或日志詳單存儲，一路存入關系型數(shù)據(jù)庫。KPI指標數(shù)據(jù)處理：CDR合成系統(tǒng)生成的1分鐘粒度的KPI統(tǒng)計數(shù)據(jù)分存兩路，一路存入分步式數(shù)據(jù)DataCube中，一路存入關系性數(shù)據(jù)庫中，關系性數(shù)據(jù)庫保留近期數(shù)據(jù)，以供客戶實時查詢。存入DataCube的KPI數(shù)據(jù)，周期的統(tǒng)計大粒度數(shù)據(jù)存入再分寫兩路，一路存入數(shù)據(jù)庫，另一路存入DataCube中。同樣的存入數(shù)據(jù)庫中的數(shù)據(jù)，也只保留近期數(shù)據(jù)。歷史數(shù)據(jù)全部保存在DataCube中，周期為一年。原始全量信令數(shù)據(jù)處理CDR合成系統(tǒng)生成的原始全量信令數(shù)據(jù)及其索引文件，存入資源池分布式存儲服務中，以供CDR查詢使用。信令事件數(shù)據(jù)處理CDR合成系統(tǒng)生成的信令事件數(shù)據(jù)處理，存入資源池分存式存儲服務中。以FTP接口方式對應用層提供服務訂閱系統(tǒng)產(chǎn)生的用戶訂單，存入資源池分存式存儲服務中。系統(tǒng)管理系統(tǒng)數(shù)據(jù)，存入日志詳單類數(shù)據(jù)存儲服務中。查詢分析功能與處理方案CDR查詢構架如圖：圖表SEQ圖表\*ARABIC6CDR數(shù)據(jù)接入存儲系統(tǒng)接入CDR合成系統(tǒng)CDR，將CDR存入分步式文件系統(tǒng)HDFS，并同時建立索引，將索引文件存入HDFS。當客戶發(fā)起請求后，客戶端把請求發(fā)向查詢接口服務器，查詢接口服務器解析查詢請求，后向Master任務調(diào)度機發(fā)送查詢?nèi)蝿請?zhí)行命令；Master回應執(zhí)行命令節(jié)點信息，查詢服務器根據(jù)節(jié)點信息將查詢命令發(fā)向查詢計算模塊，進行具體查詢操作，將查詢結果返回給客戶端，呈現(xiàn)給用戶。CDR訂閱管理功能與處理方案CDR訂閱系統(tǒng)總構圖：圖表SEQ圖表\*ARABIC7CDR訂閱系統(tǒng)架構在數(shù)據(jù)存儲集群中劃分出訂閱系統(tǒng)構成分組：分為SDTP協(xié)議分發(fā)組、WebService協(xié)議分發(fā)組、Ftp協(xié)議分發(fā)組以及訂閱接口服務器組。訂閱系統(tǒng)功能有：CDR、業(yè)務信令事件、指標等數(shù)據(jù)訂閱功能、用戶管理、系統(tǒng)配置管理、權限管理、日志管理等。訂閱系統(tǒng)所有管理數(shù)據(jù)存儲在日志類分步式文件系統(tǒng)中，所有用戶訂單存儲在資源池分存式存儲服務中，以供數(shù)據(jù)分發(fā)服務器獲取訂閱信息。用戶訂閱后的數(shù)據(jù)，其中SDTP、WebService數(shù)據(jù)通過各接口服務器主動推送給應用層。Ftp數(shù)據(jù)存入資源池分存式存儲服務中，用戶通過FTP服務接口服務器主動獲取數(shù)據(jù)。系統(tǒng)處理流程CDR、業(yè)務信令事件、指標、KPI數(shù)據(jù)處理流程如圖：圖表SEQ圖表\*ARABIC8業(yè)務信令事件、指標、KPI系統(tǒng)互聯(lián)與管理組網(wǎng)方案組網(wǎng)方案如圖：圖表SEQ圖表\*ARABIC9組網(wǎng)方案我司可向資源池服務申請VPN或公網(wǎng)IP服務，如果系統(tǒng)出故障，可以保障第一時間遠程排查。本系統(tǒng)通過傳輸承載網(wǎng)向應用層、其他信令監(jiān)測廠商提供數(shù)據(jù)服務。系統(tǒng)接口各系統(tǒng)間接口如圖：圖表SEQ圖表\*ARABIC10系統(tǒng)間接口對外系統(tǒng)接口 IF1采集層與共享平臺接口 該接口采有SDTP協(xié)議，是信令采集網(wǎng)關（SCG）與信令共享平臺之間的接口傳輸協(xié)議，以TCP/IP作為底層通信承載。協(xié)議棧分為3層，分別為承載層、傳輸層和應用層。其中，承載層為IP協(xié)議，它提供可靠的數(shù)據(jù)傳輸通道；傳輸層（SDTP+TCP）為上層應用提供通用的數(shù)據(jù)傳輸協(xié)議 IF2共享平臺與應用層接口：該接口采協(xié)議有三種SDTP、Ftp、WebService。其中SDTP、WebService為實時通信協(xié)議。SDTP用于轉(zhuǎn)輸大批量數(shù)據(jù)，WebService用于小數(shù)據(jù)量傳輸。Ftp為非實時通信協(xié)議。 數(shù)據(jù)訂閱管理接口應用系統(tǒng)通過訂閱接口向信令共享平臺訂閱業(yè)務信令數(shù)據(jù)，查詢可訂閱的業(yè)務信令數(shù)據(jù)種類，查詢修改和取消訂閱，并且允許應用系統(tǒng)在訂閱時自行調(diào)整所訂閱字段的順序。 原始信令數(shù)據(jù)反查接口根據(jù)用戶請求指定的CDRID及Start_time，查詢CDR對應的全量原始信令數(shù)據(jù)。指定小區(qū)下活動用戶查詢接口根據(jù)查詢請求向應用系統(tǒng)按需報送指定小區(qū)當前時間點之前指定時間段內(nèi)（不超過2小時）的MSISDN和IMSI列表數(shù)據(jù)。在該接口中，使用的協(xié)議為WebService。網(wǎng)絡管理服務器間網(wǎng)絡安全檢查系統(tǒng)自管理通過啟用網(wǎng)絡安全檢查進程（netinspect）,定期檢查整個系統(tǒng)的網(wǎng)絡狀況，并上報各服務模塊網(wǎng)絡流量信息，在終端形成網(wǎng)絡拓撲圖，實時在界面呈現(xiàn)各節(jié)點網(wǎng)絡狀態(tài)，管理員也能及時了解，各服務模塊的網(wǎng)絡流量機承載的負荷。若出現(xiàn)網(wǎng)絡故障，netinspect進程實時上報故障情況，在網(wǎng)絡拓撲圖上以報警方式提示，或以短信的方式提示，便于管理員及時發(fā)現(xiàn)問題，并恢復網(wǎng)絡故障，確保系統(tǒng)在安全的網(wǎng)絡環(huán)境下運行。服務模塊進程監(jiān)控管理系統(tǒng)自管理通過啟用服務模塊運行狀態(tài)檢查進程（proinspect）,定期檢查整個系統(tǒng)的服務模塊進程運行狀況，并上報各服務模塊進程的運行狀態(tài)信息，在終端將運行的進程的狀態(tài)以表格形式顯示，定時更新進程的運行狀態(tài)信息。通過它管理員也能及時了解，各服務模塊的進程運行負荷。若在固定的時間內(nèi)沒有更新，視為進程運行故障，啟動主機代理自動恢復故障進程，保障各服務模塊進程持續(xù)穩(wěn)定的運行的狀態(tài)。系統(tǒng)性能監(jiān)控管理系統(tǒng)自管理通過啟用服務模塊性能檢查進程（serverinspect）,定期檢查整個系統(tǒng)的各服務器性能指標，包括CPU開銷、內(nèi)存占用、IO峰值、網(wǎng)絡流量、連接數(shù)等。并上報各服務性能指標，在終端形成拓撲圖，實時在界面呈現(xiàn)各節(jié)點服務器性能狀態(tài)，管理員也能及時了解，各服務節(jié)點處理性能及資源開銷。若性能持續(xù)高負荷，拓撲圖上以報警方式提示，或以短信的方式提示，便于管理員及時發(fā)現(xiàn)問題，查找問題的來源或重新評估服務器配置情況，為系統(tǒng)穩(wěn)定運行提供一個確實可靠的標準。系統(tǒng)日志分析處理系統(tǒng)各服務模塊在運行期間寫日志文件，將進程的模塊編號、服務器的IP、出錯頁碼等日志的狀態(tài)（錯誤、告警、提示）等級別的信息保存磁盤文件，供工程師來分析系統(tǒng)運行狀態(tài)。同時日志分析進程(loganalyse）分析日志文件，將重要的日志信息，進行對比、分析并匯總后，生產(chǎn)統(tǒng)一格式的日志信息，提取出來，寫入的數(shù)據(jù)庫表中，終端管理通過查詢界面來來顯示，能及時了解到系統(tǒng)的運行的狀態(tài)。系統(tǒng)運行狀態(tài)及報警處理系統(tǒng)運行報警分為以下幾種：服務器運行狀態(tài)報警服務器網(wǎng)絡狀態(tài)報警服務模塊進程報警日志模塊狀態(tài)報警系統(tǒng)安全網(wǎng)絡安全為保障整個系統(tǒng)穩(wěn)定運行，首先要保障系統(tǒng)在網(wǎng)絡方面是安全的。從硬件、軟件方面做相應的安全措施。硬件：所有的網(wǎng)絡設備都要1+1冗余配置，涉及以下網(wǎng)絡硬件設備冗余配置以太網(wǎng)100M/1000M網(wǎng)卡以太網(wǎng)網(wǎng)絡交換設備光纖網(wǎng)絡接口FC/HBASAN光纖網(wǎng)絡交換機軟件：在整個系統(tǒng)上部署防火墻軟件、及自產(chǎn)的安全管理管理軟件模塊來保障系統(tǒng)平穩(wěn)運行。數(shù)據(jù)文件安全性見信令合成集群可靠性、存儲集群可靠性章節(jié)。系統(tǒng)可靠性與擴展性系統(tǒng)可靠性HDFS可靠性概述：HDFS包括元數(shù)據(jù)節(jié)點(Namenode)和數(shù)據(jù)節(jié)點(Datanode)，Namenode是一個中心服務器，負責管理文件系統(tǒng)的Namespace和客戶端對文件的訪問。，Datanode在集群中一般是一個節(jié)點一個，Datanode是文件系統(tǒng)中真正存儲數(shù)據(jù)的地方。DataNode所在機器掛了怎么辦？HDFS(HadoopDistributedFileSystem)默認的最基本的存儲單位是64M的數(shù)據(jù)塊（block）。一個文件對應的所有BLOCK全部按照一定的部署策略存在于DataNode上，文件的所有block為了容錯都會被復制（一般為3份），每個文件的block大小和replication因子都是可配置的。Datanode每3分鐘向Namenode發(fā)送心跳，如果10分鐘datanode沒有向Namenode發(fā)送心跳，則Namenode認為該Datanode已經(jīng)dead，Namenode將取出該Datanode上對應的block，對其進行復制。Namenode掛了怎么辦？Namenode主控服務器，為了避免主節(jié)點失效而影響整個系統(tǒng)正常工作，我們采用基于HDFS的改進方案Avatar，同時可開啟兩個Namenode，主Namenode和secondNamenode，實際工作的只有主Namenode。主Namenode將所有關于文件和目錄的操作記錄都會寫入日志，并定時序列化到本地做鏡像，并且保存到本地的NFS服務器，同時secondNamenode讀取主Namenode所在NFS服務器的日志并對鏡像日志做CheckPoint。故障后，secondNamenode升級為Namenode，通過鏡像數(shù)據(jù)和文件日志迅速恢復系統(tǒng)。數(shù)據(jù)服務器可通過分布式協(xié)同服務機制得知關于主控服務器的更迭情況，然后向新的主控注冊并繼續(xù)發(fā)送心跳。MapReduce可靠性概述：MapReduce整體上可以分為這么幾條執(zhí)行的線索，JobTracker與JobTracker是一個master服務，軟件啟動之后JobTracker接收job，負責調(diào)度job的每一個子任務task運行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的task就重新運行它。一般情況應該把JobTracker部署在單獨的機器上。TaskTracker是運行于多個節(jié)點上的slaver服務。TaskTracker主動與JobTracker通信，接收作業(yè)，并負責直接執(zhí)行每一個任務。TaskTracker都需要運行在HDFS的DataNode上，JobTracker0掛掉怎么辦？在系統(tǒng)啟動時同時啟動備份JobTracker1節(jié)點，當JobTracker0節(jié)點宕機時，ZooKeeper會在其上啟動JobTracker進程替代JobTracker0節(jié)點，虛擬IP會指向此節(jié)點，TaskTracker會注冊到此節(jié)點上，未完成的MapReduce作業(yè)會被ZooKeeper調(diào)度到此節(jié)點上重新執(zhí)行。TaskTracker掛掉怎么辦？JobTracker是一個master服務，軟件啟動之后JobTracker接收job，負責調(diào)度job的每一個子任務task運行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的task就重新運行它。并且將其負責的task分配給其他TaskTracker上。系統(tǒng)擴展性已有的Hadoop集群規(guī)模Hadoop是一個相當有彈性和擴展性的平臺，它既可以在成千上萬的機器上跑，也可以在很小規(guī)模上運行。目前最大的Hadoop集群有四千臺機器。Hadoop擴展優(yōu)勢：與其它分布式系統(tǒng)相比，使用Hadoop的好處在于它的水平的可擴展性，在少量結點上，用Hadoop處理有限的數(shù)據(jù)時，不能展示Hadoop的性能，因為開始Hadoop程序相關的代價比較高，其它并行/分布程序方式，比如MPI(MessagePassingInterface)可能在2臺，4臺或許10多臺計算機上有更好的性能，盡管在少量機器上協(xié)同工作在這種系統(tǒng)上也許會取得更好的性能，但這種為性能所要付出的努力是非線性的增長。用其它分布式框架所寫的程序在從十臺機器的級別到成百上千臺機器需要大量的重構工作，這也許要程序重寫幾次，并且其它框的基礎元素會限制應用的規(guī)模大小。但是特別設計的Hadoop有著水平的可擴展性，一個Hadoop程序?qū)懲旰?，?0個結點上運行，如果遷徙到更大的集群上運行，幾乎不需要做什么工作，Hadoop平臺會管理數(shù)據(jù)和硬件資源并提供與可用資源成比例的可靠性能。Hadoop擴展方法：DataCube集群具備線性擴展功能，只需要將配置好的DataCube節(jié)點加入到集群中。MapReduce集群具備線性擴展功能，只需要將配置好的TaskTracker節(jié)點加入到集群中，JobTracker節(jié)點就會將Map或Reduce任務分配給此節(jié)點處理。HDFS具備線性擴展功能，只需要將配置好的DataNode節(jié)點加入到集群中，并且在集群空閑時執(zhí)行balancer工具以平衡集群中DataNode的數(shù)據(jù)塊負載。系統(tǒng)設計性能信令流量處理能力信令合成集群完全采用分布式實現(xiàn)，支持線性擴展，每節(jié)點采用低端X86PCServer處理122Mbps流量。對于全國總量48466Mbps來說，需要408臺處理機。以下是各部分處理能力統(tǒng)計：CDR合成服務器配置：HPDL385G78核CPU×2，主頻2.3GHz,內(nèi)存32G，硬盤6×2TSATA處理能力：122Mbps原始信令/臺應用分析服務器配置：HPDL385G78核CPU×2，主頻2.3GHz,內(nèi)存16G，硬盤2×300GSAS處理能力：折合原始信令流量380Mbps/臺接口服務器配置：HPDL385G78核CPU×2，主頻2.3GHz,內(nèi)存16G，硬盤2×300GSAS處理能力：折合原始信令流量380Mbps/臺數(shù)據(jù)存儲能力原始信令存儲采用私有云存儲資源池，分布式文件系統(tǒng)存儲服務。性能指標：存儲量指標單系統(tǒng)應支持PB級存儲容量。吞吐量指標吞吐量是指在沒有幀丟失的情況下，設備能夠接受的最大速率。吞吐量根據(jù)應用系統(tǒng)讀寫方式和應用系統(tǒng)讀取存儲內(nèi)容大小分成四個指標。分布式文件存儲系統(tǒng)按照20個節(jié)點并發(fā)1000個用戶計算，單節(jié)點12塊1T大小的硬盤情況下，每個節(jié)點指標具體內(nèi)容如下表所示：表1分布式文件存儲系統(tǒng)吞吐量指標編號讀寫方式存儲內(nèi)容大小平均吞吐量指標(MBps)1100%讀1GB602100%寫1GB303100%讀100KB304100%寫100KB15圖表SEQ圖表\*ARABIC11分布式文件存儲系統(tǒng)吞吐量指標系統(tǒng)響應時間指標千兆網(wǎng)絡環(huán)境下，局域網(wǎng)客戶端從分布式文件存儲系統(tǒng)中讀取4096字節(jié)存儲內(nèi)容的響應時間應不高于50ms。CDR存儲采用HDFS性能指標，如下：數(shù)據(jù)讀取性能：40~80MB/s·節(jié)點；數(shù)據(jù)規(guī)模：10PB規(guī)模；數(shù)據(jù)負載均衡時間：可依據(jù)流量配置而確定；集群重新啟動時間（10TB規(guī)模）：分鐘級別；查詢分析計算性能對任何實時分析操作的反應時間小于10秒；查詢、統(tǒng)計操作的首次響應時延小于1秒；并發(fā)操作終端數(shù)大于30個；基于CDR的統(tǒng)計，記錄5000萬條以內(nèi)，30秒可以統(tǒng)計完成。項目實施計劃項目內(nèi)容根據(jù)中國移動通信有限公司2011年省內(nèi)MC口信令監(jiān)測系統(tǒng)共享層設備采購招標的要求，并且全國31省的信令采集層已完成采購及建設工作，本期工程將以省為單位新建信令監(jiān)測系統(tǒng)的第二層共享層，將采用云方案進行建設，實現(xiàn)對各省所有MSCServer的Mc/Nc接口信令的采集和監(jiān)測。各省建設內(nèi)容如下：根據(jù)采集層規(guī)模計算，產(chǎn)生以下四種共享層建設模型：模型一1000M、模型二2000M、模型三3000M、模型四7000M。各省信令共享層采用集中建設的方式進行建設。為了能夠更高效地完成項目的工程任務，保證工程質(zhì)量，使整個系統(tǒng)的性能指標達到設計要求，故制定工程施工組織方案，以對工程實施進行指導。我公司按完成本次招投標項目31個省分公司進行制訂項目實施方案。詳細情況如下：工作內(nèi)容模型一模型二模型三模型四備注完成數(shù)量13861項目管理流程公司組建MC信令監(jiān)測項目組，指派項目經(jīng)理，通過對項目的管理達到項目有序、順利的實施。本項目的項目管理流程如下：撰寫項目管理規(guī)劃指導、分配工作任務控制項目施工進度工程質(zhì)量監(jiān)督調(diào)試技術支撐撰寫項目管理規(guī)劃指導、分配工作任務控制項目施工進度工程質(zhì)量監(jiān)督調(diào)試技術支撐對工程技術人員考核分解任務配置項目人員項目階段性節(jié)點考核每階段項目統(tǒng)計表解決反饋問題小簽后工程項目立項小簽后工程項目立項任命項目經(jīng)理技術力量支援撰寫并制定項目管理規(guī)劃配置各方面資源各省分組技術人員公司總經(jīng)理各省分組技術人員公司總經(jīng)理項目組項目經(jīng)理各省分節(jié)點負責人反饋項目中的問題匯報任務完成情況匯報工程施工進度每周項目工作總結項目資料提交匯總各個省分項目進度反饋項目中的問題匯報任務完成情況匯報工程施工進度每周項目工作總結項目資料提交匯總各個省分項目進度定期匯報定期項目總結項目需求反饋反饋項目重大問題項目階段性總結反饋工程進度情況工程實施反饋情況跟蹤匯總項目資料，存檔圖表SEQ圖表\*ARABIC12項目管理流程項目管理流程說明：我公司在收到中標通知單后，申請立項，分配項目編號，公司項目管理部任命項目經(jīng)理。項目經(jīng)理根據(jù)移動公司項目要求制定詳細的工程項目管理規(guī)劃，提出項目技術資源（技術人員、配合部門等）需求、規(guī)劃各個省分公司項目的施工進度、預算項目成本及項目風險控制等。經(jīng)過合理有效的配置各項資源，成立項目管理團隊。項目經(jīng)理對項目團隊負責，對各省分公司項目的實施進行統(tǒng)一組織管理，將各地工程項目實施情況集中上報給公司。項目經(jīng)理根據(jù)項目管理規(guī)劃分配工作任務，根據(jù)各省分公司任務量給各個項目分組配置技術人員；負責全面統(tǒng)籌安排各省分公司的技術人員、施工力量，同時對項目的進度進行跟蹤管理和工程資料統(tǒng)計存檔，并及時對各項目分組的應急工程進行支援調(diào)配；按照階段性節(jié)點對項目進行考核，并統(tǒng)計考核成績進行排序，以作為績效獎勵的依據(jù)。節(jié)點負責人根據(jù)項目經(jīng)理下達的任務對工作進行分配，明確工程施工的過程中技術人員的工作任務，設置階段性里程碑；在實際的施工過程中，根據(jù)標志性里程碑督促技術人員按時提交技術文檔；控制項目實際施工過程中的進度，對工程質(zhì)量負責；對項目分組中的技術人員定期進行考核。各項目分組中的技術人員按照分解后的工作任務工作，定期反饋工作中的問題，并在各個里程碑階段提交項目必要的技術文檔資料。本項目由項目經(jīng)理統(tǒng)一組織安排，建立了良好的溝通渠道，制定了各項規(guī)章制度。根據(jù)制度規(guī)范對人員的管理可以使項目工作有序進行。工程人員情況根據(jù)本次工程要求，世紀鼎利公司成立MC口信令監(jiān)測系統(tǒng)工程項目組，實行項目經(jīng)理負責制。項目經(jīng)理參與前期招標、談判、現(xiàn)場勘察設計、設備開通、調(diào)試、維護的全過程，保證連續(xù)性，為設備維護提供最完善的服務。施工組織結構施工組織結構具體為：圖表SEQ圖表\*ARABIC13施工組織結構本項目組由項目經(jīng)理、項目助理、產(chǎn)品交付組、各省公司項目小組及技術專家組構成。具體團隊情況為：1名項目經(jīng)理；1名項目助理；1個產(chǎn)品交付組；31個省分公司項目小組；1個技術專家組。成員分工及職能項目經(jīng)理（1人）保證項目質(zhì)量、環(huán)境安全管理體系的有效運行；建立項目組織結構，設置有關管理制度，配備管理人員與技術人員；明確和落實管理人員崗位職責，組織編制并實施施工組織設計、項目質(zhì)量管理、安全管理方案；負責項目總體協(xié)調(diào)組織，統(tǒng)籌安排施工進度；督促各個分項節(jié)點負責人履行崗位職責，對施工全過程實行有效的控制，確保工程項目施工過程均處于有效受控狀態(tài)。工程施工中重大問題的解決；重大變更問題的審核與批準。項目助理（1人）負責項目中的協(xié)調(diào)執(zhí)行，負責日常行政事務工作，負責項目信息（含資料，工程檔案）以及和本工程項目有關的合同文件及相關協(xié)議的收集、整理、歸檔、借閱等文檔方面的管理工作。節(jié)點負責人（28人）負責項目工程勘測設計工作的實施、監(jiān)控項目工程設計工作的質(zhì)量與進度；負責工程現(xiàn)場公司設備及配套設備安裝的實施和設備供應商現(xiàn)場施工管理，對項目中設備安裝的工程進度、工程安全、工程質(zhì)量負直接責任；保持與客戶的密切溝通，客戶的要求及時傳遞，保證信息溝通渠道通暢；負責現(xiàn)場出現(xiàn)的問題及工程進展情況；協(xié)調(diào)解決工程實施中的技術問題；工程實施過程中的客戶關系協(xié)調(diào)；負責工程文檔制作。技術支持工程師（若干）負責對現(xiàn)場機房勘查工作；負責設計方案的撰寫工作；負責設備到貨接貨及與客戶驗貨工作；對已經(jīng)到貨設備進行檢驗，如果質(zhì)量、數(shù)量有問題及時通知產(chǎn)品交付組；負責機房施工設備、材料的管理工作；負責施工過程中工程工藝保障，工程質(zhì)量把關工作；負責工程進度的控制并定期上報；負責設備的調(diào)試，信令采集設備的軟件硬件安裝工作；提請節(jié)點負責人進行內(nèi)部驗收；資深技術專家（若干）負責現(xiàn)場疑難問題的解決；給予現(xiàn)場施工、調(diào)試等工作的技術支撐；根據(jù)移動集團的需求進行研發(fā)、修改工作；與客戶進行技術交流，解除客戶的技術疑問；產(chǎn)品交付組人員（若干）采購人員負責工程所需的材料、設備的采購工作；保證設備、材料按期交貨；保證項目施工過程中的庫存設備備貨齊全。生產(chǎn)人員根據(jù)設備配置清單生產(chǎn)各種設備產(chǎn)品；對生產(chǎn)出來的設備進行調(diào)試、檢驗、封裝；發(fā)貨人員負責設備的發(fā)送運輸；負責跟蹤設備運輸狀況，及時通知現(xiàn)場技術人員收貨。根據(jù)項目工作任務情況，公司給予項目組配備現(xiàn)場管理、技術人員140個，供貨人員5人，技術專家支撐人員28人，共計需要人員173人。項目管理制度內(nèi)檢考核制度方案審核：為了保證工程施工工作順利的進行，建立了審核制度。由節(jié)點負責人對技術人員的勘察、設計方案等工作進行審核檢查。保證在施工的過程中不至于由于前期準備工作有誤導致工期延誤。工程工藝監(jiān)督檢查：在工程施工的過程中，節(jié)點負責人定期對施工工程工藝進行監(jiān)督檢查。減少工程中的隱性故障，保證工程施工的順利進行，保證工程質(zhì)量100%達標。調(diào)測抽查：工程技術人員對系統(tǒng)設備調(diào)試完成后，需要形成調(diào)試工作記錄文檔，節(jié)點負責人通過對文檔的閱讀了解系統(tǒng)調(diào)試的狀況，抽查30%調(diào)測通過的設備，保證設備調(diào)試通過率100%。協(xié)調(diào)會議制度根據(jù)工程階段性節(jié)點設置協(xié)調(diào)會議，會議必須客戶、監(jiān)理參加，目的是為了能夠更順利的完成下一步的工作任務。召開協(xié)調(diào)會議后，必須就有關協(xié)調(diào)情況及最終答復形成會議紀要以備查，會議紀要送達客戶及相關人員處。例會制度在項目實施過程中，各省分公司項目小組每周由節(jié)點負責人召開周工作例會，總結過去一周的工作情況，確定下周工作安排，分析工作過程中存在的問題，避免在以后的工作中再次出現(xiàn)。整理會議紀要提交給項目助理，備案存檔。項目經(jīng)理組織各省分公司項目小組每半個月召開一次項目管理會議，根據(jù)項目管理規(guī)劃進度調(diào)整項目實施進度?？偨Y施工中存在的問題，項目經(jīng)理協(xié)調(diào)公司資源，以最快的速度解決疑難問題。資料管理制度凡是與系統(tǒng)工程項目有關的合同文件和資料，由項目助理負責收集、整理、歸檔、管理，借閱必須經(jīng)過授權和登記。日常工作制度項目人員必須按時工作，有事必須向直接上級請假，如果直接上級有事不在時，可向項目助理理請假。遇到原則性問題必須及時向直接上級領導匯報，并寫出相關的書面材料，經(jīng)領導同意（或提出處理意見）且簽字后，方能處理。在重大原則問題處理上，應征得項目經(jīng)理同意且簽字后，方可處理。必須與客戶、其他工程施工單位及有關人員建立良好的合作關系，嚴格遵守客戶制定的施工現(xiàn)場管理規(guī)定。工作流程本項目屬于MC口信令監(jiān)測系統(tǒng)共享層設備施工安裝、調(diào)試工程，主要由：現(xiàn)場勘查、設備備貨、工程施工、設備調(diào)試、工程驗收五大部分組成?，F(xiàn)場勘查中標后，項目經(jīng)理分配勘查任務，節(jié)點負責人與省公司聯(lián)系人聯(lián)系，詳細描述勘查工作的具體安排，確認現(xiàn)場勘查時間及客戶各個局址配合的人員聯(lián)系方式，并告知勘查前客戶需要做的準備工作。技術人員記錄客戶局址配合人員聯(lián)系電話，并溝通確認勘查時間。做好勘查前的準備工作，詳細列出勘查內(nèi)容：設備位置、走線路由、電源方式、網(wǎng)絡位置等，注明勘查過程中需要注意的具體事項，保證勘查工作萬無一失。進入局址機房進行現(xiàn)場勘查，逐一填寫勘查內(nèi)容并與客戶局址配合人員確認。繪制出設備安裝平面圖。在勘查表中繪制出設備安裝系統(tǒng)圖，為后續(xù)的施工工作做好準備?？辈橥瓿珊箅x開機房，把勘查表、安裝平面圖、系統(tǒng)圖錄入成電子版存檔。供貨驗貨由于本工程工作量大，工期短，設備備貨周期長，故在拿到小簽的設備配置清單后，就提請設備準備小組備貨。工程設備分為自產(chǎn)和外購兩種類型，自產(chǎn)設備提請公司生產(chǎn)部生產(chǎn)調(diào)試，外購設備提請采購人員聯(lián)系設備供應商進行采購。工程的輔助材料由各個節(jié)點負責人根據(jù)工作量及工程經(jīng)驗估算出數(shù)量提請生產(chǎn)及采購。在勘查后根據(jù)勘查的結果輸出最終的設備配置清單，提請設備準備小組對原清單進行修正，進行二次準備。在工程技術人員勘查完后，工程輔助材料（機柜、線纜、扎帶等）和備貨周期短的設備就會到貨，工程技術人員在現(xiàn)場與客戶進行到貨驗收工作。等主設備到貨后，再次提請客戶進行到貨驗收工作。軟件研發(fā)軟件研發(fā)包括設計軟件的功能和實現(xiàn)的算法和方法、軟件的總體結構設計和模塊設計、編程和調(diào)試、程序聯(lián)調(diào)和測試以及編寫、提交程序，主要包括以下階段：概要設計：概要設計需要對軟件系統(tǒng)的設計進行考慮，包括系統(tǒng)的基本處理流程、系統(tǒng)的組織結構、模塊劃分、功能分配、接口設計、運行設計、數(shù)據(jù)結構設計和出錯處理設計等，為軟件的詳細設計提供基礎。詳細設計：描述實現(xiàn)具體模塊所涉及到的主要算法、數(shù)據(jù)結構、類的層次結構及調(diào)用關系，說明軟件系統(tǒng)各個層次中的每一個程序(每個模塊或子程序)的設計考慮，以便進行編碼和測試。保證軟件的需求完全分配給整個軟件。軟件開發(fā):根據(jù)詳細設計中對數(shù)據(jù)結構、算法分析和模塊實現(xiàn)等方面的設計要求，開始具體的軟件開發(fā)工作，分別實現(xiàn)各模塊的功能，從而實現(xiàn)對目標系統(tǒng)的功能、性能、接口、界面等方面的要求集成測試：將所有模塊按照設計要求（如根據(jù)結構圖〕組裝成為子系統(tǒng)或系統(tǒng)，進行集成測試，并且測試它們之間的接口。系統(tǒng)測試：將已經(jīng)確認的軟件、計算機硬件、外設、網(wǎng)絡等其他元素結合在一起，進行信息系統(tǒng)的各種組裝測試和確認測試，驗證系統(tǒng)是否滿足了需求規(guī)格的定義。要求覆蓋系統(tǒng)所有聯(lián)合的部件。不僅包括需測試的軟件，還要包含軟件所依賴的硬件、外設甚至包括某些數(shù)據(jù)、某些支持軟件及其接口等?，F(xiàn)場安裝工程施工完成向客戶提交完工報告及調(diào)測開通申請，經(jīng)客戶同意開通申請后，開始進行調(diào)測開通工作。節(jié)點負責人負責對施工質(zhì)量情況檢查。檢查施工質(zhì)量合格后，進行軟件部署等工作。根據(jù)設備說明書按照設計要求對服務器、路由器、網(wǎng)絡交換機進行調(diào)試，完成后再對信令采集網(wǎng)關進行聯(lián)合調(diào)試。聯(lián)調(diào)后使系統(tǒng)達到最佳效果，達到設計要求。在聯(lián)調(diào)的過程中公司技術專家組對現(xiàn)場進行支撐。為了保證客戶驗收工作順利通過，節(jié)點負責人利用工具測試數(shù)據(jù)是否采集正常，對工程進行整體的內(nèi)部驗收。通過內(nèi)部驗收保證系統(tǒng)運行正常。如果在內(nèi)部驗收的過程中發(fā)現(xiàn)系統(tǒng)存在問題，就要通過不斷的排查找到問題的原因，從而解決問題。內(nèi)部驗收的過程中發(fā)現(xiàn)工程施工的一些問題，指派工程技術人員進行整改。內(nèi)部驗收通過后，節(jié)點負責人提交工程完工驗收報告并提請客戶對系統(tǒng)進行工程驗收。在客戶對系統(tǒng)進行驗收的過程中，節(jié)點負責人與技術人員全程陪同，給客戶講解系統(tǒng)的運行情況，保證驗收工作順利通過。內(nèi)部驗收主要內(nèi)容包括：系統(tǒng)功能測試：檢查設備的軟件版本的加載情況檢查設備運行狀態(tài)確認設備能夠通過各項硬件測試、告警測試操作維護功能測試系統(tǒng)容量測試網(wǎng)同步、時間同步測試設備功能測試一階段驗收（初驗）：初驗的目的就是確認全網(wǎng)已完成對測試網(wǎng)元數(shù)據(jù)的正確采集，為接下來的全網(wǎng)數(shù)據(jù)接入共享層做好準備。按照集團要求，滿足技術規(guī)范要求。具體內(nèi)容如下：采集網(wǎng)元數(shù)據(jù)檢查數(shù)據(jù)信息完整性檢查在整個實施過程中，即控制工程質(zhì)量，又要控制工程進度，不斷督導檢查，以執(zhí)行標準為設計依據(jù)，以工程驗收標準為檢驗依據(jù)，保證工程順利完成，直至工程驗收。工程進度計劃工程總體規(guī)劃：根據(jù)移動集團要求，本系統(tǒng)必須在2012年6月底在31省上線，故就本工程提出項目實施計劃及人員安排表如下：模型單位現(xiàn)場勘察（日）總時間人員安排（人）供貨驗貨軟件研發(fā)（日）現(xiàn)場安裝（日）初驗（日）現(xiàn)場培訓一1000M3208436441315二2000M3208436441315三3000M3208436441315四7000M3208436441315圖表SEQ圖表\*ARABIC14項目實施計劃及人員安排詳細工程進度根據(jù)各個省公司的情況，編寫詳細的施工進度規(guī)劃。工程進度安排如下：任務名稱工期開始時間完成時間負責人工程進度表勘察準備設備清單小簽1工作日2011年12月1日2011年12月1日項目經(jīng)理電話溝通1工作日2011年12月1日2011年12月1日局方負責人現(xiàn)場勘測3工作日2011年12月5日2011年12月7日模型局點3工作日2011年12月5日2011年12月7日工程見面會1工作日2011年12月5日2011年12月5日局方負責人機房勘測1工作日2011年12月6日2011年12月6日設備擺放1工作日2011年12月6日2011年12月6日機房負責人,隨工,工程技術部電源確定1工作日2011年12月6日2011年12月6日機房負責人,隨工,工程技術部網(wǎng)絡位置1工作日2011年12月6日2011年12月6日機房負責人,隨工,工程技術部走線路由1工作日2011年12月6日2011年12月6日機房負責人,隨工,工程技術部施工方案確定1工作日2011年12月7日2011年12月7日項目經(jīng)理供貨驗貨20工作日2011年12月8日2012年1月4日設備物料清單1工作日2011年12月8日2011年12月8日項目經(jīng)理備貨發(fā)貨14工作日2011年12月9日2011年12月28日項目經(jīng)理開箱驗貨1工作日2012年1月4日2012年1月4日局方負責人設備進機房1工作日2012年1月4日2012年1月4日機房負責人,局方負責人軟件研發(fā)84工作日2011年12月1日2012年3月27日概要設計7工作日2011年12月1日2011年12月9日軟件項目經(jīng)理詳細設計14工作日2011年12月12日2011年12月29日項目經(jīng)理,軟件工程師軟件開發(fā)45工作日2012年1月5日2012年3月7日項目經(jīng)理,軟件工程師集成測試7工作日2012年3月8日2012年3月16日"軟件工程師,項目經(jīng)理"系統(tǒng)測試7工作日2012年3月19日2012年3月27日"軟件工程師,項目經(jīng)理"現(xiàn)場安裝36工作日2012年4月2日2012年5月21日項目經(jīng)理,工程技術部領導,軟件項目經(jīng)理軟件部署12工作日2012年4月2日2012年4月17日項目經(jīng)理,產(chǎn)品部,工程技術部,軟件工程師采集層對調(diào)7工作日2012年4月23日2012年5月1日項目經(jīng)理,產(chǎn)品部,工程技術部,軟件工程師應用層調(diào)試7工作日2012年5月2日2012年5月10日項目經(jīng)理,產(chǎn)品部,工程技術部,軟件工程師性能測試7工作日2012年5月11日2012年5月21日項目經(jīng)理,產(chǎn)品部,工程技術部,軟件工程師一階段驗收（初驗）4工作日2012年5月22日2012年5月25日局方負責人現(xiàn)場培訓4工作日2012年5月28日2012年5月31日局方負責人圖表SEQ圖表\*ARABIC15工程進度安排圖表SEQ圖表\*ARABIC16工程進度安排圖（電子版見11工程實施計劃（云）.mpp）定制開發(fā)方案相對于已經(jīng)完成的傳統(tǒng)方案，云計算方案還需要在以下方面進行特定開發(fā)。（1）CDR合成處理平臺定制開發(fā)CDR合成平臺需要使用與計算存儲集群分立的專用集群。由于CDR合成處理集群不需要存儲任何數(shù)據(jù)，僅僅需要直接接受和處理信令數(shù)據(jù)；而且，每個合成處理節(jié)點僅需要處理和輸出分發(fā)來的信令數(shù)據(jù)，不同節(jié)點間的數(shù)據(jù)間不存在任何數(shù)據(jù)關聯(lián)性，因而不需要在節(jié)點間進行任何數(shù)據(jù)通信。因此，CDR合成處理時對集群中處理節(jié)點的使用比較簡單，不需要考慮和使用諸如Hadoop的大規(guī)模數(shù)據(jù)并行計算和存儲系統(tǒng)。但合成集群中需要考慮兩個重要的問題。第一個問題是，由于從信令采集系統(tǒng)傳遞過來的信令數(shù)據(jù)流量巨大，達到48Gbps，單個信令分發(fā)服務器無法接收和處理如此巨大的數(shù)據(jù)流量。因此，需要設計和使用多臺信令數(shù)據(jù)接收和分發(fā)服務器，并且要使用一定數(shù)量的冗余服務器，以便在某些分發(fā)服務器失效時能實時切換到后備的分發(fā)服務器上。具體的分發(fā)服務器的數(shù)量將根據(jù)最大的信令流量和分發(fā)服務器的網(wǎng)絡接口的數(shù)據(jù)傳輸速率來確定。使用萬兆（10Gbps）網(wǎng)口，則處理48Gbps的流量需要大約5-6臺信令接收和分發(fā)服務器，加上2臺冗余服務器，則約需要7-8臺分發(fā)服務器。第二個問題是，需要處理好分發(fā)服務器的負載均衡以及合成集群中具體負責接收和處理CDR數(shù)據(jù)合成的計算節(jié)點的負載均衡問題，為此需要定制和設計專用的負載均衡處理控制機制和處理程序。（2）CDR合成處理軟件定制開發(fā)CDR合成時，考慮到運行在每個合成處理節(jié)點上的程序需要能實時處理高達每節(jié)點100Mbps流量的信令數(shù)據(jù)，程序?qū)τ嬎阈阅芤蠛芨?。為此，合成處理軟件將全部采用運行效率較高的C語言程序編程實現(xiàn)。合成的CDR數(shù)據(jù)由于數(shù)據(jù)量大，無法存儲在常規(guī)的關系數(shù)據(jù)庫中，需要發(fā)送并存儲到計算和存儲集群的HDFS文件系統(tǒng)中，而該功能的實現(xiàn)將通過從C語言中調(diào)用HDFS的API加以實現(xiàn)。合成階段從每分鐘CDR數(shù)據(jù)匯總生成的KPI數(shù)據(jù)的存儲，可采用兩種可能的解決方案：一種方案是，由于數(shù)據(jù)量不是太大，可考慮存儲在關系數(shù)據(jù)庫中；此時，合成處理程序需要將所生成的KPI數(shù)據(jù)記錄插入關系數(shù)據(jù)庫中。第二個方案是，將KPI數(shù)據(jù)與CDR數(shù)據(jù)一樣存儲在云存儲系統(tǒng)的HDFS或者DataCube中。（3）CDR索引數(shù)據(jù)創(chuàng)建和合并程序定制開發(fā)CDR數(shù)據(jù)存儲在Hadoop系統(tǒng)的HDFS中，但由于巨大的信令數(shù)據(jù)流量，每分鐘將有大量的CDR數(shù)據(jù)文件產(chǎn)生，為了提供及時的數(shù)據(jù)查詢，這些數(shù)據(jù)文件必須得到及時的索引創(chuàng)建處理，否則將造成大量的CDR數(shù)據(jù)積壓。因此，索引創(chuàng)建程序需要有較高的實時處理能力，以便能在一分鐘時間內(nèi)保證處理完大量的一分鐘CDR數(shù)據(jù)文件。由于MapReduce計算任務需要較長的作業(yè)初始化時間，CDR索引創(chuàng)建程序?qū)㈦y以用MapReduce程序?qū)崿F(xiàn)，而需要基于HDFS、利用HDFS編程接口編寫和定制較為復雜的非MapReduce程序，該程序不能依賴任何MapReduce的編程構架和接口，而需要自行編寫程序完成全部的數(shù)據(jù)文件讀出、解析處理、復雜的索引計算、以及索引數(shù)據(jù)文件的輸出（輸出到HDFS）處理過程。與此同時，由于基于HDFS保存的每分鐘粒度的索引文件過于細碎，將大大影響和降低CDR查詢的性能，為此需要適時對CDR索引數(shù)據(jù)進行更大時間粒度的索引合并處理，如將60個每分鐘CDR索引文件合并為1小時索引文件，每天24小時的索引文件合并為1天的索引文件，最終每個月約30個索引文件合并為1個月的索引文件，等等。合并處理程序必須設計和使用特別的多文件快速合并算法，因此也將需要設計和定制專門的基于HDFS的Java程序。KPI和CDR專題數(shù)據(jù)匯總統(tǒng)計計算程序定制開發(fā)與以上的CDR索引創(chuàng)建處理類似，KPI統(tǒng)計數(shù)據(jù)和CDR專題數(shù)據(jù)在后臺需要定期進行更大時間粒度的匯總統(tǒng)計處理，因而需要設計和定制專門的處理程序。如果KPI和專題數(shù)據(jù)采用關系數(shù)據(jù)庫存儲方案，則可以設計數(shù)據(jù)庫后臺運行程序（如觸發(fā)器）來完成定期的KPI或?qū)ｎ}數(shù)據(jù)匯總計算；如采用云存儲方案，則需要基于Hadoop的HDFS定制開發(fā)相應的Java程序。（5）查詢分析軟件定制開發(fā)查詢分析軟件將設計為基于Web的應用程序，包括客戶端查詢用戶界面以及服務器端查詢服務程序?？蛻舳瞬樵冇脩艚缑婵苫谕ㄓ玫臑g覽器實現(xiàn)，也可設計為獨立(standalone)的客戶端軟件。具體的客戶端界面將需要根據(jù)不同的查詢功能需求設計實現(xiàn)不同的查詢界面。查詢服務軟件將基于ApacheWeb服務器設計實現(xiàn)。需要特別考慮的是，大量并發(fā)的用戶查詢?nèi)蝿諏⑿枰O計實現(xiàn)查詢?nèi)蝿辗职l(fā)時的負載均衡處理。（6）并行處理任務的負載均衡調(diào)度和單節(jié)點失效恢復機制的定制方案前述的CDR索引創(chuàng)建和合并、KPI和專題數(shù)據(jù)定期匯總計算、數(shù)據(jù)查詢等處理中需要考慮的一個共性的重要問題是，為了對大量數(shù)據(jù)進行并行化的處理、或者大量用戶同時發(fā)出了很多查詢請求時，需要考慮并行計算任務的分發(fā)調(diào)度和負載均衡，尤其是負責分發(fā)調(diào)度的節(jié)點可能出現(xiàn)單節(jié)點失效而導致系統(tǒng)無法正常工作。為此，將基于Zookeeper設計實現(xiàn)一個可防止單節(jié)點失效的并行計算任務分發(fā)調(diào)度控制機制和程序框架。該框架中，Zookeeper將使用3臺并行計算任務調(diào)度服務器，并有Zookeeper負責選擇和確定一個主服務器進行工作，但當主服務器失效時，Zookeeper將能夠自動感知并選擇另一個服務器作為主服務器工作，以此完成單節(jié)點失效的恢復處理。進而，通過Zookeeper還可以控制和均衡調(diào)度使用大量的計算節(jié)點，從而完成并行計算任務分發(fā)調(diào)服時的負載均衡。（7）Hadoop計算與存儲集群的可靠性設計和功能擴展Hadoop作為一個開源的面向大規(guī)模數(shù)據(jù)并行計算的編程框架和平臺，其可靠性和性能方面還存在不少需要改進的地方。比如，Hadoop集群的Master服務器雖然開用了一個備份Master服務器，但當主Master服務器失效時，備份Master服務器并不能自動完成失效恢復和切換處理。這就無法滿足信令監(jiān)測的實時性處理需求。為此，我們需要對Hadoop進行改進，設計實現(xiàn)一個能自動完成Master服務器失效處理和切換的定制Hadoop系統(tǒng)，以便為信令監(jiān)測系統(tǒng)提供一個高可靠性的大規(guī)模數(shù)據(jù)并行計算和存儲平臺。系統(tǒng)設計實施與關鍵技術方法系統(tǒng)設計實施與關鍵技術方法系統(tǒng)軟硬件平臺系統(tǒng)軟硬件結構如圖：圖表SEQ圖表\*ARABIC17系統(tǒng)軟硬件結構 系統(tǒng)的物理硬件采用低端的x86PC服務器，操作系統(tǒng)采用RedHatLinux。數(shù)據(jù)處理流程訂閱CDR,KPI,業(yè)務信令事件處理流程如圖：圖表SEQ圖表\*ARABIC18訂閱CDRKPI業(yè)務信令事件處理流程存儲CDR、KPI、網(wǎng)絡指標數(shù)據(jù)處理如圖：圖表SEQ圖表\*ARABIC19存儲CDR、KPI、網(wǎng)絡指標數(shù)據(jù)處理流程綜合業(yè)務分析數(shù)據(jù)處理如圖：圖表SEQ圖表\*ARABIC20綜合業(yè)務分析數(shù)據(jù)處理流程信令合成處理子系統(tǒng)信令處理集群系統(tǒng)框架與功能結構信令處理集群物理分布如圖：圖表SEQ圖表\*ARABIC21信令集群物理分布CDR合成集群除負責CDR合成以外，還分為不同的功能區(qū)，像負載均衡分區(qū)、號碼關聯(lián)分區(qū)。當在CDR合成時需要到號碼關聯(lián)需要時，CDR合成機就可以向?qū)玫墓δ軈^(qū)請求關聯(lián)結果，功能區(qū)采用選舉模式，消除單故障。軟件架構如圖：圖表SEQ圖表\*ARABIC22信令合成軟件架構CDR解碼合成軟件分為信令預處理&數(shù)據(jù)分發(fā)模塊、信令解碼&CDR合成模塊、信令關聯(lián)&號碼回填模塊、CDR輸出&跟蹤服務模塊、統(tǒng)一數(shù)據(jù)存儲模塊，所有模塊通過數(shù)據(jù)交換總線互聯(lián)、實現(xiàn)分布式處理系統(tǒng)。信令處理集群負載均衡圖表SEQ圖表\*ARABIC23信令處理集群負載均衡在CDR合成集群中劃分出部分機器，負責負載均衡功能。所有負載均衡采用主從模式，當主節(jié)點宕機后，各節(jié)點通過Paxos算法重新選舉出新主節(jié)點。詳細邏輯請見“信令處理集群的可靠性與負載均衡設計”節(jié)點。所有CDR合成機上報運行狀態(tài)組主節(jié)點，以供主節(jié)點分配CDR合成機。CDR合成處理CDR合成處理模塊如圖所示：圖表SEQ圖表\*ARABIC24CDR合成處理原始信令、CDR數(shù)據(jù)的存儲管理原始數(shù)據(jù)管理如圖：圖表SEQ圖表\*ARABIC25原始信令存儲數(shù)據(jù)流程CDR存儲管理如圖：圖表SEQ圖表\*ARABIC26CDR存儲流程數(shù)據(jù)存儲子系統(tǒng)海量數(shù)據(jù)分布式數(shù)據(jù)存儲構架云計算是一種超級的計算模式，可以把網(wǎng)絡中的計算機虛擬為一個資源池，將所有的計算資源集中起來，并用特定軟件實現(xiàn)自動管理，使得各種計算資源可以協(xié)同工作，這就使得處理數(shù)量巨大的數(shù)據(jù)成為了可能?；谠朴嬎愕暮Ａ繑?shù)據(jù)存儲模型，是依據(jù)云計算的核心計算模式MapReduce，并依托實現(xiàn)了MapReduce計算模式的開源分布式并行編程框架Hadoop，將存儲模型和云計算結合在一起，實現(xiàn)海量數(shù)據(jù)的分布式存儲。MapReduce是云計算的核心計算模式，是一種分布式運算技術，也是簡化的分布式編程模式，用于解決問題的程序開發(fā)模型，也是開發(fā)人員拆解問題的方法。MapReduce模式的主要思想是將自動分割要執(zhí)行的問題，拆解成Map（映射）和Reduce（化簡）的方式。在數(shù)據(jù)被分割后通過Map函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計算機集群處理達到分布式運算的效果，在通過Reduce函數(shù)的程序?qū)⒔Y果匯整，從而輸出開發(fā)者需要的結果。MapReduce借鑒了函數(shù)式程序設計語言的設計思想，其軟件實現(xiàn)是指定一個Map函數(shù)，把鍵值對(key/value)映射成新的鍵值對(key/value)，形成一系列中間結果形式的key/value對，然后把它們傳給Reduce(規(guī)約)函數(shù)，把具有相同中間形式key的value合并在一起。Map和Reduce函數(shù)具有一定的關聯(lián)性。MapReduce流程如圖2.4.1_1所示：圖表SEQ圖表\*ARABIC27分布式計算流程Hadoop是一個實現(xiàn)了MapReduce計算模型的開源分布式并行編程框架，程序員可以借助Hadoop編寫程序，將所編寫的程序運行于計算機集群上，從而實現(xiàn)對海量數(shù)據(jù)的處理。此外，Hadoop還提供一個分布式文件系統(tǒng)(HDFS）用來將數(shù)據(jù)存儲或部署到各個計算節(jié)點上。借助Hadoop框架及云計算核心技術MapReduce來實現(xiàn)數(shù)據(jù)的計算和存儲，并且將HDFS分布式文件系統(tǒng)和DataCube分布式數(shù)據(jù)庫很好的融入到云計算框架中，從而實現(xiàn)云計算的分布式、并行計算和存儲，并且得以實現(xiàn)很好的處理大規(guī)模數(shù)據(jù)的能力。綜合MapReduce和HDFS來看Hadoop的結構：圖表SEQ圖表\*ARABIC28Hadoop結構在Hadoop的系統(tǒng)中，會有一臺Master，主要負責Namenode的工作以及JobTracker的工作。JobTracker的主要職責就是啟動、跟蹤和調(diào)度各個Slave的任務執(zhí)行。還會有多臺Slave，每一臺Slave通常具有DataNode的功能并負責TaskTracker的工作。TaskTracker根據(jù)應用要求來結合本地數(shù)據(jù)執(zhí)行Map任務以及Reduce任務。主服務控制集群相當于控制器部分，主要負責接收應用請求并且根據(jù)請求類型進行應答。存儲節(jié)點集群相當于存儲器部分，是由龐大的磁盤陣列系統(tǒng)或是具有海量數(shù)據(jù)存儲能力的集群系統(tǒng)，主要功能是處理數(shù)據(jù)資源的存取。HDFS用來將數(shù)據(jù)存儲或部署到各個計算節(jié)點上。Hadoop中有一個作為主控的Master，用于調(diào)度和管理其它的計算機（將其稱之為TaskTracker），Master可以運行于集群中任一臺計算機上。TaskTracker負責執(zhí)行任務，必須運行于DataNode上，DataNode既是數(shù)據(jù)存儲節(jié)點，也是計算節(jié)點。Master將Map任務和Reduce任務分發(fā)給空閑的TaskTracker，讓這些任務并行運行，并負責監(jiān)控任務的運行情況。如果其中任意一個TaskTracker出故障了，Master會將其負責的任務轉(zhuǎn)交給另一個空閑的TaskTracker重新運行。用戶不直接通過Hadoop架構讀取及HDFS存取數(shù)據(jù)，從而避免了大量讀取操作可能造成的系統(tǒng)擁塞。用戶從Hadoop架構傳給主服務控制集群的信息后，直接和存儲節(jié)點進行交互進行讀取操作。適應應用需求的混合存儲策略混合存儲策略可以簡述為HDFS分布式文件系統(tǒng)用來存儲海量數(shù)據(jù)，可以根據(jù)存儲的數(shù)據(jù)類型建立索引，DataCube可用來存儲海量數(shù)據(jù)，其由查詢條件建立索引表，Database對小型數(shù)據(jù)的存儲處理。分布式文件系統(tǒng)HDFS是一個開源云計算平臺Hadoop框架的底層實現(xiàn)部分，適合運行在通用硬件上的分布式文件系統(tǒng)，具有高容錯性，能提高吞吐量的數(shù)據(jù)訪問，非常適合于大規(guī)模數(shù)據(jù)集上的應用。MapReduce在HDFS的基礎上實現(xiàn)的并行框架，為用戶提供容易使用的并行編程模式，MapReduce計算包括兩個階段，Map（映射）階段和Reduce（規(guī)范）階段。首先，Map函數(shù)把一組(Key,Value)輸入，映射為一組中間結果(Key,Value)，然后通過Reduce函數(shù)把具有相同Key值的中間結果，進行合并化簡。MapReduce將計算作業(yè)分成許多小的單元，同時數(shù)據(jù)也會被HDFS分為多個Block，并且每個數(shù)據(jù)塊被復制多份，保證系統(tǒng)的可靠性，HDFS按照一定的規(guī)則將數(shù)據(jù)塊放置在集群中的不同機器上，以便MapReduce在數(shù)據(jù)宿主機器上進行計算。HDFS數(shù)據(jù)存儲 分布式文件系統(tǒng)HDFS被設計為將海量文件存儲在一個大集群的多臺計算機上。HDFS將每一個文件以分塊序列的形式進行存儲，一個文件的所有分塊除去最后一個分塊外都是等大小的。為了實現(xiàn)容錯將文件分塊進行自動復制。文件分塊的塊大小和復制比例都是可以按照單個文件進行配置的。HDFS中的所有文件都是“只寫一次”并且嚴格限定在任何時候只有一個寫文件操作者。 HDFS是Hadoop框架的分布式并行文件系統(tǒng)，是分布式計算的存儲基石。負責數(shù)據(jù)分布式存儲及數(shù)據(jù)的管理，并能提供高吞吐量的數(shù)據(jù)訪問。HDFS的基本特征如下：(l)對于整個集群有單一的命名空間。(2)文件會被分割成多個文件塊，每個文件塊被分配存儲到數(shù)據(jù)節(jié)點上，而且根據(jù)配置會有復制的文件塊來保證數(shù)據(jù)安全性。(3)數(shù)據(jù)一致性。適合一次寫入多次讀取的模型，客戶端在成功創(chuàng)建文件之后，才能看到文件的存在。(4)Hadoop，包括HDFS，非常適合在廉價機器上的分布式存儲和分布式處理。它是容錯的、可伸縮的、非常易于擴展。并且，以簡單性和適用性著稱的MapReduce是Hadoop不可缺少的重要組成部分。(5)HDFS的默認配置適合于大多數(shù)安裝的應用。通常情況下，只有在一個非常大規(guī)模的集群上才需要修改默認配置。(6)支持shell命令行風格的HDFS目錄交互。(7)HDFS是用java編寫的，可廣泛運行在多種軟硬件平臺上。(8)HDFS經(jīng)常性地實現(xiàn)新的特性和改進。(9)Namenode和DataNode都內(nèi)建了Web服務器，可以方便地查看集群的狀態(tài)。HDFS的體系框架是Master/Slave結構，一個典型的HDFS通常由單個Namenode和多個DataNode組成。Namenode是一個中心服務器，負責文件系統(tǒng)的名字空間的操作，比如打開、關閉、重命名文件或目錄，它負責維護文件路徑到數(shù)據(jù)塊的映射，數(shù)據(jù)塊到DataNode的映射，以及監(jiān)控DataNode的心跳和維護數(shù)據(jù)塊副本的個數(shù)。集群中的DataNode一般是一個節(jié)點一個，負責管理它所在節(jié)點上的存儲。HDFS暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲數(shù)據(jù)。從內(nèi)部看，一個文件其實被分成一個或多個數(shù)據(jù)塊，這些塊存儲在一組DataNode上。DataNode負責處理文件系統(tǒng)客戶端的讀寫請求。在Namenode的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復制。所有對目錄樹的更新和文件名和數(shù)據(jù)塊關系的修改，都必須能夠持久化，文件在HDFS中存儲圖如圖：圖表SEQ圖表\*ARABIC29Hdfs結構HDFS涉及到Namenode、DataNode和客戶端們之間的交互。本質(zhì)上，客戶端與Namenode通訊是通過獲取或者修改文件的元數(shù)據(jù)，與DataNode進行實際的I/O操作。如圖3所示，在HDFS中有三個重要的角色：Namenode、DataNode和Client，其中Client就是需要獲取分布式文件系統(tǒng)文件的應用程序。這里通過三個操作來說明他們之間的交互關系：(l)文件寫入。首先Client向Namenode發(fā)起文件寫入的請求，Namenode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€DataNode塊中。(2)文件讀取。Client向Namenode發(fā)起文件讀取的請求，Namenode返回文件存儲的DataNode的信息。Client根據(jù)返回的信息讀取DataNode上的文件信息。(3)文件Block復制。Namenode發(fā)現(xiàn)部分文件的Block不符合最小復制數(shù)或者部分DataNode失效，通知DataNode相互復制Block。DataNode收到通知后開始直接相互復制。

圖表SEQ圖表\*ARABIC30HDFSNamenode、DataNode和客戶端們之間的交互Database數(shù)據(jù)存儲數(shù)據(jù)庫（Database）是存儲在一起的相關數(shù)據(jù)的集合，這些數(shù)據(jù)是結構化的，無有害的或不必要的冗余，并為多種應用服務；數(shù)據(jù)的存儲獨立于使用它的程序；對數(shù)據(jù)庫插入新數(shù)據(jù)，修改和檢索原有數(shù)據(jù)均能按一種公用的和可控制的方式進行。當某個系統(tǒng)中存在結