智慧城市多源異構(gòu)大數(shù)據(jù)處理框架

智慧城市多源異構(gòu)大數(shù)據(jù)處理框架智慧城市多源異構(gòu)大數(shù)據(jù)處理框架摘要：智慧城市建設(shè)的重心已由傳統(tǒng)IT系統(tǒng)和信息資源共享建設(shè)，轉(zhuǎn)變?yōu)閿?shù)據(jù)的深度挖掘利用和數(shù)據(jù)資產(chǎn)的運營流通。大數(shù)據(jù)中心是數(shù)據(jù)資產(chǎn)管理和利用的實體基礎(chǔ)，其核心驅(qū)動引擎是大數(shù)據(jù)平臺及各類數(shù)據(jù)挖掘與分析系統(tǒng)。討論了智慧城市大數(shù)據(jù)中心建設(shè)的功能架構(gòu)，圍繞城市多源異構(gòu)數(shù)據(jù)處理的實際需要，對數(shù)據(jù)中心大數(shù)據(jù)平臺的架構(gòu)進行了拆分講解，并以視頻大數(shù)據(jù)處理為例，闡述了數(shù)據(jù)中心中大數(shù)據(jù)平臺的運轉(zhuǎn)流程。關(guān)鍵詞：智慧城市；大數(shù)據(jù)；多源異構(gòu)；視頻分析11引言隨著智慧城市建設(shè)逐步由信息基礎(chǔ)設(shè)施和應(yīng)用系統(tǒng)建設(shè)邁入數(shù)據(jù)資產(chǎn)集約利用與運營管理階段，城市大數(shù)據(jù)中心已成為智慧城市打造核心競爭力、提升政府管理效能的重要工具。一方面政府借助大數(shù)據(jù)中心建設(shè)可以將有限的信息基礎(chǔ)設(shè)施資源集中高效管理和利用，大幅降低各自為政、運維機關(guān)龐雜、財政壓力過大的問題；另一方面，可以在國務(wù)院、發(fā)展和改革委員會大力支持的政策東風(fēng)下，打破部門間數(shù)據(jù)壁壘，推動政府各部門職能由管理轉(zhuǎn)為服務(wù)，提高數(shù)據(jù)共享利用率和透明度。以大數(shù)據(jù)中心為核心構(gòu)建城市駕駛艙，實現(xiàn)城市運轉(zhuǎn)過程的實時全面監(jiān)控，提高政府決策的科學(xué)性和及時性。智慧城市大數(shù)據(jù)中心建設(shè)功能框架如圖1所示，其中針對不同部門的數(shù)據(jù)源，由數(shù)據(jù)收集系統(tǒng)完成數(shù)據(jù)的匯聚，并根據(jù)數(shù)據(jù)業(yè)務(wù)類型和內(nèi)容的差異進行粗分類。為避免過多“臟數(shù)據(jù)”對大數(shù)據(jù)平臺的污染，粗分類。為避免過多“臟數(shù)據(jù)”對大數(shù)據(jù)平臺的污染，對于批量數(shù)據(jù)，不推薦直接將數(shù)據(jù)匯入大數(shù)據(jù)平臺，而是單設(shè)一個前端原始數(shù)據(jù)資源池，在這里暫時存儲前端流入的多源異構(gòu)數(shù)據(jù)，供大數(shù)據(jù)平臺處理調(diào)用。圖1智慧城市大數(shù)據(jù)中心功能框架大數(shù)據(jù)平臺是城市大數(shù)據(jù)中心運轉(zhuǎn)的核心驅(qū)動引擎，主要完成多源數(shù)據(jù)導(dǎo)入、冗余存儲、冷熱遷移、批量計算、實時計算、圖計算、安全管理、資源管理、運維監(jiān)控等功能[1]，大數(shù)據(jù)平臺的主體數(shù)據(jù)是通過專線連接或硬件復(fù)制各政府部門數(shù)據(jù)庫的方式獲得，例如地理信息系統(tǒng)（geographicinformationsystem，GIS）數(shù)據(jù)、登記信息等。部分?jǐn)?shù)據(jù)通過直連業(yè)務(wù)部門傳感監(jiān)測設(shè)備的方式獲得，例如監(jiān)控視頻、河道流量等。大數(shù)據(jù)平臺的輸出主要是結(jié)構(gòu)化關(guān)聯(lián)數(shù)據(jù)以及統(tǒng)計分析結(jié)果數(shù)據(jù)，以方便各類業(yè)務(wù)系統(tǒng)的直接使用。不同部門間共享與交換的數(shù)據(jù)不推薦直接使用原始數(shù)據(jù)，一方面是因為原始數(shù)據(jù)內(nèi)容密級存在差異，另一方面是因為原始數(shù)據(jù)內(nèi)容可能存在錯誤或紕漏。推薦使用經(jīng)過大數(shù)據(jù)平臺分類、過濾和統(tǒng)計分析后的數(shù)據(jù)。不同使用部門經(jīng)過政務(wù)信息門戶統(tǒng)一需求申請和查看所需數(shù)據(jù)，所有數(shù)據(jù)的交換和審批以及數(shù)據(jù)的監(jiān)控運維統(tǒng)一由數(shù)據(jù)信息中心負(fù)責(zé)，避免了跨部門協(xié)調(diào)以及數(shù)據(jù)管理不規(guī)范等人為時間的損耗，極大地提高了數(shù)據(jù)的流通和使用效率。另外，針對特定的業(yè)務(wù)需求，可以基于大數(shù)據(jù)平臺擁有的數(shù)據(jù)進行定制開發(fā)，各業(yè)務(wù)系統(tǒng)屬于應(yīng)用層，建設(shè)時不宜與大數(shù)據(jù)平臺部署在同一服務(wù)器集群內(nèi)，并且要保證數(shù)據(jù)由大數(shù)據(jù)平臺至業(yè)務(wù)系統(tǒng)的單向性，盡量設(shè)置業(yè)務(wù)數(shù)據(jù)過渡區(qū)，避免應(yīng)用系統(tǒng)直接對大數(shù)據(jù)平臺核心區(qū)數(shù)據(jù)的訪問。目前主流大數(shù)據(jù)平臺都采用以Hadoop為核心的數(shù)據(jù)處理框架，例如Cloudera公司的CDH（ClouderaDistributionforHadoop）和星環(huán)信息科技（上海）有限公司（Transwarp）的TDH（TranswarpDataHub）、ApacheHadoop等。以Hadoop為核心的大數(shù)據(jù)解決方案占大數(shù)據(jù)市場95%以上的份額，目前國內(nèi)80%的市場被Cloudera占有，剩余20%的市場由星環(huán)信息科技（上海）有限公司、北京紅象云騰系統(tǒng)技術(shù)有限公司、華