用電信息采集系統(tǒng)數(shù)據(jù)處理性能提升方案

用電信息采集系統(tǒng)數(shù)據(jù)處理

性能提升方案

目錄

一、引言........................................................................4域代碼已更改

域代碼已更改

1.1系統(tǒng)現(xiàn)狀...............................................................6

（域代碼已更改

1.2面臨問題及發(fā)展趨勢

二、現(xiàn)有業(yè)務應用和數(shù)據(jù)構成.....................................................A

2.1業(yè)務應用需求............................................................

2.1.1基本應用...........................................................6

2.1.2高級應用...........................................................6

2.1.3業(yè)務應用需求總結.................................................

2.2數(shù)據(jù)構成分析............................................................,7

2.3數(shù)據(jù)存儲性能分析.........................................................?

2.4探索研究..............................................................J1

三、系統(tǒng)提升方案................................................................12

3.1系統(tǒng)目標及原則.........................................................,13

3.2系統(tǒng)總體方案............................................................,14

3.1.1性能提升方案......................................................14

3.1.2數(shù)據(jù)存儲方案......................................................15

3.1.3數(shù)據(jù)處理方案......................................................17

3.1.4基于云存儲與關系數(shù)據(jù)庫的應用系統(tǒng)架構............................

3.3系統(tǒng)特點、性能和功能....................................................,21

3.3.1系統(tǒng)特性..........................................................21

3.3.2系統(tǒng)特點........................................................22^1

3.3.3系統(tǒng)性能..........................................................22

3.3.4系統(tǒng)功能.........................................................

3.4平臺方案優(yōu)勢............................................................,25

3.4.1嚴格遵循國網(wǎng)標準化設計...........................................25

3.4.2先進的海量數(shù)據(jù)管理機制..........................................?5

3.4.3盡可能少的業(yè)務系統(tǒng)改動...........................................26

3.4.4成熟的實施案例.................................................^726

3.4.5豐富的經(jīng)驗、鮮明的特色...........................................,27

3.5優(yōu)化存儲策略............................................................27

3.5.1功能描述..........................................................29

3.5.2分布式文件存儲系統(tǒng)...............................................3。

3.5.3存儲訪問接口.....................................................

3.5.4分級動態(tài)存儲方式................................................Q2

3.5.5優(yōu)化存儲關鍵技術................................................

3.5.6云分布式調(diào)度引擎.................................................Q4

四、應用技術說明及要求........................................................37

4.1系統(tǒng)安全性.............................................................Q7

4.1.1安全保障體系框架.................................................p7

4.1.2云計算平臺的多級信任保護........................................”

4.1.3基于多級信任保護的訪問控制.......................................43

4.1.4云平臺安全審計...................................................46

3^3

4.1.5云計算綜合安全網(wǎng)關...............................................49

4.2系統(tǒng)可靠性與擴展性.....................................................,52

4.2.1系統(tǒng)可靠性.......................................................尸2

4.2.2系統(tǒng)擴展性.......................................................34

4.3數(shù)據(jù)存儲系統(tǒng)............................................................,55

4.3.1海量數(shù)據(jù)分布式數(shù)據(jù)存儲構架......................................巨5

4.3.2適應應用需求的混合存儲策略.....................................因界

4.3.3HDFS數(shù)據(jù)存儲......................................................58

4.3.4HBase數(shù)據(jù)存儲....................................................61

4.3.5Database數(shù)據(jù)存儲.................................................63

4.3.6數(shù)據(jù)存儲的可靠性.................................................65

4.3.7數(shù)據(jù)壓縮..........................................................66

4.4計算與存儲集群的可靠性與負載均衡設計...................................68

4.4.1計算與存儲集群Master單點失效容錯處理...........................68

4.4.2計算與存儲集群的負載均衡處理.....................................75

4.4.3HDFS的可靠性設計.................................................J7

4.4.4HBase可靠性設計..................................................79

4.4.5MapReduce計算可靠性設計..........................................80

4.4.6基于Zookeeper的單點失效和負載均衡設計..........................§3

五、系統(tǒng)實施方案................................................................§5

5.1與原系統(tǒng)整合方案........................................................,85

5.2工作原理................................................................§6

5.3實施步驟................................................................87

六、下步工作開展建議...........................................................88

2#^

一、引言

1.1系統(tǒng)現(xiàn)狀

隨著國家電網(wǎng)公司對用電信息采集系統(tǒng)數(shù)據(jù)要求的提升，業(yè)務系統(tǒng)部署的全

面推進及業(yè)務應用的不斷深化創(chuàng)新，采集系統(tǒng)逐漸呈現(xiàn)出覆蓋規(guī)模龐大、采集數(shù)

據(jù)項復雜、存儲數(shù)據(jù)時間長、業(yè)務多樣化等特點（如山東、浙江、江蘇等覆蓋用

戶數(shù)已達1000-2000萬的級別），從而面臨著海量數(shù)據(jù)存儲慢、重點數(shù)據(jù)分析實

效差、系統(tǒng)整體性能下降等難題。同時，隨著深化采集系統(tǒng)應用工作的大力開展,

對用電信息采集的數(shù)據(jù)需求更廣、數(shù)據(jù)挖掘更深、在線分析時效性要求更高。為

了充分發(fā)揮用電信息采集系統(tǒng)基礎支撐作用，滿足采集數(shù)據(jù)深化應用工作和對數(shù)

據(jù)存儲、查詢、統(tǒng)計、分析及對價值數(shù)據(jù)深入挖掘的需求，通過領先的技術手段

提升用電信息采集系統(tǒng)數(shù)據(jù)處理性能已勢在必行。

1.2面臨問題及發(fā)展趨勢

用電信息采集系統(tǒng)發(fā)展趨勢，以采集系統(tǒng)全覆蓋為支撐，深入挖掘采集系統(tǒng)

數(shù)據(jù)，深化應用采集系統(tǒng)功能，加強與營銷、配電等相關系統(tǒng)集成，實現(xiàn)電費以

采集系統(tǒng)全覆蓋為支撐，深入挖掘采集系統(tǒng)數(shù)據(jù)，深化應用采集系統(tǒng)功能，加強

與營銷、配電等相關系統(tǒng)集成，實現(xiàn)電費抄核自動化、線損管理精細化、互動服

務智能化、費控功能實用化的“四化”目標，全面推進營銷發(fā)展方式轉(zhuǎn)變，全面

提升公司供電服務水平。

用電信息采集系統(tǒng)智能電表數(shù)量到2015年將達到三億塊，用戶用電信息采

集頻率更加頻繁，且數(shù)據(jù)是雙向互動流轉(zhuǎn)，規(guī)模和頻率的指數(shù)級增長，對用電信

息的采集、存儲、查詢、分析等全生命周期的數(shù)據(jù)處理能力提出了更高的要求。

系統(tǒng)面臨的問題主要有：

1）采集系統(tǒng)數(shù)據(jù)量急劇增長、數(shù)據(jù)類型多樣、業(yè)務應用深化創(chuàng)新，對數(shù)據(jù)存儲、

查詢、統(tǒng)計、分析及價值數(shù)據(jù)挖掘提出更高要求；

2）終端數(shù)量及采集頻率的劇增，采集數(shù)據(jù)量由TB級向PB級發(fā)展，導致數(shù)據(jù)采

2#^

集入庫、分析、存儲的壓力劇增；

3）面臨數(shù)據(jù)高性能存儲和高可擴展性挑戰(zhàn)，對系統(tǒng)的健壯性、靈活性、簡單性、

可擴展性以及安全性提出了更高的要求；

4）電力業(yè)務向智能化、精細化方向發(fā)展，對數(shù)據(jù)處理復雜性、實時性提出更高

要求，跨業(yè)務、跨平臺的數(shù)據(jù)挖掘能力需要進一步提升，迫切需要進行技術

架構優(yōu)化和性能提升；

5）電力業(yè)務的不斷深化導致計算資源趨于緊張。任務更復雜，涉及的數(shù)據(jù)量更

大，現(xiàn)有資源無法保證在規(guī)定的時間內(nèi)完成；

6）現(xiàn)有系統(tǒng)架構在橫向線性擴展能力不足，海量數(shù)據(jù)處理能力已顯瓶頸?，F(xiàn)有

系統(tǒng)基于OracleRAC的數(shù)據(jù)庫集群方式，由于其采用共享存儲，需要在節(jié)點

間頻繁的復制狀態(tài)和共享數(shù)據(jù)塊，節(jié)點的增加只能加劇數(shù)據(jù)交換，對于性能

的提升則非常有限，且成本高昂。

探討和研究用電信息采集系統(tǒng)海量數(shù)據(jù)處理和性能提升已經(jīng)迫在眉睫，云計

算技術對于海量數(shù)據(jù)的處理已經(jīng)在互聯(lián)網(wǎng)領域、智能交通領域、安防視頻監(jiān)控領

域得到驗證，所以探討和研究基于云計算平臺的用電信息采集海量數(shù)據(jù)存儲與處

理技術，解決現(xiàn)行用電信息采集系統(tǒng)現(xiàn)存問題，符合國家電網(wǎng)技術發(fā)展的方向，

是建設統(tǒng)一堅強智能電網(wǎng)的重要組成部分，是智能用電服務環(huán)節(jié)的技術基礎。對

推動智能用電建設有重要意義。

二、現(xiàn)有業(yè)務應用和數(shù)據(jù)構成

現(xiàn)行各網(wǎng)省公司電力用戶用電信息采集系統(tǒng)主站均符合國家電網(wǎng)公司電力

用戶用電信息采集系統(tǒng)主站軟件標準化設計（2012年修訂版）規(guī)范要求，綜合

考慮功能特點、業(yè)務需求、界面布局等因素，將主站功能劃分為基本應用、高級

應用、運行管理、有序用電、統(tǒng)計查詢、系統(tǒng)管理六部分功能，個別省網(wǎng)公司根

據(jù)自身業(yè)務特點及實際需求，在二級菜單或三級菜單內(nèi)添加個性化功能模塊。

用電信息采集系統(tǒng)是智能用電建設的數(shù)據(jù)源，是大營銷體系建設的基礎，是

促進“三集五大”體系建設的源動力，用電信息采集系統(tǒng)的基本應用、高級應用

和深化應用等功能，都是建立在數(shù)據(jù)采集的基礎上。歸根結底，采集數(shù)據(jù)是落腳

2#^

點，是用電信息采集系統(tǒng)建設過程轉(zhuǎn)化為應用成效的關鍵，業(yè)務應用同時也決定

了采集系統(tǒng)數(shù)據(jù)的構成。數(shù)據(jù)主要分為兩大類：一是基礎檔案及業(yè)務數(shù)據(jù)，二是

采集或計算數(shù)據(jù)。

2.1業(yè)務應用需求

2.1.1基本應用

用電信息采集系統(tǒng)的基本應用，主要包括：基本應用、運行管理、統(tǒng)計查詢

等，涵蓋了數(shù)據(jù)采集管理、檔案管理、時鐘管理、計量在線監(jiān)測、運行狀況管理、

現(xiàn)場管理、時鐘管理、預付費管理、接口管理、日凍結等采集數(shù)據(jù)查詢等功能模

塊，支撐了用電信息采集系統(tǒng)基礎業(yè)務，比如采集任務設置、數(shù)據(jù)召測、客戶/

終端/電能資產(chǎn)表等基礎檔案管理、終端運行管理、終端設備運行狀態(tài)、終端工

況管理、數(shù)據(jù)異常處理、終端校時等，從而促進采集數(shù)據(jù)在預付費管理、自動化

抄表業(yè)務的應用，推動著采集系統(tǒng)核心業(yè)務發(fā)展。

2.1.2高級應用

隨著采集系統(tǒng)的建設，基本應用已無法滿足更多、更廣的業(yè)務需求，高級功

能的應用對數(shù)據(jù)的深度挖掘與深化應用已成必然趨勢。

1、現(xiàn)階段高級應用

主站標準化設計中高級應用、有序用電涵蓋了配變監(jiān)測分析、線損分析、重

點用戶監(jiān)測、重要信息推送、數(shù)據(jù)修復、有序用電指標管理、有序用電任務編制

與執(zhí)行、有序用電分析等功能模塊，是采集系統(tǒng)數(shù)據(jù)高端應用的重要支撐。比如

將采集的功率與功率因數(shù)數(shù)據(jù)應用于變壓器負載分析、負荷預測、變壓器經(jīng)濟運

行衡量指標及功率因數(shù)越限統(tǒng)計，實現(xiàn)臺區(qū)超載監(jiān)控分析；將電壓曲線數(shù)據(jù)應用

三相電壓不平衡分析、電壓合格率數(shù)據(jù)分析等，實現(xiàn)客戶側(cè)供電質(zhì)量監(jiān)控與評價,

為生產(chǎn)、配電等部門優(yōu)化配網(wǎng)結構，提高配網(wǎng)供電質(zhì)量提供決策依據(jù)；將采集客

戶的負荷數(shù)據(jù)應用于負荷預測和有序用電方案編制，制定合理的限電計劃，實現(xiàn)

區(qū)域負荷的合理調(diào)控。

2#^

2、深化應用方向

根據(jù)《國家電網(wǎng)公司關于加快用電信息采集系統(tǒng)深化應用的意見》（國家電

網(wǎng)營銷[2013]101號）文件精神，2013-2015年采集系統(tǒng)深化應用工作總體目標

除了涵蓋遠程自動抄表、費控功能應用外，還包含了線損監(jiān)測、反竊電監(jiān)測、分

布式電源監(jiān)測、雙向互動服務、市場及需求側(cè)管理應用、輔助業(yè)擴報裝、故障搶

修業(yè)務、輔助電能質(zhì)量監(jiān)測與可靠性統(tǒng)計應用等方面，明確了公司三年內(nèi)采集系

統(tǒng)深化應用的方向和具體目標。

此外，國家電網(wǎng)公司對采集系統(tǒng)深化應用的工作要求，已不僅局限于營銷

系統(tǒng)的專業(yè)業(yè)務應用，而是站在促進公司“三集五大”體系建設，加強專業(yè)數(shù)據(jù)

間的高效協(xié)同的高度推動采集數(shù)據(jù)的深化應用，推進與其它系統(tǒng)平臺的數(shù)據(jù)接

口，比如與安質(zhì)部國網(wǎng)電能質(zhì)量在線監(jiān)測系統(tǒng)、運檢部供電電壓自動采集、省級

計量中心生產(chǎn)調(diào)度平臺、配電自動化、電能服務管理平臺等系統(tǒng)的集成和信息共

享，增強采集數(shù)據(jù)的支撐作用，必將推動采集數(shù)據(jù)挖掘向著更廣、更深的業(yè)務領

域拓展。

2.1.3業(yè)務應用需求總結

基于用電信息采集系統(tǒng)的基本應用、高級應用以及進一步深化應用的工作要

求，現(xiàn)階段至2015年末，業(yè)務應用需求可概括為：需首先滿足采集系統(tǒng)基礎業(yè)

務需求，如基礎檔案的管理、終端運行管理、采集任務設置等，支撐全面自動化

抄表、預付費與費控管理工作。然后挖掘采集數(shù)據(jù)價值，擴大數(shù)據(jù)應用范圍，應

用于配變監(jiān)測分析、線損分析、有序用電、供電質(zhì)量監(jiān)測、反竊電分析等高端業(yè)

務，促進采集系統(tǒng)應用效益最大化。

2.2數(shù)據(jù)構成分析

根據(jù)業(yè)務應用需求分析可了解到，不論是基本應用、高級應用還是深化應用

最終都需要采集數(shù)據(jù)的支撐。歸根結底，采集數(shù)據(jù)是落腳點，是采集系統(tǒng)建設過

程轉(zhuǎn)為應用成效的關鍵，業(yè)務應用同時也決定了采集系統(tǒng)數(shù)據(jù)的構成。數(shù)據(jù)主要

分為兩大類：一是基礎檔案及業(yè)務數(shù)據(jù)，二是采集或計算數(shù)據(jù)。

2^-3

前者主要包括變電站、線路、變壓器、客戶、計量點、運行表、終端、采集

關系等基礎檔案類數(shù)據(jù)以及終端調(diào)試涉及測量點參數(shù)等、費控業(yè)務涉及購電單、

購電參數(shù)、有序用電涉及方案及控制命令等。后者主要包括日凍結表碼數(shù)據(jù)（正

向有功總、尖、峰、平、谷、反向有功總、尖、峰、平、谷、正向無功總、反向

無功總、需量表碼等13個主要數(shù)據(jù)項）、曲線表碼數(shù)據(jù)、日/月電量數(shù)據(jù)、功率/

電流/電壓/功率因素等負荷數(shù)據(jù)、電壓越限統(tǒng)計數(shù)據(jù)、終端剩余電量數(shù)據(jù)、終端

停上電事件等。

序號主要業(yè)務數(shù)據(jù)項特點存儲要求重要性

變電站、線路、變壓器、

客戶、計量點、運行表、

終端、采集關系等基礎檔

數(shù)據(jù)基數(shù)相對

基礎檔案管案類數(shù)據(jù)以及終端調(diào)試

1穩(wěn)定，日增長永久存儲高

理涉及測量點參數(shù)等、費控

量相對較小

業(yè)務涉及購電單、購電參

數(shù)、有序用電涉及方案及

控制命令

日凍結表碼數(shù)據(jù)（正向有

功總、尖、峰、平、谷、

數(shù)據(jù)基數(shù)較

反向有功總、尖、峰、平、

2自動化抄表大，日增長量永久存儲高

谷、正向無功總、反向無

較大

功總、需量表碼等13個主

要數(shù)據(jù)項）

用戶范圍逐漸

擴大，日增長

預付費與費日凍結表碼數(shù)據(jù)、終端剩逐漸增大，且

3高

控管理余電量等涉及電量數(shù)據(jù)

召測、占用通

信資源等

4統(tǒng)計查詢?nèi)諆鼋Y表碼數(shù)據(jù)、曲線表數(shù)據(jù)基數(shù)較一般

2#^

碼數(shù)據(jù)大，日增長量

較大

線損監(jiān)測與日凍結表碼數(shù)據(jù)、曲線表

5一般

分析碼數(shù)據(jù)、日電量數(shù)據(jù)

變壓器容量信息、功率、

6配變監(jiān)測一般

功率因數(shù)等負荷數(shù)據(jù)

電量差動越限、失壓斷相

7反竊電監(jiān)測數(shù)據(jù)基數(shù)較一般

越限、異常告警事件等

大，日增長量

三相電壓曲線數(shù)據(jù)、電壓

供電質(zhì)量監(jiān)較大，且需對

8越限統(tǒng)計數(shù)據(jù)、諧波數(shù)據(jù)一般

測原始數(shù)據(jù)進行

等

大量計算，占

有序用電、市

功率等負荷數(shù)據(jù)、日電量用系統(tǒng)資源較

9場及需求側(cè)一般

數(shù)據(jù)等多

管理應用

電能質(zhì)量在

三相電壓曲線數(shù)據(jù)、電壓

線監(jiān)測、供電

10越限統(tǒng)計數(shù)據(jù)、終端停上一般

電壓采集系

電事件、電表故障信息等

統(tǒng)等接口

上表列舉了10項典型業(yè)務，其重要性優(yōu)先級是根據(jù)現(xiàn)階段的基本應用和深化應

用方向大體確定，其中優(yōu)先級為高的代表無論采集系統(tǒng)性能高低，尤其是系統(tǒng)性

能下降無法滿足全部應用需要取舍時需優(yōu)先保證的業(yè)務，而優(yōu)先級為一般的代表

在一定階段重點應用的業(yè)務，且可能隨著業(yè)務應用方向的多樣化逐漸轉(zhuǎn)變?yōu)楦邇?yōu)

先級。

2.3數(shù)據(jù)存儲性能分析

在現(xiàn)行采集系統(tǒng)采集壓力情況下，業(yè)務應用需求及數(shù)據(jù)重要性優(yōu)先級決定了

主站前置機通信及數(shù)據(jù)存儲與讀取的周期與頻度，尤其是性能較低的情況下，勢

必影響到部分高級功能的應用，下面主要從采集覆蓋規(guī)模、數(shù)據(jù)項總數(shù)、單表數(shù)

據(jù)量、整體數(shù)據(jù)量等多角度分析數(shù)據(jù)存儲與讀取的壓力。

（一）采集覆蓋規(guī)模擴大導致基礎檔案表數(shù)據(jù)量基數(shù)大，降低數(shù)據(jù)庫整體

性能。

以采集系統(tǒng)建設規(guī)模中等數(shù)據(jù)量的省級集中的網(wǎng)省公司為例，假設終端投運

數(shù)為120萬臺，覆蓋用戶數(shù)為1200萬戶，數(shù)據(jù)采集相關的基礎檔案如運行電能

表為1200萬只，計量點數(shù)為1200萬個，采集測量點關系表為1200萬行，按照

一個測量點平均對應3個任務計算，則采集對象任務表為3600萬行。而采集數(shù)

據(jù)的存儲與讀取一般涉及幾張表的關鍵字段的連接，因此，采集覆蓋規(guī)模龐大的

數(shù)據(jù)量基數(shù)已決定了采集系統(tǒng)數(shù)據(jù)存儲與讀取的效率，將直接導致采集系統(tǒng)數(shù)據(jù)

庫整體性能的下降。

（二）業(yè)務深化應用的復雜性導致采集數(shù)據(jù)項繁多，數(shù)據(jù)庫日增量龐大，

進而影響采集數(shù)據(jù)的存儲與讀取效率

對于電能示值日凍結表，一個測量點一條記錄，那么該表每日數(shù)據(jù)增量為

1200萬條，月數(shù)據(jù)量增為數(shù)據(jù)*30=3.6億條,年數(shù)據(jù)增量為3.6*12=43.2億條;

對于總電能示值曲線數(shù)據(jù)表，假設采集正向有功總、無功總、反向有功總、無功

總等四個數(shù)據(jù)項，那么每日數(shù)據(jù)增量為：1200*4=4800萬條，月數(shù)據(jù)量增為

4800*30=14.4億條,年數(shù)據(jù)增量為14.4*12=172.8億條。此外，采集任務涉及

采集數(shù)據(jù)項已不僅局限于電量表碼，還擴展到功率、電流、電壓、功率因素等負

荷數(shù)據(jù)以及終端停上電事件等。功率、電流電壓曲線數(shù)據(jù)表均與總電能示值曲線

數(shù)據(jù)表保持同數(shù)據(jù)量級，可測算整體年數(shù)據(jù)量級已達數(shù)百億。

采集系統(tǒng)功能的擴展應用及數(shù)據(jù)挖掘必然影響主站軟件中部分復雜度較高、

展示信息量較大的功能，前臺讀取數(shù)據(jù)時，將海量采集數(shù)據(jù)與基礎檔案表的組合

2#^

連接，必定導致數(shù)據(jù)庫整體執(zhí)行效率降低。同時終端采集的數(shù)據(jù)通過前置機解析

后,寫入以海量數(shù)據(jù)為基礎的數(shù)據(jù)庫的效率也將大大降低，影響存儲執(zhí)行時間和

存儲的頻度。因此，深化采集系統(tǒng)應用的過程實際是通過領先的技術手段持續(xù)提

高海量數(shù)據(jù)處理性能的過程。所以，需要我們利用當前比較成熟的云計算技術解

決用采集系統(tǒng)海量數(shù)據(jù)存儲、查詢、分析、統(tǒng)計等數(shù)據(jù)處理問題。

2.4探索研究

隨著采集終端大范圍普及以及采集數(shù)據(jù)的激增、更多業(yè)務系統(tǒng)的接入需求

及業(yè)務復雜性的增加，用電信息采集系統(tǒng)數(shù)據(jù)庫性能日顯不足。當前數(shù)據(jù)庫系統(tǒng)

所采取的物理化視圖、數(shù)據(jù)表拆分、多級數(shù)據(jù)緩存、數(shù)據(jù)壓縮、SQL優(yōu)化、使用

臨時表等技術手段和增加采集系統(tǒng)服務器數(shù)量的方式只能起到適度緩解的作用；

由于OracleRAC采用的是共享(ShareDisk)結構，不具有可擴展優(yōu)勢，存在

I/O的讀寫瓶頸，難以解決用電采集海量數(shù)據(jù)存儲、計算統(tǒng)計及查詢等瓶頸問題。

鑒于Oracle在事務一致性處理方面有很強優(yōu)勢，針對事務密集性的任務(如檔

案源數(shù)據(jù)管理等)，仍由Oracle數(shù)據(jù)庫來支撐。而大量的數(shù)據(jù)存儲、統(tǒng)計、分析、

計算及查詢等則由云計算平臺來完成，形成一個互補兼容的體系架構。并且云計

算技術具有良好的可擴展性，可以很好的滿足未來幾年的用采系統(tǒng)數(shù)據(jù)爆發(fā)式增

長的應用需求。

云計算技術以其分布式的存儲和處理方式以及資源的按需分配機制，成為大

數(shù)據(jù)領域排行榜首的有效解決方案。目前全球技術的趨勢都不再是通過高端硬件

來保證數(shù)據(jù)安全可靠性，云計算依靠軟件層面的算法冗余來保障數(shù)據(jù)安全可靠

性。通過云計算技術的引入，在服務器集群上實現(xiàn)了需要高成本硬件才能完成的

處理能力，體現(xiàn)了云計算作為一種超級計算模式的獨特魅力。高度可靠的性能，

任何一個節(jié)點出現(xiàn)故障，或者遭遇斷電、斷網(wǎng)等意外情況，系統(tǒng)將自動屏蔽并進

行實時備份，重啟后完全不會丟失數(shù)據(jù)，數(shù)據(jù)處理過程中，云計算平臺還能根據(jù)

計算和存儲任務動態(tài)申請或釋放資源，處理效能和存儲能力也會隨著申請節(jié)點的

增多而呈線性增長，是云計算將計算資源按需分配的最好體現(xiàn)，大幅提高了資源

2#^

利用率。

部署云計算平臺，能夠在保證現(xiàn)有電力系統(tǒng)硬件基礎設施基本不變的情況

下，對當前用電信息采集系統(tǒng)的數(shù)據(jù)資源和處理器資源進行整合，從而大幅提高

用采系統(tǒng)數(shù)據(jù)處理性能，提高數(shù)據(jù)存儲、查詢、統(tǒng)計、分析和復雜數(shù)據(jù)處理的能

力，為智能電網(wǎng)用采系統(tǒng)的業(yè)務發(fā)展提供有效的支持。

三、系統(tǒng)提升方案

基于云計算一體機的系統(tǒng)提升方案的提出是以在互聯(lián)網(wǎng)、智慧城市、智慧交

通和智能視頻監(jiān)控領域已經(jīng)商業(yè)化應用的云計算技術，作為對用電信息采集系統(tǒng)

海量數(shù)據(jù)處理性能提升的主要技術手段，方案采用松耦合的數(shù)據(jù)分流的方式構建

新型用采主站數(shù)據(jù)共享平臺，在不對現(xiàn)行用采主站軟件和硬件做大的改動原則

下，實現(xiàn)對海量數(shù)據(jù)處理性能的提升，同時能為其它系統(tǒng)提供相應的業(yè)務處理需

求數(shù)據(jù)。

本方案采用云計算的分布式文件存儲與關系型數(shù)據(jù)庫共存的模式，根據(jù)用采

數(shù)據(jù)構成特點進行歸類和劃分。用電信息采集系統(tǒng)為準實時系統(tǒng)，其主要數(shù)據(jù)有

兩類：一、是基礎檔案及業(yè)務數(shù)據(jù)；二、是采集或計算數(shù)據(jù)。

基礎檔案數(shù)據(jù)主要包括：變電站、線路、變壓器、客戶、計量點、運行表、

終端、采集關系等基礎檔案類數(shù)據(jù)，終端參數(shù)、測量點參數(shù)等參數(shù)及調(diào)試數(shù)據(jù)；

業(yè)務數(shù)據(jù)主要包括：費控業(yè)務的購電單、購電參數(shù)，有序用電業(yè)務的有序用電方

案、控制輪次、功率控、電量控及廠休控等控制參數(shù)；該類數(shù)據(jù)屬于典型的關系

類數(shù)據(jù)，使用頻率相對較高、關聯(lián)度復雜，需要用關系數(shù)據(jù)庫集群加磁盤陣列進

行存貯，本方案對此類數(shù)據(jù)的存儲和管理采用現(xiàn)行用采主站系統(tǒng)的數(shù)據(jù)處理技

術，不做大的改動。

采集及計算數(shù)據(jù)主要包括：日凍結表碼數(shù)據(jù)（正向有功總、尖、峰、平、谷、

反向有功總、尖、峰、平、谷、正向無功總、反向無功總、需量表碼等13個主

要數(shù)據(jù)項）、曲線表碼數(shù)據(jù)、日/月電量數(shù)據(jù)、功率/電流/電壓/功率因素等負荷

數(shù)據(jù)、電壓越限統(tǒng)計數(shù)據(jù)、終端剩余電量數(shù)據(jù)、終端停上電事件等數(shù)據(jù)；此類數(shù)

據(jù)大多為歷史數(shù)據(jù)，數(shù)據(jù)相對使用頻率不高、數(shù)據(jù)關聯(lián)相對簡單，適合采用云計

2#^

算的分布式存儲管理，即本方案中采用的云計算平臺。

本方案采用云計算的分布式存儲技術和關系數(shù)據(jù)庫并存的方式，實現(xiàn)了云計

算和關系數(shù)據(jù)庫的優(yōu)勢互補，現(xiàn)行用采主站系統(tǒng)的應用層和業(yè)務層都不需要做大

的變動，可以直接復用，實現(xiàn)系統(tǒng)的無縫移植和平滑過渡，同時也滿足公司對數(shù)

據(jù)存儲、共享和安全等方面的總體要求。

云計算體機與用電信息采集系統(tǒng)整合方案

云

存

儲

+

云

計

算

終

端

設

備

層

圖3-1性能提升方案整體架構圖

3.1系統(tǒng)目標及原則

＞加速系統(tǒng)資源整合、降低成本：

通過云計算平臺的數(shù)據(jù)集中存儲，實現(xiàn)綠色節(jié)能、服務器整合，降低維護成

本和提高資源的利用率；

＞具有可靠性及動態(tài)可擴展性：

所有的服務分布在不同的服務器上。在云計算平臺體系中，可以將服務器實

時加入到現(xiàn)有服務器群中，提高‘'云''處理能力，如果某計算節(jié)點出現(xiàn)故障，則通

過相應策略拋棄掉該節(jié)點，并將其任務交給別的節(jié)點，而在節(jié)點故障排除后可實

時加入現(xiàn)有集群中；

＞提升系統(tǒng)的入庫、計算和存儲能力：

確保在任何時間、任意地點，采用任何設備登錄到云計算平臺系統(tǒng)后就可以

進行技術服務，具有大量存儲空間和非?？斓奶幚硭俣龋?/p>

2^-3

＞提高安全威脅及安全事件快速反應能力:

安全威脅的發(fā)現(xiàn)和響應覆蓋從網(wǎng)絡層到應用層的各個層次，云計算安全體系

提供更加及時有效的威脅識別能力、關聯(lián)分析能力。實現(xiàn)統(tǒng)一主動、自主的安全

防御體系和提升信息資源安全等級，建立快速的數(shù)據(jù)遷移機制，使得發(fā)生數(shù)據(jù)容

災時，能夠快速把用戶遷移到備份數(shù)據(jù)源上，對于數(shù)據(jù)存放機密性、完整性提供

不同保護，同時提高可用性。

3.2系統(tǒng)總體方案

用電信息采集系統(tǒng)數(shù)據(jù)處理性能提升方案遵循國網(wǎng)標準化設計成果，系統(tǒng)

的總體邏輯架構、技術架構、數(shù)據(jù)存儲架構、功能架構、物理架構、信道架構等

完全按照國網(wǎng)統(tǒng)一的設計要求，業(yè)務模型和編碼規(guī)則完全遵循國網(wǎng)統(tǒng)一的規(guī)則和

標準。

由于當前地市分布式部署的用電信息采集系統(tǒng)無論從數(shù)據(jù)規(guī)模還是從數(shù)據(jù)

復雜度上都無法與省級集中部署模式下的用電信息采集系統(tǒng)相比，因此本方案重

點針對省級集中模式下用電信息采集系統(tǒng)的數(shù)據(jù)處理性能進行研究。

3.1.1性能提升方案

＞沿用當前運行的網(wǎng)省公司用電信息采集系統(tǒng)整體邏輯架構，保證系統(tǒng)的

標準化，并與國網(wǎng)保持一致；

＞構建關系數(shù)據(jù)庫、云存儲系統(tǒng)混合的用電信息采集系統(tǒng)數(shù)據(jù)存儲架構，

按應用分類、重要性、存儲周期、存儲頻度、深度等因素對數(shù)據(jù)進行分類存儲；

關系數(shù)據(jù)庫存儲檔案數(shù)據(jù)、實時交易數(shù)據(jù)、告警事件等數(shù)據(jù)，云存儲系統(tǒng)存儲采

集的各種電量、負荷數(shù)據(jù)、統(tǒng)計計算結果數(shù)據(jù)等，并與關系數(shù)據(jù)庫同步檔案資料;

＞構建基于云計算的用電信息采集系統(tǒng)數(shù)據(jù)處理方案，實現(xiàn)電量、負荷疊

加計算、線損計算等業(yè)務處理功能，減輕關系數(shù)據(jù)庫壓力；

＞構建基于云存儲與關系數(shù)據(jù)庫的業(yè)務應用系統(tǒng)邏輯架構，采用統(tǒng)一的查

詢協(xié)調(diào)驅(qū)動，確保業(yè)務系統(tǒng)對數(shù)據(jù)查詢的一致性和無關性，提高數(shù)據(jù)查詢、統(tǒng)計、

分析、存儲性能；

2^-3

3.1.2數(shù)據(jù)存儲方案

1）海量用電信息存儲問題

隨著國家電網(wǎng)公司用電信息“全覆蓋、全采集、全費控”建設的實施，到

2014年，各網(wǎng)省用電信息采集系統(tǒng)將實現(xiàn)各類用戶覆蓋率100%,屆時系統(tǒng)采集

的數(shù)據(jù)將呈數(shù)量級增長，如何對這些繁雜、海量、實時的數(shù)據(jù)進行有效的存儲、

管理，對數(shù)據(jù)進行有效業(yè)務性轉(zhuǎn)換，同時提供較強的穩(wěn)定性以及可擴展的能力，

是整個用電信息采集系統(tǒng)的關鍵。為此，本方案提出云存儲與關系數(shù)據(jù)庫相結合

的用電信息采集系統(tǒng)數(shù)據(jù)存儲架構。

2）云存儲與關系數(shù)據(jù)庫相結合的混合存儲架構

基于云計算的海量用電信息混合存儲技術架構如下圖所示。

寫入日志

讀取Primary

圖3-2基于云計算的海量用電信息混合存儲架構

終端采集上來的原始數(shù)據(jù)經(jīng)過規(guī)約解析，轉(zhuǎn)化成基礎業(yè)務數(shù)據(jù)，并按照數(shù)據(jù)

類型存入文件，然后交由大數(shù)據(jù)管理引擎處理。大數(shù)據(jù)管理引擎負責對海量數(shù)據(jù)

的裝載、寫入、查詢及處理，其包括作業(yè)跟蹤器、智能用電業(yè)務模型、元數(shù)據(jù)管

理器、查詢計劃產(chǎn)生器、查詢執(zhí)行引擎、數(shù)據(jù)寫入器、數(shù)據(jù)源連接器、MapReduce

大數(shù)據(jù)集并行處理單元等。

（1）作業(yè)跟蹤器：對所有數(shù)據(jù)查詢、寫入、處理等操作進行調(diào)度協(xié)調(diào)，將

計算任務合理的分配至各處理節(jié)點，并記錄分塊數(shù)據(jù)及任務與節(jié)點的對應信息。

2#^

（2）數(shù)據(jù)寫入器：承擔著數(shù)據(jù)裝載和數(shù)據(jù)寫入功能，負責完成數(shù)據(jù)劃分、

放置以及數(shù)據(jù)復制工作，將數(shù)據(jù)片段寫入到各節(jié)點的存儲系統(tǒng)中。

（3）查詢計劃產(chǎn)生器：負責將數(shù)據(jù)存儲與處理請求翻譯成SQL和MapReduce

的混合操作，交由查詢執(zhí)行引擎執(zhí)行。

（4）元數(shù)據(jù)管理器：實施對元數(shù)據(jù)的管理和訪問，元數(shù)據(jù)包括關于數(shù)據(jù)模

式、數(shù)據(jù)劃分以及數(shù)據(jù)復制的信息等。因為元數(shù)據(jù)需要頻繁讀取，項目擬采取緩

存策略，將元數(shù)據(jù)直接進行緩存提高訪問效率，另一方面，采用相應的壓縮機制

降低元數(shù)據(jù)占用空間的大小，以提高緩存的利用率。

（5）MapReduce大數(shù)據(jù)集并行處理單元：負責將半結構化數(shù)據(jù)與業(yè)務建立

語義關聯(lián)，在用電信息采集系統(tǒng)中，采集終端上傳的數(shù)據(jù)并沒有跟業(yè)務應用系統(tǒng)

業(yè)務結合，實質(zhì)是半結構化數(shù)據(jù)，并沒有實際的語義，MapReduce大數(shù)據(jù)集并行

處理單元通過采用并行計算技術將業(yè)務數(shù)據(jù)轉(zhuǎn)換計算任務分配至多個節(jié)點來完

成，快速、可靠、穩(wěn)定的完成半結構化數(shù)據(jù)與業(yè)務系統(tǒng)檔案數(shù)據(jù)的語義關聯(lián)，從

而為用電信息采集業(yè)務應用系統(tǒng)提供完整數(shù)據(jù)視圖。其將大數(shù)據(jù)集分解為成百上

千的小數(shù)據(jù)集，每個（或若干個）數(shù)據(jù)集分別由集群中的一個結點進行處理并生成

中間結果，然后這些中間結果又由大量的結點進行合并，形成最終結果。

云存儲與關系數(shù)據(jù)庫相結合的混合存儲架構在具體存儲時，關系數(shù)據(jù)庫主要

存儲修改操作較為頻繁的業(yè)務交易數(shù)據(jù)，以及檔案數(shù)據(jù)和告警事件等；云存儲架

構主要存儲采集的電量、負荷等業(yè)務數(shù)據(jù)，在進行海量數(shù)據(jù)的處理時采用分布式

文件存儲實現(xiàn)，通過構建分片集群實現(xiàn)強大、靈活、可擴展的數(shù)據(jù)存儲，當數(shù)據(jù)

存儲服務器無法滿足大規(guī)模智能用電信息存儲時，可直接添加新的數(shù)據(jù)存儲節(jié)

點，通過增加節(jié)點以緩解已有智能用電信息存儲服務器的壓力，實現(xiàn)動態(tài)擴展，

從而保障了海量采集數(shù)據(jù)的穩(wěn)定性和可靠性，同時為其他智能用電應用系統(tǒng)提供

良好的數(shù)據(jù)支撐。

云存儲與關系數(shù)據(jù)庫相結合的混合存儲架構可屏蔽用電信息采集系統(tǒng)海量

感知數(shù)據(jù)的多樣性與異構性，實現(xiàn)無差別的傳輸，實時有效地對數(shù)據(jù)進行分析處

理，將采集終端數(shù)據(jù)與業(yè)務系統(tǒng)檔案建立語義關聯(lián)，變?yōu)闃I(yè)務信息，進而得到正

確的分析和處理結果。其使用并行處理方式避免因繁雜的數(shù)據(jù)而產(chǎn)生延遲與擁

塞，能夠確保數(shù)據(jù)處理的及時性、正確性，從而為用電信息采集業(yè)務應用系統(tǒng)正

2#^

常運行提供數(shù)據(jù)支撐。

3.1.3數(shù)據(jù)處理方案

改造方案由云存儲共享平臺、關系數(shù)據(jù)庫組成。云存儲共享平臺與原系統(tǒng)前

置集群結合，滿足海量采集數(shù)據(jù)、檔案類數(shù)據(jù)、監(jiān)控信息的存儲需求。關系數(shù)

據(jù)庫存儲檔案數(shù)據(jù)、費控數(shù)據(jù)和告警事件數(shù)據(jù)，提高實時業(yè)務處理能力和系統(tǒng)性

能。原系統(tǒng)數(shù)據(jù)庫在過渡階段保持原業(yè)務流程，起備用和保護作用。系統(tǒng)成功過

渡試運行結束后，關閉原系統(tǒng)數(shù)據(jù)庫。通過WebService、JDBC、ODBC,SQL等技

術向外圍系統(tǒng)提供標準化、多樣化數(shù)據(jù)訪問方式。

數(shù)據(jù)同時入原原系統(tǒng)

系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)庫

原業(yè)務

(模型處

備用

云存儲理過程

檢索

電量、負荷（電

壓、電流、有j

功、無功）數(shù)據(jù)

T#的

采集數(shù)據(jù)人同步檔案&數(shù)據(jù)檢索電量負荷

云存儲系統(tǒng)類數(shù)據(jù)及統(tǒng)計

訴置數(shù)

類數(shù)據(jù)

據(jù)采集統(tǒng)計結構計算類業(yè)務應

平臺（業(yè)數(shù)據(jù)川系統(tǒng)

務數(shù)據(jù)）

同步關聯(lián)

檔案數(shù)據(jù)

替換

關系數(shù)據(jù)庫JDBC?

實時交易數(shù)檢索告警/費行驅(qū)動

JAR包

據(jù)告警數(shù)據(jù)告警事件數(shù)據(jù)控類數(shù)據(jù)

費控數(shù)據(jù)

檔案類數(shù)據(jù)

圖3-3數(shù)據(jù)處理架構

1）海量用電數(shù)據(jù)處理問題

用電信息采集系統(tǒng)2014年全覆蓋目標實現(xiàn)后，采集數(shù)據(jù)量將呈指數(shù)級增長,

海量數(shù)據(jù)的計算成為一個重要的問題，如每天批量計算的線損計算服務，為解決

大集中后高并發(fā)大容量采集數(shù)據(jù)實時處理的問題，本方案將采用基于Hadoop的

2#^

海量用電數(shù)據(jù)并行計算技術，對采集任務進行并行化處理，將計算任務分配至多

個工作節(jié)點完成，實現(xiàn)系統(tǒng)性能的有效提升。

2）基于Hadoop的數(shù)據(jù)并行處理技術

Hadoop架構主要包含數(shù)據(jù)管理存儲、任務管理、任務執(zhí)行數(shù)據(jù)存儲幾個角

色，具體介紹如下：

數(shù)據(jù)管理存儲文件系統(tǒng)的元數(shù)據(jù)和編輯日志，主要負責管理文件系統(tǒng)的命名

空間，集群配置信息，文件中各塊及其副本的存儲位置。任務管理決定哪個文件

將被處理，并且為不同的任務分配節(jié)點。同時，它還監(jiān)控所有運行的任務，一旦

某個任務失敗了，任務管理就會自動重新開啟這個任務，在大多數(shù)情況下，這個

任務會被放在不同的節(jié)點上。任務執(zhí)行節(jié)點與任務管理節(jié)點分工協(xié)作負責存儲數(shù)

據(jù)，獨立管理各自的任務，并與任務管理交互，如果任務管理節(jié)點無法準時獲取

任務執(zhí)行節(jié)點提交的信息，任務管理節(jié)點就判定任務執(zhí)行己經(jīng)崩潰，并將任務分

配給其他節(jié)點處理。數(shù)據(jù)存儲根據(jù)需要存儲并檢索數(shù)據(jù)塊，并定期向數(shù)據(jù)管理發(fā)

送它們所存儲的塊的列表。

此外，Hadoop生態(tài)系統(tǒng)中的其他組件，補充和擴展了Hadoop架構的處理能

力。

數(shù)據(jù)倉庫Hive基于HDFS,將存儲在HDFS中的結構化數(shù)據(jù)文件映射為數(shù)據(jù)

表，并提供類SQL的語言HiveQL對數(shù)據(jù)表進行操作。Hive能夠?qū)iveQL解析

成MapReduce可執(zhí)行計劃，并按照該計劃生成MapReduce任務后，提交到Hadoop

集群處理，極大的提高了Hadoop架構的處理能力。

數(shù)據(jù)抽取工具Sqoop允許將數(shù)據(jù)從關系型數(shù)據(jù)庫抽取到HDFS或Hive中，進

行進一步處理。抽取過程也通過Hadoop架構實現(xiàn)并行，極大的提高了數(shù)據(jù)抽取

的速度?；贖adoop的海量智能用電數(shù)據(jù)并行處理框架如下：

2#^

圖3-4基于Hadoop的海量用電數(shù)據(jù)并行處理框架

以線損計算服務為例對基于Hadoop的海量智能用電數(shù)據(jù)并行處理過程進行

詳細介紹。線損計算服務是通過計算損耗模型供入、供出計量點電量，進而匯總

成損耗模型的供入、供出和損耗電量，其中每天批量計算的昨日日線損是線損計

算服務的重要組成部分?；贖adoop架構進行日線損計算的設計如下：

＞線損計算有關的數(shù)據(jù)（線損考核單元表，考核單元供入供出計量點表，測

量點信息表，電能表計量點關系表以及供入供出計量點日凍結電量表）

均存儲在關系型分析庫中，通過Sqoop執(zhí)行MapReduce作業(yè)將數(shù)據(jù)并行

導入到Hive中。

＞通過HiveQL實現(xiàn)線損計算的業(yè)務邏輯，Hive將HiveQL自動轉(zhuǎn)換為相應

的MapReduce作業(yè)，并提交到Hadoop集群，實現(xiàn)并行處理。

a）線損考核單元表分別與供入、供出計量點信息表關聯(lián)，得到所有供入、

供出計量點及其考核單元的信息；

b）供入、供出計量點及其考核單元信息，與測量點信息表，電能表計量點

關系表關聯(lián)，得到每個考核單元，供入/供出計量點對應的所有電能表信

息；

c）供入供出計量點電量表分別與供入、供出計量點電能表信息連接，得到

考核單元供入計量點電能表電量表和考核單元供出計量點電能表電量

表；

d）分別對考核單元供入計量點電能表電量表、供出計量點電能表電量表內(nèi)

同一計量點下的電量求和，得到計量點電量。對結果按考核單元編號進

行分組做差，得到每個考核單元的日線損。

>MapReduce作業(yè)并行讀取HDFS中的供入、供出計量點電量文件和損耗電

量文件，計算每個考核單元損耗率，并將供入、供出計量點電量和考核

單元損耗電量存入關系型分析庫，完成日線損計算服務。

基于Hadoop的海量智能用電數(shù)據(jù)并行處理技術能夠?qū)崿F(xiàn)多個節(jié)點并行任務

的處理，提高海量數(shù)據(jù)的處理效率，同時支持系統(tǒng)對應物理設備的靈活部署與裝

配，滿足不斷增長的終端接入規(guī)模帶來的海量數(shù)據(jù)實時處理需求。

3.1.4基于云存儲與關系數(shù)據(jù)庫的應用系統(tǒng)架構

依托國家電網(wǎng)標準化設計成果，充分吸收網(wǎng)省公司優(yōu)秀業(yè)務成果，通過對數(shù)

據(jù)采集終端、通信信道、數(shù)據(jù)存儲、業(yè)務應用以及大集中模式下業(yè)務開展情況的

詳細分析和綜合考慮，設計了包含國家電網(wǎng)公司營銷計量(2012)76號文件規(guī)

定的標準化應用和擴展應用的省級集中用電信息采集業(yè)務應用系統(tǒng)。其邏輯架構

見下圖所示，其主要有數(shù)據(jù)存儲、業(yè)務應用構成。

應

用

客

戶

端相關應用

系統(tǒng)

交

互

至營銷

業(yè)務

應用

一體化統(tǒng)一數(shù)據(jù)

標準化應用擴展應用系統(tǒng)

監(jiān)控平臺共享平臺

智能監(jiān)有序用電智能決策負荷分析數(shù)據(jù)模

業(yè)控管理基本應用運行管理型管理

務

應數(shù)據(jù)存客戶例供電質(zhì)最監(jiān)控反竊電分析數(shù)據(jù)同生產(chǎn)

用儲監(jiān)控統(tǒng)計查詢系統(tǒng)管理步管理

調(diào)度

接口適

設備疑似停電區(qū)域監(jiān)測電廠運行管理

監(jiān)控配設置平臺

高級應用有序用電

二次網(wǎng)損監(jiān)測分析電量分析

其他

數(shù)系統(tǒng)

據(jù)

存

儲

云存儲關系數(shù)據(jù)庫

圖0-5業(yè)務應用系統(tǒng)邏輯架構

1)數(shù)據(jù)存儲

全省大集中模式下省級集中式以及市級分布式采集的所有電能數(shù)據(jù)進行統(tǒng)

2^-3

一存儲，數(shù)據(jù)存儲由云存儲系統(tǒng)和關系數(shù)據(jù)庫組成。其中云存儲系統(tǒng)存放終端采

集上來的海量采集數(shù)據(jù)以及根據(jù)計算模型、分析模型計算的統(tǒng)計分析數(shù)據(jù)，關系

數(shù)據(jù)庫存放客戶檔案數(shù)據(jù)、實時交易數(shù)據(jù)以及告警數(shù)據(jù)。

2）業(yè)務應用

全省大集中模式下業(yè)務應用分為標準化應用、網(wǎng)省公司擴展應用、統(tǒng)一數(shù)據(jù)

共享平臺及一體化監(jiān)控平臺，其中標準化應用分為基本應用、高級應用、運行管

理、有序用電、統(tǒng)計查詢、系統(tǒng)管理；擴展應用分為電廠運行管理、反竊電分析、

負荷分析、電量分析、疑似停電區(qū)域監(jiān)測、有序用電智能決策及客戶側(cè)供電質(zhì)量

監(jiān)控等；統(tǒng)一數(shù)據(jù)共享平臺通過接口適配的方式向外圍系統(tǒng)提供采集及分析數(shù)

據(jù)，包括數(shù)據(jù)模型管理、數(shù)據(jù)同步管理、接口適配設置、共享平臺日志信息統(tǒng)計

分析等功能；一體化監(jiān)控平臺向系統(tǒng)管理人員提供綜合監(jiān)控可視化管理，使其對

系統(tǒng)整體運行效率進行集中監(jiān)控和管理，包括業(yè)務應用系統(tǒng)感知監(jiān)控、前置通信

平臺監(jiān)控、數(shù)據(jù)存儲監(jiān)控、設備監(jiān)控、深化統(tǒng)計分析、智能監(jiān)控管理等功能。

3.3系統(tǒng)特點、性能和功能

3.3.1系統(tǒng)特性

實時性：平臺在高效率并行分布式軟件的支撐下，可以實時完成數(shù)據(jù)計算和

分析工作，如數(shù)據(jù)計算、數(shù)據(jù)查詢、和統(tǒng)計分析等。數(shù)據(jù)計算不會出現(xiàn)數(shù)據(jù)堆積

現(xiàn)象，各類分析和查詢工作基本都在秒級完成，具有前所未有的高效性；

高可靠性：基于對云計算可靠性深厚的技術研究積累，徹底解決當前分布式

計算平臺易出現(xiàn)的單點故障問題。任何一個節(jié)點出現(xiàn)故障，系統(tǒng)將自動屏蔽，而

且不會出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象；

可伸縮性：在不停機的情況下，增加節(jié)點，平臺的處理能力自動增加；減少

節(jié)點，平臺的處理能力自動縮減。這樣，可以做到與資源池的無縫對接，根據(jù)計

算和存儲任務動態(tài)地申請或釋放資源，最大限度地提高資源利用率；

高性價比：采用X86架構廉價計算機構建云計算平臺，用軟件容錯替代硬件

容錯，大大節(jié)省成本。在目標性能和可靠性條件下，可比傳統(tǒng)的小型機加商用數(shù)

據(jù)庫方案節(jié)省10倍左右的成本；

2#^

全業(yè)務支持：采用NoSQL+關系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放于

分布式平臺并進行分布式處理，少量實時性要求很高的數(shù)據(jù)存放于關系數(shù)據(jù)庫，

可支撐各種類型的業(yè)務。不僅支撐查詢、統(tǒng)計、分析業(yè)務，還可支撐深度數(shù)據(jù)挖

掘和商業(yè)智能分析業(yè)務。

3.3.2系統(tǒng)特點

1）支持大數(shù)據(jù)實時入庫，防止數(shù)據(jù)堆積

采用現(xiàn)有用采系統(tǒng)服務器集群和云計算平臺一體機相結合的方式，能夠提高

對海量數(shù)據(jù)的快速入庫，入庫速度高達千兆每秒。能夠?qū)Τ^10000條/m的原

始用采監(jiān)控數(shù)據(jù)進行實時處理。避免因數(shù)據(jù)入庫能力不足，造成的數(shù)據(jù)堆積。

2）支持大數(shù)據(jù)實時索引，秒級計算和查詢

實時監(jiān)控入庫的新數(shù)據(jù)，并對其建立具有高效查詢速度的索引算法，能夠完

成對千