能源大數(shù)據(jù)管理系統(tǒng)的實(shí)現(xiàn)

能源大數(shù)據(jù)管理系統(tǒng)的實(shí)現(xiàn)陳克勝【摘要】針對(duì)電信運(yùn)營(yíng)商自身節(jié)能減排需要和所服務(wù)不同社會(huì)用戶及政府能源管理機(jī)構(gòu)對(duì)能耗信息服務(wù)的不同需求，提出建立電信運(yùn)營(yíng)商物聯(lián)網(wǎng)結(jié)合云計(jì)算的能源大數(shù)據(jù)管理系統(tǒng)。首先，概述了課題開發(fā)背景和能源大數(shù)據(jù)管理系統(tǒng)相關(guān)技術(shù)；其次，對(duì)系統(tǒng)設(shè)計(jì)進(jìn)行了介紹；接著，對(duì)系統(tǒng)實(shí)現(xiàn)進(jìn)行了探討。最后，對(duì)研究做了總結(jié)。%Forthetelecomoperatorsintheirneedforenergyconservationandthesocialserviceofdifferentusersanddifferentneedsofgovernmentenergymanagementmechanismofenergyconsumptioninformationservice,thispaperpresentstheenergydatamanagementsystemfortelecomoperatorsInternetbasedcloudcomputing.First,summarizestherelatedtechnologyresearchanddevelopmentbackgroundofenergydatamanagementsystem,secondly,introducesthesystemdesign,andthendiscussesthesystemimplementation,finally,makesasummaryofthisarticle.【期刊名稱】《機(jī)電工程技術(shù)》【年(卷)，期】2015(000)006【總頁(yè)數(shù)】6頁(yè)(P24-28,138)【關(guān)鍵詞】分項(xiàng)計(jì)量;節(jié)能減排;物聯(lián)網(wǎng);移動(dòng)互聯(lián)網(wǎng);云計(jì)算;大數(shù)據(jù)【作者】陳克勝【作者單位】廣東盈嘉科技工程發(fā)展股份有限公司，廣東廣州510075【正文語(yǔ)種】中文［中圖分類】TP3集中式的管理和維護(hù)模式秉承樹立綠色、低碳發(fā)展理念，是響應(yīng)國(guó)家節(jié)能減排號(hào)召的重要實(shí)踐。建設(shè)基于電信運(yùn)營(yíng)商物聯(lián)網(wǎng)結(jié)合云計(jì)算技術(shù)的能源管理系統(tǒng)非常必要，以從機(jī)房/基站數(shù)據(jù)中獲得能夠真正反映設(shè)備運(yùn)行狀況的有效信息，利用在線能耗數(shù)據(jù)挖掘分析結(jié)果，輔助實(shí)現(xiàn)依據(jù)用能設(shè)備的負(fù)荷變化來(lái)動(dòng)態(tài)優(yōu)化用能設(shè)備的配電，大幅度減少電能消耗并為優(yōu)化能源管理的決策提供科學(xué)支持，在滿足通信業(yè)務(wù)發(fā)展的前提下盡量節(jié)省資源，以提升通信運(yùn)營(yíng)商的社會(huì)形象和競(jìng)爭(zhēng)優(yōu)勢(shì)［1］。（1）數(shù)據(jù)感知采集［2］本論文采集數(shù)據(jù)包括通信機(jī)房和通信基站兩大類用能場(chǎng)所，具體為列頭柜、機(jī)柜、空調(diào)、照明、辦公插座等設(shè)備的能耗，還可以通過IPMI接口采集服務(wù)器設(shè)備的功率、溫度、CPU使用率、內(nèi)存使用率、風(fēng)扇工作參數(shù)等服務(wù)器狀態(tài)數(shù)據(jù)。具體技術(shù)設(shè)計(jì)思路如下。通過利用智能電表、傳感器、變送器、以及物聯(lián)網(wǎng)智能網(wǎng)關(guān)等采集設(shè)備及網(wǎng)絡(luò)平臺(tái)，將機(jī)房/基站內(nèi)空調(diào)、照明、電源、主設(shè)備和辦公插座等子系統(tǒng)聯(lián)網(wǎng)集成到統(tǒng)一的管理平臺(tái)進(jìn)行智能監(jiān)控、數(shù)據(jù)分析和調(diào)度管理。構(gòu)建更加全面的傳感網(wǎng)絡(luò)，包括溫濕度傳感網(wǎng)，氣流傳感網(wǎng)，做到對(duì)用能場(chǎng)所的更全面感知?？梢酝ㄟ^傳感器的安裝，相當(dāng)于給機(jī)房裝了一個(gè)很精準(zhǔn)的CT，對(duì)機(jī)房實(shí)現(xiàn)多角度旋轉(zhuǎn)、縮放觀察的虛擬三維清晰圖像，溫濕度怎樣，空調(diào)是否處于合理狀態(tài)，都能夠看得一清二楚。對(duì)用能場(chǎng)所內(nèi)的設(shè)備全面采用RFID技術(shù)進(jìn)行識(shí)別和管理，以準(zhǔn)確全面獲取設(shè)備的屬性及與相關(guān)能耗數(shù)據(jù)的對(duì)應(yīng)關(guān)系主設(shè)備的能耗則是必須要采集到的重要數(shù)據(jù)，以支持能耗的精細(xì)化分析和控制。比如服務(wù)器的能耗數(shù)據(jù)，就需要通過各種合適的途徑獲得。通過ipmi接口可以獲得部分?jǐn)?shù)據(jù)，還可以考慮通過硬件芯片的方式獲得。利用IPMI接口可采集到服務(wù)器的靜態(tài)信息，包括CPU、內(nèi)存、硬盤、光驅(qū)、網(wǎng)卡、顯卡、操作系統(tǒng)、RAID卡、PCI附加卡等信息；采集的動(dòng)態(tài)信息包括機(jī)箱內(nèi)溫度、主板、CPU、SCSI模組、風(fēng)扇板等的溫度、輸入電壓、功率、風(fēng)扇轉(zhuǎn)速、內(nèi)部直流電壓以及CPU利用率、內(nèi)存利用率、硬盤I/O訪問流量等系統(tǒng)資源信息、硬盤驅(qū)盤器（已用空間、剩余空間）、網(wǎng)絡(luò)情況（連接狀態(tài)、網(wǎng)絡(luò)帶寬、入/出流量、入/出實(shí)際帶寬）、平均負(fù)載（指的是在一定觀察時(shí)間內(nèi)系統(tǒng)內(nèi)總進(jìn)程數(shù)、正在運(yùn)行的進(jìn)程數(shù)平均值）。通過采集到的服務(wù)器的靜態(tài)信息，有利于機(jī)房將來(lái)做資源管理的基礎(chǔ)數(shù)據(jù)；而采集服務(wù)器的動(dòng)態(tài)數(shù)據(jù)，一方面通過服務(wù)器溫度信息來(lái)實(shí)現(xiàn)機(jī)房的溫度云場(chǎng)，另一方面通過計(jì)算服務(wù)器的能耗為設(shè)備級(jí)的能耗趨勢(shì)分析提供數(shù)據(jù)。（2）網(wǎng)絡(luò)層和數(shù)據(jù)處理層數(shù)據(jù)處理服務(wù)系統(tǒng)完成數(shù)據(jù)的預(yù)處理工作。從感知層出來(lái)的能耗數(shù)據(jù)，按規(guī)章和策略過濾，能耗數(shù)據(jù)在處理中要進(jìn)行聚合、融合、清洗、壓縮、匯聚，校驗(yàn)等重要工作，對(duì)上層應(yīng)用系統(tǒng)的有效分析和使用提供了重要條件。通過能耗專用及多功能智能融合網(wǎng)關(guān)能提供統(tǒng)一數(shù)據(jù)格式轉(zhuǎn)換與傳輸，實(shí)現(xiàn)物聯(lián)網(wǎng)能耗數(shù)據(jù)的收集/下發(fā)與傳輸。實(shí)現(xiàn)能耗數(shù)據(jù)的多路分發(fā)。能耗數(shù)據(jù)除了能為中心云平臺(tái)分析使用外，還能為其他系統(tǒng)所用（比如動(dòng)環(huán)監(jiān)控），實(shí)現(xiàn)實(shí)時(shí)的能耗數(shù)據(jù)呈現(xiàn)，監(jiān)視管理和控制等作用。海量能耗數(shù)據(jù)的通信，實(shí)現(xiàn)用能設(shè)備間信息的交換，需實(shí)現(xiàn)互聯(lián)互通，即非ip的傳感網(wǎng)和ip傳感網(wǎng)之間，傳感網(wǎng)和ip接入網(wǎng)，ipv4和ipv6協(xié)議之間的互聯(lián)互通，包括應(yīng)用協(xié)議，消息格式的互操作。傳感器網(wǎng)有專門的路由協(xié)議（能量效率路由協(xié)議，在多數(shù)時(shí)間處于休眠狀態(tài)的節(jié)點(diǎn)的路由協(xié)議，數(shù)據(jù)知識(shí)路由協(xié)議等［3-4］。在建立用能場(chǎng)所的能耗模型時(shí)，需充分考慮并表達(dá)空調(diào)、照明、電源、主設(shè)備和辦公插座等各用能分量單元個(gè)體之間的關(guān)系特別是直接的關(guān)系，同時(shí)把間接的關(guān)系通過模型的辦法推導(dǎo)出來(lái)。各個(gè)用能分量單元除實(shí)時(shí)收集的時(shí)空數(shù)據(jù)之外，還表達(dá)了它們之間的連結(jié)關(guān)系。模型本身有充分的能力來(lái)表達(dá)直接關(guān)系，以方便推理間接關(guān)系。按業(yè)務(wù)需求建立模型，模型優(yōu)化方案，提煉模型并驗(yàn)證模型。數(shù)據(jù)挖掘必須與具體的業(yè)務(wù)相結(jié)合進(jìn)行應(yīng)用，并進(jìn)行跟蹤評(píng)估效果，持續(xù)不斷地完善模型，總結(jié)和反饋。本論文中通過耗能點(diǎn)分析、耗能量聚類與預(yù)測(cè)，發(fā)現(xiàn)耗能異常的原因及影響能耗的相關(guān)因子，從而找到改善能耗的節(jié)能要素。同時(shí)對(duì)故障設(shè)備進(jìn)行故障原因分析，查找設(shè)備異常的原因，及時(shí)進(jìn)行調(diào)整以達(dá)到節(jié)約成本，提高設(shè)備運(yùn)行效率的目的［5］。（3）物聯(lián)網(wǎng)智能網(wǎng)關(guān)目前獲取能耗數(shù)據(jù)的主要手段是通過智能計(jì)量采集裝置（智能電水汽表）的計(jì)量及物聯(lián)網(wǎng)網(wǎng)關(guān)自動(dòng)采集分量計(jì)量能耗數(shù)據(jù)。作為中國(guó)移動(dòng)及其他電信運(yùn)營(yíng)商龐大規(guī)模的能耗采集工程，從工程適用性和投資成本方面考慮，依據(jù)中國(guó)移動(dòng)集團(tuán)設(shè)計(jì)院能耗采集規(guī)范制定的專用能耗采集設(shè)備（〃智能采集終端”設(shè)備，以下簡(jiǎn)稱能耗采集單元ESU），本論文采用廣東盈嘉科技工程發(fā)展股份有限公司的物聯(lián)網(wǎng)智能網(wǎng)關(guān)——MP3000智能協(xié)議轉(zhuǎn)換器。如圖3所示，該智能網(wǎng)關(guān)設(shè)備能夠?qū)崿F(xiàn)同時(shí)向多區(qū)域能管中心、省能管中心、國(guó)家能管中心同時(shí)分發(fā)報(bào)送數(shù)據(jù)，支持多種工業(yè)協(xié)議的接入、智能儀表的接入、采集數(shù)據(jù)的轉(zhuǎn)換及控制管理，具有存儲(chǔ)1個(gè)月以上的數(shù)據(jù)存儲(chǔ)容量，提供12路數(shù)據(jù)通訊接口，滿足通過公網(wǎng)或?qū)＞W(wǎng)、有線或無(wú)線發(fā)送數(shù)據(jù)的技術(shù)要求。主要功能如下：邏輯控制功能：邏輯控制是可訂制的業(yè)務(wù)功能，如根據(jù)采集器采集的溫度數(shù)據(jù)進(jìn)行智能控制空調(diào)啟停。一個(gè)DO口的輸出可以根據(jù)多個(gè)AI/DI輸入數(shù)據(jù)進(jìn)行判斷后符合輸出條件再輸出。支持通過以太網(wǎng)口，將設(shè)備采集的數(shù)據(jù)多路分發(fā)的功能。設(shè)備支持采集的數(shù)據(jù)本地存儲(chǔ)，WEB方式配置，具備網(wǎng)管功能；支持SNMP協(xié)議；支持遠(yuǎn)程在線升級(jí)功能；支持時(shí)鐘同步功能。（1）平臺(tái)總體架構(gòu)大數(shù)據(jù)能源管理系統(tǒng)采用云計(jì)算模式的設(shè)計(jì)方式［6］。可將平臺(tái)按IaaS、PaaS、SaaS分成三層規(guī)劃，分別解決資源共享、平臺(tái)共享、服務(wù)共享的問題。該設(shè)計(jì)模式有利于降低建設(shè)成本、提高系統(tǒng)靈活性，便于數(shù)據(jù)和服務(wù)的管理和共享，如圖4所示。能耗采集層通過物聯(lián)網(wǎng)智能感知及虛擬化能源管理平臺(tái)來(lái)實(shí)現(xiàn)，提供按需可配的計(jì)算和存儲(chǔ)資源，具備平滑的擴(kuò)展能力。能源管理云平臺(tái)服務(wù)層提供應(yīng)用部署、管理及云平臺(tái)監(jiān)控功能，考慮到技術(shù)及業(yè)務(wù)未來(lái)發(fā)展變化所帶來(lái)的平臺(tái)的彈性要求，采用SOA理念設(shè)計(jì)，減少各子系統(tǒng)在技術(shù)上的相互依賴性。能源管理系統(tǒng)軟件服務(wù)層由能管中心和第三方軟件開發(fā)企業(yè)開發(fā)相應(yīng)的能源管理分析軟件模塊，接入中心能源管理大數(shù)據(jù)云平臺(tái)，實(shí)現(xiàn)快速軟件開發(fā)和部署。該中心軟件主要實(shí)現(xiàn)數(shù)據(jù)可視化呈現(xiàn)、檢索查詢、能耗數(shù)據(jù)圖表生成、數(shù)據(jù)挖掘、聚類分析、能耗模型預(yù)警、能耗數(shù)據(jù)在線監(jiān)測(cè)，節(jié)能規(guī)劃業(yè)務(wù)的辦理和流程管理，對(duì)外服務(wù)的數(shù)據(jù)接口，以及包括監(jiān)控管理中心、大屏幕呈現(xiàn)、桌面客戶端、移動(dòng)客戶端、短信、郵件等各類前端軟件的技術(shù)實(shí)現(xiàn)。云平臺(tái)整體提供數(shù)據(jù)安全管理及用戶管理，由于能耗數(shù)據(jù)一般都有一定的涉密屬性，需要對(duì)能耗數(shù)據(jù)傳輸、存儲(chǔ)、分析、以及使用的過程進(jìn)行全流程安全規(guī)劃和管理，以保證關(guān)鍵數(shù)據(jù)及數(shù)據(jù)接口的安全。平臺(tái)還具備用戶權(quán)限管理及審計(jì)診斷功能。整個(gè)系統(tǒng)以數(shù)據(jù)倉(cāng)庫(kù)為基礎(chǔ)［7］，以云計(jì)算平臺(tái)為支撐，結(jié)合ETL和并行數(shù)據(jù)挖掘開發(fā)套件，打造出高性能，高實(shí)時(shí)性，高靈活性的新一代基于〃云”計(jì)算的能源大數(shù)據(jù)綜合管理系統(tǒng)云平臺(tái)。按照技術(shù)發(fā)展趨勢(shì)，采用如圖5所示系統(tǒng)技術(shù)實(shí)現(xiàn)數(shù)據(jù)流程。（2）系統(tǒng)功能模塊設(shè)計(jì)大數(shù)據(jù)能源管理中心云平臺(tái)的主要功能可以劃分為五個(gè)模塊，包括數(shù)據(jù)采集模塊、能耗綜合管理模塊，大屏幕管理模塊、系統(tǒng)管理模塊和軟件平臺(tái)模塊，功能劃分如圖6所示。（3）系統(tǒng)實(shí)現(xiàn)本論文提出的大數(shù)據(jù)能源管理系統(tǒng)是以個(gè)基于工業(yè)物聯(lián)網(wǎng)與大數(shù)據(jù)分析的綜合能耗管理系統(tǒng)。大范圍、多地域、全網(wǎng)同步的數(shù)據(jù)采集匯聚集中上傳需要性能水平極高的云網(wǎng)絡(luò)及云存儲(chǔ)資源，整體系統(tǒng)建設(shè)和運(yùn)維最適合由3大電信運(yùn)營(yíng)商承擔(dān)，何況要對(duì)不同用能單位建立一對(duì)應(yīng)的多維度關(guān)聯(lián)能耗排放模型，對(duì)自控可靠的用能單位要通過模型的仿真模擬計(jì)算結(jié)果，對(duì)相關(guān)用能設(shè)備實(shí)施反向開關(guān)待機(jī)操作，實(shí)現(xiàn)用能設(shè)備動(dòng)態(tài)能效優(yōu)化，這又需要極強(qiáng)大的云計(jì)算資源，這樣的操控實(shí)施更應(yīng)掌握在國(guó)有主流央企手中，3大運(yùn)營(yíng)商的云計(jì)算資源基本有保證。電信運(yùn)營(yíng)商已建設(shè)的網(wǎng)管系統(tǒng)和動(dòng)環(huán)監(jiān)控系統(tǒng)負(fù)責(zé)運(yùn)營(yíng)商自身能耗數(shù)據(jù)的采集及融合接入，政府發(fā)文強(qiáng)制重點(diǎn)能耗企業(yè)采用標(biāo)準(zhǔn)化物聯(lián)網(wǎng)采集網(wǎng)關(guān)及國(guó)標(biāo)智能電表無(wú)線接入此系統(tǒng)、或企業(yè)已有系統(tǒng)按統(tǒng)一能耗排放數(shù)據(jù)采集及接口標(biāo)準(zhǔn)規(guī)范專線轉(zhuǎn)發(fā)接入此運(yùn)營(yíng)商能源管理云平臺(tái)，運(yùn)營(yíng)商收流量費(fèi)及功能費(fèi)。如用能戶使用能源審計(jì)診斷功能索取能源使用咨詢報(bào)告可另收咨詢費(fèi)等，政府向運(yùn)營(yíng)商付財(cái)政補(bǔ)貼、維護(hù)費(fèi)、流量費(fèi)及服務(wù)費(fèi)購(gòu)買服務(wù)，運(yùn)營(yíng)商還可收能耗排放源數(shù)據(jù)交易費(fèi)并向政府交管理費(fèi)等。運(yùn)營(yíng)商向系統(tǒng)技術(shù)供應(yīng)商支付開發(fā)費(fèi)及技術(shù)支撐費(fèi)等。通信運(yùn)營(yíng)商能源大數(shù)據(jù)管理系統(tǒng)實(shí)時(shí)掌握能耗情況、健全各用能設(shè)備實(shí)時(shí)能耗模型以進(jìn)行能源使用趨勢(shì)預(yù)測(cè)，實(shí)現(xiàn)對(duì)各種用能設(shè)備的動(dòng)態(tài)優(yōu)化能耗管理及時(shí)采取調(diào)度措施，提高運(yùn)維部門管理水平，及時(shí)發(fā)現(xiàn)提前預(yù)報(bào)運(yùn)行設(shè)備故障，實(shí)現(xiàn)預(yù)防性維護(hù)，使各用能設(shè)備盡可能運(yùn)行在最佳狀態(tài)，并將對(duì)能耗的影響降到最低，符合國(guó)務(wù)院辦公廳十二五節(jié)能減排提出政策導(dǎo)向，履行企業(yè)節(jié)能減排的責(zé)任，為加快建設(shè)資源節(jié)約型、環(huán)境友好型社會(huì)做出貢獻(xiàn)。能源管理大數(shù)據(jù)云平臺(tái)通過對(duì)大規(guī)模機(jī)房/基站的海量用能數(shù)據(jù)進(jìn)行聚類分析、相關(guān)性分析、建立用能場(chǎng)所能耗模型，確立標(biāo)桿機(jī)房/基站。系統(tǒng)通過構(gòu)建能耗分析相關(guān)的理論知識(shí)、試驗(yàn)數(shù)據(jù)、專家經(jīng)驗(yàn)以及相關(guān)的定義、定理等組成知識(shí)庫(kù)，在計(jì)算機(jī)中存儲(chǔ)、組織、實(shí)現(xiàn)和使用互相聯(lián)系的知識(shí)庫(kù)集合，有效地實(shí)現(xiàn)知識(shí)表現(xiàn)和推理，與數(shù)據(jù)挖掘和OLAP緊密結(jié)合，幫助用戶進(jìn)行分析，給出合理的結(jié)論和建議，提高社會(huì)經(jīng)濟(jì)效益［8］。大數(shù)據(jù)分析采用了多種“ETL、分類、聚類、相關(guān)性分析”等多種數(shù)據(jù)挖掘算法［9］。采用的ETLT具有：OWB(OracleWarehouseBuilder)、ODI(OracleDataIntegrator).InformaticPowerCenter、AICloudETL、DataStage和DataSpider等。實(shí)現(xiàn)了數(shù)據(jù)抽取、清洗、選擇、轉(zhuǎn)換、知識(shí)發(fā)現(xiàn)等功能。ETL數(shù)據(jù)挖掘技術(shù)方案如圖7所示。基于數(shù)據(jù)挖掘技術(shù)，項(xiàng)目建立了統(tǒng)一數(shù)據(jù)整合平臺(tái)。數(shù)據(jù)可視化包括能耗數(shù)據(jù)分析的結(jié)果展示，提供通用和個(gè)性訂制化的數(shù)據(jù)分析服務(wù)，及自定義可視化報(bào)表等；以及用能場(chǎng)所3D場(chǎng)景及CFD溫度及能效云場(chǎng)呈現(xiàn)等。本論文設(shè)計(jì)的能源大數(shù)據(jù)管理系統(tǒng)以物聯(lián)網(wǎng)感知采集能耗數(shù)據(jù)為基礎(chǔ)，以云計(jì)算網(wǎng)絡(luò)平臺(tái)為支撐，結(jié)合ETL和并行數(shù)據(jù)挖掘開發(fā)套件，打造出高性能，高實(shí)時(shí)性，高靈活性的新一代基于物聯(lián)網(wǎng)結(jié)合云計(jì)算技術(shù)的大數(shù)據(jù)能源管理系統(tǒng)。并逐步實(shí)現(xiàn)做為云計(jì)算網(wǎng)絡(luò)平臺(tái)的具體應(yīng)用內(nèi)容實(shí)施運(yùn)行，利用云計(jì)算網(wǎng)絡(luò)平臺(tái)的多租戶功能，為通信運(yùn)營(yíng)商及全社會(huì)其他用能單位，為節(jié)能減排政府管理機(jī)構(gòu)提供能耗分項(xiàng)計(jì)量統(tǒng)計(jì)分析、節(jié)能咨詢等服務(wù)。【相關(guān)文獻(xiàn)】[1]鐘智構(gòu)建在線式電能質(zhì)量監(jiān)測(cè)網(wǎng)絡(luò)[J].通信電源技術(shù)，2009,26(增刊)：110-112.[2]宋福峰，劉寶昌.數(shù)通信電源系統(tǒng)設(shè)計(jì)及運(yùn)行維護(hù)中節(jié)能方案探討[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2010(3):69-71.[3]Behrouza.Forouzan.Datacommunicationsandnetworking(thirdedition)[M].Mcgraw-hi