大數(shù)據(jù)管理與應(yīng)用概論 課件 8.1 能源問題背景與數(shù)據(jù)概述

8.1能源問題背景與數(shù)據(jù)概述能源大數(shù)據(jù)產(chǎn)生于能源互聯(lián)網(wǎng)中的各個(gè)環(huán)節(jié)，涉及用戶描述數(shù)據(jù)、用戶行為數(shù)據(jù)、能源系統(tǒng)內(nèi)部數(shù)據(jù)以及氣象、地理、建筑等相關(guān)業(yè)務(wù)系統(tǒng)數(shù)據(jù)。能源大數(shù)據(jù)概念和特征家庭人口特征、居住環(huán)境特征等。用戶數(shù)據(jù)描述數(shù)據(jù)客戶服務(wù)系統(tǒng)數(shù)據(jù)、需求響應(yīng)系統(tǒng)數(shù)據(jù)等。用戶行為數(shù)據(jù)氣象數(shù)據(jù)、地理信息數(shù)據(jù)、建筑數(shù)據(jù)等。相關(guān)業(yè)務(wù)系統(tǒng)數(shù)據(jù)智能用電數(shù)據(jù)、電力生產(chǎn)數(shù)據(jù)等。能源系統(tǒng)內(nèi)部數(shù)據(jù)能源大數(shù)據(jù)的構(gòu)成技術(shù)類型常見技術(shù)技術(shù)特點(diǎn)批量數(shù)據(jù)采集Webservice、ETL、dblink、ftp、離線數(shù)據(jù)庫(kù)文件復(fù)制、文件數(shù)據(jù)等。

以ETL為例，能對(duì)數(shù)據(jù)做標(biāo)準(zhǔn)化定義，實(shí)現(xiàn)統(tǒng)一編碼、統(tǒng)一分類和組織；管理簡(jiǎn)單，可以提供與各種數(shù)據(jù)系統(tǒng)的接口，系統(tǒng)適應(yīng)性強(qiáng)，可擴(kuò)展性強(qiáng)。實(shí)時(shí)數(shù)據(jù)采集

直接數(shù)字化控制

高可靠性，支持自定義編程；支持多數(shù)據(jù)來(lái)源，數(shù)據(jù)輸出支持logger、hdfs、HBase、kafka等數(shù)據(jù)庫(kù)系統(tǒng)；數(shù)據(jù)不易丟失，保障數(shù)據(jù)安全性。非結(jié)構(gòu)化數(shù)據(jù)壓縮對(duì)于近期數(shù)據(jù)采用無(wú)損壓縮，對(duì)于較長(zhǎng)歷史時(shí)間數(shù)據(jù)可采用螺旋門算法壓縮?？刹捎梅植际讲渴?、線性擴(kuò)展，實(shí)現(xiàn)對(duì)各類型數(shù)據(jù)（實(shí)時(shí)、批量、數(shù)據(jù)庫(kù)、文件、數(shù)據(jù)流）的采集、轉(zhuǎn)換、加載；可根據(jù)負(fù)載壓力動(dòng)態(tài)擴(kuò)展。能源大數(shù)據(jù)的獲取技術(shù)能源大數(shù)據(jù)概念和特征廣義的電力大數(shù)據(jù)不再局限于電力系統(tǒng)內(nèi)部產(chǎn)生的數(shù)據(jù)，往往包含了其他相關(guān)行業(yè)支撐電力系統(tǒng)運(yùn)行的外部數(shù)據(jù)。電力大數(shù)據(jù)主要包括如電流、電壓、線損、電網(wǎng)拓?fù)?、變相、各類傳感器?shù)據(jù)等電力內(nèi)部數(shù)據(jù)，還包括氣象數(shù)據(jù)、氣候數(shù)據(jù)、輿情數(shù)據(jù)等諸多外部數(shù)據(jù)。電流電壓線損電網(wǎng)拓?fù)漭浨閿?shù)據(jù)各類傳感器數(shù)據(jù)氣象數(shù)據(jù)氣候數(shù)據(jù)變相電流電力大數(shù)據(jù)的構(gòu)成能源大數(shù)據(jù)概念和特征VolumeVarietyVelocityEnergyExchangeEmpathy電力大數(shù)據(jù)具有無(wú)磨損、無(wú)消耗、無(wú)污染、易傳輸?shù)奶匦裕⒖稍谑褂眠^(guò)程中不斷精煉而增值。電力大數(shù)據(jù)以其與國(guó)民經(jīng)濟(jì)社會(huì)廣泛而緊密的聯(lián)系，具有明顯的正外部性。對(duì)用戶需求的充分挖掘和滿足，建立情感聯(lián)系，為電力用戶提供更加優(yōu)質(zhì)、安全、可靠的電力服務(wù)。3V+3E電力大數(shù)據(jù)的特征體量大類型多速度快能源大數(shù)據(jù)概念和特征123456當(dāng)?shù)貙?shí)時(shí)的日照強(qiáng)度當(dāng)?shù)貙?shí)時(shí)的風(fēng)速和風(fēng)向太陽(yáng)能電池板的溫度以及環(huán)境溫度太陽(yáng)能電池板的電壓和電流光伏逆變器功率、效率、輸出電壓及電流電站發(fā)電量光伏電站利用數(shù)據(jù)采集系統(tǒng)獲取電站運(yùn)行的關(guān)鍵數(shù)據(jù)主要有六類。數(shù)據(jù)采集系統(tǒng)由上位機(jī)監(jiān)控軟件、光伏數(shù)據(jù)集中器、光伏逆變器、環(huán)境參數(shù)檢測(cè)儀和光伏匯流箱5個(gè)子系統(tǒng)組成。發(fā)電數(shù)據(jù)——以光伏發(fā)電為例能源大數(shù)據(jù)概念和特征步驟：（1）原始數(shù)據(jù)收集及線路走廊踏勘，并制作快速巡檢任務(wù)計(jì)劃；（2）通過(guò)快速巡檢模式獲取線路走廊激光點(diǎn)云、短焦相機(jī)照片，從而獲得數(shù)字地形模型數(shù)據(jù)、正射影像數(shù)據(jù)、地表覆蓋以及電力線設(shè)施的相關(guān)空間幾何位置信息等；（3）制作精細(xì)巡檢任務(wù)計(jì)劃，并執(zhí)行精細(xì)巡檢任務(wù)獲取電力線設(shè)施更詳細(xì)的可見光照片、紅外視頻、紫外視頻等多源數(shù)據(jù)，為后續(xù)故障診斷與分析做準(zhǔn)備。原始數(shù)據(jù)收集線路走廊踏勘快速巡檢任務(wù)規(guī)劃三維激光點(diǎn)云地形數(shù)據(jù)正射影像精細(xì)巡檢數(shù)據(jù)采集短焦相機(jī)影像長(zhǎng)焦相機(jī)影像紅外視頻紫外視頻精細(xì)巡檢任務(wù)規(guī)劃電力線設(shè)施信息快速巡檢數(shù)據(jù)采集輸電數(shù)據(jù)——以無(wú)人機(jī)巡檢輸電線路數(shù)據(jù)為例能源大數(shù)據(jù)概念和特征智能變電站是采用先進(jìn)、可靠、集成、低碳、環(huán)保的智能設(shè)備，以全站信息數(shù)字化、通信平臺(tái)網(wǎng)絡(luò)化、信息共享標(biāo)準(zhǔn)化為基本要求，自動(dòng)完成信息采集、測(cè)量、控制、保護(hù)、計(jì)量和監(jiān)測(cè)。智能變電站數(shù)據(jù)能源大數(shù)據(jù)概念和特征類別數(shù)據(jù)獲取來(lái)源具體數(shù)據(jù)臺(tái)賬數(shù)據(jù)配電自動(dòng)化系統(tǒng)、生產(chǎn)管理系統(tǒng)、地理信息系統(tǒng)。各元件設(shè)備的銘牌參數(shù)、安裝信息、型號(hào)等可靠性參數(shù)、線路長(zhǎng)度、型號(hào)、額定電壓電流等可靠性參數(shù)。實(shí)時(shí)運(yùn)行數(shù)據(jù)用電信息采集系統(tǒng)、配電自動(dòng)化系統(tǒng)、生產(chǎn)管理系統(tǒng)、電能質(zhì)量監(jiān)測(cè)管理系統(tǒng)、95598客服系統(tǒng)。三相電流、電壓、有功無(wú)功功率、頻率、功率因數(shù)等量測(cè)數(shù)據(jù)、各元件設(shè)備的開斷連通情況、系統(tǒng)或負(fù)荷節(jié)點(diǎn)的異常數(shù)據(jù)、檢修狀態(tài)、停運(yùn)計(jì)劃、電網(wǎng)安全信息、越限統(tǒng)計(jì)數(shù)據(jù)、調(diào)度數(shù)據(jù)、設(shè)備維護(hù)信息、工程信息、分布式電源運(yùn)行數(shù)據(jù)等狀態(tài)數(shù)據(jù)。負(fù)荷數(shù)據(jù)配電負(fù)荷監(jiān)測(cè)系統(tǒng)配電網(wǎng)規(guī)劃系統(tǒng)、負(fù)荷控制系統(tǒng)、營(yíng)銷業(yè)務(wù)管理系統(tǒng)等。各負(fù)荷節(jié)點(diǎn)、各區(qū)域的實(shí)時(shí)負(fù)荷大小與預(yù)測(cè)負(fù)荷大小等數(shù)據(jù)。環(huán)境數(shù)據(jù)配電網(wǎng)規(guī)劃系統(tǒng)、氣象信息系統(tǒng)、地理信息系統(tǒng)、地區(qū)社會(huì)經(jīng)濟(jì)數(shù)據(jù)等。實(shí)時(shí)風(fēng)速、風(fēng)向、溫度、濕度、雨量、氣壓、日照強(qiáng)度等。智能配電網(wǎng)數(shù)據(jù)能源大數(shù)據(jù)概念和特征

電力系統(tǒng)終端用戶的智能用電信息主要通過(guò)用電采集系統(tǒng)獲取，該系統(tǒng)將高級(jí)傳感、通信及控制技術(shù)以及高級(jí)的計(jì)算機(jī)技術(shù)應(yīng)用相結(jié)合，從而實(shí)現(xiàn)智能用電數(shù)據(jù)的遠(yuǎn)程獲取。按照電力用戶性質(zhì)和營(yíng)銷業(yè)務(wù)需要，用電信息采集系統(tǒng)的對(duì)象包括7種。采集系統(tǒng)的對(duì)象采集對(duì)象具體范圍大型專變用戶用電容量在100kVA及以上的專用變壓器用戶。中小型專變用戶用電容量小于100kVA的專用變壓器用戶。三相一般工商業(yè)用戶執(zhí)行非居民電價(jià)的低壓三相電力用戶，包括低壓商業(yè)、小動(dòng)力、辦公等用電性質(zhì)的非居民三相用電。單相一般工商業(yè)用戶執(zhí)行非居民電價(jià)的低壓?jiǎn)蜗嚯娏τ脩簦ǖ蛪荷虡I(yè)、小動(dòng)力、辦公等用電性質(zhì)的非居民單相用電。居民用戶執(zhí)行居民電價(jià)的城鄉(xiāng)居民及居住區(qū)公用設(shè)施醫(yī)院學(xué)校等用戶。配變關(guān)口計(jì)量點(diǎn)公用配變關(guān)口，即公用配變上的用于內(nèi)部考核的計(jì)量。智能用電數(shù)據(jù)能源大數(shù)據(jù)概念和特征根據(jù)實(shí)際需要隨時(shí)人工召測(cè)數(shù)據(jù)。如出現(xiàn)事件告警時(shí)，隨即召測(cè)與事件相關(guān)的重要數(shù)據(jù)，供事件分析使用。方式二：隨機(jī)召測(cè)在全雙工通道和數(shù)據(jù)交換網(wǎng)絡(luò)通道的數(shù)據(jù)傳輸中，允許終端啟動(dòng)數(shù)據(jù)傳輸過(guò)程（簡(jiǎn)稱主動(dòng)上報(bào)），將重要事件立即上報(bào)主站，以及按定時(shí)發(fā)送任務(wù)設(shè)置將數(shù)據(jù)定時(shí)上報(bào)主站，主站應(yīng)支持主動(dòng)上報(bào)數(shù)據(jù)的采集和處理。方式三：主動(dòng)上報(bào)按采集任務(wù)設(shè)定的時(shí)間間隔自動(dòng)采集終端數(shù)據(jù)，自動(dòng)采集時(shí)間、間隔、內(nèi)容、對(duì)象可設(shè)置。當(dāng)定時(shí)自動(dòng)數(shù)據(jù)采集失敗時(shí)，主站具有自動(dòng)及人工補(bǔ)采功能，保證數(shù)據(jù)的完整性。方式一：定時(shí)自動(dòng)采集用電信息采集系統(tǒng)的采集方式能源大數(shù)據(jù)概念和特征能源大數(shù)據(jù)質(zhì)量評(píng)估是否有數(shù)據(jù)按照非標(biāo)準(zhǔn)格式存儲(chǔ)數(shù)據(jù)質(zhì)量評(píng)估是對(duì)數(shù)據(jù)進(jìn)行科學(xué)和統(tǒng)計(jì)的評(píng)估過(guò)程，以確定它們是否滿足項(xiàng)目或業(yè)務(wù)流程所需的質(zhì)量，是否能夠真正支持其預(yù)期用途的正確類型和數(shù)量。所有系統(tǒng)里的數(shù)據(jù)是否一致，是否有重復(fù)數(shù)據(jù)。一致性所屬數(shù)據(jù)是否均存在。完整性是否有數(shù)據(jù)按照非標(biāo)準(zhǔn)格式存儲(chǔ)。合規(guī)性不同數(shù)據(jù)之間的數(shù)據(jù)是否存在關(guān)聯(lián)。關(guān)聯(lián)性當(dāng)需要處理數(shù)據(jù)時(shí)是否能即時(shí)存取。即時(shí)性能源數(shù)據(jù)質(zhì)量數(shù)據(jù)是否反應(yīng)事實(shí)，所有數(shù)據(jù)所傳達(dá)的信息是否一致。準(zhǔn)確性廣義一般缺乏IT手段支持能源數(shù)據(jù)標(biāo)準(zhǔn)化管理，沒有統(tǒng)一的能源數(shù)據(jù)管理優(yōu)化系統(tǒng)。即使著手建立能源數(shù)據(jù)管理系統(tǒng)，由于沒有相應(yīng)的能源數(shù)據(jù)質(zhì)量管理組織，系統(tǒng)上線后也無(wú)自動(dòng)化的標(biāo)準(zhǔn)化處理體系。在進(jìn)行能源數(shù)據(jù)質(zhì)量管理時(shí)未能打破舊思維，存在管理制度松散、執(zhí)行標(biāo)準(zhǔn)化力度不夠等現(xiàn)象。能源系統(tǒng)眾多，在數(shù)據(jù)模板、數(shù)據(jù)編碼等方面沒有統(tǒng)一的標(biāo)準(zhǔn)，各系統(tǒng)都自成一套體系。能源大數(shù)據(jù)質(zhì)量管理存在的難點(diǎn)能源大數(shù)據(jù)質(zhì)量評(píng)估初始數(shù)據(jù)獲取數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)規(guī)約數(shù)據(jù)挖掘與知識(shí)評(píng)價(jià)挖掘結(jié)果數(shù)據(jù)預(yù)處理包括對(duì)所收集數(shù)據(jù)進(jìn)行分類或分組前所做的審核、篩選、排序等必要的處理。主要采用數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)歸約的方法來(lái)完成數(shù)據(jù)的預(yù)處理任務(wù)。二次預(yù)處理能源大數(shù)據(jù)質(zhì)量提升能源大數(shù)據(jù)質(zhì)量評(píng)估電力數(shù)據(jù)質(zhì)量問題主要體現(xiàn)在4個(gè)方面，即單數(shù)據(jù)源模型層、單數(shù)據(jù)源實(shí)例層、多數(shù)據(jù)源模型層和多數(shù)據(jù)源實(shí)例層。缺少完整描述數(shù)據(jù)記錄錯(cuò)誤異構(gòu)數(shù)據(jù)模型冗余、矛盾、不一致電力數(shù)據(jù)質(zhì)量問題模型層實(shí)例層模型層實(shí)例層多數(shù)據(jù)源單數(shù)據(jù)源電力大數(shù)據(jù)質(zhì)量問題能源大數(shù)據(jù)質(zhì)量評(píng)估引入數(shù)據(jù)價(jià)值理念在現(xiàn)有的電力信息系統(tǒng)中引入數(shù)據(jù)價(jià)值理念這一概念，將數(shù)據(jù)資源作為電力企業(yè)的重要資產(chǎn)。制定管理控制機(jī)制電力企