地市級(jí)能源大數(shù)據(jù)中心能源數(shù)據(jù)質(zhì)量管理規(guī)范-征求意見稿

1地市級(jí)能源大數(shù)據(jù)中心能源數(shù)據(jù)質(zhì)量管理規(guī)范本文適用于地市級(jí)能源大數(shù)據(jù)中心電、熱、氣三類能源數(shù)據(jù)的質(zhì)GB/T29873能源計(jì)量數(shù)據(jù)采集系統(tǒng)數(shù)GB/T36073-2018數(shù)據(jù)管理能力成熟度GB/T38673-2020信息技術(shù)大數(shù)據(jù)大數(shù)據(jù)系統(tǒng)基本要求GB/T40685—2021信息技術(shù)服務(wù)數(shù)據(jù)資產(chǎn)管3.13.2能源數(shù)據(jù)質(zhì)量管理Energydataqua3.33.43.523.6能源大數(shù)據(jù)分類Energybigdatac4縮略語(yǔ)CoAP：受限應(yīng)用協(xié)議（ConstrainedCSV：逗號(hào)分隔值（Comma-SeparatedVaJSON：對(duì)象表示法（JavaScriptObjectNotatMQTT：消息隊(duì)列遙測(cè)傳輸（MessageQueuingTeleme地市級(jí)能源大數(shù)據(jù)中心能源數(shù)據(jù)質(zhì)量管理平臺(tái)框架見圖1，包括下列主a)感知層：實(shí)現(xiàn)采集協(xié)議標(biāo)準(zhǔn)化、數(shù)據(jù)校驗(yàn)標(biāo)準(zhǔn)化和數(shù)據(jù)格式標(biāo)準(zhǔn)化；3b)數(shù)據(jù)網(wǎng)關(guān)支持根據(jù)上位機(jī)命令啟動(dòng)數(shù)據(jù)采集和根據(jù)預(yù)設(shè)周期或時(shí)刻啟動(dòng)數(shù)據(jù)采集兩種命令數(shù)c)數(shù)據(jù)采集渠道、規(guī)范數(shù)據(jù)格式以及相關(guān)的流程和方式滿足表1要求，并滿足數(shù)據(jù)6.2數(shù)據(jù)校驗(yàn)標(biāo)準(zhǔn)化a)針對(duì)不同能源類型（電力、熱能、天然6.3數(shù)據(jù)格式標(biāo)準(zhǔn)化a)電力數(shù)據(jù)：采用統(tǒng)一的文件格式，包括但但不限于電流（單位：安培）、電壓（單位：伏特）、功率（單位：千瓦時(shí)（單位：兆焦耳/立方米采用Parquet或Avro格式以支持大數(shù)據(jù)分析處理。7.2通信協(xié)議標(biāo)準(zhǔn)47.3數(shù)據(jù)接入設(shè)備b)數(shù)據(jù)量較大、單批量接入可能會(huì)造成系統(tǒng)故障的數(shù)據(jù)接入應(yīng)采用實(shí)時(shí)接入或定時(shí)批量接入的方式，并滿足a)實(shí)時(shí)接入定義為數(shù)據(jù)從源頭產(chǎn)生至到達(dá)大數(shù)據(jù)中心的延遲時(shí)間不超周期性執(zhí)行，具體頻率依據(jù)業(yè)務(wù)需求和系統(tǒng)處理能數(shù)據(jù)模型是一種直觀描述數(shù)據(jù)組織結(jié)構(gòu)的手段，是數(shù)據(jù)據(jù)、電力市場(chǎng)交易數(shù)據(jù)等供有關(guān)資源的結(jié)構(gòu)數(shù)據(jù)，用于刻畫其他數(shù)的數(shù)據(jù)數(shù)量不應(yīng)超過5%5束、外部傳輸應(yīng)加密，避免性按照能源業(yè)務(wù)規(guī)應(yīng)被賦值的數(shù)據(jù)數(shù)據(jù)應(yīng)根據(jù)存儲(chǔ)頻率進(jìn)行及時(shí)造成空數(shù)據(jù)，同類數(shù)據(jù)中滿足數(shù)據(jù)完整性的比性按照業(yè)務(wù)規(guī)則要賦值的數(shù)據(jù)記錄數(shù)據(jù)應(yīng)根據(jù)相關(guān)規(guī)則進(jìn)行同類數(shù)據(jù)中滿足數(shù)據(jù)完整6性數(shù)據(jù)在傳輸過程中應(yīng)與現(xiàn)場(chǎng)采集器的數(shù)據(jù)保持100%性數(shù)據(jù)格式(包括數(shù)據(jù)類型、數(shù)據(jù)傳輸過程中應(yīng)遵循約定的標(biāo)準(zhǔn)通訊協(xié)議，按照標(biāo)準(zhǔn)協(xié)議進(jìn)行解析，并按系數(shù)、偏移量進(jìn)行讀寫存儲(chǔ)，應(yīng)與現(xiàn)場(chǎng)采集器保存除數(shù)據(jù)備份外，特定唯一性數(shù)據(jù)應(yīng)保存唯一性，重復(fù)性數(shù)據(jù)應(yīng)自動(dòng)篩查，并每個(gè)用戶或設(shè)備是否唯一除數(shù)據(jù)備份外，特定唯一性數(shù)據(jù)應(yīng)設(shè)置標(biāo)識(shí)，避免重復(fù)輸入，沒有設(shè)置唯一氣體源和終端用戶的唯一無效數(shù)據(jù)應(yīng)自動(dòng)進(jìn)行標(biāo)識(shí)，經(jīng)過修正過的數(shù)據(jù)應(yīng)消除標(biāo)識(shí)，臟數(shù)據(jù)占比不應(yīng)大于同類型數(shù)據(jù)數(shù)量的7性同應(yīng)用調(diào)用，允許產(chǎn)生偏差，偏差和讀取數(shù)據(jù)的頻倍最大輪詢周期內(nèi)，不應(yīng)超過2次偏差大于元數(shù)據(jù)性應(yīng)在物理規(guī)律的約束范圍量、存儲(chǔ)量的關(guān)聯(lián)數(shù)據(jù)一基于日期范圍的記錄數(shù)或頻率分布符合能源業(yè)務(wù)需求的程度源基于時(shí)段的元數(shù)據(jù)修正后，所關(guān)聯(lián)的結(jié)果數(shù)據(jù)應(yīng)進(jìn)行自動(dòng)或提示手動(dòng)重算修正，以保證數(shù)據(jù)準(zhǔn)確性，根據(jù)相關(guān)數(shù)據(jù)校核篩查，同一類型的等基于時(shí)間戳的記錄數(shù)、頻率分布或延遲時(shí)間符合業(yè)務(wù)需求源基于時(shí)間戳的數(shù)據(jù)因更故障等原因造成統(tǒng)計(jì)和計(jì)算數(shù)據(jù)的不準(zhǔn)確，應(yīng)自動(dòng)進(jìn)行標(biāo)記，同一類型的數(shù)據(jù)正確性應(yīng)大于數(shù)據(jù)集中同一實(shí)體的數(shù)據(jù)元素之間的相對(duì)時(shí)序源同一實(shí)體的數(shù)據(jù)應(yīng)符合一定的物理規(guī)律，違背物理規(guī)律的數(shù)據(jù)應(yīng)判定為無效數(shù)據(jù)，同一類型的數(shù)據(jù)正確性應(yīng)大于等8數(shù)據(jù)在需要時(shí)的可獲數(shù)據(jù)應(yīng)設(shè)置訪問權(quán)限管理，有權(quán)限的用戶應(yīng)100%可訪問，無權(quán)限的用戶應(yīng)數(shù)據(jù)在設(shè)定有效生存數(shù)據(jù)應(yīng)持續(xù)有效，同一類型的無效數(shù)據(jù)不應(yīng)超過8.2數(shù)據(jù)質(zhì)量評(píng)價(jià)方法能源數(shù)據(jù)質(zhì)量評(píng)價(jià)流程是產(chǎn)生和報(bào)告能源數(shù)據(jù)質(zhì)量結(jié)果的一系列步驟，在進(jìn)行能源數(shù)據(jù)質(zhì)量識(shí)別之后，進(jìn)行數(shù)據(jù)質(zhì)量評(píng)價(jià)。能源數(shù)據(jù)質(zhì)量識(shí)別見表8，評(píng)價(jià)91能源數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量描述要素子元素以及數(shù)據(jù)質(zhì)量范2別數(shù)據(jù)質(zhì)量策類型及數(shù)值質(zhì)3法對(duì)每個(gè)被識(shí)別的數(shù)據(jù)質(zhì)量測(cè)4據(jù)質(zhì)量描述要量值或數(shù)據(jù)質(zhì)質(zhì)量值單位及數(shù)據(jù)質(zhì)量測(cè)量數(shù)據(jù)質(zhì)量值集合:如電壓波動(dòng)率、頻率穩(wěn)定性指標(biāo)等。值單位:立方米/小時(shí)、帕斯卡等。5性若數(shù)據(jù)規(guī)范或用戶需求中已指定一致性質(zhì)數(shù)據(jù)質(zhì)量結(jié)果相比可確定一通過”)是能源數(shù)據(jù)質(zhì)量描述要素?cái)?shù)據(jù)質(zhì)量結(jié)果與一致性質(zhì)量等級(jí)比較比較實(shí)際數(shù)據(jù)質(zhì)量結(jié)果與一致性標(biāo)準(zhǔn)，輸出一致性結(jié)果a)交叉驗(yàn)證：通過將數(shù)據(jù)集分成若干個(gè)互斥的子集,輪流用其中若干個(gè)子集作為訓(xùn)練集,其余子b)多源數(shù)據(jù)校驗(yàn)：根據(jù)獲取校驗(yàn)內(nèi)容和預(yù)先制定的校驗(yàn)規(guī)則生成校驗(yàn)任務(wù)和與所述校驗(yàn)任務(wù)對(duì)a)缺失值分析：采用完全隨機(jī)缺失、隨機(jī)缺失、非隨機(jī)缺失方法進(jìn)行分析；c)時(shí)間戳分析：當(dāng)執(zhí)行備份操作時(shí)，確定哪些文件自上次備份以來已更改的關(guān)鍵指標(biāo)。a)跨系統(tǒng)對(duì)比：應(yīng)支持向用能企業(yè)提供能效綜合評(píng)價(jià)、行業(yè)能效對(duì)8.3數(shù)據(jù)質(zhì)量報(bào)告b)名稱：報(bào)告條款名稱。d)條件：描述報(bào)告改條款的必要條件，或需要該條款的條件。其中，必備代表應(yīng)有該條款；12345678.4數(shù)據(jù)質(zhì)量事件a)允許跟蹤數(shù)據(jù)的變更和回滾,以確保數(shù)據(jù)的可重復(fù)性和可解釋性；8.6數(shù)據(jù)審計(jì)8.8.1應(yīng)建立數(shù)據(jù)恢復(fù)流程，制定詳細(xì)的數(shù)據(jù)恢復(fù)流程和計(jì)劃，確保在數(shù)據(jù)損壞或丟失時(shí)可以迅速恢9.1.1應(yīng)基于數(shù)據(jù)使用的能源數(shù)據(jù)質(zhì)量監(jiān)控要求能源數(shù)據(jù)使用節(jié)點(diǎn)提供一個(gè)明確的、易于訪問的平臺(tái)9.1.2應(yīng)鼓勵(lì)用戶反饋數(shù)據(jù)問題，并將用戶反饋納入數(shù)據(jù)質(zhì)量改進(jìn)過程，反饋內(nèi)容應(yīng)滿足下列要求：a)進(jìn)行統(tǒng)一化流程管理；展和市場(chǎng)需求，應(yīng)根據(jù)數(shù)據(jù)質(zhì)量監(jiān)控結(jié)果和用戶反饋，持續(xù)改進(jìn)數(shù)據(jù)處理、存儲(chǔ)和管理A.1指標(biāo)詳見下表1A相電壓(Ua)VVVV%AB線電壓(Uab)VVVV%VA相n次