數(shù)據(jù)質(zhì)量管理系統(tǒng)建設(shè)方案

1、數(shù)據(jù)質(zhì)量管理系統(tǒng)介紹 數(shù)據(jù)質(zhì)量管理系統(tǒng)介紹 目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)數(shù)據(jù)質(zhì)量管理現(xiàn)存問題及制約因素制約因素系統(tǒng)應(yīng)用對(duì)象不明確、系統(tǒng)應(yīng)用層級(jí)定位不清因定位不清導(dǎo)致系統(tǒng)的界面設(shè)計(jì)不能滿足各層級(jí)需求系統(tǒng)適應(yīng)性不能滿足地區(qū)性、個(gè)性化需求，差異明顯缺乏針對(duì)數(shù)據(jù)質(zhì)量管理的標(biāo)準(zhǔn)化流程及溝通機(jī)制系統(tǒng)適用性不強(qiáng)，未強(qiáng)調(diào)數(shù)據(jù)質(zhì)量管理，更多偏向于數(shù)據(jù)上報(bào)及下發(fā)管理數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則不全面、針對(duì)網(wǎng)省的適用性相對(duì)較差不具備自建指標(biāo)校驗(yàn)?zāi)芰夹g(shù)元素導(dǎo)致業(yè)務(wù)人員無法使用系統(tǒng)運(yùn)維等人員對(duì)業(yè)務(wù)不清導(dǎo)致數(shù)據(jù)質(zhì)量無法及時(shí)得到確認(rèn)業(yè)務(wù)人員對(duì)運(yùn)維人員依賴性強(qiáng)數(shù)據(jù)

2、質(zhì)量不受控制直接上報(bào)國網(wǎng)源數(shù)據(jù)提供人員無法使用系統(tǒng)，無法對(duì)上報(bào)數(shù)據(jù)進(jìn)行確認(rèn)不支持校驗(yàn)規(guī)則自定義修改無數(shù)據(jù)質(zhì)量預(yù)判機(jī)制缺乏數(shù)據(jù)質(zhì)量的問題分析、歸集及經(jīng)驗(yàn)共享機(jī)制缺乏考核通報(bào)機(jī)制數(shù)據(jù)質(zhì)量查詢功能不完善問題數(shù)據(jù)質(zhì)量管理現(xiàn)存問題及制約因素制約因素系統(tǒng)應(yīng)用對(duì)象不明確、系趨于嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)質(zhì)量評(píng)價(jià)考核規(guī)則上月28日 本月5日 本月8日 本月15日允許?。ㄊ校┲貜?fù)上報(bào)數(shù)據(jù)，截止5日統(tǒng)計(jì)各?。ㄊ校┘皶r(shí)率本段時(shí)間允許?。ㄊ校┬薷母髦笜?biāo)數(shù)據(jù)，截止8日統(tǒng)計(jì)各?。ㄊ校?zhǔn)確率、完整率、接入率截止8日不允許?。ㄊ校┬薷闹笜?biāo)數(shù)據(jù)，從9日至15日出具運(yùn)營監(jiān)測(cè)控?cái)?shù)據(jù)質(zhì)量閱讀通報(bào)123當(dāng)前總部數(shù)據(jù)質(zhì)量考核過程上月28日 本月8日 本

3、月15日只允許?。ㄊ校┥蠄?bào)一次，不允許修改系統(tǒng)生成較難明細(xì)數(shù)據(jù)與上報(bào)數(shù)據(jù)增加防修改加密碼，增加上報(bào)審計(jì)功能1后期總部數(shù)據(jù)質(zhì)量考核過程一次性出具運(yùn)營監(jiān)測(cè)控?cái)?shù)據(jù)質(zhì)量閱讀通報(bào)2省公司業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)省公司運(yùn)監(jiān)系統(tǒng)國網(wǎng)運(yùn)監(jiān)系統(tǒng)123趨于嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)質(zhì)量評(píng)價(jià)考核規(guī)則上月28日 提供友好、易操作的數(shù)據(jù)質(zhì)量管理界面系統(tǒng)應(yīng)用滿足運(yùn)監(jiān)人員、業(yè)務(wù)人員及系統(tǒng)運(yùn)維人員需求建立數(shù)據(jù)質(zhì)量異常在線溝通及數(shù)據(jù)調(diào)整流程提升數(shù)據(jù)質(zhì)量管理省公司運(yùn)監(jiān)數(shù)據(jù)質(zhì)量提升系統(tǒng)建設(shè)目標(biāo)及定位定制化開發(fā)建設(shè)自定義數(shù)據(jù)校驗(yàn)規(guī)則，滿足省公司實(shí)際業(yè)務(wù)運(yùn)行現(xiàn)狀依托數(shù)據(jù)質(zhì)量管理辦法，有效結(jié)合制度及管理文件，通過系統(tǒng)落地建立省公司本地的數(shù)據(jù)質(zhì)量問題歸集

4、共享平臺(tái)建立省公司數(shù)據(jù)質(zhì)量評(píng)價(jià)功能，促進(jìn)數(shù)據(jù)接入質(zhì)量提升提供數(shù)據(jù)質(zhì)量問題繼而輔助功能縮短數(shù)據(jù)質(zhì)量校驗(yàn)頻度，提供預(yù)判功能接口及數(shù)據(jù)鏈路監(jiān)測(cè)能力提升數(shù)據(jù)質(zhì)量監(jiān)測(cè)能力提升實(shí)現(xiàn)省運(yùn)監(jiān)中心對(duì)公司業(yè)務(wù)數(shù)據(jù)產(chǎn)生、數(shù)據(jù)接入到匯總計(jì)算結(jié)果的全過程、可視化監(jiān)測(cè)管理，確保數(shù)據(jù)完整、準(zhǔn)確、及時(shí)高質(zhì)量接入及上報(bào)。提供友好、易操作的數(shù)據(jù)質(zhì)量管理界面提升數(shù)據(jù)質(zhì)量管理省公司運(yùn)監(jiān)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)系統(tǒng)應(yīng)用設(shè)計(jì)系統(tǒng)應(yīng)用設(shè)計(jì)功能清單功能點(diǎn)功能點(diǎn)描述系統(tǒng)管理包括資源監(jiān)測(cè)、配置管理、安全管理、備份恢復(fù)、日志管理等數(shù)據(jù)加工通過對(duì)計(jì)算規(guī)則庫進(jìn)行配置，提供計(jì)算

5、引擎和統(tǒng)計(jì)服務(wù)，實(shí)現(xiàn)數(shù)據(jù)加工數(shù)據(jù)存儲(chǔ)對(duì)存入數(shù)據(jù)的轉(zhuǎn)存需求進(jìn)行處理，提供數(shù)據(jù)壓縮服務(wù)數(shù)據(jù)處理對(duì)接入數(shù)據(jù)質(zhì)量管理系統(tǒng)的數(shù)據(jù)進(jìn)行正確性檢查、格式轉(zhuǎn)換、標(biāo)準(zhǔn)統(tǒng)一，并提供數(shù)據(jù)調(diào)整功能數(shù)據(jù)訪問跨平臺(tái)數(shù)據(jù)訪問服務(wù)及數(shù)據(jù)訪問服務(wù)數(shù)據(jù)接入傳輸提供數(shù)據(jù)接入及傳輸通道元數(shù)據(jù)管理數(shù)據(jù)監(jiān)測(cè)點(diǎn)管理及維護(hù)，映射關(guān)系模型維護(hù)等數(shù)據(jù)質(zhì)量評(píng)價(jià)依照管理制度對(duì)數(shù)據(jù)接入情況進(jìn)行排名比較數(shù)據(jù)看板對(duì)系統(tǒng)各個(gè)環(huán)節(jié)的運(yùn)行情況進(jìn)行統(tǒng)計(jì)、分析、展示支撐工具門戶集成、二次開發(fā)接口等支撐服務(wù)功能清單功能點(diǎn)功能點(diǎn)描述系統(tǒng)管理包括資源監(jiān)測(cè)、配置管理、安全系統(tǒng)集成設(shè)計(jì)系統(tǒng)集成設(shè)計(jì)物理部署設(shè)計(jì)物理部署設(shè)計(jì)系統(tǒng)安全設(shè)計(jì)安全控制點(diǎn)防護(hù)策略設(shè)計(jì)身份認(rèn)證1、設(shè)置密碼

6、的存儲(chǔ)和傳輸安全；2、保護(hù)身份驗(yàn)證Cookie；3、同一用戶同時(shí)只允許登錄一個(gè)；授權(quán)1、設(shè)計(jì)資源訪問控制方案，驗(yàn)證用戶訪問權(quán)限；2、限制用戶對(duì)系統(tǒng)級(jí)資源的訪問；3、設(shè)計(jì)統(tǒng)一的訪問控制機(jī)制；輸入輸出驗(yàn)證1、設(shè)計(jì)驗(yàn)證所有來源不在可信范圍之內(nèi)的輸入數(shù)據(jù)；2、應(yīng)在服務(wù)器端和客戶端都應(yīng)進(jìn)行輸入驗(yàn)證；3、應(yīng)對(duì)輸入內(nèi)容進(jìn)行規(guī)范化處理后再進(jìn)行驗(yàn)證，如文件路徑、 URL地址等，需要規(guī)范化為標(biāo)準(zhǔn)的格式后再進(jìn)行驗(yàn)證；配置管理1、應(yīng)使用最少特權(quán)進(jìn)程和服務(wù)帳戶；2、應(yīng)避免應(yīng)用程序調(diào)用支撐系統(tǒng)資源；3、單獨(dú)分配管理特權(quán)；會(huì)話管理1、設(shè)計(jì)登錄成功使用新的會(huì)話；2、設(shè)計(jì)會(huì)話數(shù)據(jù)的存儲(chǔ)安全；3、設(shè)計(jì)會(huì)話的安全終止；4、設(shè)計(jì)合理

7、的會(huì)話存活時(shí)間；加密技術(shù)1、不使用自創(chuàng)加密方法；參數(shù)操作1、確保用戶沒有繞過檢查；2、應(yīng)驗(yàn)證從客戶端發(fā)送的所有數(shù)據(jù)；異常管理1、使用通用錯(cuò)誤信息；2、程序發(fā)生異常時(shí)，應(yīng)在日志中記錄詳細(xì)的錯(cuò)誤消息；審核和日志1、審計(jì)功能的啟動(dòng)和關(guān)閉；2、應(yīng)用系統(tǒng)的啟動(dòng)和停止；3、訪問控制信息；4、用戶對(duì)數(shù)據(jù)的異常操作事件；系統(tǒng)安全設(shè)計(jì)安全控制點(diǎn)防護(hù)策略設(shè)計(jì)身份認(rèn)證1、設(shè)置密碼的存儲(chǔ)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)明細(xì)查詢數(shù)據(jù)看板（有好圖換之）監(jiān)測(cè)校驗(yàn)卡板采用“一頁紙”的設(shè)計(jì)思路，面向省公司運(yùn)監(jiān)中心、省公司業(yè)務(wù)部門、地市公司運(yùn)監(jiān)中心、地市公司業(yè)務(wù)

8、部門，實(shí)現(xiàn)四方面用戶的定制化適用需求，并可實(shí)現(xiàn)自定義配置，用戶可在看板完成所需的所有功能。根據(jù)用戶權(quán)限及需求建立模塊化的看板功能，基礎(chǔ)功能為國網(wǎng)運(yùn)監(jiān)的數(shù)據(jù)接入要求，如接入率、及時(shí)率、完整性、準(zhǔn)確性等，業(yè)務(wù)部門界面包括本期、往期數(shù)據(jù)接入情況，運(yùn)監(jiān)中心可以看到本層級(jí)及下級(jí)數(shù)據(jù)接入情況，監(jiān)測(cè)看板數(shù)據(jù)依據(jù)等率時(shí)間隨時(shí)刷新界面情況，第一時(shí)間了解數(shù)據(jù)接入請(qǐng)款個(gè)，同時(shí)提供接入情況的對(duì)比功能（如數(shù)據(jù)接入增長(zhǎng)率等）。系統(tǒng)將集成門戶待辦功能，數(shù)據(jù)接入情況實(shí)時(shí)進(jìn)行通知，并根據(jù)內(nèi)容同時(shí)發(fā)送運(yùn)監(jiān)中心及業(yè)務(wù)部門，用戶可通過通知了解概要情況，同時(shí)也可進(jìn)入看板了解詳細(xì)情況。看板集成了系統(tǒng)的所有功能，類似于系統(tǒng)首頁，用戶可發(fā)起

9、詢問、數(shù)據(jù)下鉆、調(diào)整流程、校驗(yàn)規(guī)則配置等多項(xiàng)功能。功能點(diǎn)規(guī)劃功能點(diǎn)說明功能實(shí)現(xiàn)場(chǎng)景配置選擇預(yù)判展示按業(yè)務(wù)對(duì)數(shù)據(jù)進(jìn)行分類，并提供各指標(biāo)的展示控件，即各類展示主題用戶選擇崗位權(quán)限內(nèi)關(guān)注主題進(jìn)行展示?？窗寮深A(yù)警功能，系統(tǒng)在后臺(tái)實(shí)現(xiàn)自動(dòng)校驗(yàn)后完成預(yù)判展示功能，將校驗(yàn)結(jié)果展示在看板上。看板集成鉆取功能，實(shí)現(xiàn)預(yù)判數(shù)據(jù)、業(yè)務(wù)指標(biāo)數(shù)據(jù)、業(yè)務(wù)明細(xì)數(shù)據(jù)的穿透查詢明細(xì)查詢數(shù)據(jù)看板（有好圖換之）監(jiān)測(cè)校驗(yàn)卡板采用“一頁紙”的設(shè)數(shù)據(jù)加工對(duì)監(jiān)測(cè)點(diǎn)的計(jì)算規(guī)則進(jìn)行設(shè)置，支持各類函數(shù)，腳本支持自定義函數(shù)公式管理，公式由數(shù)據(jù)加工服務(wù)進(jìn)行存儲(chǔ)和管理在數(shù)據(jù)加工服務(wù)中，計(jì)算點(diǎn)用于表示公式，包括公式的執(zhí)行腳本、觸發(fā)方式及其他相關(guān)配置信息

10、計(jì)算點(diǎn)可以選擇是否在實(shí)時(shí)庫中對(duì)應(yīng)測(cè)點(diǎn)和不對(duì)應(yīng)測(cè)點(diǎn)用戶可以對(duì)計(jì)算點(diǎn)進(jìn)行增加、刪除、修改調(diào)用腳本執(zhí)行計(jì)算算法，生成并保存計(jì)算結(jié)果根據(jù)用戶配置的周期，當(dāng)周期到達(dá)時(shí)自動(dòng)對(duì)腳本進(jìn)行運(yùn)算周期可以為年、月、日、小時(shí)、分鐘、秒為單位進(jìn)行設(shè)置等計(jì)算結(jié)果存儲(chǔ)，如果計(jì)算點(diǎn)對(duì)應(yīng)了實(shí)時(shí)庫的測(cè)點(diǎn)則腳本執(zhí)行結(jié)果自動(dòng)存儲(chǔ)在對(duì)應(yīng)實(shí)時(shí)庫測(cè)點(diǎn)中，如果沒有對(duì)應(yīng)可以通過調(diào)用數(shù)據(jù)提交接口處理計(jì)算結(jié)果功能細(xì)分功能實(shí)現(xiàn)計(jì)算規(guī)則庫函數(shù)支持周期觸發(fā)計(jì)算公式管理事件觸發(fā)計(jì)算腳本編輯器定時(shí)觸發(fā)計(jì)算計(jì)算結(jié)果存儲(chǔ)計(jì)算引擎規(guī)則設(shè)置數(shù)據(jù)加工對(duì)監(jiān)測(cè)點(diǎn)的計(jì)算規(guī)則進(jìn)行設(shè)置，支持各類函數(shù)，腳本支持自數(shù)據(jù)處理對(duì)數(shù)據(jù)源發(fā)送的數(shù)據(jù)進(jìn)行校驗(yàn)，并生成告警對(duì)產(chǎn)生的異常數(shù)據(jù)進(jìn)行

11、同步強(qiáng)調(diào)數(shù)據(jù)預(yù)判后的處理流程，用戶通過發(fā)起流程的方式，提示業(yè)務(wù)部門重新推送數(shù)據(jù)支持?jǐn)?shù)據(jù)的即時(shí)、批量修正及重新推送調(diào)整功能細(xì)分功能實(shí)現(xiàn)數(shù)據(jù)校驗(yàn)數(shù)據(jù)校驗(yàn)判斷校驗(yàn)告警發(fā)送數(shù)據(jù)同步批量修正流程修正數(shù)據(jù)修正數(shù)據(jù)處理對(duì)數(shù)據(jù)源發(fā)送的數(shù)據(jù)進(jìn)行校驗(yàn)，并生成告警功能細(xì)分功能實(shí)數(shù)據(jù)接入接收不同數(shù)據(jù)來源的數(shù)據(jù)并解析成數(shù)據(jù)質(zhì)量管理系統(tǒng)標(biāo)準(zhǔn)格式存入增刪改接口服務(wù)器，分發(fā)接入接口、歷史補(bǔ)招任務(wù)，設(shè)置運(yùn)行計(jì)劃數(shù)據(jù)源自定義監(jiān)測(cè)點(diǎn)定義（增刪改查），包含所屬數(shù)據(jù)源、監(jiān)測(cè)點(diǎn)名稱、描述、計(jì)算公式、啟用標(biāo)志等監(jiān)控運(yùn)行的接口運(yùn)行狀態(tài)，包括內(nèi)存使用、數(shù)據(jù)寫入量、寫入監(jiān)測(cè)點(diǎn)列表等接入數(shù)據(jù)異常及時(shí)告警功能功能細(xì)分功能實(shí)現(xiàn)接入適配器管理接口服務(wù)器

12、管理數(shù)據(jù)源定義管理接口機(jī)運(yùn)行狀態(tài)監(jiān)控接入監(jiān)控管理自定義監(jiān)測(cè)點(diǎn)管理接口適配器接入異常處理接口異常管理數(shù)據(jù)接入接收不同數(shù)據(jù)來源的數(shù)據(jù)并解析成數(shù)據(jù)質(zhì)量管理系統(tǒng)標(biāo)準(zhǔn)格數(shù)據(jù)質(zhì)量評(píng)價(jià)根據(jù)省公司數(shù)據(jù)質(zhì)量管理辦法，在系統(tǒng)中固化數(shù)據(jù)質(zhì)量評(píng)價(jià)規(guī)則，每周期內(nèi)對(duì)各業(yè)務(wù)數(shù)據(jù)質(zhì)量進(jìn)行打分評(píng)比，按照及時(shí)性、準(zhǔn)確性等要求，按天倒排。通報(bào)結(jié)果定期以模板形式發(fā)送各業(yè)務(wù)部門，抄送公司領(lǐng)導(dǎo)。功能細(xì)分功能實(shí)現(xiàn)評(píng)價(jià)流程流程定義流程及角色關(guān)聯(lián)評(píng)價(jià)報(bào)告指標(biāo)定義評(píng)價(jià)定義模板定義數(shù)據(jù)質(zhì)量評(píng)價(jià)根據(jù)省公司數(shù)據(jù)質(zhì)量管理辦法，在系統(tǒng)中固化數(shù)據(jù)質(zhì)量目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)系統(tǒng)應(yīng)用

13、特點(diǎn)促進(jìn)省公司大數(shù)據(jù)應(yīng)用及標(biāo)準(zhǔn)化建設(shè)數(shù)據(jù)質(zhì)量管理系統(tǒng)應(yīng)用將有效結(jié)合結(jié)合省公司電力大數(shù)據(jù)技術(shù)研究、應(yīng)用系統(tǒng)及多項(xiàng)目建設(shè)成果，促進(jìn)包括大數(shù)據(jù)建設(shè)、運(yùn)營與服務(wù)等統(tǒng)一的大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系建設(shè)，為公司電力大數(shù)據(jù)建設(shè)提供保障。提升運(yùn)監(jiān)中心數(shù)據(jù)綜合管理水平 通過對(duì)數(shù)據(jù)質(zhì)量管理指標(biāo)的重定義、監(jiān)測(cè)校驗(yàn)頻度的分析定義，構(gòu)建由數(shù)據(jù)分析、數(shù)據(jù)接入、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)展示、數(shù)據(jù)調(diào)整的一體化管理體系，做到數(shù)據(jù)的妥善保管、高質(zhì)量有序存放、方便查閱，嚴(yán)防毀損、散失和泄密，從而大大提升運(yùn)監(jiān)中心數(shù)據(jù)綜合管理水平。促進(jìn)公司大數(shù)據(jù)管理標(biāo)準(zhǔn)化數(shù)據(jù)質(zhì)量管理專業(yè)化系統(tǒng)應(yīng)用特點(diǎn)促進(jìn)省公司大數(shù)據(jù)應(yīng)用及標(biāo)準(zhǔn)化建設(shè)數(shù)據(jù)質(zhì)量管理系統(tǒng)系統(tǒng)建設(shè)重點(diǎn)數(shù)據(jù)質(zhì)量管理需建立強(qiáng)有力的管理制度做支撐，有效保證數(shù)據(jù)管理執(zhí)行的可行性，確保數(shù)據(jù)接入及時(shí)、準(zhǔn)確，需與業(yè)務(wù)職能部門建立常態(tài)化的溝通協(xié)調(diào)