2022公共數(shù)據(jù)采集規(guī)范

公共數(shù)據(jù)采集規(guī)范PAGEPAGE1目 次前言 II范圍 1規(guī)范性引用文件 1術(shù)語和定義 1總體要求 1數(shù)據(jù)采集準(zhǔn)備 2數(shù)據(jù)采集方案 7數(shù)據(jù)映射關(guān)系 7數(shù)據(jù)采集方式 7數(shù)據(jù)質(zhì)量控制 9績效評價 9附錄A（規(guī)范性）數(shù)據(jù)協(xié)議方申請/變更表 10附錄B（資料性）數(shù)據(jù)采集績效考核表 12公共數(shù)據(jù)采集規(guī)范范圍本文件適用于規(guī)范哈爾濱市公共數(shù)據(jù)開放平臺的數(shù)據(jù)采集工作。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T22239-2008信息安全技術(shù)信息系統(tǒng)安全等級保護(hù)基本要求GB/T35274信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求GB/T38888數(shù)據(jù)采集軟件的性能及校準(zhǔn)方法DB2301/T91公共數(shù)據(jù)資源目錄工作規(guī)范術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1公共數(shù)據(jù)commondata國家機(jī)關(guān)和法律、法規(guī)授權(quán)的具有管理公共事務(wù)職能的組織以及供水、供電、供氣、供熱、通訊、公共交通等公共服務(wù)運(yùn)營單位(以下統(tǒng)稱公共管理和服務(wù)機(jī)構(gòu))在依法履職或者提供公共管理和服務(wù)過程中收集、產(chǎn)生的，以一定形式記錄、保存的各類數(shù)據(jù)及其衍生數(shù)據(jù)。注：包含政務(wù)、公益事業(yè)單位數(shù)據(jù)和公用企業(yè)數(shù)據(jù)。3.2公共數(shù)據(jù)平臺commondataplatform統(tǒng)一規(guī)劃、統(tǒng)籌建設(shè)，用于承載市級大數(shù)據(jù)業(yè)務(wù)的平臺。3.3數(shù)據(jù)采集dataacquisition將特定原始數(shù)據(jù)收集進(jìn)入公共數(shù)據(jù)平臺的過程。3.4數(shù)據(jù)協(xié)議方dataprotocolparty通過公共數(shù)據(jù)平臺提供資源的公共管理和服務(wù)機(jī)構(gòu)。總體要求公共數(shù)據(jù)平臺方應(yīng)建立統(tǒng)一的采集管理制度，滿足公共數(shù)據(jù)管理總體框架的要求，并配備系統(tǒng)管理員，實行逐級授權(quán)管理，實現(xiàn)管理角色的劃分。公共數(shù)據(jù)平臺方應(yīng)制定具體操作流程，按流程進(jìn)行數(shù)據(jù)采集，保障公共數(shù)據(jù)平臺能正確執(zhí)行數(shù)據(jù)采集任務(wù)。GB/T22239。公共數(shù)據(jù)平臺方通過對數(shù)據(jù)協(xié)議方的數(shù)據(jù)及數(shù)據(jù)接口進(jìn)行分析，優(yōu)化數(shù)據(jù)采集方案，確定數(shù)據(jù)采集方式。數(shù)據(jù)協(xié)議方應(yīng)遵守公共數(shù)據(jù)平臺方制定的管理制度和操作流程。數(shù)據(jù)協(xié)議方應(yīng)梳理其公共數(shù)據(jù)資源目錄，明確公共數(shù)據(jù)更新頻率。數(shù)據(jù)協(xié)議方應(yīng)配備部門操作員，負(fù)責(zé)數(shù)據(jù)采集對接工作，按公共數(shù)據(jù)平臺數(shù)據(jù)采集流程采集、上傳數(shù)據(jù)。數(shù)據(jù)采集準(zhǔn)備注冊和變更A《平臺用戶申請1圖1平臺用戶注冊流程圖AA.2《平臺用戶變更2圖2平臺變更用戶流程數(shù)據(jù)資源目錄管理DB2301/T913DB2301/T91圖3公共資源目錄注冊流程注：數(shù)據(jù)協(xié)議方在完成公共數(shù)據(jù)資源目錄申請后，由公共數(shù)據(jù)平臺方對公共數(shù)據(jù)資源目錄對應(yīng)的數(shù)據(jù)庫表類信息資源、文件類信息資源、接口類信息資源進(jìn)行審核。如發(fā)生機(jī)構(gòu)改革或者法定職責(zé)調(diào)整，數(shù)據(jù)協(xié)議方應(yīng)在有關(guān)法律法規(guī)作出修訂或行政職能發(fā)生變4DB2301/T91圖4 公共資源目錄變更流程注：數(shù)據(jù)協(xié)議方在完成公共數(shù)據(jù)資源目錄變更申請后，應(yīng)保證數(shù)據(jù)庫表資源隨目錄變更的生效同步完成變更。數(shù)據(jù)安全保障公共數(shù)據(jù)平臺方應(yīng)建立公共數(shù)據(jù)資源安全管理制度，分級管理、按流程申請、按流程修改。確保數(shù)據(jù)來源的合法性、正當(dāng)性、可定位溯源性，滿足公共數(shù)據(jù)資源采集審計及監(jiān)測的要求。公共數(shù)據(jù)平臺方應(yīng)建立數(shù)據(jù)訪問權(quán)限管理制度，明確公共數(shù)據(jù)平臺方和數(shù)據(jù)協(xié)議方分級權(quán)限安公共數(shù)據(jù)平臺方應(yīng)建立公共數(shù)據(jù)安全監(jiān)測、安全審計、數(shù)字簽名、數(shù)據(jù)加密等技術(shù)或手段，對不同數(shù)據(jù)進(jìn)行分類并標(biāo)識.采用安全技術(shù)進(jìn)行安全維護(hù)。GB/T35274的規(guī)定，定期對公共數(shù)據(jù)采集的安全性進(jìn)行風(fēng)險評估，并據(jù)此制定相應(yīng)的風(fēng)險處理計劃，及時排查安全漏洞、加固安全技術(shù)。公共數(shù)據(jù)平臺方應(yīng)開展公共數(shù)據(jù)管理安全培訓(xùn)，編制公共數(shù)據(jù)安全培訓(xùn)規(guī)劃，培訓(xùn)公共數(shù)據(jù)專業(yè)知識，開展公共數(shù)據(jù)安全工作經(jīng)驗交流，宣傳公共數(shù)據(jù)安全知識等。公共數(shù)據(jù)平臺方應(yīng)明確數(shù)據(jù)采集過程中個人信息和重要數(shù)據(jù)的知悉范圍和安全管控措施。并采取必要的技術(shù)手段和管理措施保證數(shù)據(jù)不被泄露。數(shù)據(jù)協(xié)議方應(yīng)梳理接入應(yīng)用系統(tǒng)和終端的公共數(shù)據(jù)，確定接入終端數(shù)量、網(wǎng)絡(luò)帶寬和接入地點等信息，制定接入實施方案，明確訪問控制、接入認(rèn)證和審計等安全措施。數(shù)據(jù)采集方案采集方案應(yīng)包括采集內(nèi)容、采集頻率、采集方式等。DB2301/T91公共數(shù)據(jù)平臺應(yīng)支持增量更新、全量更新、定時更新、事件觸發(fā)更新和手動更新等方式。公共數(shù)據(jù)平臺提供多種標(biāo)準(zhǔn)協(xié)議的服務(wù)接入方式，包括但不限于數(shù)據(jù)庫抽取、服務(wù)網(wǎng)關(guān)、消息隊列、文件傳輸、直報系統(tǒng)、標(biāo)準(zhǔn)協(xié)議接口。公共數(shù)據(jù)采集實時性要求低的數(shù)據(jù)可采用定時批量采集的方式，實時性要求高的數(shù)據(jù)應(yīng)采用實時采集的方式。公共數(shù)據(jù)量較大、單批量采集可能會造成系統(tǒng)故障的，應(yīng)使用分批采集。宜使用數(shù)據(jù)協(xié)議方系統(tǒng)的備份庫作為采集對象，使用備份庫時應(yīng)保證數(shù)據(jù)一致性和可用性。對于海量數(shù)據(jù)，宜支持分批或增量讀取，宜采用分布式方式對數(shù)據(jù)源進(jìn)行讀取。數(shù)據(jù)映射關(guān)系數(shù)據(jù)協(xié)議方通過數(shù)據(jù)庫表方式向公共數(shù)據(jù)平臺提供數(shù)據(jù)時，應(yīng)建立數(shù)據(jù)協(xié)議方數(shù)據(jù)庫表與平臺數(shù)據(jù)庫表之間的存儲結(jié)構(gòu)映射關(guān)系，通過數(shù)據(jù)庫表對接。數(shù)據(jù)協(xié)議方以接口方式向公共數(shù)據(jù)平臺提供數(shù)據(jù)時，如返回數(shù)據(jù)為非結(jié)構(gòu)化的接口類型，可將文件通過接口上傳后建立文件映射關(guān)系表。數(shù)據(jù)采集方式數(shù)據(jù)采集方式分類數(shù)據(jù)采集方式包括在線數(shù)據(jù)采集和離線數(shù)據(jù)提交。獲取公共數(shù)據(jù)采集權(quán)限確定公共數(shù)據(jù)采集方案，獲取公共數(shù)據(jù)的采集權(quán)限，包括但不限于：——數(shù)據(jù)量；數(shù)據(jù)范圍；采集時間；采集區(qū)間；——數(shù)據(jù)使用權(quán)限。在線數(shù)據(jù)采集5圖5線數(shù)據(jù)采集流程確定數(shù)據(jù)項間的邏輯關(guān)系，通過數(shù)據(jù)服務(wù)接口協(xié)議進(jìn)行數(shù)據(jù)傳輸，實現(xiàn)對接采集。數(shù)據(jù)協(xié)議方如發(fā)生數(shù)據(jù)變更，可根據(jù)業(yè)務(wù)需要申請增加數(shù)據(jù)信息項目，由公共數(shù)據(jù)平臺方依申請負(fù)責(zé)創(chuàng)建數(shù)據(jù)項。GB/T38888提交離線數(shù)據(jù)離線數(shù)據(jù)可由表格數(shù)據(jù)、文件材料、信息掃描錄入，通過移動介質(zhì)提交，保證數(shù)據(jù)的完整性和準(zhǔn)確性。83PAGEPAGE13離線數(shù)據(jù)文件采集應(yīng)與公共數(shù)據(jù)平臺的數(shù)據(jù)庫表結(jié)構(gòu)一一對應(yīng)，確定數(shù)據(jù)分類和格式，實現(xiàn)數(shù)據(jù)分類入庫存儲。數(shù)據(jù)清洗管理對原始數(shù)據(jù)開展數(shù)據(jù)清洗管理，定義清洗規(guī)則，分析、檢查和處理數(shù)據(jù)源存在的質(zhì)量問題。對定義的清洗方法的正確性和效率進(jìn)行驗證與評估，對不滿足清洗要求的清洗方法進(jìn)行調(diào)整和改進(jìn)。數(shù)據(jù)轉(zhuǎn)換應(yīng)對數(shù)據(jù)的標(biāo)準(zhǔn)代碼、格式、類型等進(jìn)行轉(zhuǎn)換。必要時，可建立數(shù)據(jù)轉(zhuǎn)換規(guī)則表。數(shù)據(jù)質(zhì)量控制——完整性：應(yīng)包含數(shù)據(jù)規(guī)則要求的數(shù)據(jù)的必要元素；——準(zhǔn)確性：應(yīng)真實反映數(shù)據(jù)所描述的實體；——一致性：應(yīng)保證數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無矛盾；——時效性：應(yīng)保證數(shù)據(jù)發(fā)生變化后及時被更新；——可訪問性：應(yīng)保證數(shù)據(jù)在需要時能被安全訪問；——可追性：應(yīng)保證數(shù)據(jù)能夠被跟蹤和管理。績效評價總體要求績效評價指標(biāo)設(shè)計應(yīng)能反映數(shù)據(jù)協(xié)議方提供數(shù)據(jù)的基本情況。績效評價指標(biāo)設(shè)計支持自動生成數(shù)據(jù)報表模式。可實行指標(biāo)庫動態(tài)化管理，應(yīng)用于數(shù)據(jù)采集評價?？冃е笜?biāo)B。B。績效指標(biāo)管理指標(biāo)庫的維護(hù)是指數(shù)據(jù)采集績效指標(biāo)的入庫、調(diào)整、退庫等操作，應(yīng)在既定管理規(guī)則約束下實施：——對共性績效指標(biāo)，由平臺進(jìn)行維護(hù)；對個性績效指標(biāo)，由數(shù)據(jù)協(xié)議方提出申請，填報需要新增、調(diào)整或刪除的數(shù)據(jù)采集績效指標(biāo)信息，同時提供相關(guān)的理由或文件依據(jù)，經(jīng)平臺審核，不合格返回數(shù)據(jù)協(xié)議方，合格后進(jìn)行調(diào)整更新。附錄 A（規(guī)范性）數(shù)據(jù)協(xié)議方申請/變更表平臺用戶申請表表A.1為平臺用戶申請表。表A.1平臺用戶申請表申請單位名稱統(tǒng)一社會信用代碼單位性質(zhì)單位經(jīng)濟(jì)類型單位所屬行業(yè)單位隸屬關(guān)系單位地址單位負(fù)責(zé)人聯(lián)系方式單位電子郵箱單位郵編聯(lián)絡(luò)人職務(wù)及姓名聯(lián)系方式類別角色所在處室姓名手機(jī)號碼郵箱部門管理員部門操作員.單位負(fù)責(zé)人意見：單位負(fù)責(zé)人簽字：（公章）日期：平臺用戶變更申請表表A.2為平臺用戶變更申請表。表A.2平臺用戶變更申請表申請單位名稱統(tǒng)一社會信用代碼單位性質(zhì)單位經(jīng)濟(jì)類型單位所屬行業(yè)單位隸屬關(guān)系單位地址單位負(fù)責(zé)人聯(lián)系方式單位電子郵箱單位郵編變更事項變更理由聯(lián)絡(luò)人職務(wù)及姓名聯(lián)系方式類別角色所在處室姓名手機(jī)號碼郵箱部門管理員部門操作員.單位負(fù)責(zé)人意見：單位負(fù)責(zé)人簽字：（公章）日期：附錄 B（資料性）數(shù)據(jù)采集績效考核表績效考核指標(biāo)分為共性績效指標(biāo)和個性績效指標(biāo)?！残钥冃е笜?biāo)是適用于所有績效管理對象、常規(guī)性工作的績效指標(biāo)；——個性績效指標(biāo)是適用于不同業(yè)務(wù)主管部門或行業(yè)領(lǐng)域、專業(yè)性較強(qiáng)的指標(biāo)，主要根據(jù)業(yè)務(wù)主管部門或行業(yè)特點設(shè)定?？冃е笜?biāo)分為三級，一級指標(biāo)為最上級，下級指標(biāo)從屬于上級指標(biāo)：——一級指標(biāo)為采集數(shù)據(jù)項；——二級指標(biāo)對應(yīng)一級指標(biāo)分為支持自動采集數(shù)量指標(biāo)、人工采集通過指標(biāo)、時效指標(biāo)；——三級指標(biāo)由數(shù)據(jù)協(xié)議方申請設(shè)置，由平臺收錄，包括針對性強(qiáng)的績效指標(biāo)。