DB11-T 1919-2021 政務數據匯聚共享規(guī)范_第1頁
DB11-T 1919-2021 政務數據匯聚共享規(guī)范_第2頁
DB11-T 1919-2021 政務數據匯聚共享規(guī)范_第3頁
DB11-T 1919-2021 政務數據匯聚共享規(guī)范_第4頁
DB11-T 1919-2021 政務數據匯聚共享規(guī)范_第5頁
已閱讀5頁,還剩10頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

ICS35.240

CCSL72

備案號:86369-2022DB11

北京市地方標準

DB11/T1919—2021

政務數據匯聚共享規(guī)范

Specificationforgovernmentdataaggregationandsharing

2021-12-28發(fā)布2022-04-01實施

北京市市場監(jiān)督管理局發(fā)布

DB11/T1919—2021

政務數據匯聚共享規(guī)范

1范圍

本文件規(guī)定了政務數據匯聚共享的總體架構、數據類別、共享方式,描述了對數據質量和數據安全

保護的要求。

本文件適用于政務部門(包括行政機關和具有公共事務管理職能的事業(yè)單位)的非涉密政務數據通

過北京市大數據平臺進行匯聚共享的實施和管理。

2規(guī)范性引用文件

下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中,注日期的引用文件,

僅該日期對應的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本

文件。

DB11/T1918—2021政務數據分級與安全保護規(guī)范

DB11/T337—2021政務數據資源目錄體系規(guī)范

DB11/T553.5政務信息資源共享交換平臺技術規(guī)范第5部分:接口規(guī)范

3術語和定義

下列術語和定義適用于本文件。

3.1

政務數據governmentdata

各級政務部門及其支撐單位在履行職責過程中依法采集、生成、存儲、管理的各類數據資源。

[來源:GB/T38664.1—2020,3.1,有修改]

3.2

數據匯聚共享dataaggregationandsharing

政務部門因履行職責需要,使用其他政務部門的政務數據(或接口服務),以及為其他政務部門提

供政務數據(或接口服務)的行為。

[來源:GB/T38664.1—2020,3.2,有修改]

3.3

目錄區(qū)塊鏈系統(tǒng)directoryblockchainsysterm

利用區(qū)塊鏈技術理念,對北京市職責目錄、數據目錄、庫表目錄進行統(tǒng)一管控的分布式系統(tǒng)。

3.4

數據(或接口服務)提供方data(interfaceservice)provider

在政務數據匯聚共享過程中,提供數據(或接口服務)的政務部門。

3.5

1

DB11/T1919—2021

數據(或接口服務)需求方data(interfaceservice)demander

在政務數據匯聚共享過程中,申請使用數據(或接口服務)的政務部門。

3.6

數據目錄datadirectory

數據資源和數據項的具體字段包含數據資源名稱、數據資源摘要、數據起始日期、數據更新周期、

數據格式、字段名稱、數據類型及長度、是否主鍵、是否非空、數據量等。

4總體架構

政務數據匯聚共享工作依托北京市大數據平臺開展,通過目錄區(qū)塊鏈系統(tǒng)對政務數據進行匯聚共享,

從提出申請、審批授權、獲取共享到評價反饋,各環(huán)節(jié)操作實時記錄上鏈、全程留痕可溯??傮w框架見

圖1,詳細業(yè)務流程按照附錄A描述執(zhí)行。

圖1政務匯聚共享總體架構

5匯聚共享數據類別及要求

5.1電子文件

5.1.1以電子文件作為數據資源進行匯聚共享,常用電子文件的存儲格式有wps、xml、txt、doc、docx、

html、csv、xls、xlsx等。

5.1.2以電子文件類進行數據匯聚共享時,應遵循以下要求:

a)電子文件名稱應規(guī)范統(tǒng)一,與目錄區(qū)塊鏈中數據目錄的數據資源名稱保持一致;

b)電子文件的存儲路徑應規(guī)范統(tǒng)一,可根據更新的頻度和檢索效率建立子文件夾,不應隨意更改

路徑;

c)特殊類電子文件應提供必要的說明文檔,確保所有文件內容可被正確理解;

d)提供電子文件對賬表,明確所匯聚電子文件包含的內容和數量等信息;

2

DB11/T1919—2021

e)建立異常反饋機制,通過異常數據反饋表及時解決數據問題。

5.2數據庫表

5.2.1以數據庫表作為數據資源進行匯聚共享,常用數據庫存儲格式有oracle、sqlserver、db2、

KingbaseES、access、dbf、dbase、sysbase等。

5.2.2以數據庫表類進行數據匯聚共享時,應遵循以下要求:

a)數據庫表名稱應規(guī)范統(tǒng)一,一般為“機構簡稱首字母縮寫+數據資源名稱首字母縮寫”,數據資

源名稱應與目錄區(qū)塊鏈中數據目錄的數據資源名稱保持一致;

b)數據庫表字段應與目錄區(qū)塊鏈中數據目錄的數據項保持一致,且必須設有主鍵字段,并在數據

表庫中創(chuàng)建主鍵約束;

c)數據庫表結構應保持穩(wěn)定,不應隨意更改;

d)提供必要的字段說明文檔和對應的全部代碼表,確保所有數據內容可被正確理解;

e)提供數據對賬表,包含數據條數等信息;

f)建立異常反饋機制,通過異常數據反饋表及時解決數據問題。

5.3數據接口服務

5.3.1以數據接口服務作為數據資源進行匯聚共享,常用的接口方式有WebService、Restful等,常

用的數據接口服務格式有XML、JSON等。

5.3.2以數據接口服務類進行數據匯聚共享時,應遵循以下要求:

a)應提供詳細的數據接口服務說明文檔;

b)一個數據接口服務一般應且只對應一類數據資源;

c)服務應是無狀態(tài)的,兩次請求之間無須狀態(tài)和會話的保持;

d)服務地址和參數不應隨意變更。

6數據匯聚共享方式及要求

6.1原始數據交換

6.1.1電子文件交換方式

提供的電子文件格式應滿足5.1.1的要求,且每次應在固定的文件服務器數據路徑下進行文件推送,

文件資源在完全寫入服務器磁盤之前,任何系統(tǒng)、人員不應再操作文件。

6.1.2數據庫表交換方式

按照數據匯聚共享的場景,支持下列幾種模式交換:

a)標記位模式:適合大批量數據交換,應包含主鍵、標記位字段、推送至庫表的時間字段,并且

允許共享系統(tǒng)在完成交換之后更改標記位的值;

b)時間戳模式:適合增量數據交換,應包含主鍵、時間戳字段,時間戳應精確到毫秒;

c)觸發(fā)器模式:適合增量模式交換,應包含主鍵、數據表上能建立增刪改觸發(fā)器;

d)全量模式:全量模式適合數據庫表量少,且每次更新都是全表更新的場景。

6.2數據接口服務調用

6.2.1數據接口服務封裝

3

DB11/T1919—2021

將各類數據轉換為API接口,接口設計應符合DB11/T553.5的要求,支持多源異構的數據庫格式以

及接口協(xié)議,包括主流關系型數據庫、Hadoop以及WebService、FTP、HTTP、自定義協(xié)議等。

6.2.2數據接口服務管理

數據接口服務提供方應對提供的數據接口服務進行管理,包括對服務的注冊、申請、維護、

審核、發(fā)布、監(jiān)控等。

對于以API接口服務方式提供的服務可以在配置下發(fā)或獲取方式時指定數據范圍,系統(tǒng)自動生

成接口的授權,訪問者只有根據該授權才能獲取到數據。

數據接口服務調用步驟見附錄B,數據接口服務調用示例見附錄C。

6.3數據隱私計算

6.3.1利用多方安全計算、聯邦學習、可信執(zhí)行環(huán)境等方式,在數據可用不可見或數據可用不可得的

前提下,實現不同來源數據在保持加密狀態(tài)下進行融合分析運算,并將運算結果進行共享。

6.3.2在密文數據上執(zhí)行數據操作,避免數據使用方直接接觸明文數據,以提高計算過程中的數據安

全,確保敏感數據不泄露。

7數據質量要求

7.1政務數據匯聚共享時應從數據的可用性、完整性、規(guī)范性、一致性和時效性五個方面保證數據的

質量。

7.2數據質量要求按照附錄D要求執(zhí)行。

8數據安全保護要求

數據安全保護要求應符合DB11/T1918—2021的要求,對匯聚共享數據進行分級分類管理,并根據

數據級別采取相應的管理措施和技術手段,對數據匯聚共享過程進行有針對性的保護,個人信息、敏感

數據和重要數據應加強安全管控措施。

4

DB11/T1919—2021

附錄A

(規(guī)范性)

政務數據匯聚共享業(yè)務流程

A.1政務數據匯聚業(yè)務流程

A.1.1數據提供方編制數據目錄,依托市大數據平臺目錄鏈系統(tǒng)進行目錄上鏈,并準備數據,向市大

數據平臺提出數據匯聚申請。

A.1.2市大數據平臺對匯聚的數據進行核驗,核驗通過后則進行數據接入操作,未通過則將核驗結果

反饋給數據提供方。

A.1.3數據提供方依據數據核驗結果對數據進行完善,完善后再次向市大數據平臺提出數據匯聚申請。

A.1.4市大數據平臺對接入的數據進行數據質量評估,并將結果反饋給數據提供方,數據提供方依據

數據質量反饋意見進行修改完善。

A.1.5政務數據匯聚業(yè)務流程按照圖A.1執(zhí)行。

圖A.1政務數據匯聚業(yè)務流程

5

DB11/T1919—2021

A.2政務數據共享業(yè)務流程

A.2.1數據需求方通過市大數據平臺提出數據共享申請,市大數據平臺對申請的數據進行共享屬性判

斷,對無條件共享數據可直接進行數據共享。

A.2.2對于有條件共享的數據,則需先判斷數據是否授權,如果未授權,則向數據提供方提出授權申

請,數據提供方審核授權后方可進行共享。

A.2.3若數據提供方未授權,數據需求方可向市大數據核心工作組提出申請,若市大數據核心工作組

判定應提供數據共享則啟動共享程序,否則維持原狀。

A.2.4市大數據平臺針對可共享的數據,先判斷是否已匯聚到市大數據平臺,若未匯聚,則啟動數據

匯聚流程,匯聚后進行數據共享,若已匯聚,則直接進行數據共享。

A.2.5政務數據共享業(yè)務流程按照圖A.2執(zhí)行。

圖A.2政務數據共享業(yè)務流程

6

DB11/T1919—2021

附錄B

(資料性)

數據接口服務調用步驟

數據接口服務調用步驟,涉及數據接口服務需求方、服務提供方和大數據平臺等角色。數據接口服

務調用步驟詳見圖B.1。

圖B.1數據接口服務調用步驟

B.1服務需求方

B.1.1通過授權碼,從服務代理端獲取令牌。

B.1.2使用令牌,對服務請求者身份標識、服務標識和請求時間進行簽名計算,得到簽名。

B.1.3將服務請求者身份標識、服務標識、請求時間和簽名放入請求消息中,發(fā)送請求到服務代理平

臺。

B.2市大數據平臺

獲取請求消息的服務請求者身份標識、服務標識、請求時間(_rtime)和簽名信息等信息,進行權

限驗證和調用頻率、調用次數、流量的檢驗。

7

DB11/T1919—2021

B.3服務提供方

B.3.1獲取請求數據進行相關業(yè)務處理。

B.3.2根據授權表內容獲取輸出參數信息過濾輸出參數。

B.3.3返回調用結果給市大數據平臺,再由市大數據平臺返回給服務需求方。

8

DB11/T1919—2021

附錄C

(資料性)

數據接口服務調用示例

C.1數據接口服務輸入參數JSON描述

{

"returnType":"json",

"page":"1",

"pageSize":"2",

“whereList”:

[[{'queryField':'name','logical':'equals','queryValue':'測試'}]]

}

數據接口服務輸入參數說明見表C.1。

表C.1數據接口服務輸入參數說明表

提交方式POST

接口協(xié)議HTTP+JSON

內容類型application/json

提交資源數據名稱是否必須類型長度描述

returnType是string32返回數據格式(json/xml)

pagestring20頁碼數(可以為空,但要有這個參

數),為空時默認1

pageSizestring20每頁最大顯示行數(可以為空,但

否要有這個參數),為空時默認取接

口默認值

whereList是Json數組查詢條件,下邊為json對象參數

名稱類型長度描述

queryFieldstring50查詢列

logicalstring50查詢符(下表有詳細介紹)

queryValuestring100查詢值

提交httpheader名稱是否必須類型長度描述

數據BJS_sid是string36服務標識sid

BJS_rid是string36服務rid

BJS_sign是string36簽名信息

BJS_rtime是string36服務調用時間

返回Http狀態(tài)200

9

DB11/T1919—2021

C.2數據接口服務返回參數JSON描述

{

"columns":"ZD1,ZD2,ZD3,ZD4,ZD5,ZD6","

columnsInfo":[{"

columnName":"ZD1","

columnComments":"","

columnType":"DATE","

columnLength":"7"

},{"

columnName":"ZD1","

columnComments":"字段1","

columnType":"VARCHAR2","

columnLength":"50"},{"

columnName":"ZD2","

columnComments":"字段2","

columnType":"VARCHAR2","

columnLength":"18"},{"

columnName":"ZD3","

columnComments":"字段3","

columnType":"VARCHAR2","

columnLength":"10"},{"

columnName":"ZD4","

columnComments":"字段4","

columnType":"DATE","

columnLength":"7"},{"

columnName":"ZD5","

columnComments":"字段5","

columnType":"DATE","

columnLength":"7"},{"

columnName":"ZD6","

columnComments":"字段6","

columnType":"VARCHAR2","

columnLength":"6"}],

"dataList":[

{"ZD1":"XXX","ZD2":"1111111","ZD3":"XX","ZD4":"2020-01-01","ZD5":"1998-01

-01","ZD6":""},

{"ZD1":"XXX","ZD2":"1111111","ZD3":"XX","ZD4":"2020-01-01","ZD5":"1998-01

-01","ZD6":""}

],"counts":"1000","page":1,"maxCount":2}

數據接口服務返回參數說明見表C.2。

10

DB11/T1919—2021

表C.2數據接口服務返回參數說明表

提交方式POST

接口協(xié)議HTTP+JSON

內容類型application/json

返回數據參數名稱類型長度描述

(輸出參數)columnsInfoJson數組列信息,包括類型,長度,備注等信息。(下

邊為json對象參數)

名稱類型描述

columnNamestring列名稱

columnCommentsstring列備注

columnTypestring類型

columnLengthstring長度

columnsstring1000列顯示字符串

pagestring20頁碼數

maxCountstring20每頁最大顯示行數

countsstring20查詢全部記錄數

dataListJson數組json對象中key為列名,value為實際值

11

DB11/T1919—2021

附錄D

(規(guī)范性)

數據質量要求

D.1數據可用性

D.1.1政務數據匯聚共享應確保數據可讀、可理解、可用。

D.1.2有信息系統(tǒng)支撐的數據應提供結構化文件,并在匯聚數據時同步提供數據字典和碼表,確保數

據的可讀可理解。

D.1.3所提供的數據要保持獨立可用,避免多類業(yè)務數據混合提供。

D.1.4通過接口方式對接的,數據提供方要遵循接口傳輸規(guī)范,具有完整的日志記錄,保證數據可用。

D.2數據完整性

D.2.1目錄完整

數據匯聚共享前應依據DB11/T337—2021的相關要求,確認形成完整的數據目錄,按照實際匯聚數

據對北京市目錄區(qū)塊鏈系統(tǒng)中數據目錄進行完善。

D.2.2字段完整

應涵蓋該數據的所有有效字段。

示例:“戶籍人口登記信息”包含“姓名、出生日期、性別、身份證號碼、籍貫、家庭住址、曾用名”字段,匯聚

數據應包含全部字段。

D.2.3釋義完整

應確保字段取值所配套的字典表、碼表的完整性。

示例:“SEX”字段對應的字典名稱“性別”,數據內容為“0”、“1”,“0”對應的實際內容為“男”,“1”

對應的實際內容為“女”,匯聚數據應包含所有字段的完整解釋。

D.2.4周期完整

應覆蓋該數據自采集日期起的全量歷史數據,同時數據字段中應包含數據入庫時間。

示例:“戶籍人口登記信息”采集起始時間為2006年,則應匯聚自2006年至今的全量歷史數據。

D.3數據規(guī)范性

D.3.1格式規(guī)范

D.3.1.1有信息系統(tǒng)支撐的應提供結構化數據,數據項名稱為英文的應提供數據項對應的中文說明。

D.3.1.2通過接口方式對接的,數據提供方要遵循接口傳輸規(guī)范。

D.3.2內容規(guī)范

D.3.2.1數據的核心(非空)字段不能為空值。

示例:“戶籍人口登記信息”中的“姓名”字段不能為空。

D.3.2.2不應包含因業(yè)務或技術原因產生的冗余數據。

12

DB11/T1919—2021

示例:同類數據中不應包含2條完全相同的記錄。

D.3.2.3不應包含錯誤數據。錯誤數據包括但不限于以下情況:

a)無效測試數據。系統(tǒng)建設或測試過程中殘留的、無實際業(yè)務意義的測試數據。

示例:數據中包含多條“test”、“111111”等無效記錄。

b)非法格式數據。字符類型、長度等不滿足格式規(guī)范約束的數據。

示例:“年齡”為“%%”;“身份證號碼”位數為19位。

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論