DBJT45T 052-2023 交通運(yùn)輸政務(wù)數(shù)據(jù)治理技術(shù)指南

JT45TechnicalguidefortransportgovernmI 2 2 2 2 3 3 3 3 3 3 4 4 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 6 6 6 6 6 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定本文件起草單位：廣西交通設(shè)計(jì)集團(tuán)有限公司、廣西壯族自治區(qū)交通運(yùn)輸信息管理中劉鵬博、周敏璐、劉海南、周開制、黃中章、本文件主要審查人：李文勇、張小健、李琳、姚育章、吳川、楊曉東1交通運(yùn)輸政務(wù)數(shù)據(jù)治理技術(shù)指南本文件界定了交通運(yùn)輸政務(wù)數(shù)據(jù)治理技術(shù)的術(shù)語和定義，規(guī)定了交通運(yùn)輸政務(wù)數(shù)據(jù)治理技術(shù)的總則、數(shù)據(jù)框架與治理范圍、數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量審計(jì)、數(shù)據(jù)質(zhì)量提升、安全要求。本文件適用于廣西壯族自治區(qū)行政區(qū)域內(nèi)公路、水路、道路運(yùn)輸政務(wù)數(shù)據(jù)的治理。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T34960.1信息技術(shù)服務(wù)治理第1部分：通用要求GB/T34960.5信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)GB/T37378-2019交通運(yùn)輸信息安全規(guī)范JT/T697(所有部分)交通信息基礎(chǔ)數(shù)據(jù)元3術(shù)語和定義由交通運(yùn)輸政務(wù)部門或者為交通運(yùn)輸政務(wù)部門采集、加工、使用、處理的數(shù)據(jù)。包括交通運(yùn)輸政務(wù)部門依法采集的數(shù)據(jù)、交通運(yùn)輸政務(wù)部門在履行職能過程中產(chǎn)生和生成的數(shù)據(jù)、交通運(yùn)輸政務(wù)部門投資建設(shè)和外購服務(wù)獲取的數(shù)據(jù)、交通運(yùn)輸政務(wù)部門依法授權(quán)管理的數(shù)據(jù)等。數(shù)據(jù)元dataelement通過定義、標(biāo)識(shí)、表示以及允許值等一系列屬性描述的數(shù)據(jù)單元。在特定的語意環(huán)境中被認(rèn)定為不可再分的最小數(shù)據(jù)單元。數(shù)據(jù)標(biāo)準(zhǔn)datastandard數(shù)據(jù)的命名、定義、結(jié)構(gòu)和取值范圍方面的規(guī)則和基準(zhǔn)。數(shù)據(jù)治理datagovernance數(shù)據(jù)資源及其應(yīng)用過程中相關(guān)管控活動(dòng)、績效和風(fēng)險(xiǎn)管理的集合。數(shù)據(jù)質(zhì)量dataquality在指定條件下使用時(shí)，數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。24.1數(shù)據(jù)質(zhì)量的評(píng)估衡量應(yīng)符合GB/T36344的要求，主要有規(guī)范性、完整性、準(zhǔn)確性、一致性、時(shí)效性、可訪問性6類指標(biāo)。4.2本文件涉及的技術(shù)架構(gòu)，宜符合GB/T34960.1、GB/T34960.5、《交通運(yùn)輸政務(wù)信息資源目錄編制指南(試行)》、《交通運(yùn)輸信息資源交換共享與開放應(yīng)用平臺(tái)省級(jí)工程建設(shè)指南》的規(guī)定?！稄V西政務(wù)數(shù)據(jù)“聚通用”實(shí)施細(xì)則(試行)》、《廣西政務(wù)數(shù)據(jù)治理實(shí)施方案》的要求開展。5數(shù)據(jù)框架與治理范圍5.1數(shù)據(jù)框架內(nèi)容。本文件僅對(duì)數(shù)據(jù)治理做規(guī)范化要求，如圖1所示。管理管理管理管理資源數(shù)據(jù)安全圖1交通運(yùn)輸政務(wù)數(shù)據(jù)治理框架5.2治理范圍3——數(shù)據(jù)治理平臺(tái)域應(yīng)包括數(shù)據(jù)治理平臺(tái)框架、平臺(tái)應(yīng)用、平臺(tái)維護(hù)，并選擇合理的平臺(tái)工具；——數(shù)據(jù)治理實(shí)施域宜包括數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理等專題實(shí)施工作。6數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)管理6.1維護(hù)管理內(nèi)容數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)管理的主要內(nèi)容應(yīng)包含數(shù)據(jù)標(biāo)準(zhǔn)錄入、審核與發(fā)布、標(biāo)準(zhǔn)維護(hù)、標(biāo)準(zhǔn)查詢、標(biāo)準(zhǔn)映射與評(píng)估等，見圖2。開始開始標(biāo)準(zhǔn)錄入審核與發(fā)布標(biāo)準(zhǔn)映射與評(píng)估標(biāo)準(zhǔn)查詢標(biāo)準(zhǔn)維護(hù)圖2數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)管理內(nèi)容6.2技術(shù)要求6.2.1數(shù)據(jù)標(biāo)準(zhǔn)錄入數(shù)據(jù)標(biāo)準(zhǔn)錄入的要求如下：——遵照國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、地方標(biāo)準(zhǔn)的內(nèi)容和要求，以及數(shù)據(jù)標(biāo)準(zhǔn)業(yè)務(wù)性質(zhì)，提供信息實(shí)體、基礎(chǔ)數(shù)據(jù)元、基礎(chǔ)代碼集、術(shù)語定義及其相關(guān)屬性的錄入；——基礎(chǔ)數(shù)據(jù)元應(yīng)符合JT/T697(所有部分)的要求，同時(shí)預(yù)留出兼容其他相關(guān)國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、地方標(biāo)準(zhǔn)等要求的字段；——數(shù)據(jù)標(biāo)準(zhǔn)錄入應(yīng)支持列表自動(dòng)導(dǎo)入和人工錄入功能。6.2.2審核與發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)錄入后，應(yīng)根據(jù)實(shí)際管理要求，設(shè)置審核流程，審核人員通過后，經(jīng)過主管部門的審批后可予以發(fā)布。6.2.3數(shù)據(jù)標(biāo)準(zhǔn)映射數(shù)據(jù)標(biāo)準(zhǔn)映射的要求如下：——實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)與元數(shù)據(jù)的關(guān)聯(lián)與映射，包括元數(shù)據(jù)關(guān)聯(lián)標(biāo)準(zhǔn)和標(biāo)準(zhǔn)關(guān)聯(lián)元數(shù)據(jù)兩種方式；4——數(shù)據(jù)標(biāo)準(zhǔn)與元數(shù)據(jù)映射前，應(yīng)充分搜集元數(shù)據(jù)相關(guān)的國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、地方標(biāo)準(zhǔn)，并全6.2.5.1交通運(yùn)輸數(shù)據(jù)標(biāo)準(zhǔn)出現(xiàn)新增、變更、廢止等情況時(shí)，應(yīng)及時(shí)完成標(biāo)準(zhǔn)的錄入、變更、刪除等6.2.5.2數(shù)據(jù)標(biāo)準(zhǔn)管理信息系統(tǒng)應(yīng)支持對(duì)標(biāo)準(zhǔn)進(jìn)行備份與恢復(fù)，保證數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)的版本對(duì)應(yīng)。元數(shù)據(jù)管理基本內(nèi)容包括元數(shù)據(jù)采集、存儲(chǔ)、——關(guān)系型和非關(guān)系型數(shù)據(jù)庫；——對(duì)象和文件存儲(chǔ)。任務(wù)狀態(tài)、開始時(shí)間、結(jié)束時(shí)間、耗時(shí)、日志詳情等內(nèi)5表1元數(shù)據(jù)采集任務(wù)監(jiān)控項(xiàng)說明表說明簡要描述采集任務(wù)的相關(guān)信息任務(wù)開始時(shí)間采集任務(wù)的開始時(shí)間，格式為"yyyy-mm-ddh任務(wù)結(jié)束時(shí)間采集任務(wù)的結(jié)束時(shí)間，格式為"yyyy-mm-ddh最近一次執(zhí)行結(jié)果采集任務(wù)最近一次的執(zhí)行結(jié)果。成功，取值記錄采集任務(wù)每次調(diào)度的詳細(xì)日志信息7.2.3元數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)存儲(chǔ)在業(yè)務(wù)邏輯上應(yīng)滿足多版本管理的要求。存儲(chǔ)中應(yīng)設(shè)置標(biāo)簽區(qū)分元數(shù)據(jù)版本。技術(shù)邏輯上應(yīng)按照結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)方式，宜選擇關(guān)系數(shù)據(jù)庫存儲(chǔ)。7.2.4元模型管理交通運(yùn)輸政務(wù)數(shù)據(jù)元模型應(yīng)包括關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫、ETL工具、對(duì)象和文件系統(tǒng)等類型。關(guān)系型數(shù)據(jù)庫應(yīng)包括庫、表空間、表、視圖、字段、主鍵、外鍵、函數(shù)、存儲(chǔ)過程、觸發(fā)器等模型，具體模型屬性以滿足實(shí)際治理需求為準(zhǔn)。其他類型的元模型應(yīng)根據(jù)實(shí)際技術(shù)特點(diǎn)支持技術(shù)人員定義。7.2.5元數(shù)據(jù)查詢對(duì)元數(shù)據(jù)名稱、代碼、類型、版本、創(chuàng)建時(shí)間等元數(shù)據(jù)的查詢。7.2.6元數(shù)據(jù)分析元數(shù)據(jù)分析包括血緣分析和影響分析：——血緣分析。針對(duì)數(shù)據(jù)采集(產(chǎn)生)的元數(shù)據(jù)、數(shù)據(jù)存儲(chǔ)的元數(shù)據(jù)、數(shù)據(jù)加工處理的元數(shù)據(jù)、數(shù)據(jù)流轉(zhuǎn)交換的元數(shù)據(jù)依次記錄，全面反映當(dāng)前數(shù)據(jù)對(duì)象的血緣關(guān)系；——影響分析。依據(jù)當(dāng)前數(shù)據(jù)對(duì)象與下游數(shù)據(jù)對(duì)象的關(guān)系，模擬元數(shù)據(jù)變更后對(duì)下游數(shù)據(jù)的影響。8數(shù)據(jù)質(zhì)量審計(jì)8.1審計(jì)規(guī)則管理8.1.1審計(jì)規(guī)則審計(jì)規(guī)則類型包括：——技術(shù)規(guī)則：包括數(shù)據(jù)庫是否可訪問、數(shù)據(jù)類型與數(shù)據(jù)標(biāo)準(zhǔn)規(guī)定是否匹配、數(shù)據(jù)長度和精度與數(shù)據(jù)標(biāo)準(zhǔn)規(guī)定是否匹配、取值是否存在空值、非結(jié)構(gòu)化數(shù)據(jù)的索引是否空值等；——業(yè)務(wù)規(guī)則：包括車輛號(hào)牌位數(shù)約束、船檢編號(hào)規(guī)范約束、車輛類型規(guī)范約束、路線基礎(chǔ)數(shù)據(jù)編碼規(guī)范約束、高速公路車輛通行費(fèi)金額值域約束等。若存在國家標(biāo)準(zhǔn)、交通運(yùn)輸行業(yè)標(biāo)準(zhǔn)、地方標(biāo)準(zhǔn)或交通運(yùn)輸部、自治區(qū)有相應(yīng)的規(guī)范與要求，應(yīng)滿足其要求；——其他規(guī)則：通過政務(wù)服務(wù)、其他部門多源比對(duì)等方式設(shè)定規(guī)則，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行校核。6審計(jì)規(guī)則內(nèi)容應(yīng)包含規(guī)則名稱、規(guī)則代碼、主題表、檢查字段、規(guī)——新建規(guī)則：包括新建單條規(guī)則、批量新建規(guī)則，通過標(biāo)準(zhǔn)新建規(guī)則。新建規(guī)則時(shí)應(yīng)對(duì)規(guī)則進(jìn)——?jiǎng)h除規(guī)則：包括單條刪除和批量刪除。將規(guī)則按照實(shí)際業(yè)務(wù)邏輯配置成相應(yīng)的審計(jì)任務(wù)，進(jìn)行相關(guān)數(shù)據(jù)質(zhì)量的審計(jì)。任務(wù)的開始時(shí)間，格式為“yyyy-mm-ddhh:mm:ss”任務(wù)的結(jié)束時(shí)間，格式為“yyyy-mm-ddhh:mm:ss”78.3.3數(shù)據(jù)質(zhì)量統(tǒng)計(jì)管理數(shù)據(jù)質(zhì)量審計(jì)結(jié)果宜多維度進(jìn)行分析統(tǒng)計(jì)。8.3.4審計(jì)報(bào)告管理審計(jì)結(jié)果應(yīng)生成詳細(xì)的數(shù)據(jù)質(zhì)量審計(jì)報(bào)告。審計(jì)任務(wù)管理應(yīng)采用信息化管理技術(shù)，管理系統(tǒng)審計(jì)結(jié)果導(dǎo)出包括分類(如按業(yè)務(wù)系統(tǒng)、數(shù)據(jù)所屬機(jī)構(gòu)等)導(dǎo)出和整體導(dǎo)出。導(dǎo)出形式應(yīng)支持Excel、Html和XML格式。9數(shù)據(jù)質(zhì)量提升9.1事前預(yù)防在數(shù)據(jù)生產(chǎn)器(即信息系統(tǒng)、傳感器等)建設(shè)過程中，應(yīng)基于第6章數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)管理技術(shù)，約束各類數(shù)據(jù)生產(chǎn)器的設(shè)計(jì)與研發(fā)。9.2事中監(jiān)控事中監(jiān)控包括以下環(huán)節(jié)：a)質(zhì)量監(jiān)控：應(yīng)利用第8章中數(shù)據(jù)質(zhì)量審計(jì)技術(shù)，對(duì)數(shù)據(jù)源、采集工具(ETL等)進(jìn)行審計(jì)監(jiān)測；b)問題定位：應(yīng)利用第7章中元數(shù)據(jù)血緣分析技術(shù)，定位數(shù)據(jù)質(zhì)量問題發(fā)生的環(huán)節(jié)和具體位置；c)質(zhì)量提升：應(yīng)引入閉環(huán)管理流程，引入工單流程引擎技術(shù)，提升數(shù)據(jù)質(zhì)量。9.3事后改善應(yīng)在數(shù)據(jù)質(zhì)量事中提升后，結(jié)合數(shù)據(jù)血緣和影響分析，形成體系化的數(shù)據(jù)質(zhì)量提升措施，實(shí)現(xiàn)