DB54T 0426-2024 公共數(shù)據(jù) 數(shù)據(jù)質(zhì)量管理規(guī)范

ICS35.24054CCSL7854西 藏 自 治 區(qū) 地 方 標(biāo) 準(zhǔn)DB54/T0426—2024公共數(shù)據(jù) 數(shù)據(jù)質(zhì)量管理規(guī)范2024-11-18發(fā)布 2024-12-18實施西藏自治區(qū)市場監(jiān)督管理局??發(fā)布DB54/T0426—2024DB54/T0426—2024PAGE\*ROMANPAGE\*ROMANII目 次前言 II范圍 1規(guī)范性引用文件 1術(shù)語、定義和縮略語 1數(shù)據(jù)質(zhì)量管理原則 2數(shù)據(jù)質(zhì)量管理框架 2數(shù)據(jù)質(zhì)量職責(zé) 3數(shù)據(jù)質(zhì)量目標(biāo) 4數(shù)據(jù)質(zhì)量評價體系 4數(shù)據(jù)質(zhì)量評價指標(biāo) 4數(shù)據(jù)質(zhì)量規(guī)則 5數(shù)據(jù)質(zhì)量控制 5數(shù)據(jù)生存周期 5數(shù)據(jù)需求 5數(shù)據(jù)采集 5數(shù)據(jù)清洗 5數(shù)據(jù)應(yīng)用 5數(shù)據(jù)評估 6數(shù)據(jù)退役 6數(shù)據(jù)質(zhì)量檢查 6數(shù)據(jù)質(zhì)量檢查計劃 6數(shù)據(jù)質(zhì)量監(jiān)控 6數(shù)據(jù)質(zhì)量問題處理 6數(shù)據(jù)質(zhì)量提升 6數(shù)據(jù)質(zhì)量問題分析 6數(shù)據(jù)質(zhì)量改進 7數(shù)據(jù)質(zhì)量跟蹤 7參考文獻(xiàn) 8前 言本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由西藏自治區(qū)經(jīng)濟和信息化廳（自治區(qū)數(shù)據(jù)管理局）提出并歸口。（自治區(qū)數(shù)據(jù)管理局責(zé)任公司、國家工業(yè)信息安全發(fā)展研究中心。青、賀赟、陶煒、李云志、杜洪濤、欒燕、蔡長亮。DB54/T0426DB54/T0426—2024PAGEPAGE10公共數(shù)據(jù)數(shù)據(jù)質(zhì)量管理規(guī)范范圍本文件規(guī)定了數(shù)據(jù)主體單位及相關(guān)方開展公共數(shù)據(jù)質(zhì)量管理工作的要求，包括數(shù)據(jù)質(zhì)量管理原則、管理框架、質(zhì)量職責(zé)、質(zhì)量目標(biāo)、質(zhì)量評價體系、質(zhì)量控制、質(zhì)量檢查和質(zhì)量提升。本文件適用于西藏自治區(qū)各級機構(gòu)的公共數(shù)據(jù)質(zhì)量管理。規(guī)范性引用文件（包括所有的修改單）適用于本文件。GB/T25000.12系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價(SQuaRE)第12部分：數(shù)據(jù)質(zhì)量模型GB/T36073數(shù)據(jù)管理能力成熟度評估模型GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評價指標(biāo)術(shù)語、定義和縮略語術(shù)語和定義GB/T36073和GB/T36344界定的以及下列術(shù)語和定義適用于本文件。數(shù)據(jù)質(zhì)量dataquality在指定條件下使用時，數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。[來源：GB/T36344-2018，2.3]3.1.2數(shù)據(jù)生存周期datalifecycle將原始數(shù)據(jù)轉(zhuǎn)化為可用于行動的知識的一組過程。[來源：GB/T36073-2018，3.14]3.1.3數(shù)據(jù)質(zhì)量規(guī)則dataqualityrules數(shù)據(jù)質(zhì)量規(guī)則是指判斷數(shù)據(jù)是否符合數(shù)據(jù)質(zhì)量要求的邏輯約束。3.1.4數(shù)據(jù)質(zhì)量控制dataqualitycontrol數(shù)據(jù)質(zhì)量控制是指通過數(shù)據(jù)質(zhì)量檢查、監(jiān)控等手段發(fā)現(xiàn)并反饋數(shù)據(jù)質(zhì)量風(fēng)險的過程。3.1.5數(shù)據(jù)質(zhì)量改進dataqualityimprove數(shù)據(jù)質(zhì)量改進是指針對數(shù)據(jù)質(zhì)量問題采取措施，對現(xiàn)有的數(shù)據(jù)質(zhì)量水平加以提高?？s略語下列縮略語適用于本文件。PDCA：“策劃-實施-檢查-處置”循環(huán)（Plan-Do-Check-Act）數(shù)據(jù)質(zhì)量管理原則實施數(shù)據(jù)質(zhì)量管理，應(yīng)遵循以下原則：聚焦關(guān)鍵數(shù)據(jù)（如主數(shù)據(jù)要性以及數(shù)據(jù)問題的風(fēng)險水平來判定。覆蓋全生存周期統(tǒng)之間的流轉(zhuǎn)過程。預(yù)防為主上。根因修正不僅僅是修正數(shù)據(jù)。融入治理用元數(shù)據(jù)工具。數(shù)據(jù)質(zhì)量管理框架PDCA見圖14個階段。圖1 數(shù)據(jù)質(zhì)量管理閉環(huán)架構(gòu)各階段詳細(xì)要求如下：策劃據(jù)質(zhì)量評價的維度和指標(biāo)體系、質(zhì)量規(guī)則，識別所需的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、業(yè)務(wù)規(guī)則；實施流通、應(yīng)用的全生存周期進行管理控制；檢查警等監(jiān)控任務(wù)，并配套實施質(zhì)量問題記錄、查詢、分發(fā)、跟蹤等管理機制；處置——數(shù)據(jù)質(zhì)量分析與提升，建立數(shù)據(jù)質(zhì)量評估及分析方法，對檢查結(jié)果進行質(zhì)量評估和問題分析，——將相關(guān)分析成果和問題形成質(zhì)量知識庫；提升質(zhì)量等，形成良好的數(shù)據(jù)質(zhì)量文化。數(shù)據(jù)質(zhì)量職責(zé)公共數(shù)據(jù)的管理機構(gòu)或團隊，應(yīng)賦予相關(guān)人員角色的數(shù)據(jù)質(zhì)量職責(zé)：首席數(shù)據(jù)官（或分管領(lǐng)導(dǎo)）作為數(shù)據(jù)質(zhì)量管理工作的最高決策者、負(fù)責(zé)人，其數(shù)據(jù)質(zhì)量管理工作內(nèi)容宜包括：——下達(dá)數(shù)據(jù)質(zhì)量目標(biāo)；——簽發(fā)數(shù)據(jù)質(zhì)量評價及考核結(jié)果；——基于數(shù)據(jù)質(zhì)量考核結(jié)果及改進狀況，對相應(yīng)領(lǐng)域數(shù)據(jù)責(zé)任人進行獎勵及問責(zé)。數(shù)據(jù)質(zhì)量主管作為數(shù)據(jù)質(zhì)量管理工作的主要監(jiān)督管理人，其數(shù)據(jù)質(zhì)量管理工作內(nèi)容宜包括：——牽頭制定數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)質(zhì)量計劃、數(shù)據(jù)質(zhì)量報告；——組織實施數(shù)據(jù)質(zhì)量檢查和質(zhì)量問題分析、整改和跟蹤驗證工作；——負(fù)責(zé)審核相關(guān)質(zhì)量文件、報告和整改措施。各業(yè)務(wù)/子系統(tǒng)負(fù)責(zé)人作為所轄業(yè)務(wù)領(lǐng)域數(shù)據(jù)質(zhì)量的負(fù)責(zé)人，其數(shù)據(jù)質(zhì)量管理工作內(nèi)容宜包括：——承接本單位最高數(shù)據(jù)責(zé)任人設(shè)定的數(shù)據(jù)質(zhì)量目標(biāo)；——建立、實施、保持和持續(xù)改進所轄領(lǐng)域數(shù)據(jù)質(zhì)量管理體系；——向最高數(shù)據(jù)責(zé)任人報告數(shù)據(jù)質(zhì)量管理體系的績效和改進需求；——基于所轄領(lǐng)域的數(shù)據(jù)質(zhì)量結(jié)果及改進狀況，對相應(yīng)的業(yè)務(wù)數(shù)據(jù)責(zé)任人進行獎勵及問責(zé)；——負(fù)責(zé)與所轄領(lǐng)域數(shù)據(jù)質(zhì)量管理的相關(guān)外部聯(lián)系工作。各業(yè)務(wù)數(shù)據(jù)責(zé)任人作為所轄業(yè)務(wù)數(shù)據(jù)質(zhì)量的負(fù)責(zé)人，其數(shù)據(jù)質(zhì)量管理工作內(nèi)容宜包括：——承接所屬領(lǐng)域數(shù)據(jù)責(zé)任人設(shè)定的數(shù)據(jù)質(zhì)量目標(biāo)；——建立、實施、保持和持續(xù)改進所轄業(yè)務(wù)數(shù)據(jù)質(zhì)量管理體系；——向所屬領(lǐng)域數(shù)據(jù)責(zé)任人報告數(shù)據(jù)質(zhì)量管理體系的績效和改進需求；——明確所轄業(yè)務(wù)數(shù)據(jù)質(zhì)量問題改進責(zé)任人，并推動問題閉環(huán)管理；——負(fù)責(zé)與所轄業(yè)務(wù)數(shù)據(jù)質(zhì)量管理工作的相關(guān)外部聯(lián)系工作。數(shù)據(jù)質(zhì)量目標(biāo)數(shù)據(jù)質(zhì)量管理是一個持續(xù)的過程，為有效地進行數(shù)據(jù)質(zhì)量管理，應(yīng)達(dá)到以下目標(biāo)：建立數(shù)據(jù)質(zhì)量管理組織，承擔(dān)最終質(zhì)量審查監(jiān)督職能，質(zhì)量問題有人負(fù)責(zé)；建立完善的數(shù)據(jù)質(zhì)量管理規(guī)范，質(zhì)量管理有章可循；建立數(shù)據(jù)質(zhì)量管理平臺，進行質(zhì)量評估、問題改進系統(tǒng)記錄，質(zhì)量評估有據(jù)可查；建立數(shù)據(jù)質(zhì)量管理績效體系，針對質(zhì)量管理進行目標(biāo)管理、績效考核，質(zhì)量考核有人監(jiān)督。數(shù)據(jù)質(zhì)量評價體系數(shù)據(jù)質(zhì)量評價指標(biāo)GB/T25000.12-2017GB/T36344-2018度評價指標(biāo)包括但不限于：的符合性度量；完整性評價指標(biāo)，對于數(shù)據(jù)元和數(shù)據(jù)記錄的賦值的完整性度量；出現(xiàn)率的度量；度量；可訪問性評價指標(biāo)，對于數(shù)據(jù)在需要時的可獲取性，以及在設(shè)定有效期的可用性度量。數(shù)據(jù)質(zhì)量規(guī)則規(guī)則進行持續(xù)維護與優(yōu)化，并同步更新數(shù)據(jù)質(zhì)量規(guī)則庫。法，具體要求如下：根據(jù)數(shù)據(jù)質(zhì)量評價維度和業(yè)務(wù)需要，制定詳細(xì)的數(shù)據(jù)質(zhì)量技術(shù)指標(biāo)；精度校驗、唯一性約束校驗、主鍵及外鍵校驗等；結(jié)合應(yīng)用場景，定義業(yè)務(wù)規(guī)則，保證數(shù)據(jù)具有合理性；SQL數(shù)據(jù)質(zhì)量控制數(shù)據(jù)生存周期數(shù)據(jù)質(zhì)量管理活動應(yīng)貫穿于數(shù)據(jù)生存周期的各個階段，應(yīng)符合圖2的規(guī)定。圖2 數(shù)據(jù)生存周期質(zhì)量控制數(shù)據(jù)需求數(shù)據(jù)管理方應(yīng)對數(shù)據(jù)需求進行評估，確認(rèn)所需公共數(shù)據(jù)的開放主體。際需求的一致性。公共數(shù)據(jù)開放主體應(yīng)按照公共數(shù)據(jù)目錄規(guī)范編制開放數(shù)據(jù)目錄。數(shù)據(jù)采集數(shù)據(jù)管理方應(yīng)嚴(yán)格按照9.2的要求，采集滿足相關(guān)需求的公共數(shù)據(jù)。數(shù)據(jù)清洗9.3完整性、準(zhǔn)確性、一致性和時效性等要求。數(shù)據(jù)應(yīng)用質(zhì)量進行驗證，將相關(guān)結(jié)果反饋給平臺數(shù)據(jù)管理方。數(shù)據(jù)管理方應(yīng)積極響應(yīng)公共數(shù)據(jù)使用方提出的相關(guān)需求。數(shù)據(jù)應(yīng)滿足規(guī)范性、完整性、準(zhǔn)確性、一致性、時效性和可訪問性等要求。數(shù)據(jù)評估數(shù)據(jù)管理方應(yīng)聯(lián)合公共數(shù)據(jù)開放主體和公共數(shù)據(jù)使用方，開展數(shù)據(jù)評估工作。數(shù)據(jù)退役數(shù)據(jù)管理方應(yīng)結(jié)合9.6的評估結(jié)果及相關(guān)政策要求，對不再適合開放的數(shù)據(jù)進行歸檔或銷毀。數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量檢查計劃務(wù)，制定相應(yīng)的數(shù)據(jù)質(zhì)量檢查計劃，內(nèi)容主要包括：數(shù)據(jù)質(zhì)量檢查的業(yè)務(wù)點位、系統(tǒng)點位；檢查的數(shù)據(jù)對象；檢查的項目、指標(biāo)、方法、方式、工具；檢查的時間、頻次；檢查人員及相關(guān)的數(shù)據(jù)質(zhì)量責(zé)任人員；檢查結(jié)果的輸出要求；其他相關(guān)檢查任務(wù)調(diào)度信息等。數(shù)據(jù)質(zhì)量監(jiān)控量情況進行實時監(jiān)控和校驗，監(jiān)控要求包括但不限于：對數(shù)據(jù)進行監(jiān)控，明確數(shù)據(jù)的來源和去向；對規(guī)則校驗的結(jié)果進行監(jiān)控和分析，校驗結(jié)果應(yīng)定位到原始數(shù)據(jù)項。數(shù)據(jù)質(zhì)量問題處理及關(guān)聯(lián)數(shù)據(jù)；對數(shù)據(jù)質(zhì)量問題進行分類、統(tǒng)計，形成數(shù)據(jù)質(zhì)量報表。數(shù)據(jù)質(zhì)量提升數(shù)據(jù)質(zhì)量問題分析質(zhì)量問題原因與影響分析方面的內(nèi)容包括但不限于：信息原因，指數(shù)據(jù)規(guī)范性異常，包括元數(shù)據(jù)標(biāo)準(zhǔn)異常、數(shù)據(jù)質(zhì)量規(guī)則異常、變化頻度異常等；用、維護和稽核等流程；據(jù)存儲能力有限等，主要涉及數(shù)據(jù)創(chuàng)建、獲取、傳輸、裝載、使用、維護等環(huán)節(jié)；不足等；響；問題影響程度，可根據(jù)受影響的業(yè)務(wù)性質(zhì)、造成的損失、修復(fù)難度等，將影響程度分級描述，比如一般影響、嚴(yán)重影響、重大影響等。數(shù)據(jù)質(zhì)量改進用系統(tǒng)問題修復(fù)等，具體要求如下：規(guī)則，比如糾正源系統(tǒng)中的數(shù)據(jù)；數(shù)據(jù)增強。通過給數(shù)據(jù)增加屬性以提高其質(zhì)量和可用性，比如時間戳、審計數(shù)據(jù)、參考數(shù)據(jù)、語境信息、地理信息、人口信息等；業(yè)務(wù)流程優(yōu)化。通過業(yè)務(wù)流程優(yōu)化，從根本上減少數(shù)據(jù)問題發(fā)生，比如改進數(shù)據(jù)輸入的流程；應(yīng)用系統(tǒng)問題修復(fù)。比如增加防止數(shù)據(jù)輸入錯誤的功能。數(shù)據(jù)質(zhì)量跟蹤析、后續(xù)行動、人員反饋等信息，并進行以下措施：驗證質(zhì)量問題的糾正和改進效果，比如問題的消失、合格率的提升、數(shù)據(jù)的增值等