T-CECC 32-2024 數(shù)據(jù)質(zhì)量評估實施方法

ICS35.240.01G04Dataqualityevaluation——Implementationmet中國電子商會發(fā)布IT/CECC32—2024 2規(guī)范性引用文件 3術(shù)語和定義 4評估流程 5判定方法 附錄A（資料性）數(shù)據(jù)質(zhì)量評估指標參考 T/CECC32—2024本文件按照GB/T1.1—2020《標準化工作導(dǎo)則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別這些專利的責(zé)任。本文件由中國電子商會數(shù)據(jù)要素發(fā)展工作委員會提出。本文件由中國電子商會歸口。本文件起草單位：國家工業(yè)信息安全發(fā)展研究中心、云南省科學(xué)技術(shù)院、中國移動通信集團遼寧有限公司、南方電網(wǎng)數(shù)字平臺科技（廣東）有限公司、中國五礦集團有限公司、云上貴州大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有限公司、中國恩菲工程技術(shù)有限公司、南方電網(wǎng)大數(shù)據(jù)服務(wù)有限公司、北京易智時代數(shù)字科技有限公司、數(shù)字金華技術(shù)運營有限公司、云南大學(xué)軟件學(xué)院、深圳供電局有限公司、中譯語通科技股份有限公司、上海羅盤信息科技有限公司、中國電力工程顧問集團西南電力設(shè)計院有限公司、北京中數(shù)登數(shù)據(jù)服務(wù)有限公司、廣東拓思軟件科學(xué)園有限公司、新疆大學(xué)、寧夏凱信特信息科技有限公司、哈爾濱工程大學(xué)、北京北明數(shù)科信息技術(shù)有限公司、中數(shù)聯(lián)數(shù)據(jù)（上海）有限公司、上海宜軟檢測技術(shù)有限公司、昆侖數(shù)智科技有限責(zé)任公司、北京科技大學(xué)、北京國際大數(shù)據(jù)交易所有限責(zé)任公司、貴陽大數(shù)據(jù)交易所、深圳數(shù)據(jù)交易所、北京信源電子信息技術(shù)有限公司大同分公司。本文件主要起草人：任貴超、馮立鸚、楊燕、尹路、吳言、楊光、何瑞娟、劉軍、姚心、楊永亮、曹熙、何一峰、王紅梅、蔡莉、趙少東、張婷、劉聰、張晉桂、柯尊旺、李娜、韓啟龍、鄭堅財、單曉炯、謝靖、林秀峰、左文進、盛晶、張燕、譚文、彭文欽、尚艷學(xué)、賈世聰、周萬青、張迪、黎名航、彭偉、陳虹伊、陳自巖、馬建智、林松、宋洪濤、閆霜、譚伊舒、駱俊林、羅剛、楊柳、劉巍、李衛(wèi)、孫博聞、彭文華、李瑋、孫璐、駱伊寧、王春苗、翟紅宇、杜晶晶。1T/CECC32—2024數(shù)據(jù)質(zhì)量評估實施方法本文件規(guī)定了數(shù)據(jù)質(zhì)量評估活動的流程及方法。本文件適用于評估機構(gòu)開展的數(shù)據(jù)質(zhì)量評估活動。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件。不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。T/CECC31.1數(shù)據(jù)質(zhì)量評估指標體系第1部分：通用要求T/CECC31.2數(shù)據(jù)質(zhì)量評估指標體系第2部分：開放共享要求T/CECC31.3數(shù)據(jù)質(zhì)量評估指標體系第3部分：交易要求3術(shù)語和定義T/CECC31.1、T/CECC31.2、T/CECC31.3所界定的以及下列術(shù)語和定義適用于本文件。3.1被評估方organizationsubjecttotheappraisal申請數(shù)據(jù)質(zhì)量評估的組織個體。3.2評估機構(gòu)assessmentauthority統(tǒng)籌數(shù)據(jù)質(zhì)量評估工作的組織個體。4評估流程4.1概述數(shù)據(jù)質(zhì)量評估流程包括評估前溝通、評估計劃制定、評估實施、質(zhì)量分析以及質(zhì)量改進環(huán)節(jié)，如圖2T/CECC32—2024圖1數(shù)據(jù)質(zhì)量評估實施流程4.2評估準備階段4.2.1受理評估受理評估申請是評估機構(gòu)對被評估方提交的數(shù)據(jù)質(zhì)量評估申請材料進行審核，確認被評估方符合數(shù)據(jù)質(zhì)量評估條件，條件包括：a)被評估方應(yīng)是在中國境內(nèi)合法注冊成立并運營的組織，其業(yè)務(wù)活動符合國家相關(guān)法律法規(guī)和政策要求；b)被評估方應(yīng)當具備一定的數(shù)據(jù)管理能力，包括但不限于數(shù)據(jù)的存儲、處理等；c)被評估方應(yīng)具備一定的技術(shù)支持能力，向評估機構(gòu)必要的數(shù)據(jù)質(zhì)量評估支持；d)被評估方應(yīng)保持開放和合作的態(tài)度，積極配合評估機構(gòu)的工作。4.2.2組建評估組評估機構(gòu)根據(jù)被評估方提供的數(shù)據(jù)情況，選派評估人員組建評估組，評估人員應(yīng)符合相關(guān)要求，包括：a)具有經(jīng)濟、統(tǒng)計、計算機相關(guān)的工作背景或工作經(jīng)驗；b)遵守評估工作要求，掌握評估方法與評估工具的使用；c)按照評估計劃開展評估活動；d)維護數(shù)據(jù)在評估過程中的保密性與安全性；e)能夠識別數(shù)據(jù)質(zhì)量相關(guān)問題；f)能夠提供數(shù)據(jù)質(zhì)量改善建議和策略。4.2.3確認評估數(shù)據(jù)評估機構(gòu)應(yīng)向被評估方明確數(shù)據(jù)質(zhì)量評估目的及用途。評估機構(gòu)應(yīng)根據(jù)評估目的及用途，明確被評估數(shù)據(jù)范圍，包括但不限于評估數(shù)據(jù)時間范圍、內(nèi)容范評估機構(gòu)應(yīng)明確被評估數(shù)據(jù)的來源及獲取方式，確定數(shù)據(jù)來源的合法性與準確性。3T/CECC32—2024評估機構(gòu)應(yīng)明確數(shù)據(jù)存儲位置及數(shù)據(jù)讀取方式，保證數(shù)據(jù)在評估過程中的可訪問性。4.2.4確認評估目的評估機構(gòu)應(yīng)確認數(shù)據(jù)質(zhì)量評估目的，深入分析被評估方業(yè)務(wù)需求，明確業(yè)務(wù)運行過程中對數(shù)據(jù)質(zhì)量的各項關(guān)鍵要求，包括但不限于數(shù)據(jù)規(guī)范要求、數(shù)據(jù)完整度要求、數(shù)據(jù)時效要求、數(shù)據(jù)準確度要求、數(shù)據(jù)共享要求等。4.2.5梳理標準法規(guī)數(shù)據(jù)評估機構(gòu)應(yīng)根據(jù)被評估數(shù)據(jù)的內(nèi)容及用途，明確數(shù)據(jù)評估工作使用的標準及相關(guān)法規(guī)。4.2.6制定評估計劃評估機構(gòu)應(yīng)根據(jù)被評估數(shù)據(jù)內(nèi)容及數(shù)據(jù)量，合理分配評估人員及時間，制定合理的評估計劃，包括評估目的、評估范圍、評估任務(wù)、評估時間、評估人員、評估日程安排、評估所需要場地和設(shè)備等內(nèi)容。4.3評估實施階段4.3.1評估方法評估機構(gòu)應(yīng)按照被評估數(shù)據(jù)的內(nèi)容與形式，選擇適當?shù)臄?shù)據(jù)質(zhì)量評估方法，包括：a)系統(tǒng)評估：使用數(shù)據(jù)質(zhì)量管理系統(tǒng)等數(shù)據(jù)質(zhì)量工具實現(xiàn)自動化評估，如自定義SQL語句檢核、數(shù)據(jù)集成工具等；b)人工評估：根據(jù)評估指標，結(jié)合評估人員數(shù)據(jù)質(zhì)量評估經(jīng)驗進行數(shù)據(jù)評估，如資料判斷、經(jīng)驗判斷等。評估機構(gòu)應(yīng)根據(jù)委托主體及被評估數(shù)據(jù)，確定數(shù)據(jù)評估方式，評估方式包括：a)全量評估：對涉及的所有數(shù)據(jù)進行逐一評估；b)增量評估：對涉及的數(shù)據(jù)，在特定的范圍和時間段內(nèi)新增的數(shù)據(jù)進行逐一評估；c)抽樣評估：按照抽樣方案，對抽取的數(shù)據(jù)進行逐一評估。4.3.2評估工具評估機構(gòu)應(yīng)根據(jù)數(shù)據(jù)類型，如文本、圖像、音頻、視頻以及三維模型等，選用相應(yīng)的數(shù)據(jù)質(zhì)量評估軟件和工具。4.3.3指標確定評估機構(gòu)應(yīng)參考T/CECC31.1、T/CECC31.2、T/CECC31.3建立用于數(shù)據(jù)質(zhì)量評估的指標體系，如圖2所示。4T/CECC32—2024圖2數(shù)據(jù)質(zhì)量評估指標體系4.3.4指標權(quán)重評估機構(gòu)應(yīng)根據(jù)數(shù)據(jù)所支持業(yè)務(wù)對指標屬性要求的不同，包括合規(guī)性、規(guī)范性、完整性、準確性、一致性、共享性以及時效性，利用相關(guān)權(quán)重確定方法，確定不同類型指標權(quán)重，不同類型指標權(quán)重之和為1。評估機構(gòu)應(yīng)根據(jù)基于數(shù)據(jù)所開展的業(yè)務(wù)對指標內(nèi)容的要求，利用相關(guān)權(quán)重確定方法，對指標賦予分值，同一類型指標分值相加為100分，部分指標賦值情況可參考附錄A。數(shù)據(jù)內(nèi)容與評估對象應(yīng)用場景相關(guān)性較大或與評估日期較為接近時，相關(guān)數(shù)據(jù)內(nèi)容在完整性、準確性與一致性上應(yīng)賦予較大權(quán)重。相關(guān)權(quán)重確定方法可使用以下方法：a)專家評分法：通過領(lǐng)域內(nèi)專家對各個指標的重要性評價計算指標權(quán)重；b)層次分析法：通過數(shù)據(jù)層次結(jié)構(gòu)，比較不同指標之間的相對重要性確定指標權(quán)重；c)熵權(quán)法：基于數(shù)據(jù)信息熵，通過指標的信息熵大小確定指標權(quán)重。評估機構(gòu)宜采用主客觀結(jié)合的方法確定權(quán)重。4.3.5評估實施評估機構(gòu)基于評估準備階段活動內(nèi)容，以及評估方法、評估工具、指標確定、指標權(quán)重內(nèi)容，實施評估活動。4.4評估結(jié)束階段4.4.1評估結(jié)果評估機構(gòu)應(yīng)針對數(shù)據(jù)質(zhì)量結(jié)果開展分析，識別數(shù)據(jù)中的全部質(zhì)量問題。評估機構(gòu)應(yīng)基于數(shù)據(jù)質(zhì)量評估過程及結(jié)果編制詳實的數(shù)據(jù)質(zhì)量評估報告，報告內(nèi)容應(yīng)包括但不限于評估結(jié)果、數(shù)據(jù)質(zhì)量分析、數(shù)據(jù)質(zhì)量存在問題以及數(shù)據(jù)質(zhì)量改進建議。4.4.2改進建議評估機構(gòu)應(yīng)及時向委托主體反饋數(shù)據(jù)質(zhì)量評估結(jié)果與數(shù)據(jù)質(zhì)量問題。評估機構(gòu)應(yīng)針對數(shù)據(jù)質(zhì)量結(jié)果制定數(shù)據(jù)質(zhì)量改進計劃，針對數(shù)據(jù)質(zhì)量問題制定具體改進措施，并根據(jù)數(shù)據(jù)質(zhì)量問題嚴重程度及對業(yè)務(wù)影響大小對改進措施進行優(yōu)先級排序。5判定方法5T/CECC32—2024數(shù)據(jù)質(zhì)量評分采用加權(quán)平均的方法計算，具體計算方法如公式（1）所示。D=ΣCiαi……（1）式中：D——數(shù)據(jù)質(zhì)量評分；n——指標類別數(shù)量；i——指標類別；C——單個指標類別內(nèi)指標分數(shù)之和；α——單個指標類別權(quán)重。數(shù)據(jù)質(zhì)量評分與數(shù)據(jù)質(zhì)量等級的對應(yīng)關(guān)系可參考表1。表1數(shù)據(jù)質(zhì)量評分與數(shù)據(jù)質(zhì)量等級對應(yīng)表6T/CECC32—2024（資料性）數(shù)據(jù)質(zhì)量評估指標參考不同場景對數(shù)據(jù)質(zhì)量評估的要求不同，對評估指標的側(cè)重與分值賦予情況也存在差異，實際評估過程中評估機構(gòu)應(yīng)根據(jù)評估目的與需求具體確定各指標的權(quán)重及賦值。根據(jù)指標要求進行賦值的形式如表A.1所示，表中賦值僅為示例。表A.1數(shù)據(jù)質(zhì)量評估指標及賦值5555535555555554553355557T/CECC32—2024參考文獻[1]《中共中央國務(wù)院關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》[2]ISO8000—1:2022Dataquality—Part1:Overview[3]ISO8000—2-2022Dataquality—Part2:Vocabulary[4]GB/T25000.12—20