2024年大模型賦能數(shù)據(jù)治理方案

目錄數(shù)據(jù)治理體系0102大模型賦能數(shù)據(jù)治理03結(jié)語01數(shù)據(jù)治理體系核心理念力維數(shù)據(jù)治理體系的核心理念：過程與成果并重，以成果引導(dǎo)過程過程“行”必有據(jù)“行”必有果最終成果成果“行”必有“管”體系建設(shè)流程通過將業(yè)務(wù)、制度、技術(shù)深度融合建設(shè)數(shù)據(jù)治理流程，保障技術(shù)體系的高效、穩(wěn)定運行，主要包含數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)共享等流程技術(shù)通過技術(shù)體系建設(shè)保障業(yè)務(wù)目標能夠?qū)崿F(xiàn)、制度體系能夠落實，最終實現(xiàn)戰(zhàn)略目標，技術(shù)體系建設(shè)主要包含數(shù)據(jù)匯聚、數(shù)據(jù)存儲、分類分級、數(shù)據(jù)開發(fā)等技術(shù)內(nèi)容以推進數(shù)據(jù)質(zhì)量提升、保障數(shù)據(jù)安全為基本目標進行“建章立制”，基本內(nèi)容包含數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)共享使用等制度制度戰(zhàn)略根據(jù)組織實際情況，建設(shè)長期戰(zhàn)略、短中期目標業(yè)務(wù)將數(shù)據(jù)戰(zhàn)略與組織業(yè)務(wù)進行深度融合，制定組織各項業(yè)務(wù)目標，并逐步實現(xiàn)0105040203數(shù)據(jù)治理體系過程建設(shè)標準設(shè)計數(shù)據(jù)匯聚數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量數(shù)據(jù)架構(gòu)數(shù)據(jù)分析元數(shù)據(jù)管理以“最終成果”為總目標、階段成果為分級目標將數(shù)據(jù)治理工作“化整為零”過程管理的核心01對內(nèi)，推動數(shù)據(jù)治理工作高質(zhì)量持續(xù)開展02對外：推動各參與方持續(xù)配合數(shù)據(jù)治理工作過程管理—任務(wù)池管理0102030405數(shù)據(jù)架構(gòu)數(shù)據(jù)匯聚數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理元數(shù)據(jù)管理1009080706……數(shù)據(jù)標準數(shù)據(jù)資產(chǎn)數(shù)據(jù)服務(wù)數(shù)據(jù)融合建模分析數(shù)據(jù)治理任務(wù)池以“數(shù)據(jù)戰(zhàn)略”為導(dǎo)向，構(gòu)建階段性目標并以此為基礎(chǔ)，建設(shè)數(shù)據(jù)治理任務(wù)池用以指導(dǎo)整個周期的數(shù)據(jù)治理工作過程管理—數(shù)據(jù)質(zhì)量報告設(shè)計數(shù)據(jù)質(zhì)量明細報告質(zhì)檢報告是是數(shù)據(jù)質(zhì)量管理工作的重要產(chǎn)物，是推動數(shù)據(jù)數(shù)據(jù)治理工作的重要推手數(shù)據(jù)質(zhì)量明細報告面向業(yè)務(wù)專項的數(shù)據(jù)質(zhì)量報告，主要描述了數(shù)據(jù)可用的部分數(shù)據(jù)質(zhì)量駕駛艙面向領(lǐng)導(dǎo)層的數(shù)據(jù)質(zhì)量報告，重要描述項目所涉及數(shù)據(jù)的質(zhì)量分布和走勢問題數(shù)據(jù)報告面向數(shù)據(jù)來源部門的記錄級問題數(shù)據(jù)清單數(shù)據(jù)質(zhì)量駕駛艙問題數(shù)據(jù)明細02大模型賦能數(shù)據(jù)治理大模型與數(shù)據(jù)治理的關(guān)系數(shù)據(jù)治理通過數(shù)據(jù)治理工作的推進，數(shù)據(jù)質(zhì)量不斷得到提升，不斷提升大模型所需數(shù)據(jù)的語料質(zhì)量大模型大模型的分析計算能力使數(shù)據(jù)質(zhì)量問題更加精確并豐富數(shù)據(jù)治理的技術(shù)、業(yè)務(wù)手段賦能體系建設(shè)01提示詞根據(jù)用戶性格、興趣點等因素構(gòu)建提示詞便于用戶快速訪問，快速交互，提升對數(shù)據(jù)治理過程的參與感、獲得感02數(shù)據(jù)治理知識庫建設(shè)基于數(shù)據(jù)治理階段性過程及成果（含每個實施階段的成果）、總體成果建設(shè)知識庫03業(yè)務(wù)知識庫建設(shè)基于調(diào)研記錄、官方材料、建設(shè)內(nèi)容、數(shù)據(jù)標準等材料，建設(shè)業(yè)務(wù)知識庫知識庫建設(shè)交互能力庫建設(shè)賦能途徑如何賦能？01提質(zhì)提升數(shù)據(jù)治理對業(yè)務(wù)的服務(wù)質(zhì)量，加強業(yè)務(wù)在數(shù)據(jù)治理過程中的參與感02降本降低數(shù)據(jù)治理實施成本，主要包含時間成本、業(yè)務(wù)損失成本等03增效豐富數(shù)據(jù)治理手段，提升數(shù)據(jù)治理效率賦能途徑大模型對數(shù)據(jù)治理工作的賦能主要體現(xiàn)在提質(zhì)、降本、增效三個方面提質(zhì)—術(shù)語體系建設(shè)主要包含業(yè)務(wù)領(lǐng)域、

業(yè)務(wù)流程、

業(yè)務(wù)規(guī)則、

業(yè)務(wù)需求、

業(yè)務(wù)價值、數(shù)據(jù)質(zhì)量要求主要包含技術(shù)實現(xiàn)路徑、

技術(shù)標準、技術(shù)規(guī)范等信息主要包含數(shù)據(jù)類型、

數(shù)據(jù)來源、

數(shù)據(jù)格式、

數(shù)據(jù)長度依托大模型的理解能力，建設(shè)符合業(yè)務(wù)場景的術(shù)語體系，使數(shù)據(jù)部門與業(yè)務(wù)部門“有的聊”提質(zhì)—應(yīng)用建設(shè)大模型輔助分析數(shù)據(jù)資源目錄數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)類型數(shù)據(jù)加工信息業(yè)務(wù)數(shù)據(jù)需求數(shù)據(jù)量要求數(shù)據(jù)質(zhì)量要求數(shù)據(jù)類型要求數(shù)據(jù)加工要求利用大模型將能基于業(yè)務(wù)側(cè)數(shù)據(jù)需求、數(shù)據(jù)服務(wù)體系對應(yīng)用場景的建設(shè)成果進行初步分析和定性預(yù)估，使應(yīng)用場景建設(shè)更加合理提質(zhì)—數(shù)據(jù)質(zhì)量問題定位數(shù)據(jù)質(zhì)量稽核質(zhì)量報告產(chǎn)出質(zhì)量報告理解自助應(yīng)答數(shù)據(jù)質(zhì)量報告對于推動數(shù)據(jù)治理工作高效推進有著至關(guān)重要的作用，因此如何能夠讓決策者理解數(shù)據(jù)質(zhì)量問題稱為關(guān)鍵，建設(shè)全面的數(shù)據(jù)質(zhì)量報告，再借助大模型的理解能力能夠快速給決策定位當(dāng)前的數(shù)據(jù)質(zhì)量問題降本增效—數(shù)據(jù)質(zhì)量規(guī)則設(shè)計數(shù)據(jù)質(zhì)量稽核規(guī)則字段值結(jié)構(gòu)格式校驗字段值業(yè)務(wù)合理性校驗數(shù)據(jù)更新周期性校驗數(shù)據(jù)完整性校驗跨表/字段一致性校驗字段值準確校驗主鍵是否重復(fù)校驗空值校驗更新及時性校驗數(shù)據(jù)遷移一致性字典值域校驗準確性唯一性一致性完標整性題及時性合理性規(guī)范性主鍵重復(fù)行校驗數(shù)據(jù)重復(fù)行校驗邏輯一致性校驗表結(jié)構(gòu)校驗業(yè)務(wù)邏輯值域校驗身份證號校驗示例：數(shù)據(jù)質(zhì)量規(guī)則設(shè)計完整性檢測設(shè)施編碼SSBM字符型64中文名字段名數(shù)據(jù)類型長度值域及說明約束條件字段業(yè)務(wù)分級標識碼BSM字符型32自動生成，唯一MA行政區(qū)劃代碼XZQHDM字符型16行政區(qū)劃代碼表MA點位名稱DWMC字符型64MB設(shè)施名稱SSMC字符型64OB監(jiān)測類型JCLX字符型641：管網(wǎng)

2：廠站

3：居民用戶

4：非居民用戶MA廠站：關(guān)聯(lián)廠站屬性結(jié)構(gòu)表的原始庫主鍵標志管網(wǎng)：1、管線關(guān)聯(lián)管線屬性結(jié)構(gòu)表的原始庫主鍵標志；2、管點關(guān)聯(lián)管點屬性結(jié)構(gòu)表的原始庫主鍵標志居民用戶：傳默認值：99非居民用戶：關(guān)聯(lián)燃氣用戶屬性結(jié)構(gòu)表表的原始庫主鍵標志MA空間信息KJXXGEOMETRY-MA原始庫主鍵標志YSKZJBZ字符型64MA數(shù)據(jù)同步狀態(tài)SJTBZT字符型16MA同步時間TBSJ時間日期型-MA一致性檢測合理性檢測關(guān)聯(lián)性檢測唯一性檢測及時性檢測完整性和一致性檢測降本增效—提升業(yè)務(wù)理解01業(yè)務(wù)材料收集根據(jù)業(yè)務(wù)需求收集業(yè)務(wù)相關(guān)的材料，例如：訪談記錄、國標文件、系統(tǒng)建設(shè)材料等02業(yè)務(wù)知識庫建設(shè)將材料進行治理、分類、篩選，建設(shè)業(yè)務(wù)知識庫03場景訓(xùn)練將業(yè)務(wù)知識庫作為語料進行場景訓(xùn)練04團隊賦能大模型作為業(yè)務(wù)專家為數(shù)據(jù)團隊進行業(yè)務(wù)賦能使數(shù)據(jù)與業(yè)務(wù)能聊到一起降本增效—標準體系建設(shè)數(shù)據(jù)標準體系建設(shè)基于業(yè)務(wù)建設(shè)需求，快速生成與業(yè)務(wù)需求相匹配的初步數(shù)據(jù)標準，主要含數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)對接方案等業(yè)務(wù)理解與權(quán)威的相關(guān)數(shù)據(jù)標準進行橫向?qū)Ρ龋ɡ纾簢鴺?、行標等），找不足，提升標準的結(jié)構(gòu)性、合理性、準確性權(quán)威內(nèi)容提煉對人員修改的意見進行再次復(fù)核，對數(shù)據(jù)標準體系的標準型進行的修正，例如：錯別字、語法錯誤等內(nèi)容修正降本增效—元數(shù)據(jù)管理元數(shù)據(jù)變更評估對于各種元數(shù)據(jù)變更的生成快速