2024年大模型賦能數(shù)據(jù)治理方案

目錄數(shù)據(jù)治理體系0102大模型賦能數(shù)據(jù)治理03結(jié)語01數(shù)據(jù)治理體系核心理念力維數(shù)據(jù)治理體系的核心理念：過程與成果并重，以成果引導(dǎo)過程過程“行”必有據(jù)“行”必有果最終成果成果“行”必有“管”體系建設(shè)流程通過將業(yè)務(wù)、制度、技術(shù)深度融合建設(shè)數(shù)據(jù)治理流程，保障技術(shù)體系的高效、穩(wěn)定運(yùn)行，主要包含數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)共享等流程技術(shù)通過技術(shù)體系建設(shè)保障業(yè)務(wù)目標(biāo)能夠?qū)崿F(xiàn)、制度體系能夠落實(shí)，最終實(shí)現(xiàn)戰(zhàn)略目標(biāo)，技術(shù)體系建設(shè)主要包含數(shù)據(jù)匯聚、數(shù)據(jù)存儲(chǔ)、分類分級(jí)、數(shù)據(jù)開發(fā)等技術(shù)內(nèi)容以推進(jìn)數(shù)據(jù)質(zhì)量提升、保障數(shù)據(jù)安全為基本目標(biāo)進(jìn)行“建章立制”，基本內(nèi)容包含數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)共享使用等制度制度戰(zhàn)略根據(jù)組織實(shí)際情況，建設(shè)長(zhǎng)期戰(zhàn)略、短中期目標(biāo)業(yè)務(wù)將數(shù)據(jù)戰(zhàn)略與組織業(yè)務(wù)進(jìn)行深度融合，制定組織各項(xiàng)業(yè)務(wù)目標(biāo)，并逐步實(shí)現(xiàn)0105040203數(shù)據(jù)治理體系過程建設(shè)標(biāo)準(zhǔn)設(shè)計(jì)數(shù)據(jù)匯聚數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量數(shù)據(jù)架構(gòu)數(shù)據(jù)分析元數(shù)據(jù)管理以“最終成果”為總目標(biāo)、階段成果為分級(jí)目標(biāo)將數(shù)據(jù)治理工作“化整為零”過程管理的核心01對(duì)內(nèi)，推動(dòng)數(shù)據(jù)治理工作高質(zhì)量持續(xù)開展02對(duì)外：推動(dòng)各參與方持續(xù)配合數(shù)據(jù)治理工作過程管理—任務(wù)池管理0102030405數(shù)據(jù)架構(gòu)數(shù)據(jù)匯聚數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理元數(shù)據(jù)管理1009080706……數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)數(shù)據(jù)服務(wù)數(shù)據(jù)融合建模分析數(shù)據(jù)治理任務(wù)池以“數(shù)據(jù)戰(zhàn)略”為導(dǎo)向，構(gòu)建階段性目標(biāo)并以此為基礎(chǔ)，建設(shè)數(shù)據(jù)治理任務(wù)池用以指導(dǎo)整個(gè)周期的數(shù)據(jù)治理工作過程管理—數(shù)據(jù)質(zhì)量報(bào)告設(shè)計(jì)數(shù)據(jù)質(zhì)量明細(xì)報(bào)告質(zhì)檢報(bào)告是是數(shù)據(jù)質(zhì)量管理工作的重要產(chǎn)物，是推動(dòng)數(shù)據(jù)數(shù)據(jù)治理工作的重要推手?jǐn)?shù)據(jù)質(zhì)量明細(xì)報(bào)告面向業(yè)務(wù)專項(xiàng)的數(shù)據(jù)質(zhì)量報(bào)告，主要描述了數(shù)據(jù)可用的部分?jǐn)?shù)據(jù)質(zhì)量駕駛艙面向領(lǐng)導(dǎo)層的數(shù)據(jù)質(zhì)量報(bào)告，重要描述項(xiàng)目所涉及數(shù)據(jù)的質(zhì)量分布和走勢(shì)問題數(shù)據(jù)報(bào)告面向數(shù)據(jù)來源部門的記錄級(jí)問題數(shù)據(jù)清單數(shù)據(jù)質(zhì)量駕駛艙問題數(shù)據(jù)明細(xì)02大模型賦能數(shù)據(jù)治理大模型與數(shù)據(jù)治理的關(guān)系數(shù)據(jù)治理通過數(shù)據(jù)治理工作的推進(jìn)，數(shù)據(jù)質(zhì)量不斷得到提升，不斷提升大模型所需數(shù)據(jù)的語料質(zhì)量大模型大模型的分析計(jì)算能力使數(shù)據(jù)質(zhì)量問題更加精確并豐富數(shù)據(jù)治理的技術(shù)、業(yè)務(wù)手段賦能體系建設(shè)01提示詞根據(jù)用戶性格、興趣點(diǎn)等因素構(gòu)建提示詞便于用戶快速訪問，快速交互，提升對(duì)數(shù)據(jù)治理過程的參與感、獲得感02數(shù)據(jù)治理知識(shí)庫建設(shè)基于數(shù)據(jù)治理階段性過程及成果（含每個(gè)實(shí)施階段的成果）、總體成果建設(shè)知識(shí)庫03業(yè)務(wù)知識(shí)庫建設(shè)基于調(diào)研記錄、官方材料、建設(shè)內(nèi)容、數(shù)據(jù)標(biāo)準(zhǔn)等材料，建設(shè)業(yè)務(wù)知識(shí)庫知識(shí)庫建設(shè)交互能力庫建設(shè)賦能途徑如何賦能？01提質(zhì)提升數(shù)據(jù)治理對(duì)業(yè)務(wù)的服務(wù)質(zhì)量，加強(qiáng)業(yè)務(wù)在數(shù)據(jù)治理過程中的參與感02降本降低數(shù)據(jù)治理實(shí)施成本，主要包含時(shí)間成本、業(yè)務(wù)損失成本等03增效豐富數(shù)據(jù)治理手段，提升數(shù)據(jù)治理效率賦能途徑大模型對(duì)數(shù)據(jù)治理工作的賦能主要體現(xiàn)在提質(zhì)、降本、增效三個(gè)方面提質(zhì)—術(shù)語體系建設(shè)主要包含業(yè)務(wù)領(lǐng)域、

業(yè)務(wù)流程、

業(yè)務(wù)規(guī)則、

業(yè)務(wù)需求、

業(yè)務(wù)價(jià)值、數(shù)據(jù)質(zhì)量要求主要包含技術(shù)實(shí)現(xiàn)路徑、

技術(shù)標(biāo)準(zhǔn)、技術(shù)規(guī)范等信息主要包含數(shù)據(jù)類型、

數(shù)據(jù)來源、

數(shù)據(jù)格式、

數(shù)據(jù)長(zhǎng)度依托大模型的理解能力，建設(shè)符合業(yè)務(wù)場(chǎng)景的術(shù)語體系，使數(shù)據(jù)部門與業(yè)務(wù)部門“有的聊”提質(zhì)—應(yīng)用建設(shè)大模型輔助分析數(shù)據(jù)資源目錄數(shù)據(jù)量數(shù)據(jù)質(zhì)量數(shù)據(jù)類型數(shù)據(jù)加工信息業(yè)務(wù)數(shù)據(jù)需求數(shù)據(jù)量要求數(shù)據(jù)質(zhì)量要求數(shù)據(jù)類型要求數(shù)據(jù)加工要求利用大模型將能基于業(yè)務(wù)側(cè)數(shù)據(jù)需求、數(shù)據(jù)服務(wù)體系對(duì)應(yīng)用場(chǎng)景的建設(shè)成果進(jìn)行初步分析和定性預(yù)估，使應(yīng)用場(chǎng)景建設(shè)更加合理提質(zhì)—數(shù)據(jù)質(zhì)量問題定位數(shù)據(jù)質(zhì)量稽核質(zhì)量報(bào)告產(chǎn)出質(zhì)量報(bào)告理解自助應(yīng)答數(shù)據(jù)質(zhì)量報(bào)告對(duì)于推動(dòng)數(shù)據(jù)治理工作高效推進(jìn)有著至關(guān)重要的作用，因此如何能夠讓決策者理解數(shù)據(jù)質(zhì)量問題稱為關(guān)鍵，建設(shè)全面的數(shù)據(jù)質(zhì)量報(bào)告，再借助大模型的理解能力能夠快速給決策定位當(dāng)前的數(shù)據(jù)質(zhì)量問題降本增效—數(shù)據(jù)質(zhì)量規(guī)則設(shè)計(jì)數(shù)據(jù)質(zhì)量稽核規(guī)則字段值結(jié)構(gòu)格式校驗(yàn)字段值業(yè)務(wù)合理性校驗(yàn)數(shù)據(jù)更新周期性校驗(yàn)數(shù)據(jù)完整性校驗(yàn)跨表/字段一致性校驗(yàn)字段值準(zhǔn)確校驗(yàn)主鍵是否重復(fù)校驗(yàn)空值校驗(yàn)更新及時(shí)性校驗(yàn)數(shù)據(jù)遷移一致性字典值域校驗(yàn)準(zhǔn)確性唯一性一致性完標(biāo)整性題及時(shí)性合理性規(guī)范性主鍵重復(fù)行校驗(yàn)數(shù)據(jù)重復(fù)行校驗(yàn)邏輯一致性校驗(yàn)表結(jié)構(gòu)校驗(yàn)業(yè)務(wù)邏輯值域校驗(yàn)身份證號(hào)校驗(yàn)示例：數(shù)據(jù)質(zhì)量規(guī)則設(shè)計(jì)完整性檢測(cè)設(shè)施編碼SSBM字符型64中文名字段名數(shù)據(jù)類型長(zhǎng)度值域及說明約束條件字段業(yè)務(wù)分級(jí)標(biāo)識(shí)碼BSM字符型32自動(dòng)生成，唯一MA行政區(qū)劃代碼XZQHDM字符型16行政區(qū)劃代碼表MA點(diǎn)位名稱DWMC字符型64MB設(shè)施名稱SSMC字符型64OB監(jiān)測(cè)類型JCLX字符型641：管網(wǎng)

2：廠站

3：居民用戶

4：非居民用戶MA廠站：關(guān)聯(lián)廠站屬性結(jié)構(gòu)表的原始庫主鍵標(biāo)志管網(wǎng)：1、管線關(guān)聯(lián)管線屬性結(jié)構(gòu)表的原始庫主鍵標(biāo)志；2、管點(diǎn)關(guān)聯(lián)管點(diǎn)屬性結(jié)構(gòu)表的原始庫主鍵標(biāo)志居民用戶：傳默認(rèn)值：99非居民用戶：關(guān)聯(lián)燃?xì)庥脩魧傩越Y(jié)構(gòu)表表的原始庫主鍵標(biāo)志MA空間信息KJXXGEOMETRY-MA原始庫主鍵標(biāo)志YSKZJBZ字符型64MA數(shù)據(jù)同步狀態(tài)SJTBZT字符型16MA同步時(shí)間TBSJ時(shí)間日期型-MA一致性檢測(cè)合理性檢測(cè)關(guān)聯(lián)性檢測(cè)唯一性檢測(cè)及時(shí)性檢測(cè)完整性和一致性檢測(cè)降本增效—提升業(yè)務(wù)理解01業(yè)務(wù)材料收集根據(jù)業(yè)務(wù)需求收集業(yè)務(wù)相關(guān)的材料，例如：訪談?dòng)涗?、國?biāo)文件、系統(tǒng)建設(shè)材料等02業(yè)務(wù)知識(shí)庫建設(shè)將材料進(jìn)行治理、分類、篩選，建設(shè)業(yè)務(wù)知識(shí)庫03場(chǎng)景訓(xùn)練將業(yè)務(wù)知識(shí)庫作為語料進(jìn)行場(chǎng)景訓(xùn)練04團(tuán)隊(duì)賦能大模型作為業(yè)務(wù)專家為數(shù)據(jù)團(tuán)隊(duì)進(jìn)行業(yè)務(wù)賦能使數(shù)據(jù)與業(yè)務(wù)能聊到一起降本增效—標(biāo)準(zhǔn)體系建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)基于業(yè)務(wù)建設(shè)需求，快速生成與業(yè)務(wù)需求相匹配的初步數(shù)據(jù)標(biāo)準(zhǔn)，主要含數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)對(duì)接方案等業(yè)務(wù)理解與權(quán)威的相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行橫向?qū)Ρ龋ɡ纾簢鴺?biāo)、行標(biāo)等），找不足，提升標(biāo)準(zhǔn)的結(jié)構(gòu)性、合理性、準(zhǔn)確性權(quán)威內(nèi)容提煉對(duì)人員修改的意見進(jìn)行再次復(fù)核，對(duì)數(shù)據(jù)標(biāo)準(zhǔn)體系的標(biāo)準(zhǔn)型進(jìn)行的修正，例如：錯(cuò)別字、語法錯(cuò)誤等內(nèi)容修正降本增效—元數(shù)據(jù)管理元數(shù)據(jù)變更評(píng)估對(duì)于各種元數(shù)據(jù)變更的生成快速