中國數(shù)據(jù)治理現(xiàn)狀調(diào)研報告202

2021年12月CONTENT11調(diào)研背景調(diào)研背景22主要結(jié)論主要結(jié)論33調(diào)研分析調(diào)研分析44發(fā)展建議發(fā)展建議PARTPART數(shù)據(jù)治理規(guī)范化、合法化勢在必行《中華人民共和國個人信息保護法》《中華人民共和國個人信息保護法》《中華人民共和國數(shù)據(jù)安全法》《工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)安全保護要求》《促進大數(shù)據(jù)發(fā)展行動綱要》數(shù)據(jù)治理市場增長迅速，但發(fā)展不均衡全國公共資源交易數(shù)據(jù)顯示，2021年成交的數(shù)據(jù)治理相關(guān)的建設(shè)項目已經(jīng)超過240個，連續(xù)兩50技術(shù)進步極大增強了數(shù)據(jù)治理的可操作性數(shù)據(jù)治理已經(jīng)成為企業(yè)急需解決的難題調(diào)研目的調(diào)研工作。通過調(diào)研各單位數(shù)據(jù)治理現(xiàn)狀，以及數(shù)據(jù)治理工作的難調(diào)研方法和樣本說明調(diào)研對象：企業(yè)中高級管理人員、信息技術(shù)調(diào)查問卷小組訪談?wù){(diào)查問卷小組訪談文獻研究CONTENT11調(diào)研背景調(diào)研背景22主要結(jié)論主要結(jié)論33調(diào)研分析調(diào)研分析44發(fā)展建議發(fā)展建議PARTPART主要結(jié)論數(shù)據(jù)治理已具備較好的技術(shù)基礎(chǔ)，近數(shù)據(jù)治理已具備較好的技術(shù)基礎(chǔ)，近90%的機開源是最廣泛被采用的技術(shù)體系。其中開源是最廣泛被采用的技術(shù)體系。其中Hadoop、Sp數(shù)據(jù)治理的驅(qū)動力來源主要是業(yè)務(wù)，數(shù)據(jù)治理內(nèi)驅(qū)力需要提升。同時在數(shù)據(jù)治數(shù)據(jù)治理的驅(qū)動力來源主要是業(yè)務(wù)，數(shù)據(jù)治理內(nèi)驅(qū)力需要提升。同時在數(shù)據(jù)治主要結(jié)論4數(shù)據(jù)安全正由“保護數(shù)據(jù)”擴展到“保護數(shù)據(jù)成果”、“保護數(shù)據(jù)資產(chǎn)”，各行業(yè)根據(jù)數(shù)據(jù)安全正由“保護數(shù)據(jù)”擴展到“保護數(shù)據(jù)成果”、“保護數(shù)據(jù)資產(chǎn)”，各行業(yè)根據(jù)各行業(yè)均存在人才不足情況，高端人才、數(shù)據(jù)分析人才缺口較大，各行業(yè)均在各行業(yè)均存在人才不足情況，高端人才、數(shù)據(jù)分析人才缺口較大，各行業(yè)均在CONTENT11調(diào)研背景調(diào)研背景22主要結(jié)論主要結(jié)論33調(diào)研分析調(diào)研分析44發(fā)展建議發(fā)展建議PARTPART近九成機構(gòu)已有或正在規(guī)劃建設(shè)大數(shù)據(jù)平臺63.7%的機構(gòu)已經(jīng)建立大數(shù)據(jù)平臺，22.5%的機構(gòu)正在規(guī)劃建設(shè)。大多數(shù)貴單位有沒有大數(shù)據(jù)平臺（總體）大數(shù)據(jù)平臺建設(shè)互聯(lián)網(wǎng)領(lǐng)先，政府和醫(yī)療正迎頭趕上接近90%的互聯(lián)網(wǎng)企業(yè)都建立了大數(shù)據(jù)平臺；未建設(shè)大數(shù)據(jù)平臺的政府機構(gòu)和醫(yī)將大數(shù)據(jù)平臺建設(shè)納入未來發(fā)展規(guī)劃中。貴單位有沒有大數(shù)據(jù)平臺（分行業(yè)）沒有大數(shù)據(jù)平臺且無規(guī)劃沒有大數(shù)據(jù)平臺，正在規(guī)劃中--政府--醫(yī)療-金融--互聯(lián)網(wǎng)--房地產(chǎn)開源是最廣泛被采用的技術(shù)架構(gòu)，其中Hadoop應(yīng)用最廣泛大數(shù)據(jù)平臺技術(shù)架構(gòu)，Hadoop、Spark處于絕對領(lǐng)先位置，比率分別為67.6%、41.2Clickhouse 88ClickHouse在互聯(lián)網(wǎng)行業(yè)已得到廣泛應(yīng)用Hadoop、Spark作為經(jīng)典的大數(shù)據(jù)技術(shù)，在調(diào)研行業(yè)被廣泛應(yīng)用。但是，將近60%的互聯(lián)網(wǎng)企業(yè)貴單位大數(shù)據(jù)平臺使用的基礎(chǔ)架構(gòu)有哪些（分行業(yè)）政府醫(yī)療金融互聯(lián)網(wǎng)房地產(chǎn)數(shù)據(jù)實時性有待提高貴單位大數(shù)據(jù)平臺數(shù)據(jù)的更新情況是（總體）互聯(lián)網(wǎng)數(shù)據(jù)更新實時性較好，其他行業(yè)有待提高其中，互聯(lián)網(wǎng)企業(yè)能做到即時更新、分鐘級業(yè)能做到及時更新，支持分鐘級更新的比率分別為28.6%、28.5%、16.貴單位大數(shù)據(jù)平臺數(shù)據(jù)的更新情況是（分行業(yè)）政府--醫(yī)療金融房地產(chǎn)數(shù)據(jù)集成的主要方式是ETL、數(shù)據(jù)庫同步和接口調(diào)用 訂閱%各行業(yè)數(shù)據(jù)集成方式呈多樣性，同時體現(xiàn)出行業(yè)差異性數(shù)據(jù)集成方式體現(xiàn)出不同行業(yè)業(yè)務(wù)特點，金融行業(yè)普遍采用ETL、數(shù)據(jù)庫同據(jù)；房地產(chǎn)行業(yè)普遍采用接口、文件、數(shù)據(jù)庫同步集成貴單位的大數(shù)據(jù)平臺獲取/集成數(shù)據(jù)的主要方式有哪些（分行業(yè)）政府醫(yī)療金融互聯(lián)網(wǎng)房地產(chǎn)多源數(shù)據(jù)處理機制傾向“一數(shù)一源”44.1%按照“一數(shù)一源”的方式獲取數(shù)據(jù)；23.5%按照數(shù)據(jù)的時效性進行選擇；22.5%的企業(yè)會保保留多個版本，讓使用者選擇保留多個版本，讓使用者選擇44多源數(shù)據(jù)政府側(cè)重由使用者選擇，互聯(lián)網(wǎng)側(cè)重根據(jù)時效性選擇政府機構(gòu)的數(shù)據(jù)獲取的方式主要是保留數(shù)據(jù)的多個版本業(yè)比較傾向于根據(jù)數(shù)據(jù)的時效性進行選擇，比率其他保留多個版本，讓使用者選擇按照數(shù)據(jù)的時效性進行選擇按照“一數(shù)一源”進行數(shù)據(jù)獲取政府醫(yī)療金融互聯(lián)網(wǎng)房地產(chǎn)數(shù)據(jù)源變更近一半還需要人工處理，不能實現(xiàn)自動化47.4%的機構(gòu)數(shù)據(jù)源變更的處理機制是人工處理，32.5%的機構(gòu)數(shù)據(jù)源變更由系統(tǒng)金融、互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)源變更處理自動化程度更高貴單位數(shù)據(jù)源變更的處理機制是（分行業(yè)）--政府--醫(yī)療--金融--互聯(lián)網(wǎng)--房地產(chǎn)數(shù)據(jù)治理目前側(cè)重系統(tǒng)建設(shè)，治理管理有待加強60%以上的機構(gòu)集中于數(shù)據(jù)標準化管理、元數(shù)據(jù)管理、數(shù)據(jù)共享交換、主數(shù)設(shè)，而在數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)生命周期、時序數(shù)據(jù)管理等數(shù)據(jù)治理能力數(shù)據(jù)資產(chǎn)、數(shù)據(jù)共享交換、元數(shù)據(jù)系統(tǒng)建設(shè)呈兩極化分布政府和金融注重數(shù)據(jù)安全管理和數(shù)據(jù)共享交換；互聯(lián)網(wǎng)注重數(shù)據(jù)資產(chǎn)管理和元貴單位現(xiàn)有與數(shù)據(jù)治理相關(guān)的系統(tǒng)（分行業(yè)）政府醫(yī)療金融互聯(lián)網(wǎng)房地產(chǎn)業(yè)務(wù)驅(qū)動是數(shù)據(jù)治理的核心動力依托數(shù)據(jù)資源目錄進行數(shù)據(jù)治理依托數(shù)據(jù)管控系統(tǒng)進行數(shù)據(jù)治理%不同行業(yè)數(shù)據(jù)治理工作管理方式存在較大差異貴單位目前數(shù)據(jù)治理工作的管理方式（分行業(yè)）--政府--醫(yī)療--金融--互聯(lián)網(wǎng)--房地產(chǎn)理理理數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量是當前數(shù)據(jù)治理的建設(shè)重點數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量管控等數(shù)據(jù)治理相關(guān)模塊的比率分別為65. 數(shù)據(jù)戰(zhàn)略與規(guī)劃信息項管理%%各行業(yè)對數(shù)據(jù)治理的規(guī)劃重點差異性較大政府側(cè)重于數(shù)據(jù)標準和信息資源編目；醫(yī)療行業(yè)側(cè)重于數(shù)據(jù)清洗；金融行業(yè)側(cè)貴單位已規(guī)劃了哪些數(shù)據(jù)治理模塊（分行業(yè)）政府醫(yī)療金融互聯(lián)網(wǎng)房地產(chǎn)數(shù)據(jù)治理考評機制嚴重缺位52.9%的機構(gòu)沒有建立數(shù)據(jù)治理相關(guān)的評價體系和考核機制，2貴單位是否已建立數(shù)據(jù)治理的評價體系和考核機制（總體）金融行業(yè)評價體系和考核機制建設(shè)表現(xiàn)相對較好金融和互聯(lián)網(wǎng)數(shù)據(jù)治理的評價體系和考核機制的普及率最貴單位是否已建立數(shù)據(jù)治理的評價體系和考核機制(分行業(yè))已建立相關(guān)考評機制未建立相數(shù)據(jù)質(zhì)量管理工作最大困境：有制度無執(zhí)行數(shù)據(jù)顯示，74.5%的機構(gòu)制定數(shù)據(jù)質(zhì)量管理制度或辦法，但同時在專崗，但同時存在缺乏完整的管理、告警機制的在日常統(tǒng)計分析中發(fā)現(xiàn)并提出數(shù)據(jù)質(zhì)量問題，但在部門在日常統(tǒng)計分析中發(fā)現(xiàn)并提出數(shù)據(jù)質(zhì)量問題，但在部門定期進行數(shù)據(jù)質(zhì)量評估工作，形成數(shù)據(jù)質(zhì)量評估定期對數(shù)據(jù)進行質(zhì)量檢查，發(fā)現(xiàn)并及時解決質(zhì)量統(tǒng)一收集和管理，有完善的管理流程、檢查、告警%互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)治理管理工作制度最健全、執(zhí)行最到位政府、醫(yī)療普遍存在有制度但無落地的情況，政府在“存在集中管理，但缺乏完整制”的比率分別達到90%、33.5%；醫(yī)療“在日常統(tǒng)計分析中發(fā)現(xiàn)并提貴單位如何開展數(shù)據(jù)質(zhì)量管理工作（分行業(yè)）--政府--醫(yī)療--金融--互聯(lián)網(wǎng)--房地產(chǎn)A:實時監(jiān)控和跟蹤數(shù)據(jù)質(zhì)量，形成數(shù)J:設(shè)立專門的數(shù)據(jù)質(zhì)量管理組織和人影響數(shù)據(jù)質(zhì)量的因素復(fù)雜化多元化數(shù)據(jù)準確性、數(shù)據(jù)完整性、數(shù)據(jù)一致性、數(shù)據(jù)時效性都是影響數(shù)據(jù)質(zhì)量的突 影響數(shù)據(jù)質(zhì)量的原因具有共性，同時也有行業(yè)差異性就政府行業(yè)而言，數(shù)據(jù)目錄的顆粒度是一個重要因素；就金融行業(yè)是影響數(shù)據(jù)質(zhì)量的重要因素；就房地產(chǎn)行業(yè)而言，數(shù)據(jù)隱私性和數(shù)據(jù)完影響數(shù)據(jù)質(zhì)量的因素有哪些（分行業(yè)）--政府--醫(yī)療--金融--互聯(lián)網(wǎng)--房地產(chǎn)數(shù)據(jù)分析主要應(yīng)用場景集中在決策支持和日常展示數(shù)據(jù)分析應(yīng)用場景與行業(yè)屬性緊密相關(guān)貴單位數(shù)據(jù)分析應(yīng)用的范圍有哪些（分行業(yè)）--政府--醫(yī)療--金融--互聯(lián)網(wǎng)--房地產(chǎn)各行業(yè)均采用多種手段保護數(shù)據(jù)成果76.5%的機構(gòu)數(shù)據(jù)成果安全保護措施為日志管理和審計；56.9%建立數(shù)據(jù)安全域；52.9%的機構(gòu)數(shù)據(jù)成果安全保護措施為數(shù)據(jù)脫敏；5外部各方數(shù)據(jù)訪問審核各行業(yè)數(shù)據(jù)成果安全保護措施側(cè)重點有所差異金融行業(yè)數(shù)據(jù)成果安全保護措施集中在數(shù)據(jù)脫敏和數(shù)據(jù)加密傳輸；互聯(lián)網(wǎng)貴單位數(shù)據(jù)成果的安全保護措施有哪些（分行業(yè)）--政府--醫(yī)療--金融--互聯(lián)網(wǎng)--房地產(chǎn)數(shù)據(jù)開放應(yīng)用管控方式以可用可見為主數(shù)據(jù)開放應(yīng)用管控的方式，可用可見不可存儲、可用可見可存不可他用和分別是31.4%、22.5%、16.7%；可用不可見的比率是26數(shù)據(jù)應(yīng)用管控政府以面向公共服務(wù)為主，其他行業(yè)以自用為主您認為數(shù)據(jù)開放應(yīng)用管控方式是（分行業(yè)） 其他可用可見可存可他用可用可見可存不可他用可用不可見--政府--醫(yī)療--金融--互聯(lián)網(wǎng)--房地產(chǎn)人才問題是數(shù)據(jù)治理面臨的主要問題%%數(shù)據(jù)治理不同階段面臨的問題有顯著區(qū)別其中，互聯(lián)網(wǎng)數(shù)據(jù)治理工作開展比較久，面臨的問題主要是缺乏專業(yè)的數(shù)據(jù)治理人才、多套口徑標準混亂、缺乏數(shù)據(jù)治理工具；房地產(chǎn)行業(yè)剛開展數(shù)據(jù)治理工作，面臨的問題主要是數(shù)據(jù)標準缺失和貴單位在數(shù)據(jù)治理工作中最常遇到的問題有（分行業(yè)）政府醫(yī)療金融互聯(lián)網(wǎng)房地產(chǎn)數(shù)據(jù)分析、處理能力不足導(dǎo)致數(shù)據(jù)應(yīng)用難數(shù)據(jù)應(yīng)用工作最常遇到的問題中，84.3%是數(shù)據(jù)分析人才缺乏的問題；78.4%是問題；70.6%是數(shù)據(jù)處理能力不足的問題；62.7%是無法利用不同數(shù)據(jù)庫進貴單位在數(shù)據(jù)應(yīng)用工作中常遇到的問題有（總體）各行業(yè)業(yè)務(wù)不同，數(shù)據(jù)應(yīng)用遇到的問題也不同94.4%的互聯(lián)網(wǎng)企業(yè)最常遇到的問題是數(shù)據(jù)分析人才缺乏；房地產(chǎn)最常遇到療最常遇到的問題是無法利用不同數(shù)據(jù)庫數(shù)據(jù)進行聯(lián)合分析；金融最常遇到的問題是貴單位在數(shù)據(jù)應(yīng)用工作中常遇到的問題有（分行業(yè)）A:其他--政府--醫(yī)療--金融--互聯(lián)網(wǎng)--房地產(chǎn)企業(yè)大數(shù)據(jù)團隊構(gòu)成的主要方式是外包+自建貴單位目前數(shù)據(jù)團隊人員情況（總體）互聯(lián)網(wǎng)更傾向于自建，其他行業(yè)更傾向于購買服務(wù)72.2%的互聯(lián)網(wǎng)企業(yè)大數(shù)據(jù)團隊為自建團隊，政府機構(gòu)和醫(yī)療單位以及貴單位目前數(shù)據(jù)團隊人員情況（分行業(yè)）政府醫(yī)療金融互聯(lián)網(wǎng)房地產(chǎn)未來急需數(shù)據(jù)分析工程師和數(shù)據(jù)安全工程師70%以上的企業(yè)缺乏數(shù)據(jù)分析工程師、數(shù)據(jù)安全工程師；同時，師、業(yè)務(wù)方向的數(shù)據(jù)分析工程師、數(shù)據(jù)平臺運維工程師的比率分別為58.8%數(shù)據(jù)分析師不足在各行業(yè)都比較突出房地產(chǎn)、互聯(lián)網(wǎng)、醫(yī)療、政府行業(yè)未來最急需的數(shù)據(jù)治理人才是數(shù)據(jù)分析工貴單位現(xiàn)在及未來最急需的數(shù)據(jù)治理人才有哪些（分行業(yè)）政府醫(yī)療金融互聯(lián)網(wǎng)房地產(chǎn)大數(shù)據(jù)高端人才的缺乏是各行業(yè)普遍面臨的困境77.5%的機構(gòu)在大數(shù)據(jù)人才方面存在的主要問題是缺乏數(shù)據(jù)治理高端預(yù)算不足、人才數(shù)量不夠；44.1%的主要原因是基礎(chǔ)人才不夠；41.2%金融、房地