睿治數(shù)據(jù)治理平臺(tái) 技術(shù)白皮書(shū)

41.1關(guān)于本白書(shū)皮 41.2數(shù)據(jù)治理定義 41.3數(shù)據(jù)治理的重要性 41.3.1企業(yè)所面臨的問(wèn)題 41.3.2數(shù)據(jù)治理可以解決什么問(wèn)題 61.4數(shù)據(jù)治理的現(xiàn)狀與發(fā)展趨勢(shì) 71.4.1數(shù)據(jù)治理現(xiàn)狀 71.4.2云端崛起 71.4.3與人工智能握手 7 8 8 8 92.1睿治涵蓋 92.2平臺(tái)價(jià)值 2.3平臺(tái)架構(gòu) 2.4核心優(yōu)勢(shì) 2.4.1各產(chǎn)品模塊高度融合 2.4.2先進(jìn)的產(chǎn)品設(shè)計(jì)理念 2.4.3專(zhuān)業(yè)的服務(wù)保障團(tuán)隊(duì) 2.4.4豐富的項(xiàng)目實(shí)踐經(jīng)驗(yàn) 2.5項(xiàng)目實(shí)施指導(dǎo)文件 153.1元數(shù)據(jù)驅(qū)動(dòng) 3.1.1規(guī)范的元模型管理 3.1.2強(qiáng)大的元數(shù)據(jù)版本管理 3.1.3端到端的自動(dòng)化采集 3.1.4豐富的元數(shù)據(jù)分析應(yīng)用 3.1.5出色的元數(shù)據(jù)檢核機(jī)制 20 3.2數(shù)據(jù)標(biāo)準(zhǔn)建設(shè) 213.2.1配置靈活的數(shù)據(jù)標(biāo)準(zhǔn)屬性 213.2.2方式豐富的數(shù)據(jù)標(biāo)準(zhǔn)錄入 223.2.3完備的數(shù)據(jù)標(biāo)準(zhǔn)審批 233.2.4先進(jìn)的數(shù)據(jù)標(biāo)準(zhǔn)落地映射 243.2.5智能精確的數(shù)據(jù)標(biāo)準(zhǔn)落地評(píng)估 243.2.6靈活有效的數(shù)據(jù)標(biāo)準(zhǔn)監(jiān)控 253.2.7細(xì)致自主的數(shù)據(jù)整改計(jì)劃 263.3數(shù)據(jù)質(zhì)量控制 273.3.1多角度的規(guī)則管理 273.3.2全面的監(jiān)控管理 283.3.3詳盡的結(jié)果管理 283.3.4多樣的統(tǒng)計(jì)分析 283.3.5可定義的績(jī)效管理 283.4數(shù)據(jù)整合處理 293.4.1多樣的增量捕獲和數(shù)據(jù)裝載 293.4.2便捷的拖拽式流程設(shè)計(jì)器 293.4.3可視化的調(diào)試和預(yù)裝載 293.4.4豐富的數(shù)據(jù)處理組件 293.4.5“零”表達(dá)式清洗組件 303.4.6靈活的調(diào)試服務(wù) 313.5主數(shù)據(jù)共享 313.5.1保證企業(yè)“黃金”數(shù)據(jù)一致性 313.5.2多樣化的主數(shù)據(jù)來(lái)源 323.5.3靈活的主數(shù)據(jù)更新策略 323.5.4跨源數(shù)據(jù)整合與去除重復(fù)數(shù)據(jù) 333.5.5多維度的主數(shù)據(jù)監(jiān)控 333.6數(shù)據(jù)資產(chǎn)應(yīng)用 343.6.1不同視角的數(shù)據(jù)資產(chǎn)編目 343.6.2強(qiáng)大的數(shù)據(jù)資產(chǎn)檢索 353.6.3豐富的數(shù)據(jù)資產(chǎn)應(yīng)用 363.6.4高效全面的數(shù)據(jù)資產(chǎn)分析 373.7數(shù)據(jù)生命周期監(jiān)控 383.7.1便捷的數(shù)據(jù)資產(chǎn)歸檔 383.7.2睿智的數(shù)據(jù)資產(chǎn)銷(xiāo)毀 393.7.3可視化的數(shù)據(jù)生命周期監(jiān)控 403.8數(shù)據(jù)傳輸交換 413.8.1跨源數(shù)據(jù)交換 413.8.2多類(lèi)型數(shù)據(jù)交換 413.8.3靈活的任務(wù)調(diào)度 423.8.4豐富的組件庫(kù) 423.9數(shù)據(jù)安全管控 433.9.1多類(lèi)型的安全規(guī)范管理 433.9.2多級(jí)別的敏感數(shù)據(jù)監(jiān)控 433.9.3全面的異常行為監(jiān)控 443.9.4細(xì)致的歷史帳號(hào)查詢 463.9.5全方位的數(shù)據(jù)資產(chǎn)加密 473.9.6多場(chǎng)景的數(shù)據(jù)資產(chǎn)脫敏 473.9.7嚴(yán)密的權(quán)限管理 473.10平臺(tái)系統(tǒng)管理 483.10.1個(gè)性化的門(mén)戶定義 483.10.2靈活細(xì)致的權(quán)限管理 483.10.3簡(jiǎn)便的備份恢復(fù) 493.10.4詳細(xì)的系統(tǒng)日志記錄 493.10.5統(tǒng)一的調(diào)度管理 503.10.6直觀的工作流管理 523.10.7完善的系統(tǒng)監(jiān)控體系 53 534.1高擴(kuò)展 53 534.3全方位 544.4高性能 54 551.1.服務(wù)器配置推薦 551.2.客戶端配置 551.2.1.客戶端(建議配置) 551.2.2.客戶端瀏覽器 56 566.1金融行業(yè)典型案例 566.1.1中國(guó)農(nóng)業(yè)發(fā)展銀行-數(shù)據(jù)倉(cāng)庫(kù)、質(zhì)量綜合平臺(tái) 56 6.1.2中國(guó)進(jìn)出口銀行-數(shù)據(jù)標(biāo)準(zhǔn)實(shí)施工作 58 6.2政府項(xiàng)目典型案例 596.2.1禪城區(qū)大數(shù)據(jù)統(tǒng)籌局?jǐn)?shù)據(jù)治理項(xiàng)目 59 6.2.2衛(wèi)計(jì)委-數(shù)據(jù)質(zhì)量管控系統(tǒng) 61 6.3機(jī)構(gòu)項(xiàng)目典型案例 626.3.1高級(jí)人民法院-元數(shù)據(jù)管理平臺(tái) 62 6.4企業(yè)項(xiàng)目典型案例 641.1關(guān)于本白書(shū)皮1.2數(shù)據(jù)治理定義1.3數(shù)據(jù)治理的重要性1.3.1企業(yè)所面臨的問(wèn)題對(duì)于已然形成的大量數(shù)據(jù)，系統(tǒng)悠久，找不到接1.3.2數(shù)據(jù)治理可以解決什么問(wèn)題面提升政府和企業(yè)數(shù)據(jù)的完整性、準(zhǔn)確性、及時(shí)性，減少因數(shù)據(jù)5.提升政府和企業(yè)數(shù)據(jù)資產(chǎn)安全性，并幫助建立1.4數(shù)據(jù)治理的現(xiàn)狀與發(fā)展趨勢(shì)1.4.1數(shù)據(jù)治理現(xiàn)狀1.4.2云端崛起1.4.3與人工智能握手億信睿治平臺(tái)是北京億信華辰軟件有限責(zé)任公司自主研發(fā)的由多個(gè)產(chǎn)品組成的一的全過(guò)程的監(jiān)控和治理，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理，為企業(yè)保證了業(yè)務(wù)數(shù)據(jù)在采集、集中、持一致性、規(guī)范性，提高數(shù)據(jù)管控的效率，完善數(shù)據(jù)治理體對(duì)數(shù)據(jù)的全生命周期進(jìn)行管理，主要是根據(jù)設(shè)置對(duì)數(shù)據(jù)進(jìn)行自動(dòng)歸檔和銷(xiāo)全面提升企業(yè)的數(shù)據(jù)質(zhì)量，深度再造與數(shù)據(jù)相關(guān)的業(yè)務(wù)流程，滿足業(yè)健全的數(shù)據(jù)資產(chǎn)管理，滿足風(fēng)險(xiǎn)管理、成本核算、績(jī)數(shù)據(jù)處理層，主要包括元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)集、血緣分析、影響分析、全鏈分析，元數(shù)據(jù)變更管可定義數(shù)據(jù)標(biāo)準(zhǔn)、標(biāo)準(zhǔn)落地、標(biāo)準(zhǔn)評(píng)估監(jiān)控，及標(biāo)準(zhǔn)數(shù)據(jù)共享層，主要包括主數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)動(dòng)識(shí)別，主數(shù)據(jù)的同步與檢索等；數(shù)據(jù)資產(chǎn)管理包應(yīng)用層，該層主要通過(guò)平臺(tái)便捷的應(yīng)用功能，從而改善決策支2.4核心優(yōu)勢(shì)2.4.1各產(chǎn)品模塊高度融合2.4.2先進(jìn)的產(chǎn)品設(shè)計(jì)理念睿治平臺(tái)采用成熟的體系結(jié)構(gòu)，具有國(guó)內(nèi)先進(jìn)水平，設(shè)計(jì)過(guò)程充分依照國(guó)際規(guī)范、程序具備自檢、故障診斷等功能，在出現(xiàn)系統(tǒng)異常時(shí)，能及時(shí)、快速地進(jìn)行自我修復(fù)，2.4.3專(zhuān)業(yè)的服務(wù)保障團(tuán)隊(duì)億信華辰具有300+大數(shù)據(jù)分析師和實(shí)施顧問(wèn)、180+研發(fā)專(zhuān)家所組成的專(zhuān)業(yè)工具、方法、模板進(jìn)行咨詢方案設(shè)計(jì)，也可對(duì)數(shù)據(jù)治理的策略、組織架構(gòu)、處理流程、2.4.4豐富的項(xiàng)目實(shí)踐經(jīng)驗(yàn)2.5項(xiàng)目實(shí)施指導(dǎo)文件企業(yè)數(shù)據(jù)治理不是一蹴而就的，需要一個(gè)長(zhǎng)期的規(guī)劃3平臺(tái)特色功能3.1元數(shù)據(jù)驅(qū)動(dòng)3.1.1規(guī)范的元模型管理元模型支持發(fā)布功能，只有發(fā)布后的元模型才可被元數(shù)據(jù)使用，同時(shí)3.1.2強(qiáng)大的元數(shù)據(jù)版本管理元數(shù)據(jù)管理功能提供各類(lèi)元數(shù)據(jù)管理，包括：業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)3.1.3端到端的自動(dòng)化采集3.1.4豐富的元數(shù)據(jù)分析應(yīng)用血緣分析是對(duì)指定元數(shù)據(jù)的起源及其推移位置的分析。它反應(yīng)數(shù)據(jù)的影響分析幫助用戶迅速了解分析對(duì)象的下游數(shù)據(jù)信息，快速全鏈分析是用來(lái)分析指定元數(shù)據(jù)前后與其有關(guān)系的所有元數(shù)據(jù)，不僅反應(yīng)了元數(shù)據(jù)關(guān)聯(lián)度分析是從關(guān)系數(shù)量的角度對(duì)指定元數(shù)據(jù)進(jìn)行分屬性差異分析是用來(lái)比較同類(lèi)型元數(shù)據(jù)之間屬性值的差異，方便用3.1.5出色的元數(shù)據(jù)檢核機(jī)制一致性檢核用來(lái)檢驗(yàn)來(lái)源系統(tǒng)元數(shù)據(jù)以及元數(shù)據(jù)之間信息是否屬性填充率檢核是用來(lái)檢驗(yàn)選定范圍內(nèi)元數(shù)據(jù)屬性的填充情況，方組合關(guān)系檢核根據(jù)元模型中設(shè)置的組合和被組合關(guān)系對(duì)元數(shù)據(jù)進(jìn)行3.2數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)3.2.1配置靈活的數(shù)據(jù)標(biāo)準(zhǔn)屬性屬性、質(zhì)量屬性、主數(shù)據(jù)屬性、生命周期屬性等供用戶選擇使用，并支持自定義屬性。3.2.2方式豐富的數(shù)據(jù)標(biāo)準(zhǔn)錄入在線下對(duì)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行整理，將整理完成的數(shù)據(jù)標(biāo)準(zhǔn)導(dǎo)入到平臺(tái)后，成為一條可映射、3.2.3完備的數(shù)據(jù)標(biāo)準(zhǔn)審批3.2.4先進(jìn)的數(shù)據(jù)標(biāo)準(zhǔn)落地映射3.2.5智能精確的數(shù)據(jù)標(biāo)準(zhǔn)落地評(píng)估3.2.6靈活有效的數(shù)據(jù)標(biāo)準(zhǔn)監(jiān)控提交個(gè)數(shù)，通過(guò)個(gè)數(shù)，退回個(gè)數(shù)等指標(biāo)。另外，監(jiān)控表可根據(jù)客戶需求進(jìn)行二次改造。3.2.7細(xì)致自主的數(shù)據(jù)整改計(jì)劃3.3數(shù)據(jù)質(zhì)量控制3.3.1多角度的規(guī)則管理3.3.2全面的監(jiān)控管理3.3.3詳盡的結(jié)果管理通過(guò)質(zhì)量監(jiān)控，會(huì)產(chǎn)生和保存質(zhì)量結(jié)果，包括：對(duì)象名稱(chēng)、發(fā)生時(shí)間、違反規(guī)則、3.3.4多樣的統(tǒng)計(jì)分析3.3.5可定義的績(jī)效管理3.4數(shù)據(jù)整合處理3.4.1多樣的增量捕獲和數(shù)據(jù)裝載3.4.2便捷的拖拽式流程設(shè)計(jì)器全拖拽式流程設(shè)計(jì)器，用戶只需在簡(jiǎn)單手提數(shù)據(jù)資源和加工組件就可完成復(fù)雜的3.4.3可視化的調(diào)試和預(yù)裝載3.4.4豐富的數(shù)據(jù)處理組件數(shù)據(jù)整合提供了豐富的數(shù)據(jù)處理組件，并將組件進(jìn)行合理的分類(lèi)管理，如：3.4.5“零”表達(dá)式清洗組件3.4.6靈活的調(diào)試服務(wù)試設(shè)置支持crontab表達(dá)式，調(diào)3.5.1保證企業(yè)“黃金”數(shù)據(jù)一致性3.5.2多樣化的主數(shù)據(jù)來(lái)源3.5.3靈活的主數(shù)據(jù)更新策略3.5.4跨源數(shù)據(jù)整合與去除重復(fù)數(shù)據(jù)3.5.5多維度的主數(shù)據(jù)監(jiān)控3.6數(shù)據(jù)資產(chǎn)應(yīng)用3.6.1不同視角的數(shù)據(jù)資產(chǎn)編目3.6.2強(qiáng)大的數(shù)據(jù)資產(chǎn)檢索3.6.3豐富的數(shù)據(jù)資產(chǎn)應(yīng)用3.6.4高效全面的數(shù)據(jù)資產(chǎn)分析不同的數(shù)據(jù)庫(kù)統(tǒng)計(jì)資產(chǎn)數(shù)據(jù)量，按月統(tǒng)計(jì)資產(chǎn)的變化3.7數(shù)據(jù)生命周期監(jiān)控平臺(tái)支持?jǐn)?shù)據(jù)資產(chǎn)全生命周期管理，根據(jù)存儲(chǔ)周期3.7.1便捷的數(shù)據(jù)資產(chǎn)歸檔3.7.2睿智的數(shù)據(jù)資產(chǎn)銷(xiāo)毀3.7.3可視化的數(shù)據(jù)生命周期監(jiān)控?cái)?shù)據(jù)量較大，可能需要?dú)w檔等統(tǒng)計(jì)信息，數(shù)據(jù)生3.8數(shù)據(jù)傳輸交換3.8.1跨源數(shù)據(jù)交換3.8.2多類(lèi)型數(shù)據(jù)交換平臺(tái)提供文件到文件、文件到庫(kù)表、庫(kù)表到庫(kù)表、庫(kù)3.8.3靈活的任務(wù)調(diào)度3.8.4豐富的組件庫(kù)3.9數(shù)據(jù)安全管控3.9.1多類(lèi)型的安全規(guī)范管理在數(shù)據(jù)安全的管理過(guò)程中往往會(huì)形成一些規(guī)范性的文檔，睿治平臺(tái)提供對(duì)這些文3.9.2多級(jí)別的敏感數(shù)據(jù)監(jiān)控3.9.3全面的異常行為監(jiān)控3.9.4細(xì)致的歷史帳號(hào)查詢3.9.5全方位的數(shù)據(jù)資產(chǎn)加密3.9.6多場(chǎng)景的數(shù)據(jù)資產(chǎn)脫敏3.9.7嚴(yán)密的權(quán)限管理統(tǒng)一在平臺(tái)上操作。為防止用戶私下在數(shù)據(jù)庫(kù)中新增改用戶和權(quán)限，睿治數(shù)據(jù)庫(kù)權(quán)限校核功能，檢查平臺(tái)上數(shù)據(jù)庫(kù)用戶和權(quán)限與實(shí)際數(shù)據(jù)庫(kù)用戶和權(quán)限3.10平臺(tái)系統(tǒng)管理3.10.1個(gè)性化的門(mén)戶定義3.10.2靈活細(xì)致的權(quán)限管理標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、主數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)交換、數(shù)據(jù)生命周期、3.10.3簡(jiǎn)便的備份恢復(fù)3.10.4詳細(xì)的系統(tǒng)日志記錄3.10.5統(tǒng)一的調(diào)度管理計(jì)劃任務(wù)的設(shè)置，包括任務(wù)類(lèi)型的選擇，任務(wù)參數(shù)的設(shè)置執(zhí)行周期，可以按年、月、周，乃至表達(dá)式等多種維度進(jìn)行設(shè)3.10.6直觀的工作流管理3.10.7完善的系統(tǒng)監(jiān)控體系4產(chǎn)品技術(shù)特點(diǎn)所有功能都是根據(jù)可擴(kuò)展可通用的原則來(lái)設(shè)計(jì)的，可以適應(yīng)未4.3全方位遵循全方位、嚴(yán)密的安全編程規(guī)范，具有代碼級(jí)的產(chǎn)品安全性，用戶權(quán)限認(rèn)證機(jī)制，從源頭杜絕數(shù)據(jù)安全風(fēng)險(xiǎn)源，提供完善4.4高性能睿治平臺(tái)采用了并行處理技術(shù)，執(zhí)行引擎根據(jù)語(yǔ)法解析，實(shí)現(xiàn)轉(zhuǎn)換任務(wù)元數(shù)據(jù)分析、檢核計(jì)算采用線程池和多線程并行技術(shù)，大大提高計(jì)算平臺(tái)可以通過(guò)內(nèi)存計(jì)算提高分析表計(jì)算效率，跨源數(shù)據(jù)分析時(shí)，將所要5軟硬件運(yùn)行環(huán)境1.1.服務(wù)器配置推薦硬盤(pán)：按需操作系統(tǒng)及軟件1.2.客戶端