數(shù)據(jù)治理平臺建設(shè)方案

數(shù)據(jù)治理平臺建設(shè)方案

目錄CONTENT建設(shè)背景價值定位體系架構(gòu)核心能力數(shù)據(jù)亂象嚴重，數(shù)據(jù)治理迫在眉睫行業(yè)痛點數(shù)據(jù)分散，信息孤島嚴重，共享困難數(shù)據(jù)多樣化，缺乏統(tǒng)一標準，集成困難數(shù)據(jù)質(zhì)量差，數(shù)據(jù)可信度每況愈下數(shù)據(jù)資產(chǎn)的應(yīng)用未得到有效管理12345責任不明，出現(xiàn)問題，各部門相互推責數(shù)據(jù)安全問題日益嚴峻6不良數(shù)據(jù)治理導致的損失元數(shù)據(jù)不一致導致衛(wèi)星失?。篘ASA，1999年，火星氣候探測器，任務(wù)失敗。因為火星氣候探測者號上的飛行系統(tǒng)軟件使用公制單位牛頓計算推進器動力，而地面人員輸入的方向校正量和推進器參數(shù)則使用英制單位磅力，導致探測器進入大氣層的高度有誤，最終瓦解碎裂。編碼不一致產(chǎn)生的ERP建設(shè)返工、工期拖延：國內(nèi)某大型企業(yè)實施SAP，SAPECC模塊公司代碼與BCS模塊貿(mào)易伙伴并行維護導致數(shù)據(jù)不一致，評估返工工作量>1000人天不良數(shù)據(jù)質(zhì)量導致的財務(wù)損失：根據(jù)數(shù)據(jù)質(zhì)量專家LarryEnglish的統(tǒng)計，截至2010年，不良數(shù)據(jù)質(zhì)量為122家知名機構(gòu)帶來的財務(wù)損失總計：$1,221,374,479,000數(shù)據(jù)引自《InformationQualityApplied》數(shù)據(jù)集中管控成為大勢所趨API數(shù)據(jù)倉庫ODS層DW層DM層加工加工ERPMySQLExcle…TXT生產(chǎn)分析交易運營稽核稽核集成服務(wù)數(shù)據(jù)治理平臺鎖定管控內(nèi)容數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市、服務(wù)模塊，全過程的元數(shù)據(jù)管理、各個監(jiān)控環(huán)節(jié)，問題處理流程制定責任矩陣采集流程、稽核流程、加工流程、服務(wù)流程、問題處理流程，各個流程節(jié)點制定相關(guān)負責人，責任到人可視化管理實現(xiàn)顯現(xiàn)化的數(shù)據(jù)資產(chǎn)管理，對數(shù)據(jù)全生命周期的處理都有相應(yīng)的流程支撐，滿足流程界面化的配置與維護快速發(fā)現(xiàn)問題針對采集、加工、稽核、服務(wù)各個流程，進行全方位實時的監(jiān)控，設(shè)告警定閥值，實現(xiàn)異常情況快速定位及時解決問題對不同的問題形成處理方案，對發(fā)現(xiàn)的異常問題能夠及時準確閉環(huán)的進行解決，同時解決過程可查看和跟蹤面向全業(yè)務(wù)服務(wù)數(shù)據(jù)倉庫由面向分析業(yè)務(wù)的功能化平臺轉(zhuǎn)變成面向全業(yè)務(wù)域的服務(wù)化平臺轉(zhuǎn)型，數(shù)據(jù)治理平臺提供一體化服務(wù)支撐目錄CONTENT建設(shè)背景價值定位技術(shù)架構(gòu)核心能力競品分析數(shù)據(jù)治理體系四要素組織架構(gòu)管理定義數(shù)據(jù)治理所需人員組織上的崗位和職責，從管理角度支撐數(shù)據(jù)治理工作的落地和執(zhí)行計劃、制度與標準規(guī)范基于國家、行業(yè)標準，定義企業(yè)級數(shù)據(jù)標準體系，包括數(shù)據(jù)標準、管理標準、數(shù)據(jù)質(zhì)量標準等流程活動與機制針對數(shù)據(jù)的使用與操作、數(shù)據(jù)權(quán)限的申請、數(shù)據(jù)問題的處理等，制定規(guī)范的審批管控流程技術(shù)平臺與工具利用技術(shù)手段，提供可視化的、智能化的平臺與工具幫助用戶實現(xiàn)簡單、自動化的數(shù)據(jù)治理人＋標準＋流程＋技術(shù)大數(shù)據(jù)治理體系數(shù)據(jù)治理平臺定位數(shù)據(jù)標準化企業(yè)級、行業(yè)級標準編碼標準化業(yè)務(wù)字典標準化稽核規(guī)則標準化協(xié)同共享數(shù)據(jù)變化可及時得到全局性的體現(xiàn)數(shù)據(jù)權(quán)限安全應(yīng)用集中統(tǒng)一管理由分散到集中管理由不一致到統(tǒng)一數(shù)據(jù)質(zhì)量數(shù)據(jù)唯一性數(shù)據(jù)完整性數(shù)據(jù)準確性運營監(jiān)控采集監(jiān)控稽核監(jiān)控加工監(jiān)控事前防范事中管控事后治理數(shù)據(jù)全生命周期管理評估及處理數(shù)據(jù)質(zhì)量問題數(shù)據(jù)加工問題數(shù)據(jù)采集問題數(shù)據(jù)治理平臺目標數(shù)據(jù)治理平臺作為大數(shù)據(jù)運營服務(wù)平臺強有力的管理支撐，實現(xiàn)數(shù)據(jù)的統(tǒng)一管控和精細化管理，保障數(shù)據(jù)資產(chǎn)質(zhì)量，為數(shù)據(jù)平臺提供面向業(yè)務(wù)用戶服務(wù)的溝通橋梁，讓大數(shù)據(jù)變得業(yè)務(wù)化、可視化、易使用、易獲得、高質(zhì)量，促進數(shù)據(jù)資產(chǎn)的價值創(chuàng)造。源數(shù)據(jù)（智能設(shè)備）源數(shù)據(jù)（業(yè)務(wù)系統(tǒng)）源數(shù)據(jù)（第三方數(shù)據(jù)）源數(shù)據(jù)（互聯(lián)網(wǎng)數(shù)據(jù)）…數(shù)據(jù)源層數(shù)據(jù)質(zhì)量管理數(shù)據(jù)服務(wù)數(shù)據(jù)采集（實時、非實時）東方國信大數(shù)據(jù)平臺數(shù)據(jù)模型管理元數(shù)據(jù)管理數(shù)據(jù)加工整合數(shù)據(jù)采集層數(shù)據(jù)處理層數(shù)據(jù)服務(wù)層外部創(chuàng)新應(yīng)用內(nèi)部分析應(yīng)用數(shù)應(yīng)用層大數(shù)據(jù)運營服務(wù)平臺數(shù)據(jù)質(zhì)量保障是基礎(chǔ)數(shù)據(jù)整合共享是手段數(shù)據(jù)應(yīng)用場景是載體數(shù)據(jù)價值創(chuàng)造是目標數(shù)據(jù)采集收集是前提數(shù)據(jù)治理平臺設(shè)計理念大數(shù)據(jù)治理平臺數(shù)據(jù)建模平臺BDA元數(shù)據(jù)管理BMM數(shù)據(jù)質(zhì)量平臺BDQ數(shù)據(jù)集成平臺BDI數(shù)據(jù)服務(wù)平臺BDS利用大數(shù)據(jù)治理平臺，實現(xiàn)數(shù)據(jù)全生命周期端到端透明化管控，實現(xiàn)“數(shù)據(jù)模型標準化、數(shù)據(jù)關(guān)系脈絡(luò)化、數(shù)據(jù)加工可視化、數(shù)據(jù)質(zhì)量度量化、數(shù)據(jù)服務(wù)自動化”，全業(yè)務(wù)流程的實時監(jiān)控全業(yè)務(wù)流程實時監(jiān)控數(shù)據(jù)生產(chǎn)者數(shù)據(jù)開發(fā)者者數(shù)據(jù)使用者數(shù)據(jù)管理者大數(shù)據(jù)治理平臺數(shù)據(jù)生產(chǎn)數(shù)據(jù)質(zhì)量初審數(shù)據(jù)質(zhì)量績效執(zhí)行數(shù)據(jù)開發(fā)數(shù)據(jù)加工挖掘數(shù)據(jù)質(zhì)量績效評估數(shù)據(jù)使用數(shù)據(jù)統(tǒng)計分析數(shù)據(jù)質(zhì)量績效執(zhí)行數(shù)據(jù)管理數(shù)據(jù)安全保護數(shù)據(jù)質(zhì)量績效執(zhí)行用界面化、自動化、自助化、智能化的大數(shù)據(jù)治理平臺找到數(shù)據(jù)、開發(fā)數(shù)據(jù)、治理數(shù)據(jù)、提供數(shù)據(jù)數(shù)據(jù)治理平臺價值目錄CONTENT建設(shè)背景價值定位技術(shù)架構(gòu)核心能力數(shù)據(jù)治理平臺技術(shù)架構(gòu)數(shù)據(jù)治理存儲庫數(shù)據(jù)治理存儲庫元模型庫工作流模型庫建模模型庫數(shù)據(jù)產(chǎn)品庫開發(fā)者使用者數(shù)據(jù)服務(wù)BDS接口管理中心數(shù)據(jù)產(chǎn)品數(shù)據(jù)中心元數(shù)據(jù)管理平臺BMM技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)建模BDA邏輯模型物理模型倉庫模型模型對比落地發(fā)布數(shù)據(jù)集成平臺BDI任務(wù)代理設(shè)計工具數(shù)據(jù)流設(shè)計器工作流設(shè)計器任務(wù)調(diào)度器手動執(zhí)行事件觸發(fā)計劃調(diào)度任務(wù)處理器Hadoop/MPP/oracle/spark…翻譯引擎數(shù)據(jù)質(zhì)量平臺BDQ規(guī)則配置規(guī)則翻譯執(zhí)行引擎稽核工單流程調(diào)度問題管理BPM工單流程流程審核報告生成反饋定時掃描檢測調(diào)度應(yīng)用物化數(shù)據(jù)計算引擎SPARK計算引擎HADOOP計算引擎MPP計算引擎問題庫稽核規(guī)則庫映射國內(nèi)唯一自主研發(fā)大數(shù)據(jù)治理平臺，實現(xiàn)數(shù)據(jù)全生命周期端到端透明化管控。緊耦合：5款產(chǎn)品相互聯(lián)系，相輔相成，形成全面的數(shù)據(jù)治理一體化解決方案。松耦合：采用“組件化、微服務(wù)”的產(chǎn)品設(shè)計思想，每款產(chǎn)品可獨立部署。承建國內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺，已支撐：50197個數(shù)據(jù)模型，220746個元數(shù)據(jù)對象，日入庫2870億條數(shù)據(jù)，日稽核109988個任務(wù)，235個數(shù)據(jù)服務(wù)接口倉庫各層與工具的對應(yīng)關(guān)系SRC接口層數(shù)據(jù)建模：接口模型元數(shù)據(jù)：接口對象、接口資源（FTP等）數(shù)據(jù)建模：數(shù)據(jù)庫模型（表、視圖）元數(shù)據(jù)：數(shù)據(jù)庫對象（表、視圖）數(shù)據(jù)庫資源對象數(shù)據(jù)交換：采集接口數(shù)據(jù)統(tǒng)一調(diào)度：采集任務(wù)調(diào)度數(shù)據(jù)質(zhì)量：稽核采集結(jié)果數(shù)據(jù)建模：數(shù)據(jù)庫模型（表、視圖）元數(shù)據(jù)：數(shù)據(jù)庫對象（表、視圖）數(shù)據(jù)庫資源對象云化ETL：各種加工數(shù)據(jù)質(zhì)量：稽核加工結(jié)果數(shù)據(jù)建模：數(shù)據(jù)庫模型（表、視圖）元數(shù)據(jù)：數(shù)據(jù)庫對象（表、視圖）數(shù)據(jù)庫資源對象云化ETL：各種加工數(shù)據(jù)質(zhì)量：稽核加工結(jié)果ODSDMDW數(shù)據(jù)服務(wù)：對外提供數(shù)據(jù)服務(wù)基于多租戶的云化應(yīng)用應(yīng)用共享、存儲共享applicationDBapplicationDBapplicationDB應(yīng)用隔離、存儲隔離application應(yīng)用共享、存儲隔離applicationDBDBDBDB應(yīng)用隔離：容器化方式部署，根據(jù)應(yīng)用的負載情況進行相應(yīng)的集群動態(tài)伸縮；基于租戶的并發(fā)要求，分配數(shù)量不等的應(yīng)用實例，并可動態(tài)調(diào)整應(yīng)用實例所在容器的CPU、內(nèi)存資源，以達到個性化響應(yīng)支撐需求；數(shù)據(jù)隔離：變更表結(jié)構(gòu)，實現(xiàn)數(shù)據(jù)隔離與共享；用戶定制：租戶可根據(jù)自己的需要自行定制應(yīng)用程序；允許多個版本同時運行；租戶管理：實現(xiàn)注冊、訂購服務(wù)。數(shù)據(jù)庫租戶1數(shù)據(jù)租戶2數(shù)據(jù)租戶3數(shù)據(jù)……租戶N數(shù)據(jù)應(yīng)用層應(yīng)用實例應(yīng)用實例應(yīng)用實例應(yīng)用實例應(yīng)用實例負載均衡租戶數(shù)據(jù)分片、數(shù)據(jù)隔離基于容器部署，快速擴展負載均衡，SLA約束數(shù)據(jù)治理平臺的應(yīng)用采用多租戶技術(shù)實現(xiàn)資源的共享和最大化利用，并保障各租戶之間數(shù)據(jù)的隔離，實現(xiàn)應(yīng)用一點部署，多點使用。目錄CONTENT建設(shè)背景價值定位技術(shù)架構(gòu)核心能力BDA－數(shù)據(jù)建模面向數(shù)據(jù)倉庫模型標準化的數(shù)據(jù)建模工具BDA-標準化數(shù)據(jù)建模FileXMLBDI概念模型（需求分析）數(shù)據(jù)集市數(shù)據(jù)倉庫模型管理模型落地定時掃描目前承建國內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺，已支撐：ODS層：約11880個模型DW層：約36040個模型DM層：約2277個模型數(shù)據(jù)建模邏輯模型設(shè)計模型比對模型物化邏輯模型規(guī)則數(shù)據(jù)字典物化規(guī)則獲取定義獲取定義ODS數(shù)據(jù)庫建模三階段概念數(shù)據(jù)模型：客戶交流；理解需求；形成實體邏輯數(shù)據(jù)模型：對實體進行細化，細化成具體的表，豐富表結(jié)構(gòu)物理數(shù)據(jù)模型：在邏輯數(shù)據(jù)模型階段創(chuàng)建的各種數(shù)據(jù)庫對象生成相應(yīng)的SQL代碼，運行來創(chuàng)建相應(yīng)具體數(shù)據(jù)庫對象統(tǒng)一規(guī)范數(shù)據(jù)庫模型建設(shè)實現(xiàn)自動化的模型創(chuàng)建與模型復用，配合BDI工具實現(xiàn)數(shù)據(jù)倉庫的數(shù)據(jù)裝載BDA：提供可視化的建模及模型部署情況監(jiān)控的工具，定義通用數(shù)據(jù)實體和數(shù)據(jù)結(jié)構(gòu)，實現(xiàn)數(shù)據(jù)模型的標準化和一致性。并能夠提供貫穿數(shù)據(jù)的開發(fā)、部署、治理等各個階段的模型管理功能，記錄數(shù)據(jù)倉庫模型建設(shè)的全過程。BDA核心能力1－可視化邏輯建模規(guī)則定義建立邏輯模型時，對結(jié)構(gòu)及屬性要進行規(guī)范性約束，規(guī)則類型包括：結(jié)構(gòu)編碼規(guī)則、結(jié)構(gòu)名稱規(guī)則、結(jié)構(gòu)描述規(guī)則、屬性編碼規(guī)則及屬性名稱規(guī)則等?？梢暬壿嬆Ｐ蛣?chuàng)建提供可視化建模方式，可創(chuàng)建面板進行邏輯模型設(shè)計。在操作面板中進行可視化操作進行邏輯模型編輯與關(guān)系創(chuàng)建。BDA核心能力2－物理建模數(shù)據(jù)字典建立字段類型映射關(guān)系，用于邏輯模型物化生成物理模型(表)時，結(jié)構(gòu)中每個字段的邏輯字段類型轉(zhuǎn)換成所選數(shù)據(jù)庫的物理字段類型。物化信息物化規(guī)則:針對本次物化的邏輯模型設(shè)置物化規(guī)則，主要包括基本信息和分區(qū)信息?；拘畔⒅饕ㄎ锘笪锢砟Ｐ痛鎯Φ奈恢茫晌锘蕉鄠€位置，實現(xiàn)模型復用）；分區(qū)信息則根據(jù)字段選擇不同的分區(qū)方式。BDA核心能力3－模型質(zhì)量監(jiān)控倉庫模型在數(shù)據(jù)源列表選擇要監(jiān)控的元模型進行忽略規(guī)則、定時掃描等的配置。差異對比以物理模型為基礎(chǔ)，對比物理模型與倉庫模型的差異，達到模型部署質(zhì)量監(jiān)控的目的。BDI－數(shù)據(jù)集成面向海量多源異構(gòu)的可視化數(shù)據(jù)集成工具BDI－企業(yè)級數(shù)據(jù)集成服務(wù)平臺調(diào)度執(zhí)行器設(shè)計工具數(shù)據(jù)流設(shè)計器工作流設(shè)計器流程監(jiān)控運行實時監(jiān)控異?；謴彤惓Ｖ厝肓鞒掏Ｖ?暫停分布式計算框架資源管理映射工作流資源表執(zhí)行模式執(zhí)行控制執(zhí)行配置手動執(zhí)行事件觸發(fā)計劃調(diào)度并發(fā)控制自動重試本地執(zhí)行代理執(zhí)行集群執(zhí)行調(diào)度方式加工方式加工遷移自定義代理執(zhí)行器任務(wù)執(zhí)行器Hadoop/MPP/oracle/spark…翻譯引擎調(diào)度引擎配置信息執(zhí)行代理配置信息數(shù)據(jù)治理存儲庫獲取定義數(shù)據(jù)計算引擎獲取定義BDI企業(yè)級數(shù)據(jù)集成平臺，采用圖形化的數(shù)據(jù)流和工作流設(shè)計，分布式的數(shù)據(jù)處理和任務(wù)調(diào)度，將分散的、異構(gòu)數(shù)據(jù)源抽取，進行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中。采集能力：多數(shù)據(jù)源和目標支持，支持13+種數(shù)據(jù)庫類型，支持文本、Excel、XML、CSV等格式的文件類型。加工能力：封裝八大類轉(zhuǎn)換組件和近百個函數(shù)和參數(shù)調(diào)用規(guī)則，同時可調(diào)用外部的過程和程序，實現(xiàn)復雜的轉(zhuǎn)換邏輯。BDI核心能力1－跨地域多源異構(gòu)數(shù)據(jù)集成平臺提供支持各種數(shù)據(jù)庫、集群數(shù)據(jù)源的訪問支持，另外提供適配器供其他應(yīng)用程序使用，任意應(yīng)用程序均可以通過適配器與平臺交換數(shù)據(jù)。引擎使用不落地In-Memory架構(gòu)，提供高速的異構(gòu)數(shù)據(jù)抽取、轉(zhuǎn)換、加載。In-MemoryDataIntegrationEngineTextMSExcelOracleGreenPlumHadoopApplication基于Oracle原生OCI接口高速存取基于fdist分布式文件協(xié)議高速存取對于Hive、Hbase等均提供支持任意BI應(yīng)用利用Adaptor均可訪問多種格式的半結(jié)構(gòu)化數(shù)據(jù)基于POI直接訪問Excel表格數(shù)據(jù)BDI核心能力2－圖形化的數(shù)據(jù)流設(shè)計器數(shù)據(jù)流設(shè)計器提供了建立映射和映射組件的工具，這樣便可以指定如何在源和目標之間移動和轉(zhuǎn)換數(shù)據(jù)。在數(shù)據(jù)流設(shè)計器中可以創(chuàng)建源定義、目標定義和轉(zhuǎn)換以建立映射?！皥D形化的操作界面，鼠標拖拽式的使用，輕松實現(xiàn)異構(gòu)數(shù)據(jù)的整合”表達式節(jié)點過濾節(jié)點匯總節(jié)點連接節(jié)點排序節(jié)點聯(lián)合節(jié)點TOP節(jié)點Pig節(jié)點

源目標遷移映射加工映射BDI核心能力3－強大的數(shù)據(jù)轉(zhuǎn)換功能內(nèi)置豐富的轉(zhuǎn)換組件，封裝了近百個函數(shù)和參數(shù)調(diào)用規(guī)則，極大的提高了計算表達式的靈活性，同時可調(diào)用外部的過程和程序，實現(xiàn)復雜的轉(zhuǎn)換邏輯?！耙资褂?、易開發(fā)、易維護”BDI核心能力4－跨系統(tǒng)跨平臺的統(tǒng)一調(diào)度集中調(diào)度Spark、Hive、Pig、MRjob、存儲過程、shell等資源，支撐跨系統(tǒng)、跨應(yīng)用、跨語言的作業(yè)任務(wù)協(xié)同執(zhí)行，實現(xiàn)調(diào)度全局化、透明化。靈活的作業(yè)定義與調(diào)度策略：包括并行、串行、依賴、和干涉等方式資源自動負載均衡，實現(xiàn)高效調(diào)度：按資源對任務(wù)調(diào)度分組、并發(fā)控制、優(yōu)先級動態(tài)調(diào)整BDI核心能力5－自動化的任務(wù)調(diào)度機制基于平臺中各類任務(wù)的要求，設(shè)置不同的任務(wù)規(guī)則，包括任務(wù)優(yōu)先級、任務(wù)調(diào)度機制、任務(wù)異常處理策略等，并應(yīng)用到任務(wù)的設(shè)計計劃和執(zhí)行調(diào)度中。任務(wù)調(diào)度機制－任務(wù)調(diào)度是面向任務(wù)對象的自動化任務(wù)，按照時間觸發(fā)和事件請求方式觸發(fā)調(diào)度：1.時間觸發(fā)方式定時觸發(fā)。即根據(jù)設(shè)定的時間：年、月、日、小時、分鐘、秒以及各種組合等進行任務(wù)調(diào)度；循環(huán)觸發(fā)。即指定時間段進行任務(wù)的循環(huán)調(diào)度；間隔觸發(fā)。即指定兩個任務(wù)調(diào)度的間隔時間；2.事件請求方式前置依賴調(diào)度。前置依賴調(diào)度指某任務(wù)是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足。后置觸發(fā)調(diào)度。后置觸發(fā)調(diào)度即某任務(wù)執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來決定另一個節(jié)點是否執(zhí)行。該調(diào)度方式可支持在出現(xiàn)異常或故障時，進行進一步的問題探查分析。時間觸發(fā)方式的任務(wù)調(diào)度BDI核心能力6－節(jié)點級的實時監(jiān)控具備任務(wù)執(zhí)行日志監(jiān)控與問題告警功能，支持任務(wù)執(zhí)行結(jié)果、異常告警信息的可視化展現(xiàn)。使得用戶對于任務(wù)執(zhí)行過程中的各個階段都了如指掌，有效幫助用戶對異常任務(wù)進行排查糾錯。支持任務(wù)執(zhí)行過程監(jiān)控，監(jiān)控任務(wù)的執(zhí)行狀態(tài)、開始時間、結(jié)束時間、運行時長等信息。支持基于單個節(jié)點的監(jiān)控與控制，包括啟動、暫停、繼續(xù)、取消等。支持任務(wù)執(zhí)行日志的管理和查詢功能。BDI應(yīng)用場景1－原始明細數(shù)據(jù)采集入庫Oracle外部數(shù)據(jù)源集團總部生產(chǎn)業(yè)務(wù)財務(wù)……分子公司生產(chǎn)業(yè)務(wù)財務(wù)……數(shù)據(jù)源FTP接口機文本文件Excel文件XML文件……Mysql數(shù)據(jù)庫……DB2數(shù)據(jù)接口ODS層HDFSHive／Spark／MapReduceDW層DM層目標庫數(shù)據(jù)倉庫適配器數(shù)據(jù)庫適配器Excel適配器文本適配器XML適配器資源管理……源／目標映射／工作流設(shè)計器數(shù)據(jù)流設(shè)計器工作流設(shè)計器調(diào)度執(zhí)行器任務(wù)執(zhí)行器代理執(zhí)行器調(diào)度引擎配置信息執(zhí)行模式執(zhí)行控制執(zhí)行配置信息調(diào)度方式遷移映射流程監(jiān)控獲取定義獲取定義BDI數(shù)據(jù)抽取與裝載BDI數(shù)據(jù)采集：將數(shù)據(jù)源以全量／增量的方式抽取并裝載到數(shù)據(jù)倉庫ODS明細沉淀層，把不同來源、格式、特點性質(zhì)的數(shù)據(jù)通過ETL過程，集中性存放，形成規(guī)范的數(shù)據(jù)存儲。目前承建國內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺，裝載能力：171個節(jié)點hadoop集群，采集69個數(shù)據(jù)源系統(tǒng)，對接1348個數(shù)據(jù)接口，2870億條記錄，日入庫數(shù)據(jù)量50TB，數(shù)據(jù)裝載速度5GB/s抽取裝載BDI應(yīng)用場景2－數(shù)據(jù)加工整合適配器數(shù)據(jù)庫適配器資源管理源／目標映射／工作流設(shè)計器數(shù)據(jù)流設(shè)計器工作流設(shè)計器調(diào)度執(zhí)行器任務(wù)執(zhí)行器代理執(zhí)行器調(diào)度引擎配置信息執(zhí)行模式執(zhí)行控制執(zhí)行配置信息調(diào)度方式加工映射流程監(jiān)控獲取定義獲取定義DW層HDFSHive／Spark／MapReduceODS層DM層數(shù)據(jù)倉庫即席查詢自助報表個性化定制交互式探索OLAP精準營銷平臺經(jīng)營分析平臺……分析工具分析應(yīng)用MPP抽取加工加工BDI數(shù)據(jù)加工：DW匯總層基于hadoop的Hive／Spark／MapReduce等計算資源進行數(shù)據(jù)清洗、轉(zhuǎn)換等加工整合，形成多維立方體，最后加載到DM數(shù)據(jù)集市層。目前承建國內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺，處理能力：970個節(jié)點hadoop集群，10W+個復雜加工流程，800W＋個文件，日數(shù)據(jù)處理量20PB，數(shù)據(jù)處理速度100GB/s。

數(shù)據(jù)展現(xiàn)數(shù)據(jù)加工與整合裝載BMM－元數(shù)據(jù)管理面向企業(yè)海量數(shù)據(jù)資產(chǎn)業(yè)務(wù)化的元數(shù)據(jù)管理平臺掃描引擎執(zhí)行掃描規(guī)則引擎資源映射業(yè)務(wù)定義元數(shù)據(jù)對象BDI數(shù)據(jù)質(zhì)量元數(shù)據(jù)對象技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)發(fā)布第三方應(yīng)用數(shù)據(jù)治理存儲庫元模型庫工作流模型庫建模模型庫數(shù)據(jù)產(chǎn)品庫數(shù)據(jù)中心邏輯模型表……數(shù)據(jù)建模元數(shù)據(jù)對象表視圖存儲過程函數(shù)……元數(shù)據(jù)對象維度指標數(shù)據(jù)加工、遷移、質(zhì)量檢測數(shù)據(jù)服務(wù)基礎(chǔ)功能應(yīng)用管理功能目錄管理版本管理流程管理權(quán)限管理數(shù)據(jù)地圖異常觀察變更時間軸元數(shù)據(jù)檢索血緣分析

BMM：目前國內(nèi)極少數(shù)支持全中文內(nèi)核元數(shù)據(jù)管理的產(chǎn)品之一，擁有自下而上的全部自主知識產(chǎn)權(quán)，元數(shù)據(jù)管理平臺獲取數(shù)據(jù)倉庫內(nèi)的技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、管理元數(shù)據(jù)，將分散的元數(shù)據(jù)統(tǒng)一管理起來，為企業(yè)提供端到端的元數(shù)據(jù)服務(wù)圖形化的交互界面，支撐17種元模型對象，13＋種數(shù)據(jù)庫類型樹狀結(jié)構(gòu)的目錄管理完善的元數(shù)據(jù)版本管理靈活的用戶權(quán)限管理高效率的緩存策略支持批量的導入導出基于流程的變更審批緩存管理導入導出管理全文檢索異常觀察BMM－端到端的元數(shù)據(jù)管理平臺BMM核心能力1－實時的元數(shù)據(jù)自動獲取元數(shù)據(jù)的獲取管理包括自動掃描獲取、系統(tǒng)手工錄入、批量導入三種方式。自動掃描獲取通過元數(shù)據(jù)獲取適配器（系統(tǒng)具備或定制研發(fā)）自動解析元數(shù)據(jù)信息，比如數(shù)據(jù)倉庫中的表、視圖、過程、列等元數(shù)據(jù)信息可通過自動掃描獲得系統(tǒng)手工錄入系統(tǒng)支持通過手工錄入的方式對元數(shù)據(jù)進行錄入，錄入信息包括元數(shù)據(jù)的基本屬性信息及元數(shù)據(jù)結(jié)構(gòu)信息批量導入系統(tǒng)支持通過使用標準模板編制的元數(shù)據(jù)信息文件在系統(tǒng)中的批量導入，為元數(shù)據(jù)的獲取提供了便捷途徑BMM核心能力2－清晰的血緣關(guān)系追溯血緣關(guān)系是元數(shù)據(jù)重要應(yīng)用之一，展示表，視圖，過程之間的關(guān)系，表和指標間的關(guān)系。對于展示的元數(shù)據(jù)血緣關(guān)系圖中，各節(jié)點元數(shù)據(jù)均支持元數(shù)據(jù)信息查看及進一步鉆取各節(jié)點的血緣關(guān)系。血緣關(guān)系的數(shù)據(jù)來源支持：通過解析存儲過程注釋的方式；支持通過BDI流程自動生成的方式；支持通過配置表的方式BMM核心能力3－企業(yè)級的統(tǒng)一全景視圖數(shù)據(jù)地圖是元數(shù)據(jù)信息的全景視圖，描述所有元數(shù)據(jù)對象的血緣關(guān)系，所處層級覆蓋范圍由ODS->DWA->DWD->DM層。全面呈現(xiàn)了數(shù)據(jù)倉庫中數(shù)據(jù)之間的關(guān)系。BMM核心能力4－快速精確的全文檢索元數(shù)據(jù)管理的數(shù)據(jù)信息龐大復雜，通過全文檢索功能可以迅速查找和關(guān)鍵字匹配的權(quán)限范圍內(nèi)的元數(shù)據(jù)信息，為海量數(shù)據(jù)分析提供更快、更正確的查詢處理、更好的數(shù)據(jù)質(zhì)量、更易使用的操作接口等。通過全文檢索獲得的元數(shù)據(jù)范圍，系統(tǒng)提供分類訪問形式，可查看檢索范圍內(nèi)元數(shù)據(jù)的明細信息。BMM核心能力5－全面的異常元數(shù)據(jù)監(jiān)控

元數(shù)據(jù)異常信息觀察：通過對異常規(guī)則的配置，系統(tǒng)自動監(jiān)測出異常的信息分類；展現(xiàn)出異常信息的分布情況和異常分類情況以及異常明細情況。BMM核心能力6－完整的元數(shù)據(jù)變更記錄元數(shù)據(jù)變更時間軸，以時間線條的形式提供元數(shù)據(jù)變更信息記錄，將元數(shù)據(jù)的變更情況以更為直觀的形式體現(xiàn)。同時，變更內(nèi)容描述支持對變更元數(shù)據(jù)的鏈接分析，查看變更元數(shù)據(jù)的具體變更情況。記錄倉庫中的數(shù)據(jù)表、函數(shù)、視圖、存儲過程；雙擊新增或修改內(nèi)容可展現(xiàn)實體在倉庫中的數(shù)據(jù)結(jié)構(gòu)、歸屬用戶、所屬層級、創(chuàng)建時間等；記錄應(yīng)用元數(shù)據(jù)、指標體系新增或修改的指標；雙擊指標可展現(xiàn)指標定義、口徑、來源、發(fā)布時間等信息；記錄項目中涉及的接口規(guī)范、模型規(guī)范等；雙擊規(guī)范可顯示規(guī)范發(fā)布時間、涉及層級、規(guī)范屬性等；實體指標規(guī)范BMM核心能力7－靈活易擴展的對外服務(wù)接口元數(shù)據(jù)的信息應(yīng)用是企業(yè)數(shù)據(jù)信息價值的重要體現(xiàn)。產(chǎn)品以WEBSERVICE方式提供多類元數(shù)據(jù)訪問接口，供各類應(yīng)用或系統(tǒng)調(diào)用實現(xiàn)信息服務(wù)。數(shù)據(jù)倉庫BMM應(yīng)用場景－數(shù)據(jù)倉庫全生命周期的元數(shù)據(jù)管理數(shù)據(jù)源數(shù)據(jù)源應(yīng)用應(yīng)用ODS層DW層DM層采集服務(wù)加工加工接口規(guī)范數(shù)據(jù)源FTP信息數(shù)據(jù)上傳時間窗文件命名信息文件分包信息文件存放路徑硬件資源信息接口協(xié)議信息接口數(shù)據(jù)模型接口稽核規(guī)則硬件資源信息倉庫對象及其ETL信息數(shù)據(jù)模型血緣關(guān)系數(shù)據(jù)樣例對象稽核規(guī)則硬件資源信息集市對象及其ETL信息數(shù)據(jù)模型血緣關(guān)系數(shù)據(jù)樣例對象稽核規(guī)則集市對象與應(yīng)用的關(guān)系對外服務(wù)產(chǎn)品信息數(shù)據(jù)分析應(yīng)用信息指標體系應(yīng)用指標信息應(yīng)用與指標的關(guān)系數(shù)據(jù)源信息數(shù)據(jù)采集信息數(shù)據(jù)加工信息數(shù)據(jù)集市信息應(yīng)用信息元數(shù)據(jù)對象版本管理權(quán)限管理緩存管理流程管理導入導出管理目錄管理基礎(chǔ)管理應(yīng)用管理變更時間軸對外接口異常觀察關(guān)聯(lián)分析血緣分析全文檢索數(shù)據(jù)地圖元數(shù)據(jù)管理平臺貫穿數(shù)據(jù)倉庫數(shù)據(jù)“流動”的全過程，對數(shù)據(jù)資源進行識別、描述和追蹤，形成數(shù)據(jù)倉庫的元數(shù)據(jù)統(tǒng)一視圖，實現(xiàn)元數(shù)據(jù)全生命周期的一站式管理。元數(shù)據(jù)管理內(nèi)容包括：數(shù)據(jù)源信息數(shù)據(jù)采集信息數(shù)據(jù)加工信息數(shù)據(jù)集市信息應(yīng)用信息自動掃描／系統(tǒng)錄入、批量導入／數(shù)據(jù)建模目前承建國內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺，元數(shù)據(jù)管理能力：220746個元數(shù)據(jù)對象，全文檢索秒級響應(yīng)能力BDQ－數(shù)據(jù)質(zhì)量面向數(shù)據(jù)資產(chǎn)全生命周期質(zhì)量保證的監(jiān)管平臺BDQ－全方位的數(shù)據(jù)質(zhì)量平臺稽核規(guī)則配置規(guī)則翻譯規(guī)則執(zhí)行結(jié)果生成問題管理稽核工單流程調(diào)度元數(shù)據(jù)對象管理資源表存儲庫稽核規(guī)則庫問題存儲庫元模型庫BDI流程調(diào)度BPM工單流程數(shù)據(jù)中心空值校驗重復校驗格式校驗參照校驗波動校驗邏輯校驗一致性校驗自定義校驗關(guān)系校驗BDQ：東方國信自主研發(fā)的數(shù)據(jù)質(zhì)量平臺提供企業(yè)級范圍的數(shù)據(jù)質(zhì)量管理流程與方法論，實現(xiàn)數(shù)據(jù)全生命周期的質(zhì)量監(jiān)控與質(zhì)量稽核，保障數(shù)據(jù)的完整性、準確性、一致性、及時性等。全圖形化規(guī)則配置界面九大類稽核規(guī)則，支持稽核規(guī)則和稽核流程可視化配置。自動化的稽核任務(wù)執(zhí)行結(jié)合BDI實現(xiàn)稽核任務(wù)的設(shè)計與配置，基于調(diào)度的觸發(fā)機制，實現(xiàn)任務(wù)的自動化執(zhí)行問題處理流程化針對稽核出的數(shù)據(jù)質(zhì)量問題，系統(tǒng)會自動根據(jù)錯誤分類自動生成問題處理工單BDQ核心能力1－可視化的配置與自動化的執(zhí)行配置管理：規(guī)則配置：提供針對表、視圖、文件等的規(guī)則配置功能；任務(wù)配置：根據(jù)稽核對象的業(yè)務(wù)特性動態(tài)配置稽核任務(wù)信息，一個邏輯稽核對象規(guī)則可以配置在多個物理稽核對象上面。執(zhí)行管理：規(guī)則引擎：對稽核規(guī)則進行翻譯，將上述配置規(guī)則翻譯為與稽核對象匹配的程序語言。任務(wù)調(diào)度：稽核流程與數(shù)據(jù)加工流程相結(jié)合，通過BDI工具配置稽核任務(wù)、設(shè)計稽核流程。通過流程調(diào)度執(zhí)行稽核任務(wù)。支持單點輪詢調(diào)度，流程式輪詢調(diào)度BDQ核心能力2－全流程的數(shù)據(jù)質(zhì)量監(jiān)控對數(shù)據(jù)質(zhì)量稽核任務(wù)執(zhí)行情況、稽核問題生成、處理、流程的執(zhí)行情況的監(jiān)控，針對稽核對象所處層級、稽核賬期等進行分類監(jiān)控。BDQ核心能力3－明細化的稽核問題管理對所有生成的稽核問題提供列表展示，并提供相應(yīng)的查詢、高級查詢（按照稽核對象所處層級目錄、以及所屬地域、賬期等進行高級查詢）等功能。BDQ核心能力4－直觀的稽核結(jié)果分析稽核問題以列表形式展現(xiàn)，記錄稽核的時間、周期、異常數(shù)據(jù)源，不同程度的問題通過不同顏色體現(xiàn)；維護人員通過此界面查看、搜索所有的數(shù)據(jù)質(zhì)量問題；數(shù)據(jù)源接口人通過此界面查看、檢索本域的數(shù)據(jù)質(zhì)量問題，包括具體的規(guī)則配置內(nèi)容及稽核腳本，異常數(shù)據(jù)樣例雙擊查看詳細稽核規(guī)則，異常數(shù)據(jù)樣例，稽核腳本根據(jù)稽核問題結(jié)果，生成問題異常工單，描述異常內(nèi)容。自定義問題處理流程，流程驅(qū)動問題工單處理。BDQ核心能力5－工單化的異常問題處理對系統(tǒng)中的的申告或稽核問題以工單形式呈現(xiàn)，直觀展示待辦工單、已解決工單、未解決工單、掛起工單的情況，以及工單的詳細情況；工單一旦生成，將觸發(fā)其對應(yīng)的處理流程進行申告或問題處理；BDQ核心能力6－便捷的工單管理定期生成數(shù)據(jù)質(zhì)量分析報告，對數(shù)據(jù)稽核及數(shù)據(jù)處理結(jié)果進行綜合評估，通過評估定位數(shù)據(jù)問題，確保數(shù)據(jù)的可用性智能產(chǎn)生數(shù)據(jù)評估結(jié)果實時展示錯誤數(shù)據(jù)及時反饋數(shù)據(jù)進展情況

數(shù)據(jù)錯誤精確定位BDQ核心能力7－綜合性的數(shù)據(jù)質(zhì)量報告BDQ應(yīng)用－數(shù)據(jù)處理全過程的質(zhì)量稽核數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)倉庫應(yīng)用應(yīng)用ODS層DW層DM層稽核規(guī)則配置元數(shù)據(jù)對象管理資源表視圖空值校驗重復校驗格式校驗參照校驗波動校驗邏輯校驗一致性校驗自定義校驗關(guān)系校驗規(guī)則翻譯規(guī)則執(zhí)行BDI流程調(diào)度稽核結(jié)果稽核監(jiān)控稽核問題管理稽核異常工單數(shù)據(jù)質(zhì)量報告（日報、月報）自定義表單流程設(shè)置BPM流程管理稽核工單配置采集服務(wù)加工加工稽核稽核稽核質(zhì)管處審批人全圖形化配置界面，簡化稽核操作和配置數(shù)據(jù)質(zhì)量平臺實現(xiàn)數(shù)據(jù)倉庫數(shù)據(jù)處理全過程的質(zhì)量監(jiān)控與質(zhì)量稽核，規(guī)避數(shù)據(jù)問題，提高數(shù)據(jù)質(zhì)量，讓數(shù)據(jù)變得更好。針對異常問題，自動生成工單，實現(xiàn)稽核問題的流程化管理建立數(shù)據(jù)質(zhì)量考評制度，綜合評估數(shù)據(jù)稽核及問題處理結(jié)果，定期生成數(shù)據(jù)質(zhì)量評估報告稽核能力：日處理109988個稽核任務(wù)，4779個稽核規(guī)則，1370個問題工單質(zhì)量報告：日報告：

69份，月報告：31份

BDS－數(shù)據(jù)服務(wù)面向數(shù)據(jù)中心對外開放和價值創(chuàng)造的服務(wù)創(chuàng)新平臺BDS－統(tǒng)一化數(shù)據(jù)服務(wù)產(chǎn)品服務(wù)中心發(fā)布規(guī)則配置映射規(guī)則樣例數(shù)目配置脫敏規(guī)則流程監(jiān)控任務(wù)實例調(diào)度流程實例產(chǎn)品發(fā)布審核管理產(chǎn)品服務(wù)申請任務(wù)定義規(guī)則配置流程觸發(fā)方式產(chǎn)品交付方式其他配置獲取定義流程調(diào)度使用者提供者審核反饋反饋產(chǎn)品列表數(shù)據(jù)產(chǎn)品標簽產(chǎn)品ETL數(shù)據(jù)中心數(shù)據(jù)服務(wù)執(zhí)行數(shù)據(jù)裝載數(shù)據(jù)建模模型創(chuàng)建BDS：數(shù)據(jù)服務(wù)指基于數(shù)據(jù)倉庫的全量數(shù)據(jù)，通過加工整合，形成標準化數(shù)據(jù)產(chǎn)品，以實時、非實時的方式統(tǒng)一對外提供數(shù)據(jù)服務(wù)。數(shù)據(jù)服務(wù)平臺可實現(xiàn)產(chǎn)品申請、定義、審核、發(fā)布