大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理與建設(shè)方案相關(guān)兩份資料

大數(shù)據(jù)治理管理平臺(tái)解決方案目錄CONTENTS背景與需求分析功能框架設(shè)計(jì)平臺(tái)功能設(shè)計(jì)010302PARTONE01背景與需求分析背景與需求分析1.發(fā)展背景2.架構(gòu)需求分析3.需求分析背景與需求分析1.發(fā)展背景2.架構(gòu)需求分析3.需求分析

建立自身的統(tǒng)一技術(shù)棧：建立中心技術(shù)棧準(zhǔn)入標(biāo)準(zhǔn)，一方面保障整體技術(shù)架構(gòu)中組件的標(biāo)準(zhǔn)性，避免因?yàn)榘姹静灰恢潞凸δ芴匦韵嘟黾硬槐匾倪\(yùn)維成本，另外一方面，減少因?yàn)榧軜?gòu)中采用組件的選型調(diào)整，增加不必要的集成開(kāi)發(fā)工作。技術(shù)棧中的組件會(huì)持續(xù)補(bǔ)充完善，通過(guò)POC測(cè)試后，并經(jīng)過(guò)專家委員會(huì)集體論證，且符合準(zhǔn)入標(biāo)準(zhǔn)，才準(zhǔn)許對(duì)應(yīng)技術(shù)組件進(jìn)入到統(tǒng)一技術(shù)棧。開(kāi)放架構(gòu)平臺(tái)本身具備模塊化開(kāi)放和集成能力，平臺(tái)功能所對(duì)應(yīng)的技術(shù)組件避免被某一家集成開(kāi)發(fā)廠商捆綁，或者被某個(gè)單一組件產(chǎn)品捆綁。架構(gòu)的先進(jìn)性技術(shù)架構(gòu)中的技術(shù)組件選型，從技術(shù)成熟度、性能、穩(wěn)定性、持續(xù)研發(fā)升級(jí)、使用后業(yè)內(nèi)評(píng)價(jià)、易維護(hù)性、適配性等方面做出考量，為架構(gòu)選型提供參考，保證整體架構(gòu)中的組件的先進(jìn)性。架構(gòu)的高可用在長(zhǎng)時(shí)間、多任務(wù)場(chǎng)景下的穩(wěn)定運(yùn)行。在計(jì)算機(jī)硬件、操作系統(tǒng)、存儲(chǔ)系統(tǒng)及應(yīng)用系統(tǒng)業(yè)務(wù)進(jìn)程出現(xiàn)故障時(shí)能迅速響應(yīng)并進(jìn)行任務(wù)的切換；某一節(jié)點(diǎn)出現(xiàn)故障時(shí)，其他節(jié)點(diǎn)應(yīng)能夠自動(dòng)分擔(dān)故障節(jié)點(diǎn)的處理任務(wù)，保證服務(wù)持續(xù)可用。010302數(shù)據(jù)治理管理平臺(tái)-需求分析1.發(fā)展背景2.架構(gòu)需求分析3.需求分析

數(shù)據(jù)治理管理平臺(tái)基于元模型驅(qū)動(dòng)模式，構(gòu)建一體化的數(shù)據(jù)資產(chǎn)管控，實(shí)現(xiàn)全流程、全生命周期和全景式的“三全”治理，確保每一份數(shù)據(jù)資產(chǎn)皆可靠、可信、可用。

通過(guò)對(duì)數(shù)據(jù)、應(yīng)用、系統(tǒng)綜合管理，構(gòu)建標(biāo)準(zhǔn)化、流程化、自動(dòng)化、一體化的數(shù)據(jù)管理體系。PARTTWO02功能架構(gòu)設(shè)計(jì)子平臺(tái)關(guān)系定位1.子平臺(tái)關(guān)系定位2.功能架構(gòu)功能架構(gòu)數(shù)據(jù)平臺(tái)數(shù)據(jù)資源管理數(shù)據(jù)加工處理數(shù)據(jù)質(zhì)量管理質(zhì)量模型方案配置規(guī)則管理質(zhì)檢報(bào)告數(shù)據(jù)質(zhì)檢質(zhì)量統(tǒng)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理分類管理數(shù)據(jù)元管理標(biāo)準(zhǔn)代碼配置常用規(guī)則配置元數(shù)據(jù)自動(dòng)獲取元數(shù)據(jù)維護(hù)元數(shù)據(jù)掃描元數(shù)據(jù)檢索元數(shù)據(jù)版本權(quán)限管理及查詢?cè)獢?shù)據(jù)導(dǎo)入/導(dǎo)出元數(shù)據(jù)分析基礎(chǔ)標(biāo)簽管理標(biāo)簽關(guān)系展現(xiàn)元數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)資產(chǎn)目錄資產(chǎn)地圖資產(chǎn)總覽資產(chǎn)報(bào)告實(shí)時(shí)數(shù)據(jù)管理流數(shù)據(jù)處理實(shí)時(shí)采集流數(shù)據(jù)計(jì)算模型管理流數(shù)據(jù)計(jì)算公共模型開(kāi)發(fā)流數(shù)據(jù)引擎流數(shù)據(jù)計(jì)算結(jié)果接口開(kāi)發(fā)流數(shù)據(jù)計(jì)算模型查詢支持流媒體采集及轉(zhuǎn)發(fā)管理數(shù)據(jù)集成管理異常數(shù)據(jù)分析數(shù)據(jù)建模配置集成方案管理數(shù)據(jù)來(lái)源統(tǒng)計(jì)數(shù)據(jù)架構(gòu)管理數(shù)據(jù)架構(gòu)定義業(yè)務(wù)架構(gòu)管理存儲(chǔ)架構(gòu)管理數(shù)據(jù)異常管理異常對(duì)接管理人工處理管理異常處理統(tǒng)計(jì)分析異常問(wèn)題列表實(shí)時(shí)數(shù)據(jù)質(zhì)量管理系統(tǒng)處理管理數(shù)據(jù)質(zhì)量定制化開(kāi)發(fā)數(shù)據(jù)開(kāi)發(fā)管理數(shù)據(jù)開(kāi)發(fā)管理統(tǒng)一調(diào)度管理統(tǒng)一調(diào)度管理數(shù)據(jù)標(biāo)準(zhǔn)管理監(jiān)控運(yùn)維運(yùn)維任務(wù)實(shí)時(shí)分析數(shù)據(jù)運(yùn)維定制化開(kāi)發(fā)運(yùn)維概覽監(jiān)控告警統(tǒng)一流程管理平臺(tái)運(yùn)維定制化開(kāi)發(fā)數(shù)據(jù)分級(jí)1.子平臺(tái)關(guān)系定位2.功能架構(gòu)PARTTWO03平臺(tái)功能設(shè)計(jì)數(shù)據(jù)資源管理1.數(shù)據(jù)標(biāo)準(zhǔn)管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級(jí)分類管理4.數(shù)據(jù)資產(chǎn)管理通過(guò)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)管理、落地實(shí)施機(jī)制、及數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)維護(hù)三部分進(jìn)行數(shù)據(jù)資源管理，制定數(shù)據(jù)標(biāo)準(zhǔn)管理制度和流程，明確數(shù)據(jù)標(biāo)準(zhǔn)管理組織和職責(zé)，以明確的組織、職責(zé)、流程設(shè)計(jì)。落地實(shí)施機(jī)制從規(guī)范推廣、技術(shù)平臺(tái)支撐兩方面保障；數(shù)據(jù)標(biāo)準(zhǔn)平臺(tái)維護(hù)主要包括建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)技術(shù)平臺(tái)，支撐數(shù)據(jù)標(biāo)準(zhǔn)日常管理工作兩方面。支持?jǐn)?shù)據(jù)元版本管理及版本之間的差異核對(duì)功能以及支持基于基礎(chǔ)庫(kù)、主題庫(kù)的元數(shù)據(jù)快速創(chuàng)建標(biāo)準(zhǔn)數(shù)據(jù)元，并建立和相關(guān)元數(shù)據(jù)的關(guān)聯(lián)關(guān)系數(shù)據(jù)元管理數(shù)據(jù)元?jiǎng)h除數(shù)據(jù)元檢索數(shù)據(jù)元停用數(shù)據(jù)元導(dǎo)入數(shù)據(jù)元修改數(shù)據(jù)源發(fā)布數(shù)據(jù)元新增支持代碼的分類、標(biāo)準(zhǔn)代碼項(xiàng)的新增、導(dǎo)入、導(dǎo)出功能，提供了標(biāo)準(zhǔn)代碼維護(hù)的能力；標(biāo)準(zhǔn)代碼配置新增導(dǎo)入導(dǎo)出可關(guān)聯(lián)到國(guó)標(biāo)、地標(biāo)代碼字典通過(guò)固定的值組成規(guī)則來(lái)規(guī)范數(shù)據(jù)源值的格式，例如身份證、電話號(hào)碼、電子郵箱等格式。常用規(guī)則配置通用規(guī)則實(shí)際制定規(guī)則常用規(guī)則配置會(huì)針對(duì)公共數(shù)據(jù)的特性內(nèi)置部分常用的規(guī)則，同時(shí)提供了規(guī)則的配置修改能力數(shù)據(jù)資源管理1.數(shù)據(jù)標(biāo)準(zhǔn)管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級(jí)分類管理4.數(shù)據(jù)資產(chǎn)管理通過(guò)對(duì)數(shù)據(jù)整合的層次結(jié)構(gòu)、主題域劃分，實(shí)現(xiàn)各層的各種對(duì)象，如表、存儲(chǔ)過(guò)程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結(jié)構(gòu)之間的數(shù)據(jù)流程、各對(duì)象之間的關(guān)系，以及向外提供的各類數(shù)據(jù)服務(wù)的信息。元數(shù)據(jù)管理元數(shù)據(jù)管理包括元數(shù)據(jù)基礎(chǔ)數(shù)據(jù)管理和元數(shù)據(jù)應(yīng)用，由元數(shù)據(jù)自動(dòng)獲取、元數(shù)據(jù)檢索、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、血緣關(guān)系等功能組成等。元數(shù)據(jù)自動(dòng)獲取元數(shù)據(jù)維護(hù)元數(shù)據(jù)掃描元數(shù)據(jù)檢索元數(shù)據(jù)版本權(quán)限管理及查詢?cè)獢?shù)據(jù)的導(dǎo)入/導(dǎo)出配置自動(dòng)獲取策略和調(diào)度時(shí)間等，使元數(shù)據(jù)能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動(dòng)獲取過(guò)程，滿足元數(shù)據(jù)自動(dòng)獲取的時(shí)效性。包括元數(shù)據(jù)的定義、變更及版本管理，對(duì)主機(jī)信息、數(shù)據(jù)庫(kù)信息、用戶信息、數(shù)據(jù)對(duì)象信息、業(yè)務(wù)規(guī)則信息、加工邏輯等進(jìn)行維護(hù)和管控。支持以手動(dòng)或定時(shí)的方式掃描指定的數(shù)據(jù)庫(kù)資源，并提取和解析相關(guān)的信息在比較掃描數(shù)據(jù)和原有數(shù)據(jù)的差異后自動(dòng)將差異數(shù)據(jù)維護(hù)到指定的元數(shù)據(jù)目錄。在元數(shù)據(jù)管理首頁(yè)用戶通過(guò)輸入關(guān)鍵字后，系統(tǒng)采用全文檢索的方式迅速查找和關(guān)鍵字匹配的權(quán)限范圍內(nèi)的元數(shù)據(jù)信息，并將信息返回給用戶。用戶能夠通過(guò)展示的路徑信息快速定位到元數(shù)據(jù)組織樹(shù)上的節(jié)點(diǎn)。版本管理分為元數(shù)據(jù)對(duì)象版本管理與基線版本管理兩種類型。元數(shù)據(jù)對(duì)象版本：對(duì)元數(shù)據(jù)的每次提交形成版本（上一版本形成歷史版本），提供歷史版本間，歷史版本與當(dāng)前版本對(duì)比功能；基線版本：對(duì)某一階段產(chǎn)生的元數(shù)據(jù)對(duì)象形成數(shù)據(jù)集，提供不同階段產(chǎn)生的數(shù)據(jù)集的版本比較。統(tǒng)一實(shí)現(xiàn)數(shù)據(jù)庫(kù)的訪問(wèn)和操作管控，對(duì)用戶進(jìn)行角色權(quán)限、對(duì)象權(quán)限、數(shù)據(jù)權(quán)限等方面的管控和查詢；統(tǒng)一實(shí)現(xiàn)數(shù)據(jù)庫(kù)的訪問(wèn)和操作管控，對(duì)用戶進(jìn)行角色權(quán)限、對(duì)象權(quán)限、數(shù)據(jù)權(quán)限等方面的管控和查詢；數(shù)據(jù)資源管理1.數(shù)據(jù)標(biāo)準(zhǔn)管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級(jí)分類管理4.數(shù)據(jù)資產(chǎn)管理通過(guò)對(duì)數(shù)據(jù)整合的層次結(jié)構(gòu)、主題域劃分，實(shí)現(xiàn)各層的各種對(duì)象，如表、存儲(chǔ)過(guò)程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結(jié)構(gòu)之間的數(shù)據(jù)流程、各對(duì)象之間的關(guān)系，以及向外提供的各類數(shù)據(jù)服務(wù)的信息。元數(shù)據(jù)分析元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對(duì)象等血緣關(guān)系和以父子依賴關(guān)系展示對(duì)象等有向血緣關(guān)系。影響性分析重要性分析無(wú)關(guān)性分析●包括血統(tǒng)分析和影響分析兩類，以便于掌握和追溯對(duì)象變更時(shí)的緣由和影響關(guān)系?！裨獢?shù)據(jù)對(duì)象和對(duì)象之間以連線方式表現(xiàn)出血緣分析的結(jié)果?！裢ㄟ^(guò)分析各元數(shù)據(jù)對(duì)象之間的關(guān)聯(lián)密集度及數(shù)據(jù)資源平臺(tái)中各層次的包、表等對(duì)象的重要程度，指導(dǎo)數(shù)據(jù)資源平臺(tái)開(kāi)發(fā)和維護(hù)團(tuán)隊(duì)對(duì)重點(diǎn)元數(shù)據(jù)進(jìn)行重點(diǎn)關(guān)注和質(zhì)量監(jiān)控?！裢ㄟ^(guò)系統(tǒng)的規(guī)模不斷擴(kuò)大，業(yè)務(wù)需求的變化，會(huì)產(chǎn)生無(wú)關(guān)數(shù)據(jù)、信息和報(bào)表，這些無(wú)關(guān)的內(nèi)容，結(jié)合業(yè)務(wù)需求分析其產(chǎn)生的根源，從而為用戶簡(jiǎn)化工作負(fù)載，降低項(xiàng)目總擁有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。數(shù)據(jù)資源管理1.數(shù)據(jù)標(biāo)準(zhǔn)管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級(jí)分類管理4.數(shù)據(jù)資產(chǎn)管理

在數(shù)據(jù)資源的分類管理中，平臺(tái)按照數(shù)據(jù)資源的生命周期對(duì)數(shù)據(jù)資源進(jìn)行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個(gè)數(shù)據(jù)源抽取到大數(shù)據(jù)平臺(tái)，輸出層是指大數(shù)據(jù)平臺(tái)數(shù)據(jù)輸出到外部渠道或渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺(tái)內(nèi)進(jìn)行加工處理的過(guò)程?；A(chǔ)標(biāo)簽管理在設(shè)置的基礎(chǔ)標(biāo)簽進(jìn)行呈現(xiàn)列表形式將所有的基礎(chǔ)標(biāo)簽一一列出，并可以按照熱度進(jìn)行排序智能推薦形式是指根據(jù)最近時(shí)間段內(nèi)的標(biāo)簽的訪問(wèn)頻率、搜索頻率等，以輪播的形式循環(huán)展現(xiàn)熱門標(biāo)簽的功能。標(biāo)簽關(guān)系管理

通過(guò)標(biāo)簽將相關(guān)聯(lián)的數(shù)據(jù)目錄關(guān)聯(lián)在動(dòng)圖中展現(xiàn)給用戶，形成豐富數(shù)據(jù)盛筵的展示效果，做到通過(guò)一張圖就可以將某一條數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)、以及數(shù)據(jù)之間的關(guān)系全部展示出來(lái)的功能。數(shù)據(jù)資源管理1.數(shù)據(jù)標(biāo)準(zhǔn)管理2.元數(shù)據(jù)管理3.數(shù)據(jù)分級(jí)分類管理4.數(shù)據(jù)資產(chǎn)管理通過(guò)對(duì)數(shù)據(jù)資產(chǎn)的治理，讓系統(tǒng)數(shù)據(jù)更加準(zhǔn)確、一致、完整、安全，降低IT成本；針對(duì)數(shù)據(jù)資產(chǎn)應(yīng)用使得系統(tǒng)數(shù)據(jù)的使用過(guò)程更為人性、便捷、智能，從而提升管理決策水平。關(guān)于數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)是支持系統(tǒng)數(shù)據(jù)資產(chǎn)的分發(fā)、開(kāi)發(fā)、交易等數(shù)據(jù)嫁接的實(shí)現(xiàn)。從而促進(jìn)數(shù)據(jù)資產(chǎn)的價(jià)值實(shí)現(xiàn)。數(shù)據(jù)資產(chǎn)資產(chǎn)管理主要是針對(duì)數(shù)據(jù)資產(chǎn)類目編制的過(guò)程梳理、明確職責(zé)等內(nèi)容，同時(shí)也可以對(duì)數(shù)據(jù)表的元數(shù)據(jù)信息進(jìn)行有效管理資產(chǎn)總覽從數(shù)據(jù)規(guī)模、類目分布、熱門訪問(wèn)等多個(gè)角度，對(duì)數(shù)據(jù)資源平臺(tái)上的數(shù)據(jù)資產(chǎn)狀況進(jìn)行全景式展現(xiàn)。資產(chǎn)目錄對(duì)平臺(tái)元數(shù)據(jù)的有序組織，是記錄數(shù)據(jù)體系的保障數(shù)據(jù)類目是目錄信息與服務(wù)、保障與支撐所組成的一個(gè)整體針對(duì)資產(chǎn)的合理組織，需要對(duì)資產(chǎn)進(jìn)行對(duì)應(yīng)分類資產(chǎn)報(bào)告針對(duì)整體平臺(tái)上的對(duì)應(yīng)數(shù)據(jù)，提供定周期了解其對(duì)應(yīng)資產(chǎn)情況，對(duì)總體資產(chǎn)情況進(jìn)行分析。資產(chǎn)地圖通過(guò)元數(shù)據(jù)信息收集、數(shù)據(jù)血緣探查、數(shù)據(jù)權(quán)限申請(qǐng)授權(quán)等手段，幫助數(shù)據(jù)資源平臺(tái)完成數(shù)據(jù)信息的收集和管理，解決數(shù)據(jù)資源平臺(tái)數(shù)據(jù)開(kāi)發(fā)者有哪些數(shù)據(jù)可用、到哪里可以找到數(shù)據(jù)的難題，并且提升數(shù)據(jù)資源的利用率。實(shí)時(shí)數(shù)據(jù)管理提供針對(duì)實(shí)時(shí)數(shù)據(jù)的元數(shù)據(jù)管理功能，包括：元數(shù)據(jù)采集、元數(shù)據(jù)存儲(chǔ)、元數(shù)據(jù)運(yùn)維、數(shù)據(jù)質(zhì)量檢查、元數(shù)據(jù)分析、權(quán)限管理、數(shù)據(jù)生命周期管理、元數(shù)據(jù)服務(wù)。數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理1.實(shí)時(shí)采集2.流數(shù)據(jù)引擎3.流數(shù)據(jù)計(jì)算模型管理4.流數(shù)據(jù)計(jì)算公共模型開(kāi)發(fā)流數(shù)據(jù)的處理過(guò)程：數(shù)據(jù)實(shí)時(shí)采集；數(shù)據(jù)實(shí)時(shí)計(jì)算；數(shù)據(jù)實(shí)時(shí)查詢服務(wù)；支持的數(shù)據(jù)源類型可以分為以下四類：●網(wǎng)絡(luò)協(xié)議數(shù)據(jù)源，包括Socket、JMS、HTTP、HTTPS等常見(jiàn)類型的網(wǎng)絡(luò)協(xié)議?！癖?異地文件數(shù)據(jù)源，包括目錄掃描、文本文件，F(xiàn)TP，SDTP等數(shù)據(jù)?！穹植际轿募到y(tǒng)數(shù)據(jù)源，包括HDFS，HBase，Hive等數(shù)據(jù)。●關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)源，包括DB2，Teradata，vertica等數(shù)據(jù)。提供數(shù)據(jù)融合，統(tǒng)計(jì)，分析的高速處理能力，對(duì)于實(shí)時(shí)性要求較高的數(shù)據(jù)計(jì)算提供支撐的功能提供對(duì)已設(shè)計(jì)完成的數(shù)據(jù)計(jì)算模型進(jìn)行申請(qǐng)，注冊(cè)，提交，執(zhí)行，監(jiān)控的統(tǒng)一管理的功能提供對(duì)于場(chǎng)景需求較多的數(shù)據(jù)模型可開(kāi)發(fā)公共模型的功能，公共模型可以供其他用戶調(diào)用，可重復(fù)使用的功能數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理5.流數(shù)據(jù)計(jì)算結(jié)果接口開(kāi)發(fā)6.流數(shù)據(jù)計(jì)算模型查詢7.支持流媒體采集及轉(zhuǎn)發(fā)管理流數(shù)據(jù)的處理過(guò)程：數(shù)據(jù)實(shí)時(shí)采集；數(shù)據(jù)實(shí)時(shí)計(jì)算；數(shù)據(jù)實(shí)時(shí)查詢服務(wù)；提供對(duì)流數(shù)據(jù)計(jì)算結(jié)果接口開(kāi)發(fā)功能和計(jì)算結(jié)果數(shù)據(jù)可通過(guò)接口形式供可視化調(diào)用或其他應(yīng)用的功能提供流數(shù)據(jù)計(jì)算模型查詢功能，通過(guò)對(duì)流數(shù)據(jù)計(jì)算模型發(fā)布可以是其他用戶查看計(jì)算模型邏輯，進(jìn)行模型再利用，減少其他用戶開(kāi)發(fā)工作量的功能針對(duì)音頻、視頻等流媒體提供數(shù)據(jù)采集功能，同時(shí)配套流媒體數(shù)據(jù)存儲(chǔ)和快速檢索功能，同時(shí)需要采集對(duì)應(yīng)流媒體設(shè)備的系統(tǒng)參數(shù)、通道參數(shù)、網(wǎng)絡(luò)參數(shù)、外設(shè)設(shè)備參數(shù)、以及外設(shè)設(shè)備的地理位置等。數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理

主要在數(shù)據(jù)治理平臺(tái)承擔(dān)數(shù)據(jù)管道作用，通過(guò)數(shù)據(jù)集成現(xiàn)實(shí)不通業(yè)務(wù)數(shù)據(jù)的匯聚、數(shù)據(jù)中心基礎(chǔ)庫(kù)的清洗等流程，通過(guò)在線簡(jiǎn)單靈活的可視化頁(yè)面針對(duì)不同的數(shù)據(jù)匯聚、清洗流程進(jìn)行配置建立，平臺(tái)直接對(duì)接調(diào)度底層的數(shù)據(jù)傳輸工具進(jìn)行數(shù)據(jù)管道的打通；實(shí)現(xiàn)了數(shù)據(jù)集成建模與數(shù)據(jù)集成匯聚快速、高效流轉(zhuǎn)的全過(guò)程。數(shù)據(jù)建模配置集成方案管理數(shù)據(jù)來(lái)源統(tǒng)計(jì)異常數(shù)據(jù)分析提供數(shù)據(jù)集成中數(shù)據(jù)單元集模型配置，數(shù)據(jù)模型即為數(shù)據(jù)集成中的數(shù)據(jù)單元集；統(tǒng)計(jì)集成模型中所有數(shù)據(jù)的來(lái)源方向，以及各庫(kù)表、各字段的精確來(lái)源，并且提供基于領(lǐng)域的快速篩選；通過(guò)構(gòu)建的數(shù)據(jù)模型實(shí)現(xiàn)多維度的數(shù)據(jù)匯聚、清洗等數(shù)據(jù)處理流程，解決了公共數(shù)據(jù)中大量的數(shù)據(jù)梳理處理工作；基于集成方案，反饋統(tǒng)計(jì)分析集成過(guò)程中不符合方案中各字段清洗規(guī)則的異常數(shù)據(jù)結(jié)果，同時(shí)支持多維度的問(wèn)題分析以及排查；數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理

定義全企業(yè)的數(shù)據(jù)架構(gòu)，包括數(shù)據(jù)的主題、層次，所涉及的部門、所用到的數(shù)據(jù)庫(kù)類型。功能包括數(shù)據(jù)架構(gòu)節(jié)點(diǎn)的增加，刪除。業(yè)務(wù)架構(gòu)管理存儲(chǔ)架構(gòu)管理從數(shù)據(jù)架構(gòu)中選擇適合團(tuán)隊(duì)的數(shù)據(jù)架構(gòu)，并綁定到團(tuán)隊(duì)，以約束開(kāi)發(fā)團(tuán)隊(duì)在開(kāi)發(fā)過(guò)程中選擇數(shù)據(jù)架構(gòu)。在異構(gòu)數(shù)據(jù)庫(kù)的環(huán)境下，不同的數(shù)據(jù)庫(kù)有不同的參數(shù)設(shè)置，為減少開(kāi)發(fā)人員在模型開(kāi)發(fā)過(guò)程中的操作，同時(shí)也保障模型在落地到物理環(huán)境的正確性，通過(guò)在存儲(chǔ)架構(gòu)中設(shè)置默認(rèn)的參數(shù)配置來(lái)保障開(kāi)發(fā)的準(zhǔn)備性。綁定團(tuán)隊(duì)、約束團(tuán)隊(duì)數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理數(shù)據(jù)異常管理異常對(duì)接管理異常問(wèn)題列表人工處理管理系統(tǒng)處理管理異常處理統(tǒng)計(jì)分析實(shí)時(shí)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量定制化開(kāi)發(fā)異常對(duì)接管理開(kāi)發(fā)可以對(duì)接數(shù)據(jù)交換總線、數(shù)據(jù)集成總線、數(shù)據(jù)服務(wù)總線系統(tǒng)中異常日志模塊的功能。異常問(wèn)題列表展示異常問(wèn)題推送并歸類整理異常問(wèn)題定義規(guī)則忽略提醒人工處理管理指定人員分類授權(quán)針對(duì)異常問(wèn)題所登記的臺(tái)賬信息系統(tǒng)處理管理子平臺(tái)子平臺(tái)子平臺(tái)系統(tǒng)處理管理異常信息無(wú)需人工干預(yù)數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理數(shù)據(jù)異常管理異常對(duì)接管理異常問(wèn)題列表人工處理管理系統(tǒng)處理管理異常處理統(tǒng)計(jì)分析實(shí)時(shí)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量定制化開(kāi)發(fā)異常處理統(tǒng)計(jì)分析按照異常分類、處理情況、時(shí)間、等級(jí)等維度進(jìn)行分類統(tǒng)計(jì)，以圖表的形式展現(xiàn)便于管理人員匯總分析的功能。實(shí)時(shí)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量定制化開(kāi)發(fā)定制質(zhì)量監(jiān)控的規(guī)則自定義擴(kuò)展規(guī)則能力針對(duì)實(shí)時(shí)流數(shù)據(jù)需要提供數(shù)據(jù)質(zhì)量管理功能，輔助數(shù)據(jù)質(zhì)量管理人員快速定位問(wèn)題的原因及處理方案。設(shè)置維護(hù)調(diào)度實(shí)時(shí)流管理功能優(yōu)化…接口監(jiān)控告警定期生成實(shí)時(shí)流數(shù)據(jù)的數(shù)據(jù)質(zhì)量評(píng)估報(bào)告問(wèn)題數(shù)據(jù)的檢測(cè)規(guī)則問(wèn)題數(shù)據(jù)的清洗回收的方式數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理

數(shù)據(jù)開(kāi)發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡(jiǎn)化開(kāi)發(fā)過(guò)程。統(tǒng)一數(shù)據(jù)開(kāi)發(fā)入口，支持可視化開(kāi)發(fā)和原生態(tài)開(kāi)發(fā)兩種開(kāi)發(fā)模式，實(shí)現(xiàn)原生態(tài)開(kāi)發(fā)與可視化編排的互相轉(zhuǎn)換，提升開(kāi)發(fā)效率。數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理

以一個(gè)業(yè)務(wù)量生產(chǎn)過(guò)程為例。傳統(tǒng)做法是通過(guò)接口通信表或時(shí)序依賴進(jìn)行協(xié)同生產(chǎn)。在統(tǒng)一調(diào)度平臺(tái)中以數(shù)據(jù)流作為驅(qū)動(dòng),通過(guò)控制中心進(jìn)行作業(yè)命令下發(fā)，狀態(tài)收集進(jìn)行控制，達(dá)到各個(gè)異構(gòu)系統(tǒng)，多個(gè)子系統(tǒng)的協(xié)同調(diào)度。統(tǒng)一調(diào)度管理流程設(shè)計(jì)與管理調(diào)度策略管控任務(wù)調(diào)度控制標(biāo)準(zhǔn)化控件……作業(yè)/任務(wù)管理作業(yè)/任務(wù)調(diào)度作業(yè)/任務(wù)執(zhí)行采集轉(zhuǎn)換加載調(diào)度監(jiān)控?cái)?shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理數(shù)據(jù)運(yùn)維管理監(jiān)控運(yùn)維運(yùn)維概覽運(yùn)維任務(wù)監(jiān)控告警實(shí)時(shí)分析統(tǒng)一流程管理數(shù)據(jù)運(yùn)維定制化開(kāi)發(fā)平臺(tái)運(yùn)維定制化開(kāi)發(fā)監(jiān)控運(yùn)維開(kāi)發(fā)者維護(hù)者作業(yè)部署作業(yè)優(yōu)先級(jí)數(shù)據(jù)監(jiān)控運(yùn)維指標(biāo)數(shù)據(jù)情況任務(wù)運(yùn)行情況監(jiān)控異常情況告警日常運(yùn)維數(shù)據(jù)統(tǒng)計(jì)運(yùn)維概覽任務(wù)完成情況任務(wù)運(yùn)行情況任務(wù)執(zhí)行時(shí)長(zhǎng)排行調(diào)度任務(wù)數(shù)量趨勢(shì)……運(yùn)維任務(wù)1)提供任務(wù)運(yùn)行狀態(tài)監(jiān)控告警2)提供單任務(wù)重跑、多任務(wù)重跑、kill、置成功、暫停等操作3)提供列表和DAG兩種模式4)實(shí)現(xiàn)針對(duì)周期運(yùn)行、測(cè)試運(yùn)行、手動(dòng)運(yùn)行任務(wù)查看任務(wù)運(yùn)行狀態(tài)5)實(shí)現(xiàn)針對(duì)任務(wù)進(jìn)行重跑、停止、查看運(yùn)行日志、查看節(jié)點(diǎn)代碼、查看節(jié)點(diǎn)屬性。監(jiān)控告警自定義配置告警規(guī)則規(guī)則一規(guī)則二規(guī)則三規(guī)則……告警：任務(wù)失敗數(shù)據(jù)加工處理1.流數(shù)據(jù)處理2.數(shù)據(jù)集成管理3.數(shù)據(jù)架構(gòu)管理4.數(shù)據(jù)異常管理5.數(shù)據(jù)開(kāi)發(fā)管理6.統(tǒng)一調(diào)度管理7.數(shù)據(jù)運(yùn)維管理數(shù)據(jù)運(yùn)維管理監(jiān)控運(yùn)維運(yùn)維概覽運(yùn)維任務(wù)監(jiān)控告警實(shí)時(shí)分析統(tǒng)一流程管理數(shù)據(jù)運(yùn)維定制化開(kāi)發(fā)平臺(tái)運(yùn)維定制化開(kāi)發(fā)數(shù)據(jù)質(zhì)量管理1.質(zhì)量模型配置2.質(zhì)量規(guī)則管理3.方案配置調(diào)度4.質(zhì)檢結(jié)果查看5.質(zhì)檢分析報(bào)告

數(shù)據(jù)質(zhì)量管理主要包含對(duì)數(shù)據(jù)完整性、準(zhǔn)確性、鮮活性、權(quán)威性的分析和管理，并對(duì)數(shù)據(jù)進(jìn)行跟蹤、處理和解決，實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量的全程管理，提高數(shù)據(jù)的質(zhì)量。

能夠提供規(guī)則配置、質(zhì)量監(jiān)控、問(wèn)題處理等功能，及時(shí)發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量問(wèn)題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性，挖掘數(shù)據(jù)更大的價(jià)值。根據(jù)業(yè)務(wù)需要選擇實(shí)體表和規(guī)則，方案與方案之間相互獨(dú)立，互不干擾。通過(guò)執(zhí)行模型下的質(zhì)檢方案，可以得到用戶關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問(wèn)題數(shù)據(jù)明細(xì)信息、數(shù)據(jù)質(zhì)量分析結(jié)果等。數(shù)據(jù)質(zhì)量管理1.質(zhì)量模型配置2.質(zhì)量規(guī)則管理3.方案配置調(diào)度4.質(zhì)檢結(jié)果查看5.質(zhì)檢分析報(bào)告

系統(tǒng)支持多種規(guī)則類型，提供了全方位的視角來(lái)為用戶解析數(shù)據(jù)質(zhì)量。一套規(guī)則能在多套方案中復(fù)用，在保證多角度準(zhǔn)確數(shù)據(jù)質(zhì)量分析的前提下，大大減少了用戶投入的精力與時(shí)間，為用戶提供了一種靈活而全面的數(shù)據(jù)質(zhì)量分析方式。系統(tǒng)包括以下質(zhì)量規(guī)則：空值檢查空值檢查用于檢查關(guān)鍵字段非空值域檢查值域檢查用于檢查關(guān)鍵字段的取值范圍，支持?jǐn)?shù)值型、字符型、日期型字段檢查規(guī)范檢查規(guī)范檢查用于檢查指標(biāo)值的格式是否規(guī)范，支持身份證、手機(jī)號(hào)碼、郵箱、日期等多種數(shù)據(jù)類型的檢測(cè)，支持自定義正則表達(dá)式邏輯檢查邏輯檢查用于檢查指標(biāo)之間是否滿足一定的邏輯關(guān)系重復(fù)數(shù)據(jù)檢查●重復(fù)數(shù)據(jù)檢查用于檢查表內(nèi)是否有重復(fù)數(shù)據(jù)?！褚?guī)則算法：groupby重復(fù)依據(jù)字段，count(1)>1的算重復(fù)及時(shí)性檢查規(guī)則算法：算出上報(bào)時(shí)間字段的值，如果沒(méi)寫(xiě)上報(bào)時(shí)間表達(dá)式，則最佳上報(bào)時(shí)間都是以下一期的第一天做為參照依據(jù)，再將上報(bào)時(shí)間與最佳上報(bào)時(shí)間做為比較，看是否在允許誤差最