數(shù)據(jù)治理平臺(tái)建設(shè)與應(yīng)用技術(shù)方案

數(shù)據(jù)治理平臺(tái)建設(shè)與應(yīng)用技術(shù)方案數(shù)據(jù)治理平臺(tái)背景數(shù)據(jù)治理平臺(tái)應(yīng)用場(chǎng)景分析數(shù)據(jù)治理平臺(tái)建設(shè)方案研發(fā)數(shù)據(jù)刑偵信息廣告數(shù)據(jù)輿情信息輿情數(shù)據(jù)監(jiān)測(cè)數(shù)據(jù)研發(fā)數(shù)據(jù)刑偵信息廣告數(shù)據(jù)輿情信息輿情數(shù)據(jù)監(jiān)測(cè)數(shù)據(jù)數(shù)據(jù)用戶信息風(fēng)險(xiǎn)信息管理數(shù)據(jù)第三方數(shù)據(jù)搜索數(shù)據(jù)社交數(shù)據(jù)持有大量用戶數(shù)據(jù)，對(duì)數(shù)據(jù)資產(chǎn)的售出，將成為行業(yè)的新增長(zhǎng)點(diǎn)。金融各行業(yè)的金融信息流可結(jié)合第三方數(shù)據(jù)，更制造政府的治理社會(huì)實(shí)施了大數(shù)據(jù)項(xiàng)目實(shí)施了大數(shù)據(jù)項(xiàng)目，所采用的技術(shù)眾多n大數(shù)據(jù)存儲(chǔ)應(yīng)用廣泛，具備大數(shù)據(jù)必備因素現(xiàn)階段大數(shù)據(jù)技術(shù)Hive、Spark、Storm、Hbase已使用廣泛，解決了大數(shù)據(jù)存儲(chǔ)問(wèn)題。nETLnETL工具、FLUME組件負(fù)責(zé)大數(shù)據(jù)交換問(wèn)題大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)的傳輸問(wèn)題也有大數(shù)據(jù)組件解決，如Flume，主流ETL工具等。n數(shù)據(jù)BI、數(shù)據(jù)挖掘通過(guò)數(shù)據(jù)BI軟件、數(shù)據(jù)分析挖掘通過(guò)大數(shù)據(jù)平臺(tái)的相關(guān)組件也可以進(jìn)行相關(guān)分析。模型算法SparkHBase列存儲(chǔ)Storm流處理BI分析數(shù)據(jù)挖掘nn數(shù)據(jù)產(chǎn)品廠商，缺乏場(chǎng)景使用經(jīng)驗(yàn)數(shù)據(jù)平臺(tái)廠商與數(shù)據(jù)應(yīng)用廠商往往不是一家，平臺(tái)廠商缺乏數(shù)據(jù)應(yīng)用建設(shè)經(jīng)驗(yàn)。數(shù)據(jù)提數(shù)據(jù)提供商產(chǎn)品提產(chǎn)品提供商解決方解決方案提供商平臺(tái)提平臺(tái)提供商數(shù)據(jù)分?jǐn)?shù)據(jù)分析廠商業(yè)務(wù)算業(yè)務(wù)算法提供商nn數(shù)據(jù)應(yīng)用廠商不能理解平臺(tái)內(nèi)數(shù)據(jù)業(yè)務(wù)含義具有涉密數(shù)據(jù)開(kāi)發(fā)資質(zhì)的廠商有限，但并不了解大數(shù)據(jù)平臺(tái)內(nèi)部數(shù)據(jù)的含義。我們還需要哪些數(shù)據(jù)建設(shè)廠商？nn各廠商之間交換的數(shù)據(jù)質(zhì)量得不到保證大數(shù)據(jù)建設(shè)項(xiàng)目被分為數(shù)據(jù)平臺(tái)、應(yīng)用、業(yè)務(wù)等多個(gè)獨(dú)立項(xiàng)目和廠商，之間的銜接部分沒(méi)有人管理，造成數(shù)據(jù)質(zhì)量差。技術(shù)需求?大數(shù)據(jù)量實(shí)時(shí)傳輸沒(méi)有解決方案技術(shù)需求?大數(shù)據(jù)量實(shí)時(shí)傳輸沒(méi)有解決方案管理需求業(yè)務(wù)需求?數(shù)據(jù)使用者無(wú)法理解數(shù)據(jù)模型數(shù)據(jù)治理平臺(tái)背景數(shù)據(jù)治理平臺(tái)應(yīng)用場(chǎng)景分析數(shù)據(jù)治理平臺(tái)建設(shè)方案應(yīng)用百花齊放數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用廠商Z訪問(wèn)層廠商Y存儲(chǔ)層數(shù)據(jù)源廠商X傳統(tǒng)的應(yīng)用按照業(yè)務(wù)建設(shè)，一個(gè)廠商需要負(fù)責(zé)數(shù)據(jù)采集、存儲(chǔ)、數(shù)據(jù)應(yīng)用等全部過(guò)程；大數(shù)據(jù)時(shí)代，技術(shù)更加專注和專業(yè)，系統(tǒng)建設(shè)趨勢(shì)是采用橫向切分應(yīng)用百花齊放數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用廠商Z訪問(wèn)層廠商Y存儲(chǔ)層數(shù)據(jù)源廠商X傳統(tǒng)的應(yīng)用按照業(yè)務(wù)建設(shè)，一個(gè)廠商需要負(fù)責(zé)數(shù)據(jù)采集、存儲(chǔ)、數(shù)據(jù)應(yīng)用等全部過(guò)程；大數(shù)據(jù)時(shí)代，技術(shù)更加專注和專業(yè)，系統(tǒng)建設(shè)趨勢(shì)是采用橫向切分模式。數(shù)據(jù)中心集中建設(shè)需要解決“應(yīng)用和平臺(tái)分離”建設(shè)模式帶來(lái)的新問(wèn)題。應(yīng)用：我有數(shù)據(jù)分析經(jīng)驗(yàn)，但是我拿不到高質(zhì)量的數(shù)據(jù)。目前拿到的數(shù)據(jù)不能用。廠商Z：我只是提供數(shù)據(jù)共享平臺(tái)，廠商X的數(shù)據(jù)特性平臺(tái)無(wú)法支持，產(chǎn)品不能動(dòng)。廠商Y：我只是提供數(shù)據(jù)存儲(chǔ)平臺(tái)，不了解業(yè)務(wù)建設(shè)需求。廠商X：只了解業(yè)務(wù)系統(tǒng)特性，對(duì)于大數(shù)據(jù)平臺(tái)需求平臺(tái)產(chǎn)品特性不清楚。數(shù)據(jù)應(yīng)用廠商管理管理不規(guī)范：數(shù)據(jù)模型管理缺乏規(guī)范化體系，大數(shù)據(jù)平臺(tái)內(nèi)數(shù)據(jù)的技術(shù)、業(yè)務(wù)屬性不清晰，沒(méi)有完善的數(shù)據(jù)模型管理體系與規(guī)范。管理使用2數(shù)據(jù)服務(wù)3使用不明確：由于數(shù)據(jù)業(yè)務(wù)特性與使用方法不統(tǒng)一，難以對(duì)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的快速集成和共享使用2數(shù)據(jù)服務(wù)3數(shù)據(jù)管理質(zhì)量監(jiān)控監(jiān)控不到位：在實(shí)際數(shù)據(jù)運(yùn)行中，會(huì)出現(xiàn)數(shù)據(jù)數(shù)據(jù)管理質(zhì)量監(jiān)控監(jiān)控不到位：在實(shí)際數(shù)據(jù)運(yùn)行中，會(huì)出現(xiàn)數(shù)據(jù)信息發(fā)生中斷異?；驍?shù)據(jù)量發(fā)生突然變化等數(shù)據(jù)異常監(jiān)控。無(wú)法通過(guò)傳統(tǒng)的監(jiān)控手段及時(shí)發(fā)現(xiàn)。大數(shù)據(jù)平臺(tái)建設(shè)廠商1大數(shù)據(jù)平臺(tái)數(shù)據(jù)源數(shù)據(jù)源我該找誰(shuí)要數(shù)據(jù)？數(shù)據(jù)數(shù)據(jù)使用數(shù)據(jù)分析數(shù)據(jù)挖掘大數(shù)據(jù)平臺(tái)數(shù)據(jù)資產(chǎn)模型數(shù)據(jù)接口…我該找誰(shuí)要數(shù)據(jù)？數(shù)據(jù)數(shù)據(jù)使用數(shù)據(jù)分析數(shù)據(jù)挖掘大數(shù)據(jù)平臺(tái)數(shù)據(jù)資產(chǎn)模型數(shù)據(jù)接口…建議：1.自動(dòng)化獲取元數(shù)據(jù)信息通過(guò)自動(dòng)化采集與解析手段，建立技術(shù)、業(yè)務(wù)、過(guò)程元數(shù)據(jù)的注冊(cè)輸入，標(biāo)明數(shù)據(jù)方位。2.標(biāo)明數(shù)據(jù)方位，整理業(yè)務(wù)屬性將數(shù)據(jù)資產(chǎn)按業(yè)務(wù)屬性編目，梳理數(shù)據(jù)的屬性、共享方式、特性、映射。3：建立業(yè)務(wù)數(shù)據(jù)服務(wù)目錄以數(shù)據(jù)資產(chǎn)為驅(qū)動(dòng)方式，實(shí)現(xiàn)數(shù)據(jù)集成和共享。建立數(shù)據(jù)服務(wù)目錄。如何自動(dòng)化管理？如何快速找到樣例數(shù)據(jù)？??批量數(shù)據(jù)交換？資源實(shí)例大數(shù)據(jù)資源空間資源服務(wù)內(nèi)存數(shù)據(jù)服務(wù)數(shù)據(jù)庫(kù)服務(wù)數(shù)據(jù)資產(chǎn)服務(wù)數(shù)據(jù)資源服務(wù)實(shí)時(shí)資源同步資源獲取批量CRUD數(shù)據(jù)模型數(shù)據(jù)資源模型內(nèi)存數(shù)據(jù)模型CRUDx'數(shù)據(jù)太大無(wú)法傳？資源實(shí)例大數(shù)據(jù)資源空間資源服務(wù)內(nèi)存數(shù)據(jù)服務(wù)數(shù)據(jù)庫(kù)服務(wù)數(shù)據(jù)資產(chǎn)服務(wù)數(shù)據(jù)資源服務(wù)實(shí)時(shí)資源同步資源獲取批量CRUD數(shù)據(jù)模型數(shù)據(jù)資源模型內(nèi)存數(shù)據(jù)模型CRUDx'建議：1.梳理數(shù)據(jù)交換需求梳理數(shù)據(jù)集成、交換需求。按技術(shù)特征劃分為實(shí)時(shí)、準(zhǔn)實(shí)時(shí)、批量等。2.數(shù)據(jù)資產(chǎn)與服務(wù)對(duì)接基于數(shù)據(jù)資產(chǎn)的數(shù)據(jù)開(kāi)發(fā)，實(shí)現(xiàn)資產(chǎn)與數(shù)據(jù)服務(wù)的對(duì)接。通過(guò)服務(wù)目錄直接獲取所需數(shù)據(jù)。數(shù)據(jù)不一致怎么辦？日使用流量數(shù)據(jù)量異常波動(dòng)？日使用流量建議：1.明確重要監(jiān)控指標(biāo)Hadoop平臺(tái)的重要數(shù)據(jù)監(jiān)控指標(biāo)與監(jiān)控需求。2.建立多渠道監(jiān)控方式對(duì)接數(shù)據(jù)監(jiān)控平臺(tái)，以以郵件、短信等通知方式告警。50每日數(shù)據(jù)變化量檢測(cè)40302050每日數(shù)據(jù)變化量檢測(cè)403020基于數(shù)據(jù)模型管理n可以靈活擴(kuò)展支撐業(yè)務(wù)變化，保證業(yè)務(wù)數(shù)據(jù)保質(zhì)量、標(biāo)準(zhǔn)化基于模型的數(shù)據(jù)獲取數(shù)據(jù)，基于數(shù)據(jù)模型管理，可以讓技術(shù)與業(yè)務(wù)人員通過(guò)平臺(tái)可以迅速找到對(duì)應(yīng)的數(shù)據(jù)資源。可對(duì)接多種數(shù)據(jù)源n支持現(xiàn)有主流的大數(shù)據(jù)技術(shù)平臺(tái)的對(duì)接可對(duì)接現(xiàn)有的大數(shù)據(jù)Hive，Spark，Strom流數(shù)據(jù)等主流的數(shù)據(jù)結(jié)構(gòu)，分為實(shí)時(shí)數(shù)據(jù)和批量數(shù)據(jù)的對(duì)接方式。n數(shù)據(jù)獲取方式靈活多樣，可支持配置化數(shù)據(jù)訂閱管理支持多種數(shù)據(jù)獲取方式支持靈活的數(shù)據(jù)訂閱方式，以支推，拉的數(shù)據(jù)訂閱數(shù)據(jù)與服務(wù)接口對(duì)接?？梢钥焖俚墨@取到想要的數(shù)據(jù)活文件。提供數(shù)據(jù)監(jiān)控預(yù)警機(jī)制n支持多種數(shù)據(jù)預(yù)警機(jī)制，隨時(shí)發(fā)現(xiàn)數(shù)據(jù)任務(wù)執(zhí)行過(guò)程中所遇到的問(wèn)題支持執(zhí)行任務(wù)的全過(guò)程監(jiān)控，執(zhí)行數(shù)量監(jiān)控，數(shù)據(jù)波動(dòng)、數(shù)據(jù)到達(dá)預(yù)警監(jiān)控等，并支持多種信息通知方式，如短信、郵件等。數(shù)據(jù)治理平臺(tái)背景數(shù)據(jù)治理平臺(tái)應(yīng)用場(chǎng)景分析數(shù)據(jù)治理平臺(tái)建設(shè)方案通過(guò)數(shù)據(jù)治理，提供數(shù)據(jù)服務(wù)，從管理中心轉(zhuǎn)變?yōu)榉?wù)中心通過(guò)數(shù)據(jù)治理，變現(xiàn)數(shù)據(jù)價(jià)值，從成本中心轉(zhuǎn)變?yōu)槔麧?rùn)中心管理職責(zé)管理思路管理組織傳統(tǒng)數(shù)據(jù)管理創(chuàng)新數(shù)據(jù)管理用數(shù)據(jù)治理連接大數(shù)據(jù)與業(yè)務(wù)創(chuàng)新網(wǎng)絡(luò)數(shù)據(jù)通信數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)通信數(shù)據(jù)信用數(shù)據(jù)客戶數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)交易大數(shù)據(jù)數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)發(fā)布財(cái)務(wù)數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)發(fā)布財(cái)務(wù)人力人力傳感器數(shù)據(jù)社交媒體IT/OT圖像視頻交易業(yè)務(wù)創(chuàng)新運(yùn)營(yíng)生產(chǎn)分析交易運(yùn)營(yíng)生產(chǎn)分析需求分析展現(xiàn)應(yīng)用分析展現(xiàn)應(yīng)用數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)治理平臺(tái)數(shù)據(jù)應(yīng)用1數(shù)據(jù)資產(chǎn)平臺(tái)3數(shù)據(jù)服務(wù)總線2數(shù)據(jù)開(kāi)發(fā)平臺(tái)大數(shù)據(jù)平臺(tái)44數(shù)據(jù)監(jiān)控平臺(tái)規(guī)范業(yè)務(wù)所屬部門的業(yè)務(wù)所屬部門的系統(tǒng)開(kāi)發(fā)人員，主要提供所負(fù)責(zé)業(yè)務(wù)系統(tǒng)功能開(kāi)發(fā)與業(yè)務(wù)創(chuàng)新的IT實(shí)現(xiàn)。但往往不清楚大數(shù)據(jù)中心數(shù)據(jù)的特性。往往把業(yè)務(wù)人員提出的需求交給數(shù)據(jù)中心實(shí)現(xiàn)。大數(shù)據(jù)中心的管理員，負(fù)責(zé)大數(shù)據(jù)中心的運(yùn)營(yíng)與管理。負(fù)責(zé)采集與各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，接收各業(yè)務(wù)系統(tǒng)的提出的數(shù)據(jù)業(yè)務(wù)需求。并負(fù)責(zé)給數(shù)據(jù)消費(fèi)者提供必要的大數(shù)據(jù)支撐。大數(shù)據(jù)中心的開(kāi)大數(shù)據(jù)中心的開(kāi)發(fā)人員，負(fù)責(zé)大數(shù)據(jù)中心的數(shù)據(jù)ETL加工，并數(shù)據(jù)管理中心批準(zhǔn)的數(shù)據(jù)需求進(jìn)行開(kāi)發(fā)。通常需要面對(duì)各業(yè)務(wù)部門的需求，難以了解業(yè)務(wù)部門的數(shù)據(jù)特點(diǎn)。業(yè)務(wù)運(yùn)營(yíng)人員是業(yè)務(wù)運(yùn)營(yíng)人員是企業(yè)各業(yè)務(wù)部門一線的業(yè)務(wù)人員，擁有大量的數(shù)據(jù)使用的需求。但通常并不了解大數(shù)據(jù)中心的數(shù)據(jù)能力與企業(yè)內(nèi)部其他部門的數(shù)據(jù)情況。業(yè)務(wù)運(yùn)營(yíng)人員業(yè)務(wù)系統(tǒng)開(kāi)發(fā)人員2.查找數(shù)據(jù)業(yè)務(wù)運(yùn)營(yíng)人員業(yè)務(wù)系統(tǒng)開(kāi)發(fā)人員2.查找數(shù)據(jù)1.提出數(shù)據(jù)需求確認(rèn)數(shù)據(jù)需求4、7.交付數(shù)據(jù)確認(rèn)數(shù)據(jù)需求4、7.交付數(shù)據(jù)3.返回?cái)?shù)據(jù)運(yùn)營(yíng)生產(chǎn)運(yùn)營(yíng)交易分析交易6.返回?cái)?shù)據(jù)6.返回?cái)?shù)據(jù)數(shù)據(jù)消費(fèi)方數(shù)據(jù)提供方—一80%20%需開(kāi)發(fā)數(shù)據(jù)需求數(shù)據(jù)使用分析應(yīng)用等與需求/流數(shù)據(jù)使用分析應(yīng)用等與需求/流程接口應(yīng)用數(shù)據(jù)資產(chǎn)平臺(tái)數(shù)據(jù)服務(wù)總線數(shù)據(jù)監(jiān)控平臺(tái)應(yīng)用治理規(guī)范服務(wù)共享規(guī)范服務(wù)規(guī)范數(shù)據(jù)開(kāi)發(fā)平臺(tái)……Spark加工組件加工組件RPC調(diào)用采集組件應(yīng)用數(shù)據(jù)資產(chǎn)分析數(shù)據(jù)資產(chǎn)管理/編目 ...數(shù)據(jù)資產(chǎn)分析數(shù)據(jù)資產(chǎn)管理/編目數(shù)據(jù)資產(chǎn)使用數(shù)據(jù)資產(chǎn)模型設(shè)計(jì)元模型設(shè)計(jì)器數(shù)據(jù)資產(chǎn)采集采集適配器管理采集適配器管理集……數(shù)據(jù)應(yīng)用數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)開(kāi)發(fā)數(shù)據(jù)應(yīng)用數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)開(kāi)發(fā)數(shù)據(jù)資產(chǎn)分析統(tǒng)計(jì)數(shù)據(jù)資產(chǎn)存儲(chǔ)元模型管理資產(chǎn)存儲(chǔ)數(shù)據(jù)資產(chǎn)分析統(tǒng)計(jì)數(shù)據(jù)資產(chǎn)存儲(chǔ)元模型管理資產(chǎn)存儲(chǔ)數(shù)據(jù)資產(chǎn)接口服務(wù)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)采集↓↓接口文件DB…儲(chǔ)3、采用MOF模型規(guī)范實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)擴(kuò)展存儲(chǔ)數(shù)據(jù)入庫(kù)數(shù)據(jù)入庫(kù)入庫(kù)策略入庫(kù)策略1、解析、組裝、入庫(kù)過(guò)程分離，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)采集和存儲(chǔ)解耦數(shù)據(jù)資產(chǎn)采集采集解析模型組裝數(shù)據(jù)資產(chǎn)采集采集解析模型組裝多類型企業(yè)數(shù)據(jù)源采集調(diào)度解析算法2、可插拔的采集適配器，支持?jǐn)?shù)據(jù)資產(chǎn)管理的無(wú)限擴(kuò)充采集調(diào)度解析算法落地?cái)?shù)據(jù)資產(chǎn)平臺(tái)權(quán)威擴(kuò)展分析統(tǒng)一擴(kuò)展分析統(tǒng)一建立統(tǒng)一的數(shù)據(jù)模型視圖，為業(yè)務(wù)管理人員方便的獲取到數(shù)據(jù)提供先決條件;數(shù)據(jù)資源探查數(shù)據(jù)資源探查數(shù)據(jù)資源管理策略管理數(shù)據(jù)共享層數(shù)據(jù)共享層數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)批量數(shù)據(jù)數(shù)據(jù)服務(wù)層數(shù)據(jù)服務(wù)層服務(wù)服務(wù)數(shù)據(jù)開(kāi)發(fā)描述資源模型結(jié)構(gòu)數(shù)據(jù)開(kāi)發(fā)描述資源模型結(jié)構(gòu)約束約束關(guān)系關(guān)系結(jié)構(gòu)大數(shù)據(jù)模型描述大數(shù)據(jù)模型約束約束據(jù)資產(chǎn)、模型為基礎(chǔ)的資源開(kāi)發(fā)。將模型開(kāi)發(fā)復(fù)用數(shù)據(jù)開(kāi)發(fā)平臺(tái)提升創(chuàng)新易懂創(chuàng)新易懂針對(duì)業(yè)務(wù)特性對(duì)現(xiàn)有的數(shù)據(jù)資產(chǎn)進(jìn)行編目開(kāi)發(fā)，讓數(shù)據(jù)使用者直觀理解數(shù)據(jù)的含義；統(tǒng)一統(tǒng)一標(biāo)準(zhǔn)規(guī)范系統(tǒng)安全服務(wù)資源目錄中心總線監(jiān)控中心標(biāo)準(zhǔn)規(guī)范系統(tǒng)安全服務(wù)資源目錄中心總線監(jiān)控中心數(shù)據(jù)服務(wù)總線數(shù)據(jù)服務(wù)總線基礎(chǔ)服務(wù)數(shù)據(jù)開(kāi)發(fā)層數(shù)據(jù)開(kāi)發(fā)層數(shù)據(jù)資產(chǎn)擎數(shù)據(jù)消費(fèi)者數(shù)據(jù)/文件訂閱?數(shù)據(jù)服務(wù)總線重點(diǎn)解決高性能和高可用性能力單Server處理能力：采用SEDA架構(gòu)、輕量級(jí)部署架構(gòu)（直接部署JVM之上）、異步Servl分布式橫向擴(kuò)展能力：采用靈活的集群部署模式、配置熱更新、資源單實(shí)例處理能力單實(shí)例處理能力異步多線程模型-SEDA特點(diǎn)……分布式擴(kuò)展能力分布式擴(kuò)展能力通過(guò)控制臺(tái)對(duì)多個(gè)ESBServer進(jìn)行統(tǒng)一管理?跨機(jī)器、跨JVM部署?配置更新、統(tǒng)一監(jiān)控硬件CESB管理服務(wù)器硬件CESB管理服務(wù)器硬件A硬件D……硬件D……硬件B快速渠道統(tǒng)計(jì)海量統(tǒng)計(jì)海量對(duì)于海量數(shù)據(jù)與音視頻文件，提供快速的大文件傳輸機(jī)制，快速獲得大數(shù)據(jù)；安全安全統(tǒng)計(jì)分析………統(tǒng)計(jì)分析……………表表業(yè)務(wù)應(yīng)用………業(yè)務(wù)應(yīng)用………數(shù)據(jù)服務(wù)總線數(shù)據(jù)服務(wù)總線數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)開(kāi)發(fā)離線數(shù)據(jù)采集數(shù)據(jù)資產(chǎn)......離線數(shù)據(jù)采集數(shù)據(jù)資產(chǎn)......外部數(shù)據(jù)大數(shù)據(jù)平臺(tái)其他應(yīng)用平臺(tái)4數(shù)據(jù)傳輸監(jiān)控線實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)數(shù)據(jù)到達(dá)情況監(jiān)控和數(shù)據(jù)分發(fā)成功與否監(jiān)控，數(shù)據(jù)到達(dá)是指采集及時(shí)數(shù)據(jù)監(jiān)控平臺(tái)便捷標(biāo)