大數(shù)據(jù) 趙天爍-魅族大數(shù)據(jù)可視化平臺(tái)建設(shè)之路

大數(shù)據(jù)大數(shù)據(jù)現(xiàn)狀&問(wèn)題當(dāng)前目標(biāo)實(shí)現(xiàn)方案現(xiàn)狀&問(wèn)題現(xiàn)狀&問(wèn)題Yourlifecanbeenhanced,andyourhappinessenriched,whenyouchoosetochangeyourperspective.現(xiàn)狀&問(wèn)題--數(shù)據(jù)層?渠道(形式)多樣化?格式多樣?臟數(shù)據(jù)?量級(jí)巨大?建模繁瑣?性能差?實(shí)時(shí)性?大規(guī)模計(jì)算?數(shù)據(jù)挖掘?易用性?數(shù)據(jù)更新?指標(biāo)、維度一致性?數(shù)據(jù)延遲?血緣關(guān)系?通知機(jī)制?指標(biāo)、維度權(quán)限?行級(jí)權(quán)限?參數(shù)化鑒權(quán)?數(shù)據(jù)交換脫敏?日志審計(jì)現(xiàn)狀&問(wèn)題--可視化層?類型擴(kuò)展?視覺(jué)定制?條件樣式?聯(lián)動(dòng)?自定義組件?拖拽操作?自由排版?上卷下鉆?區(qū)域分組聯(lián)動(dòng)?數(shù)據(jù)定義說(shuō)明?移動(dòng)端適配?大屏適配?PPT式數(shù)據(jù)報(bào)告?自定義主題?多端分享互動(dòng)?底層數(shù)據(jù)異常通知?底層數(shù)據(jù)恢復(fù)通知?業(yè)務(wù)波動(dòng)通知?定時(shí)郵件當(dāng)前目標(biāo)當(dāng)前目標(biāo)Yourlifecanbeenhanced,andyourhappinessenriched,whenyouchoosetochangeyourperspective.當(dāng)前目標(biāo)---優(yōu)先級(jí)當(dāng)前目標(biāo)結(jié)論CONCLUSIONYourlifecanbeenhanced,andyourhappinessenriched,whenyouchoosetochangeyourperspective.實(shí)現(xiàn)方案實(shí)現(xiàn)方案Yourlifecanbeenhanced,andyourhappinessenriched,whenyouchoosetochangeyourperspective.統(tǒng)計(jì)分析門戶用戶自助數(shù)據(jù)交換平臺(tái)元數(shù)據(jù)統(tǒng)計(jì)分析門戶用戶自助數(shù)據(jù)交換平臺(tái)元數(shù)據(jù)平臺(tái)大數(shù)據(jù)安全其其他應(yīng)用產(chǎn)品大數(shù)據(jù)可視化平臺(tái)CarboCarbon實(shí)現(xiàn)方案實(shí)現(xiàn)方案PARTONE?視覺(jué)定制?交互細(xì)節(jié)定制?可視化類型?功能定制PARTTWO?安全集成?分析引擎集成?數(shù)據(jù)化運(yùn)營(yíng)產(chǎn)品集成PARTTHREE?數(shù)據(jù)集模型復(fù)用?數(shù)據(jù)接口復(fù)用?可視化組件復(fù)用?頁(yè)面復(fù)用PARTFOUR?功能需求?內(nèi)容需求?環(huán)境運(yùn)維?查詢性能?性能差??性能差?實(shí)時(shí)性?大規(guī)模計(jì)算?數(shù)據(jù)挖掘?易用性?數(shù)據(jù)更新?指標(biāo)、維度一致性?數(shù)據(jù)延遲?血緣關(guān)系?通知機(jī)制解決方案--數(shù)據(jù)層?渠道(形式)多樣化?格式多樣?臟數(shù)據(jù)?量級(jí)巨大?建模繁瑣?指標(biāo)、維度權(quán)限?行級(jí)權(quán)限?參數(shù)化鑒權(quán)?數(shù)據(jù)交換脫敏?日志審計(jì)解決方案實(shí)現(xiàn)方案-分析引擎選擇PARTONEPARTTWOOLAPPARTTHREEPARTFOUR文本檢索?SparkStreaming?Kylin?ElasticSearch?Storm?Vertica?Tindex?Tindex?Tindex?mysql分庫(kù)分表?CarbonData解決方案--分析引擎PARTTHREE?Kylin?PARTTHREE?Kylin?Vertica?mysql分庫(kù)分表?CarbonDataPARTTWOOLAPPARTONEPARTFOUR文本檢索?ElasticSearch?Tindex?SparkStreaming?Storm?Tindex?Tindex統(tǒng)一VS解決方案--分析引擎參數(shù)分參數(shù)分頁(yè)字段指標(biāo)BatisPARTTHREE?Kylin?Vertica?mysql分庫(kù)分表?CarbonDataPARTTWOOLAPPARTONEPARTFOUR文本檢索?ElasticSearch?Tindex?SparkStreaming?Storm?Tindex?Tindex維維度解決方案--分析引擎解決方案解決方案--可視化PARTONEPARTONEPARTTWO.定制化需求支持自定義.自定義入口模板化.不涉及多維分析等高級(jí)特性的封裝解決方案--可視化解決方案--可視化解決方案--可視化解決方案--布局結(jié)構(gòu)?默認(rèn)hbox模式?布局管理器+多套布局策略實(shí)現(xiàn)?類PPT的絕對(duì)位置自由布局解決方案--布局結(jié)構(gòu)解決方案PARTONE統(tǒng)一概念模型ü降低維護(hù)成本ü提升復(fù)用性ü數(shù)據(jù)質(zhì)量統(tǒng)一管理PARTONE統(tǒng)一概念模型ü降低維護(hù)成本ü提升復(fù)用性ü數(shù)據(jù)質(zhì)量統(tǒng)一管理ü性能可用性統(tǒng)一優(yōu)化ü安全日志審計(jì)PARTTWOClient封裝.服務(wù)ID+條件參數(shù)結(jié)構(gòu).數(shù)據(jù)獲取細(xì)節(jié)在平臺(tái)中.支持同步、異步方式.異步方式支持消息通知PARTONE統(tǒng)一概念模型ü避免重復(fù)開(kāi)發(fā)ü統(tǒng)一安全測(cè)試ü統(tǒng)一公共組件PARTONE統(tǒng)一概念模型ü避免重復(fù)開(kāi)發(fā)ü統(tǒng)一安全測(cè)試ü統(tǒng)一公共組件ü促進(jìn)交流/共享ü推進(jìn)DPL落地PARTTWOPARTONE模型共享ü各層模型元數(shù)據(jù)可選擇性ü指標(biāo)、維度定義標(biāo)注üPARTONE模型共享ü各層模型元數(shù)據(jù)可選擇性ü指標(biāo)、維度定義標(biāo)注ü基于血緣關(guān)系的定義繼承ü沉淀高質(zhì)量數(shù)據(jù)集市PARTTWO質(zhì)量管理PARTONEü異構(gòu)數(shù)據(jù)源適配ü性能、可用性問(wèn)題P