騰訊云大數(shù)據(jù)方案交流課件

1、騰訊云大數(shù)據(jù)方案交流議程騰訊大數(shù)據(jù)歷程騰訊大數(shù)據(jù)方案和產(chǎn)品案例介紹騰訊數(shù)據(jù)資產(chǎn)QQ月度活躍超過8億QQ空間月活超過5億微信及Wechat月活超過6億擁有用戶最多的視頻門戶行業(yè)用戶最大的瀏覽器騰訊大數(shù)據(jù)現(xiàn)狀資源調(diào)度Gaia業(yè)務(wù)在線系統(tǒng)存儲HDFS/PG/HBase/離線計(jì)算MR實(shí)時計(jì)算TRC數(shù)據(jù)產(chǎn)品精準(zhǔn)推薦/秒級監(jiān)控/多維分析/用戶畫像/數(shù)據(jù)接入數(shù)據(jù)分發(fā)5萬億條20000臺400P15P3.5萬億條500萬次任務(wù)調(diào)度&工作流Lhotse100億次TBDS大數(shù)據(jù)套件發(fā)布騰訊云大數(shù)據(jù)平臺的發(fā)展歷史數(shù)智：一站式數(shù)據(jù)分析與挖掘平臺方略：提供開放通用的數(shù)據(jù)應(yīng)用及分析服務(wù)一站式、全流程大數(shù)據(jù)服務(wù)平臺數(shù)據(jù)分析

2、引擎機(jī)器學(xué)習(xí)引擎數(shù)據(jù)接入引擎大規(guī)模任務(wù)調(diào)度離線計(jì)算多維分析引擎資源調(diào)度管理（CPU、GPU）搜索MPP底層存儲（結(jié)構(gòu)化、非結(jié)構(gòu)化存儲）高性能并行計(jì)算深度學(xué)習(xí)框架（支持Caffe/Tensorflow）機(jī)器學(xué)習(xí)圖計(jì)算開發(fā)、調(diào)度及運(yùn)營一體化平臺實(shí)時計(jì)算數(shù)據(jù)可視化文智NLP開放推薦用戶洞察分析區(qū)域人流分析語音識別AAI優(yōu)圖識別FR小云客服ICS公眾趨勢分析iData游戲大數(shù)據(jù)平臺MTA移動分析平臺燈塔移動運(yùn)營平臺信鴿Push地圖位置大數(shù)據(jù)更多數(shù)智方略行業(yè)產(chǎn)品產(chǎn)品家族圖譜30+深度優(yōu)化組件社區(qū)+自研首批通過大數(shù)據(jù)基礎(chǔ)能力和性能認(rèn)證云化+私有行業(yè)合規(guī)功能認(rèn)證性能認(rèn)證大數(shù)據(jù)平臺咨詢/實(shí)施運(yùn)維生態(tài)鏈價值鏈數(shù)

3、據(jù)治理$ 數(shù)據(jù)價值數(shù)據(jù)洞察 呈現(xiàn) | 分析 | 挖掘處理存儲集成公共運(yùn)維數(shù)據(jù)運(yùn)營 精準(zhǔn) | 開放主題/模型數(shù)據(jù)源/格式元數(shù)據(jù)/計(jì)算邏輯指標(biāo)體系特征庫/挖掘模型業(yè)務(wù)規(guī)則/語料庫日常運(yùn)維數(shù)據(jù)質(zhì)量稽核應(yīng)急預(yù)案數(shù)據(jù)接入流程監(jiān)控告警體系我們的服務(wù)數(shù)據(jù)分析引擎機(jī)器學(xué)習(xí)引擎消息中間件大規(guī)模任務(wù)調(diào)度離線計(jì)算多維分析引擎資源調(diào)度管理（CPU、GPU）搜索MPP底層存儲（結(jié)構(gòu)化、非結(jié)構(gòu)化存儲）高性能并行計(jì)算深度學(xué)習(xí)框架（支持Caffe、Tensorflow）機(jī)器學(xué)習(xí)圖計(jì)算開發(fā)、調(diào)度及運(yùn)營一體化平臺實(shí)時計(jì)算騰訊大數(shù)據(jù)方法論 數(shù)據(jù)分析+機(jī)器學(xué)習(xí)雙引擎數(shù)智大數(shù)據(jù)處理平臺產(chǎn)品架構(gòu) YARN資源調(diào)度管理控制臺服務(wù)器大數(shù)據(jù)套

4、件組件層MapReduceLhotse任務(wù)調(diào)度全鏈路數(shù)據(jù)開發(fā)部署/監(jiān)控/告警HDFSKafka/TubeSparkHIVEPIGTStormHBaseTPG騰訊自研社區(qū)改造版社區(qū)版本離線實(shí)時數(shù)據(jù)接入黃金眼報表展示TRE廣告推薦公有云私有云非云化環(huán)境大數(shù)據(jù)套件服務(wù)層統(tǒng)一日志中心數(shù)據(jù)連接器組件協(xié)調(diào)器Rest APIHermesMPP數(shù)據(jù)治理多租戶管理Spark StreamingKylin數(shù)智大數(shù)據(jù)處理平臺組件架構(gòu)2022/7/29核心優(yōu)勢穩(wěn)定易用安全一站式大數(shù)據(jù)分析處理平臺技術(shù)開放性數(shù)智一站式大數(shù)據(jù)處理平臺核心優(yōu)勢2022/7/29一站式企業(yè)級大數(shù)據(jù)平臺TB到百PB級數(shù)倉建設(shè)流式數(shù)據(jù)處理離線數(shù)據(jù)

5、處理結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化 數(shù)據(jù)分析與探索挖掘數(shù)智一站式大數(shù)據(jù)平臺: 應(yīng)用場景調(diào)度層輸出層計(jì)算層接入層內(nèi)部數(shù)據(jù)接入外部數(shù)據(jù)接入離線計(jì)算MapReduce/Spark實(shí)時計(jì)算StormTstorm/Sparkstreaming任務(wù)調(diào)度消息中間件Tube/Kafka數(shù)據(jù)分發(fā)存儲層分布式文件結(jié)果存儲展示層自助報表API支持多數(shù)據(jù)源接入RDBMS: Mysql、PostgreSQL、Oracle、SQL ServerNoSQL: MongoDB、Redis流數(shù)據(jù)：Kafka、Flume豐富的數(shù)據(jù)類型結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化 套件使用方只需要接入數(shù)據(jù) 展現(xiàn)層只需要從數(shù)據(jù)存儲層取出數(shù)據(jù)用于展現(xiàn)塊存儲對象

6、存儲SQLNoSQL大數(shù)據(jù)套件典型數(shù)據(jù)處理流程圖 快速易用的數(shù)據(jù)接入方式： 離線接入： 用戶直接PUT數(shù)據(jù)至HDFS存儲； FTP、各種數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入以及磁盤郵寄等； 騰訊云數(shù)據(jù)對接，COS和CDB的數(shù)據(jù)均可接入； 跟隨系統(tǒng)部署的任務(wù)調(diào)度會默認(rèn)支持以上數(shù)據(jù)接入方式，降低用戶使用門檻； 實(shí)時接入： 提供實(shí)時接入服務(wù)，以消息的形式接入用戶數(shù)據(jù)； 提供安全可靠的存儲： 離線數(shù)據(jù)直接寫入HDFS； 實(shí)時數(shù)據(jù)寫入Tube(騰訊自研的萬億級消息中間件)/Kafka，支持TCP、UDP、HTTP以及 HTTPS方式接入；大數(shù)據(jù)套件應(yīng)用數(shù)據(jù)接入 計(jì)算形式： 離線： MR：支持原生MapReduce； HIVE

7、：支持原生oracle語義，也支持社區(qū)hive語義； 實(shí)時： Spark：支持大數(shù)據(jù)實(shí)時查詢； Storm/Tstorm：流式計(jì)算更方便；工具： IDE：windows環(huán)境下的hive在線調(diào)試工具，提升工作效率；大數(shù)據(jù)套件應(yīng)用數(shù)據(jù)計(jì)算 基本特性： 千萬級作業(yè)調(diào)度能力，例行化調(diào)度大數(shù)據(jù)任務(wù)； 圖形化配置依賴關(guān)系，保證任務(wù)流的時序性； 自動重調(diào)失敗任務(wù)，并根據(jù)配置發(fā)送告警； 可擴(kuò)展性強(qiáng)，允許用戶插件化擴(kuò)充新的任務(wù)類型； 默認(rèn)任務(wù)類型： 數(shù)據(jù)導(dǎo)入：FTP-HDFS，RDBMS-HDFS，消息-HDFS； 計(jì)算任務(wù)： MR計(jì)算、Hive計(jì)算、Shell腳本任務(wù)； 數(shù)據(jù)導(dǎo)出： HDFS-FTP，HDFS

8、-RDBMS ，HDFS-K/V存儲；大數(shù)據(jù)套件應(yīng)用任務(wù)調(diào)度接入類Processor調(diào)度類Processor計(jì)算類Processor處理器層Processor控制器數(shù)據(jù)流控制任務(wù)流調(diào)度器控制層典型應(yīng)用模板自定義模板工作流管理應(yīng)用層Hive數(shù)倉消息中間件組件層任務(wù)調(diào)度輸出類Processor會話管理即席查詢數(shù)據(jù)報告挖掘算法數(shù)據(jù)分析層數(shù)據(jù)展現(xiàn)層大數(shù)據(jù)套件工作流架構(gòu) 提供豐富的輸出數(shù)據(jù)存儲方案： 分布式數(shù)據(jù)庫集群：PGXZ，TB級查詢秒級返回； 全內(nèi)存高速KV存儲方案：TDE； 數(shù)據(jù)可輸出至各種RDBMS； 提供統(tǒng)一的數(shù)據(jù)分發(fā)服務(wù)： 提供完整的權(quán)限控制方案，保證數(shù)據(jù)的安全性； 單機(jī)調(diào)用量60000次

9、/秒，滿足用戶性能需求；大數(shù)據(jù)套件應(yīng)用數(shù)據(jù)輸出大數(shù)據(jù)套件-用戶界面騰訊大數(shù)據(jù)技術(shù)優(yōu)勢Hermes是騰訊針對交互式海量數(shù)據(jù)分析需求而自主研發(fā)的秒級分析平臺。在單表億萬級數(shù)據(jù)、萬級維度的量級下，用戶可以在該平臺上進(jìn)行任意維度組合、任意層級下鉆等分析作業(yè)，但結(jié)果響應(yīng)只需要在數(shù)秒以內(nèi)。目前日接入3000億，數(shù)據(jù)持有量3.5W億。 存儲特性：嵌套列存儲，計(jì)算過程不加載多余數(shù)據(jù) 強(qiáng)擴(kuò)展性：支持橫向縱向任意擴(kuò)展 數(shù)據(jù)時效性：實(shí)時+離線數(shù)據(jù) 超低時延：分析結(jié)果一觸即發(fā) 分析特性：任意維度組合分析、實(shí)時下鉆分析、外部數(shù)據(jù)關(guān)聯(lián)騰訊自研組件實(shí)時多維分析平臺：Hermes騰訊自研組件實(shí)時多維分析平臺：Hermes功能

10、擴(kuò)充基于角色的權(quán)限管理兼容Oracle的分區(qū)功能窗口函數(shù)多維分析功能公用表表達(dá)式-CTEDML-update/delete入庫數(shù)據(jù)校驗(yàn)易用性命令行工具DB存儲引擎SQL語法細(xì)節(jié)TDW集成開發(fā)環(huán)境性能優(yōu)化Hash Join按行splitOrder by limit優(yōu)化查詢計(jì)劃并行優(yōu)化元數(shù)據(jù)重構(gòu) 已覆蓋Oracle等商業(yè)數(shù)據(jù)庫的常用功能；低門檻開發(fā)界面，公司內(nèi)部開發(fā)者超過2000人；性能提升明顯，穩(wěn)定性高；騰訊社區(qū)組件優(yōu)化HIVE優(yōu)化 自研高性能任務(wù)調(diào)度器： 提升可擴(kuò)展性，答復(fù)提升調(diào)度吞吐，支持毫秒級任務(wù)下發(fā)； 優(yōu)化作業(yè)優(yōu)先級和搶占策略，讓任務(wù)調(diào)度更加公平； 更高要求的高可用： NodeManag

11、er HA； ResourceManager HA； ApplicationMaster HA； 資源管理： 引入彈性內(nèi)存管理機(jī)制，避免container內(nèi)存超限被殺情形； 引入網(wǎng)絡(luò)IO控制，磁盤IO和空間管理； 提供更豐富的API方便用戶調(diào)用；騰訊社區(qū)組件優(yōu)化gaia優(yōu)化DBAgent日志Agent消息Client消息接入中心TRC在線應(yīng)用公網(wǎng)內(nèi)網(wǎng)（分布式緩存）消息存儲中心消息分揀中心TBDS離線存儲業(yè)務(wù)數(shù)據(jù)源自動對接自動入庫騰訊社區(qū)組件消息中間件Tube And Kafka高可靠：消息傳輸過程失敗重發(fā)和濾重機(jī)制，保障一致性低成本：支持公網(wǎng)傳輸，數(shù)據(jù)壓縮靈活：支持DB、LOG日志、實(shí)時消息等

12、多種接入方式低時延：流式數(shù)據(jù)處理，毫秒級消息分發(fā)可復(fù)用： 7天數(shù)據(jù)緩存，消息可被多次訂閱應(yīng)用現(xiàn)狀：35000+億，日接入數(shù)據(jù)量700+TB 高可靠：任務(wù)生命周期監(jiān)控，調(diào)度核心和執(zhí)行代理分布式異地部署 靈活：插件式擴(kuò)展任務(wù)類型，支持Hadoop、RDBMS等計(jì)算平臺 柔性調(diào)度策略：控制計(jì)算平臺資源負(fù)載，資源分配按任務(wù)重要度柔性分配騰訊自研組件任務(wù)調(diào)度Lhost YARN管理Storm集群資源，解決資源分配、資源隔離、容災(zāi)及權(quán)限管理問題 支持多集群配合YARN完善Storm的容災(zāi)機(jī)制 基于負(fù)載的自動擴(kuò)縮容騰訊自研組件TStormTStorm，Storm On Yarn，使用Yarn做Storm的資

13、源管理，使用java語言重寫Storm系統(tǒng)：平臺運(yùn)維方案選型規(guī)劃配置部署規(guī)劃部署機(jī)器學(xué)習(xí)大數(shù)據(jù)套件提供了一站式的數(shù)據(jù)挖掘平臺，支持各種主流的開源機(jī)器學(xué)習(xí)框架，包括：Spark，Python，R，XGBoost。在覆蓋 特征工程，分類，聚類，回歸，關(guān)聯(lián)規(guī)則，時間序列等傳統(tǒng)機(jī)器學(xué)習(xí)算法的同時，也支持圖算法，深度學(xué)習(xí)等更加豐富的算法庫。機(jī)器學(xué)習(xí)BI展現(xiàn)及應(yīng)用數(shù)據(jù)分析效率不高提升數(shù)據(jù)分析效率，讓用戶輕松玩轉(zhuǎn)數(shù)據(jù)，助力企業(yè)數(shù)據(jù)化運(yùn)營打造一站式大數(shù)據(jù)數(shù)據(jù)分析平臺，幫助產(chǎn)品經(jīng)理、業(yè)務(wù)用戶輕松實(shí)現(xiàn)數(shù)據(jù)化運(yùn)營.以人性化的、高性能的、探索式的、敏捷的商業(yè)智能服務(wù)幫助客戶成功現(xiàn)象1.數(shù)據(jù)分析過度依賴開發(fā)投入與排期；

14、2.產(chǎn)品人員技術(shù)理解程度不高；3.缺少交互式、自服務(wù)報表工具問題目標(biāo)數(shù)據(jù)分析、可視化展現(xiàn)面向業(yè)務(wù)決策者等數(shù)據(jù)使用者，提供敏捷、自服務(wù)、交互式的可視化報表分析服務(wù)。敏捷流程與特性：三分鐘輕松制作報表一分鐘分析demo一分鐘數(shù)據(jù)建模編輯報告連接數(shù)據(jù)查看報告數(shù)據(jù)可視化展現(xiàn)數(shù)據(jù)交互式分析交互式自服務(wù)產(chǎn)品定位數(shù)據(jù)可視化流程-Powered By 永洪連接數(shù)據(jù)編輯報告查看報告數(shù)據(jù)展現(xiàn)-Powered By 永洪數(shù)據(jù)可視化產(chǎn)品演示-Powered By 永洪實(shí)景模型騰訊成都展廳，數(shù)據(jù)來源四川電子政務(wù)網(wǎng)數(shù)據(jù)可視化產(chǎn)品演示 政務(wù)展廳/大屏專用 實(shí)景模型騰訊成都展廳，數(shù)據(jù)來源四川電子政務(wù)網(wǎng)數(shù)據(jù)可視化產(chǎn)品演示 政務(wù)

15、展廳/大屏專用 實(shí)景模型騰訊成都展廳，數(shù)據(jù)來源四川電子政務(wù)網(wǎng)數(shù)據(jù)可視化產(chǎn)品演示 政務(wù)展廳/大屏專用 案例介紹結(jié)構(gòu)化數(shù)據(jù)交易系統(tǒng)信用卡系統(tǒng)電子銀行系統(tǒng)行內(nèi)其他系統(tǒng)半/非結(jié)構(gòu)化數(shù)據(jù)網(wǎng)銀用戶行為日志離線接入實(shí)時流式接入核心數(shù)據(jù)非核心數(shù)據(jù)大數(shù)據(jù)存儲層結(jié)構(gòu)化存儲半結(jié)構(gòu)化存儲分布式文件存儲對象存儲存儲大數(shù)據(jù)存儲/加速層離線計(jì)算引擎實(shí)時計(jì)算引擎第三方數(shù)據(jù)冷數(shù)據(jù)挖掘分析后的數(shù)據(jù)騰訊大數(shù)據(jù)平臺計(jì)算引擎機(jī)器學(xué)習(xí)平臺大數(shù)據(jù)分析挖掘數(shù)據(jù)可視化(敏捷BI)多維建模引擎/實(shí)時多維分析接入層Lhost離線接入消息中間件實(shí)時接入其他數(shù)據(jù)ETL大數(shù)據(jù)應(yīng)用用戶畫像精準(zhǔn)推薦實(shí)時風(fēng)控/交易欺詐網(wǎng)站點(diǎn)擊流分析大數(shù)據(jù)能力支撐網(wǎng)銀/電商用

16、戶行為分析運(yùn)營分析金融 微眾銀行行內(nèi)數(shù)據(jù)倉庫平臺業(yè)務(wù)背景：全國性的專業(yè)化信貸工廠產(chǎn)品：50W無抵押個人貸款多數(shù)據(jù)源，涵蓋個人消費(fèi)記錄、征信檢索、貸款還款記錄等信息實(shí)時報表方案：基于騰訊云數(shù)智，建立綜合評定數(shù)據(jù)化風(fēng)險管理體系優(yōu)化客戶信用行為分析過程，完善模型精確度，降低服務(wù)風(fēng)險金融 大數(shù)金融客戶授權(quán)數(shù)據(jù)移動應(yīng)用商戶刷卡社交應(yīng)用交易記錄大數(shù)據(jù)存儲騰訊大數(shù)據(jù)平臺離線接入實(shí)時接入結(jié)構(gòu)化/非結(jié)構(gòu)化存儲用戶基礎(chǔ)屬性數(shù)據(jù)存儲層特征抽取與模型加工層用戶標(biāo)簽數(shù)據(jù)機(jī)器學(xué)習(xí)建模多維分析引擎單體特征畫像實(shí)時群體畫像特征抽取統(tǒng)計(jì)模型建模交互式查詢數(shù)據(jù)倉庫金融用戶畫像典型架構(gòu)數(shù)據(jù)倉庫平臺客戶消費(fèi)行為手機(jī)支付網(wǎng)購物大數(shù)據(jù)存

17、儲層騰訊大數(shù)據(jù)平臺實(shí)時接入用戶基礎(chǔ)屬性數(shù)據(jù)(資產(chǎn)狀況/消費(fèi)偏好)推薦模型應(yīng)用內(nèi)推薦微信渠道推薦商家、地理位置、時間信息推薦引擎機(jī)器學(xué)習(xí)大數(shù)據(jù)存儲系統(tǒng)實(shí)時推薦模型訓(xùn)練理財(cái)產(chǎn)品推薦實(shí)時推薦金融微信支付精準(zhǔn)推薦用戶基本信息庫騰訊大數(shù)據(jù)客服熱點(diǎn)分析關(guān)鍵詞分析客服績效評估金融呼叫中心智能客服客戶客服大數(shù)據(jù)存儲引擎語音識別您好:謝謝您的反饋NLP自然語義處理提供基于數(shù)智大數(shù)據(jù)平臺、NLP系統(tǒng)進(jìn)行客服語音分析，關(guān)鍵字識別幫助進(jìn)行客戶反饋分析和客服績效評估工業(yè)物聯(lián)網(wǎng)IoT 三一重工收集數(shù)十萬工業(yè)設(shè)備上所安裝的傳感器實(shí)時數(shù)據(jù)使用數(shù)據(jù)庫、數(shù)智大數(shù)據(jù)平臺，完成實(shí)時報表、離線分析等業(yè)務(wù)安全防護(hù)（大禹網(wǎng)絡(luò)安全、天御業(yè)務(wù)

18、安全防護(hù)）負(fù)載均衡云主機(jī)云主機(jī)專用宿主機(jī)專用宿主機(jī)云主機(jī)專用宿主機(jī)基因應(yīng)用服務(wù)基因數(shù)據(jù)庫CDBHBaseRedisMongo基因數(shù)據(jù)對象存儲CDNCOS基因大數(shù)據(jù)計(jì)算平臺云主機(jī)云主機(jī)云主機(jī)云主機(jī)Lhotse任務(wù)調(diào)度平臺/ GAIA資源管理云主機(jī)HIVESPARKPYTHONR數(shù)據(jù)存儲數(shù)據(jù)存儲數(shù)據(jù)計(jì)算數(shù)據(jù)導(dǎo)入/導(dǎo)出生命科學(xué) 碳云國內(nèi)領(lǐng)先基因大數(shù)據(jù)計(jì)算使用數(shù)據(jù)庫、對象存儲、大數(shù)據(jù)平臺、安全防護(hù)等整套方案政務(wù)服務(wù) 深圳南山公安分局分鐘級實(shí)時監(jiān)控實(shí)時人流擁擠告警社交網(wǎng)絡(luò)輿情分析用戶畫像分鐘級實(shí)時客流監(jiān)控提供基于方略大數(shù)據(jù)應(yīng)用進(jìn)行人流分析、人群畫像的服務(wù)政務(wù)服務(wù)廣東省旅游局覆蓋全國的熱力圖服務(wù)-區(qū)域人流分析基于騰訊全量用戶畫像-用戶洞察分析400億+10億+提供基于方略大數(shù)據(jù)應(yīng)用進(jìn)行人流分析、人群畫像的服務(wù)政務(wù)服務(wù)上海同濟(jì)城市規(guī)劃設(shè)計(jì)院將人口數(shù)據(jù)和LBS信息納入城市規(guī)劃城市基礎(chǔ)設(shè)施和配套資源優(yōu)化設(shè)計(jì)提供基于方略大數(shù)據(jù)應(yīng)用進(jìn)行人流分析、人群畫像的服務(wù)騰訊云大數(shù)據(jù) 整體優(yōu)勢云計(jì)算和互聯(lián)網(wǎng)+ 的實(shí)踐先行者互聯(lián)網(wǎng)+ 概念的倡導(dǎo)和實(shí)踐者云計(jì)算解決方案供應(yīng)商個體/群體的立體數(shù)據(jù)積累和覆蓋覆蓋社交、征信、出行、消費(fèi)等等完善的立體數(shù)據(jù)維度經(jīng)過驗(yàn)證的對海量數(shù)據(jù)分析展示實(shí)際能力提供從基礎(chǔ)平臺搭建、數(shù)據(jù)套件分析、BI和各種應(yīng)用展示的層次化技術(shù)能力豐富的實(shí)踐經(jīng)驗(yàn)和案例深入理解