騰訊云大數(shù)據(jù)產(chǎn)品及解決方案

目錄CONTENTS01概覽篇03.數(shù)據(jù)應(yīng)用服務(wù)企業(yè)畫像EP2223產(chǎn)品簡介02安全隱私計(jì)算24發(fā)展歷程03智能數(shù)據(jù)分析IDA25權(quán)威認(rèn)證05大數(shù)據(jù)可視交互系統(tǒng)RayData26 02產(chǎn)品家族產(chǎn)品矩陣騰訊云大數(shù)據(jù)全景圖0801.數(shù)據(jù)基礎(chǔ)設(shè)施10彈性MapReduce11ElasticsearchService12云數(shù)據(jù)倉庫ClickHouse13云數(shù)據(jù)倉庫PostgreSQL14流計(jì)算Oceanus15數(shù)據(jù)湖計(jì)算DLC16數(shù)據(jù)湖構(gòu)建DLF17商業(yè)智能分析BI1802.數(shù)據(jù)中臺(tái)服務(wù)19數(shù)據(jù)開發(fā)治理平臺(tái)WeData20騰訊大數(shù)據(jù)云平臺(tái)（TBDS）21行業(yè)解決方案&標(biāo)桿案例金融行業(yè)解決方案富途證券中國銀行中信建投上海農(nóng)商銀行微眾銀行游戲行業(yè)解決方案B站暢游37手游電商行業(yè)解決方案微盟小紅書叮咚買菜什么值得買27283031323334353738394042434445教育行業(yè)解決方案46作業(yè)幫48文娛行業(yè)解決方案49央視頻51鳳凰網(wǎng)52酷狗音樂53知乎54wpp群邑55政務(wù)行業(yè)解決方案56廣東省醫(yī)保局58武漢智慧城市大數(shù)據(jù)中臺(tái)58更多行業(yè)解決方案59微信59 03生態(tài)篇開源開放的生態(tài)產(chǎn)品戰(zhàn)略61生態(tài)產(chǎn)品圖譜-我們的合作伙伴61騰訊云大數(shù)據(jù)基于海量云端騰訊云大數(shù)據(jù)基于海量云端算力資源及開放生態(tài)優(yōu)勢，為包括互聯(lián)網(wǎng)、金融、政府、企業(yè)在內(nèi)的企業(yè)客戶和個(gè)人開發(fā)者用戶提供數(shù)據(jù)基礎(chǔ)設(shè)施、數(shù)據(jù)中臺(tái)服務(wù)及數(shù)據(jù)應(yīng)用服務(wù)，助力云端客戶快速構(gòu)建大數(shù)據(jù)時(shí)代下的企騰訊云技術(shù)專家團(tuán)隊(duì)提供雄厚的云端大數(shù)據(jù)技術(shù)能力，幫助客戶高效應(yīng)涵蓋大數(shù)據(jù)基礎(chǔ)技術(shù)、算法、模型及數(shù)據(jù)方法論在內(nèi)的豐富數(shù)據(jù)領(lǐng)域積累，助力客涵蓋大數(shù)據(jù)基礎(chǔ)技術(shù)、算法、模型及數(shù)據(jù)方法論在內(nèi)的豐富數(shù)據(jù)領(lǐng)域積累，助力客騰訊社交、游戲、資訊、金融等領(lǐng)域多場景累積的大數(shù)據(jù)內(nèi)部實(shí)踐，助騰訊社交、游戲、資訊、金融等領(lǐng)域多場景累積的大數(shù)據(jù)內(nèi)部實(shí)踐，助涵蓋數(shù)據(jù)運(yùn)維支持、數(shù)據(jù)服務(wù)、數(shù)據(jù)產(chǎn)品在內(nèi)的開放云端數(shù)據(jù)生態(tài)，為客戶提供全方涵蓋數(shù)據(jù)運(yùn)維支持、數(shù)據(jù)服務(wù)、數(shù)據(jù)產(chǎn)品在內(nèi)的開放云端數(shù)據(jù)生態(tài)，為客戶提供全方騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/概覽篇20167月5日騰訊大數(shù)據(jù)云平臺(tái)TBDS正式發(fā)布11月10日SortBenchmark全球排序競賽冠軍2018彈性MapReduce正式發(fā)布ElasticsearchService內(nèi)測發(fā)布2017彈性MapReduce商業(yè)智能分析BI產(chǎn)品正式發(fā)布03騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/概覽篇2020云數(shù)據(jù)倉庫PostgreSQL正式發(fā)布流計(jì)算Oceanus內(nèi)測發(fā)布云數(shù)據(jù)倉庫ClickHouse內(nèi)測發(fā)布2021云端大數(shù)據(jù)算力突破500萬核數(shù)據(jù)開發(fā)平臺(tái)WeData正式發(fā)布流計(jì)算Oceanus正式發(fā)布2019ElasticsearchService2019ElasticsearchService正式發(fā)布云端服務(wù)企業(yè)客戶突破1000家企業(yè)畫像EP正式發(fā)布數(shù)據(jù)湖計(jì)算DLC內(nèi)測發(fā)布數(shù)據(jù)SaaS生態(tài)廠商合作，發(fā)布智2017年中國計(jì)算機(jī)學(xué)會(huì)科學(xué)技術(shù)獎(jiǎng)2017年中國計(jì)算機(jī)學(xué)會(huì)科學(xué)技術(shù)獎(jiǎng)AuthoritativeCertificati2021年貴陽數(shù)博會(huì)領(lǐng)先科技成果獎(jiǎng)2020年度iDASH國際隱私計(jì)算比賽SGX賽道冠軍2021年貴陽數(shù)博會(huì)領(lǐng)先科技成果獎(jiǎng)2020年度中國國際大數(shù)據(jù)大會(huì)2020年度PulsarSummitAsia2020年度中國國際大數(shù)據(jù)大會(huì)2020年度中國信通院-大數(shù)據(jù)“星河”隱私計(jì)算標(biāo)桿案例（神盾聯(lián)邦學(xué)習(xí)的信貸風(fēng)控應(yīng)用）TBDS產(chǎn)品2016年2016年SortBenchmark冠軍（打破2019年中國信通院-大數(shù)據(jù)星河獎(jiǎng)2019年數(shù)博會(huì)大數(shù)據(jù)最佳案例實(shí)踐2019年工信部百家大數(shù)據(jù)優(yōu)秀案例2020年度工信部信息技術(shù)應(yīng)用2019年工信部百家大數(shù)據(jù)優(yōu)秀案例ElasticsearchService產(chǎn)品騰訊云騰訊云ES團(tuán)隊(duì)對ES內(nèi)核穩(wěn)定性、性能、成本等方面作出獨(dú)特貢獻(xiàn)，是開源社區(qū)全球貢獻(xiàn)最多的第三方企業(yè)之一。2人入選2020Elastic社區(qū)全球貢獻(xiàn)Top100榜單流計(jì)算Oceanus產(chǎn)品2019年流計(jì)算Oceanus通過中國信通院大數(shù)據(jù)能力測評(píng)2017年騰訊向LFAI基金會(huì)（LinuxFoundationArtificial2017年騰訊向LFAI基金會(huì)（LinuxFoundationArtificialIntelligen2019年12月20日Angel正式在LFAI基金會(huì)畢業(yè)，成為世界最頂級(jí)的AI開源項(xiàng)目之一2020年TubeMQ項(xiàng)目繼2019年正式捐獻(xiàn)給Apache基金會(huì)后，正式升級(jí)為InLong2020年12月騰訊大數(shù)據(jù)團(tuán)隊(duì)主導(dǎo)開發(fā)的新一代分布式存儲(chǔ)Ozone從Apache基金會(huì)畢業(yè)，騰訊大數(shù)據(jù)團(tuán)隊(duì)陳怡當(dāng)選為ApacheOzone首位項(xiàng)目主席(Chair)2021年Oracle官方公告，騰訊KonaJDK團(tuán)隊(duì)蟬聯(lián)JDK16中國企業(yè)貢獻(xiàn)度排名第一大數(shù)據(jù)和人工智能計(jì)算框架的統(tǒng)一，從而更好地適配CPU、GPU、NPU、FPGA等硬件大數(shù)據(jù)和人工智能計(jì)算框架的統(tǒng)一，從而更好地適配CPU、GPU、NPU、FPGA等硬件算力彈性資源池達(dá)500萬核，每日分析任務(wù)數(shù)達(dá)1500萬，每日實(shí)時(shí)計(jì)算次數(shù)超過40萬億，支持開箱即用，容器化技術(shù)行業(yè)領(lǐng)先，不依賴云平臺(tái)，起步規(guī)模小，效率提升60%，成本節(jié)省15%-30%以上產(chǎn)品體系開放、服務(wù)體系開放、生態(tài)體系開放客戶遷移便捷不綁定、客戶只需為使用付費(fèi)無附全鏈路安全保障，解決數(shù)據(jù)孤島的難題iDash2020世界隱私計(jì)及應(yīng)用TBDS及應(yīng)用TBDSTCE出行…騰訊云BITPNS數(shù)據(jù)治理開發(fā)平臺(tái)數(shù)據(jù)治理開發(fā)平臺(tái)WeData數(shù)據(jù)集成與同步CDWMapReduceElasticsearchServiceOceanusDLCTi-One1:1能力09騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族01DataInfrastructure彈性MapReduce彈性MapReduce(EMR）是基于云原生技術(shù)的安全、低成本、高可靠的開源大數(shù)據(jù)計(jì)算框架，提供易于管理的彈性MapReduce彈性MapReduce(EMR）是基于云原生技術(shù)的安全、低成本、高可靠的開源大數(shù)據(jù)計(jì)算框架，提供易于管理的Hive、Spark、HBase、Flink、Doris、lceberg等開源大數(shù)據(jù)組件，幫助客戶構(gòu)建可彈性擴(kuò)展的企業(yè)級(jí)大 數(shù)據(jù)進(jìn)行匯聚分析,可將不同數(shù)據(jù)源的數(shù)據(jù)匯聚到EMR，然后借助EMR的PB級(jí)數(shù)據(jù)存儲(chǔ)、分析能力對大量數(shù)在線業(yè)務(wù)查詢：在互聯(lián)網(wǎng)金融、游戲、O2O等領(lǐng)域，需要對用戶行為、系統(tǒng)日志、訂單等結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效分析，通過EMR豐富的計(jì)算組件及分鐘級(jí)集群構(gòu)建與平行擴(kuò)展能力，支撐在線業(yè)務(wù)實(shí)時(shí)查詢，提高析，幫助改進(jìn)用戶體驗(yàn)。通過同時(shí)搭建批、流處理系統(tǒng)，實(shí)現(xiàn)批流一體，降低資源投入，提升數(shù)據(jù)處理速度，及分析任務(wù)，數(shù)據(jù)湖可以充分利用各種資源并適配如離線計(jì)算、流式計(jì)算、交互式分析、機(jī)器學(xué)習(xí)等場景，賦予客ElasticsearchService騰訊云ElasticsearchService（ES）是基于開源引擎打造的云端全托管ELK服務(wù)，集成X-Pack特性、獨(dú)有高性能自研內(nèi)核、QQ分詞、集群巡檢、一鍵升級(jí)等優(yōu)勢能力，引入極致性價(jià)比的騰訊自研星星海服務(wù)器。助您輕松管理和運(yùn)維集群，高效構(gòu)建日志分析、運(yùn)維監(jiān)控、信息檢索、數(shù)據(jù) Elastic全球戰(zhàn)略合作ElasticsearchElasticsearch多、規(guī)模龐大，很難進(jìn)行檢索和分析。ES通過豐富的數(shù)據(jù)采集工具和分布式存儲(chǔ)，方便日志統(tǒng)一管理和指標(biāo)實(shí)信息搜索：ES非常適合應(yīng)用于網(wǎng)站搜索、移動(dòng)應(yīng)用搜索等場景，特別是針對大數(shù)據(jù)量、高并發(fā)以及對搜索靈活性和相關(guān)度要求比較高的時(shí)候，通過靈活的關(guān)鍵字、查詢條件、模糊匹配等方式，可以從PB級(jí)的結(jié)構(gòu)化和非結(jié)數(shù)據(jù)分析：ES提供了開箱即用的可視化分析工具及強(qiáng)大的聚合分析能力，可以便捷高效地對海量數(shù)據(jù)進(jìn)行實(shí)時(shí)分析和結(jié)果呈現(xiàn)，用統(tǒng)一技術(shù)棧和輕量級(jí)投入輔性差的挑戰(zhàn)。ES提供了彈性擴(kuò)展及海量數(shù)據(jù)下的高并發(fā)低延時(shí)查詢能力，通過數(shù)據(jù)同步工具保持與數(shù)據(jù)庫同步，并支持SQL能力，滿足客戶數(shù)據(jù)庫加速查詢的需求，彌補(bǔ)了傳統(tǒng)數(shù)據(jù)庫的不足。 幾攵rweimo微盟云數(shù)據(jù)倉庫ClickHouse云數(shù)據(jù)倉庫ClickHouse為您提供靈活穩(wěn)定的云端ClickHouse全托管服務(wù)。具有高性能、開箱即用、企業(yè)特性支持。在單表聚合查詢、數(shù)據(jù)分區(qū)對齊Join等主打場景下，查詢性能優(yōu)于傳統(tǒng)數(shù)倉數(shù)倍。廣泛應(yīng)用于用戶 幾攵rweimo微盟云數(shù)據(jù)倉庫ClickHouse云數(shù)據(jù)倉庫ClickHouse為您提供靈活穩(wěn)定的云端ClickHouse全托管服務(wù)。具有高性能、開箱即用、企業(yè)特性支持。在單表聚合查詢、數(shù)據(jù)分區(qū)對齊Join等主打場景下，查詢性能優(yōu)于傳統(tǒng)數(shù)倉數(shù)倍。廣泛應(yīng)用于用戶用戶行為分析：在網(wǎng)站，APP和游戲中，對用戶的點(diǎn)擊，時(shí)長等用戶行為數(shù)據(jù)進(jìn)行收集，同步到云數(shù)據(jù)倉庫ClickHouse中，構(gòu)建用戶特征分析大寬表，借助云數(shù)據(jù)倉庫ClickHouse的優(yōu)異查詢性能，分析系統(tǒng)進(jìn)行多維度，多模式分析時(shí)可以在毫秒級(jí)內(nèi)響應(yīng)，快速分析出用戶行為特征和規(guī)律，為精準(zhǔn)營銷和用戶轉(zhuǎn)化等業(yè)務(wù)提供強(qiáng)企業(yè)經(jīng)營分析：在企業(yè)經(jīng)營分析中，把規(guī)模龐大的業(yè)務(wù)數(shù)據(jù)同步到云數(shù)據(jù)倉庫ClickHouse，對數(shù)億記錄或更大規(guī)模的大寬表，和數(shù)百維度的查詢，都能在毫秒級(jí)內(nèi)響應(yīng)得到查詢結(jié)果，讓客戶隨時(shí)進(jìn)行個(gè)性化統(tǒng)計(jì)，和不間斷的分析，輔助商業(yè)決策。云數(shù)據(jù)倉庫ClickHouse的查詢騰訊地圖云數(shù)據(jù)倉庫PostgreSQL云數(shù)據(jù)倉庫PostgreSQL兼容開源PostgreSQL/Greenplum騰訊地圖云數(shù)據(jù)倉庫PostgreSQL云數(shù)據(jù)倉庫PostgreSQL兼容開源PostgreSQL/Greenplum。支持任意維度的交互式分析，復(fù)雜查詢性能優(yōu)異，同時(shí)也支持高性能離線數(shù)據(jù)處PG生態(tài)全兼容司經(jīng)營情況，提高決策精準(zhǔn)度及效率。通過同步或ETL工具將分散在TencentDB、Oracle、PostgreSQL中的數(shù)據(jù)導(dǎo)入到云數(shù)據(jù)倉庫PostgreSQL中，利用其對多源異構(gòu)數(shù)據(jù)的分析能力，輔助業(yè)務(wù)決策?；虬虢Y(jié)構(gòu)化數(shù)據(jù)?？上葘⒑Ａ繑?shù)據(jù)直接存放于對象存儲(chǔ)COS中，無需提前導(dǎo)入到云數(shù)據(jù)倉庫PostgreSQL，只需編寫SQL便能對COS中數(shù)據(jù)進(jìn)行快速分析及應(yīng)用。合流計(jì)算Oceanus，將用戶實(shí)時(shí)操作數(shù)據(jù)進(jìn)行過濾排序、匯聚分析，然后將結(jié)果實(shí)時(shí)同步到云數(shù)據(jù)倉庫圈流計(jì)算Oceanus流計(jì)算Oceanus是大數(shù)據(jù)產(chǎn)品生態(tài)體系的實(shí)時(shí)化分析利器，是基于ApacheFlink構(gòu)建的具備一站開發(fā)、無縫連接、亞秒延時(shí)、低廉成本、安全穩(wěn)定等特點(diǎn)的企業(yè)級(jí)實(shí)時(shí)大數(shù)據(jù)分析平臺(tái)。流計(jì)算Oceanus以實(shí) 實(shí)時(shí)ETL：ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到目的端的過程，目的是將企業(yè)中的分散、實(shí)時(shí)數(shù)倉：借助于流計(jì)算Oceanus分鐘級(jí)構(gòu)建實(shí)時(shí)分析，對用戶行為數(shù)據(jù)進(jìn)行實(shí)時(shí)匯聚和分析，持續(xù)挖掘出有物聯(lián)網(wǎng)（IoT)監(jiān)控：在工業(yè)生產(chǎn)過程中，通過流計(jì)算Oceanus實(shí)時(shí)匯聚工業(yè)傳感器數(shù)據(jù)，并進(jìn)行聚合計(jì)算和異電商精準(zhǔn)推薦：在電商交易場景中，通過流計(jì)算Oceanus實(shí)時(shí)提取特征變量并分析用戶關(guān)注品類，以預(yù)測用戶數(shù)據(jù)庫查詢加速：關(guān)系型數(shù)據(jù)庫在海量數(shù)據(jù)下容易遇到查詢性能不足的挑戰(zhàn)。通過流計(jì)算Oceanus將數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫實(shí)時(shí)同步到ES，借助ES的海量數(shù)據(jù)高并發(fā)低延時(shí)查詢等能力，更好地滿足數(shù)據(jù)庫查詢加速的數(shù)據(jù)湖計(jì)算DLC騰訊云數(shù)據(jù)湖計(jì)算（DataLakeCompute，DLC）提供了敏捷高效的數(shù)據(jù)湖分析服務(wù)。該服務(wù)采用無服務(wù)器架構(gòu)（Serverless）設(shè)計(jì)，用戶無需關(guān)注底層架構(gòu)，使用標(biāo)準(zhǔn)SQL即可完成對象存儲(chǔ)服務(wù)（COS）及其他云端數(shù)據(jù)設(shè)施的聯(lián)合分析計(jì)算。借助該服務(wù)，用戶無需進(jìn)行傳統(tǒng)的數(shù)據(jù)分層建模，大幅縮減了海量數(shù)據(jù)分析的準(zhǔn)備時(shí)間，有效提升了企業(yè)支持標(biāo)準(zhǔn)SQL據(jù)湖計(jì)算能夠處理非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化的數(shù)據(jù)集，格式包括CSV、JSON、Avro、Parquet、ORC等?？梢詫?shù)據(jù)湖計(jì)算集成到數(shù)據(jù)可視化應(yīng)用中，用戶通過統(tǒng)一的數(shù)據(jù)視圖，使用標(biāo)準(zhǔn)的SQL即可實(shí)現(xiàn)多源數(shù)據(jù)聯(lián)合查詢分析。無需依賴數(shù)據(jù)工程團(tuán)隊(duì)進(jìn)行傳統(tǒng)數(shù)據(jù)分層建模的ETL操作，也無需加載數(shù)據(jù)。騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族16數(shù)據(jù)湖構(gòu)建DLF數(shù)據(jù)湖構(gòu)建DLF處理，并建立元數(shù)據(jù)管理體系，配置企業(yè)級(jí)權(quán)限。用戶可以使用其他產(chǎn)品服務(wù)，訪問數(shù)據(jù)湖中已構(gòu)建好的數(shù)據(jù)，等，并建立企業(yè)級(jí)權(quán)限管理，通過與數(shù)據(jù)湖計(jì)算DLC、彈性MapReduce等分析計(jì)算產(chǎn)品無縫對接，進(jìn)行聯(lián)合HaierHaier商業(yè)智能分析BI商業(yè)智能分析（BusinessIntelligence，BI）支持自服務(wù)數(shù)據(jù)準(zhǔn)備、探索您就可以在云端輕松自如地完成數(shù)據(jù)分析、業(yè)務(wù)數(shù)據(jù)探查、報(bào)表制作等一系列數(shù)據(jù)可視化操作。便捷的拖拉拽式交互操作方式，讓您無需依賴IT人報(bào)表與自有系統(tǒng)集成：與企業(yè)內(nèi)部系統(tǒng)集成，統(tǒng)一系統(tǒng)入口。避免運(yùn)營分析需切換多系統(tǒng)的不便，利于綜合管02DataPlatformService數(shù)據(jù)開發(fā)治理平臺(tái)WeData數(shù)據(jù)開發(fā)治理平臺(tái)WeData（以下簡稱WeData）是位于云端的一站式數(shù)據(jù)開發(fā)治理平臺(tái)，融合了包含數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、任務(wù)運(yùn)維的全鏈路DataOps數(shù)據(jù)開發(fā)能力，以及數(shù)據(jù)地圖、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等一系列數(shù)據(jù)治理和運(yùn)營能力，幫助企業(yè)在數(shù)據(jù)構(gòu)建和應(yīng)用的過程中實(shí)現(xiàn)降本增治理等數(shù)倉建設(shè)環(huán)節(jié)的全鏈路能力。用戶可快速構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉庫，以進(jìn)行海量數(shù)據(jù)計(jì)算和數(shù)據(jù)資過騰訊云WeData，用戶可以顯著提高數(shù)據(jù)開發(fā)效率，縮短數(shù)據(jù)價(jià)值洞悉周期，提升數(shù)據(jù)決策效能，助力企業(yè)業(yè)化數(shù)據(jù)開發(fā)服務(wù)。結(jié)合用戶/項(xiàng)目模型的多租戶數(shù)據(jù)協(xié)同開發(fā)機(jī)制，用戶可自主以業(yè)務(wù)線或組織架構(gòu)為維度快速構(gòu)建工作空間，數(shù)據(jù)科學(xué)家可在簡潔的可視化數(shù)據(jù)資產(chǎn)治理：騰訊云WeData向數(shù)據(jù)科學(xué)家提供了完善的元數(shù)據(jù)管理能力，可幫助用戶數(shù)據(jù)庫、業(yè)務(wù)系統(tǒng)、日志服務(wù)器上的異構(gòu)數(shù)據(jù)源。同時(shí)還提供涵蓋數(shù)據(jù)血緣、數(shù)據(jù)生命周期管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理在內(nèi)的多項(xiàng)能力，有效提升企業(yè)數(shù)據(jù)治理水平，幫助騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族20騰訊大數(shù)據(jù)云平臺(tái)（TBDS）騰訊大數(shù)據(jù)云平臺(tái)（簡稱TBDS），是基于騰訊多年海量數(shù)據(jù)處理經(jīng)驗(yàn)，通過整合騰訊內(nèi)部大數(shù)據(jù)技術(shù)能力而推出的面向全行業(yè)數(shù)據(jù)匯聚、處理、治理、服務(wù)等數(shù)據(jù)全生命周期的企業(yè)級(jí)大數(shù)據(jù)云平臺(tái)。通過TBDS，可根法開發(fā)服務(wù)，構(gòu)建數(shù)據(jù)倉庫、用戶畫像、精準(zhǔn)推薦、風(fēng)險(xiǎn)管控等大數(shù)據(jù)應(yīng)實(shí)時(shí)數(shù)據(jù)處理及深度分析場景：針對數(shù)據(jù)及時(shí)性要求較高的場景，例如精準(zhǔn)推薦、實(shí)時(shí)經(jīng)營決策、風(fēng)控等，TBDS提供實(shí)時(shí)數(shù)據(jù)處理，完成實(shí)時(shí)流式數(shù)據(jù)從匯聚、加工到在線分析的全流程應(yīng)用；面向政企客戶對數(shù)據(jù)價(jià)值數(shù)據(jù)中臺(tái)建設(shè)場景：面向政府企業(yè)在數(shù)字化轉(zhuǎn)型階段，希望將數(shù)據(jù)以資產(chǎn)的方式進(jìn)行運(yùn)營，需要建設(shè)政府/企業(yè)級(jí)的數(shù)據(jù)中臺(tái)場景，TBDS通過完整的工具鏈產(chǎn)品提供統(tǒng)一的數(shù)據(jù)中臺(tái)基礎(chǔ)底座，用戶可搭配適合自身行業(yè)特性03DataApplicationService企業(yè)畫像EP企業(yè)畫像EP企業(yè)畫像（EnterpriseProfile，EP）作為面向智慧城市、金融監(jiān)管、企業(yè)情報(bào)、企業(yè)評(píng)估等場景的企業(yè)大數(shù)據(jù)綜合服務(wù)平臺(tái)，可構(gòu)建億級(jí)企業(yè)知識(shí)圖譜，深度挖掘企業(yè)、高管、法人、產(chǎn)品、產(chǎn)業(yè)鏈間的復(fù)雜網(wǎng)絡(luò)關(guān)系。為政府提供城市產(chǎn)業(yè)分析、區(qū)域宏觀經(jīng)濟(jì)分析、招商引資推薦等服務(wù)，引導(dǎo)地方產(chǎn)業(yè)發(fā)展；為金融或監(jiān)管機(jī)構(gòu)監(jiān)控目標(biāo)企業(yè)發(fā)展態(tài)勢，第一時(shí)間預(yù)形象；金融輿情，協(xié)助金融機(jī)構(gòu)對特定企業(yè)、市場風(fēng)險(xiǎn)進(jìn)行有效管控；企業(yè)輿情，從企業(yè)自身、競爭對手、產(chǎn)業(yè)23騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族過微保過微保騰訊云安全隱私計(jì)算以聯(lián)邦學(xué)習(xí)（FL）、安全多方計(jì)算（MPC）、可信執(zhí)行環(huán)境（TEE）等隱私計(jì)算技術(shù)為基礎(chǔ)，針對機(jī)器學(xué)習(xí)、數(shù)據(jù)分析等算法進(jìn)行定制化改造，保證原始數(shù)據(jù)不出本地即可快速完成隱私計(jì)算任務(wù)，高效地解決了業(yè)界數(shù)據(jù)孤島難題。目前在銀行、保險(xiǎn)、政務(wù)、教育等行業(yè)都有標(biāo)桿性案例，其優(yōu)異的安全性、性能表現(xiàn)在諸多風(fēng)控、營銷場景下都許廣告主以實(shí)時(shí)接口方式控制每一個(gè)媒體廣告展示機(jī)會(huì)是否參與競價(jià)。但并非每個(gè)廣告主都具備有效的數(shù)據(jù)能不能直接輸出數(shù)據(jù)。在這種情況下安全隱私計(jì)算平臺(tái)正好作為一個(gè)完美的平臺(tái)解決方案幫助政數(shù)局?jǐn)?shù)據(jù)開發(fā)業(yè)務(wù)智能數(shù)據(jù)分析IDA智能數(shù)據(jù)分析（IntellectualDataAnalysis,IDA）基于安全、可靠、可彈性的云端大數(shù)據(jù)架構(gòu)，幫助企業(yè)客戶實(shí)現(xiàn)從數(shù)據(jù)采集、建模、挖掘、效果分析、用戶標(biāo)簽畫像到自動(dòng)化營銷等全場景的數(shù)據(jù)服務(wù)，快速智能數(shù)據(jù)分析IDA智能數(shù)據(jù)分析（IntellectualDataAnalysis,IDA）基于安全、可靠、可彈性的云端大數(shù)據(jù)架構(gòu)，幫助企業(yè)客戶實(shí)現(xiàn)從數(shù)據(jù)采集、建模、挖掘、效果分析、用戶標(biāo)簽畫像到自動(dòng)化營銷等全場景的數(shù)據(jù)服務(wù)，快速戶的真實(shí)面貌。支持多標(biāo)簽、人群包等多種類型數(shù)據(jù)導(dǎo)出?？蓪拥淖詣?dòng)化運(yùn)營平臺(tái)。深度分析用戶行為、屬性、標(biāo)簽等數(shù)據(jù)，實(shí)現(xiàn)目標(biāo)人群的精準(zhǔn)觸達(dá)，賦能數(shù)字化建設(shè)，提25騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族大數(shù)據(jù)可視交互系統(tǒng)RayDataRayData是由騰訊云與光啟元科技聯(lián)合開發(fā)的大數(shù)據(jù)可視交互系統(tǒng)?；讵?dú)有的渲染技術(shù)，結(jié)合云計(jì)算、AI、IoT，將大規(guī)模多樣化的數(shù)據(jù)融合呈現(xiàn)，實(shí)現(xiàn)云數(shù)據(jù)實(shí)時(shí)可視化、場景化以及交互的管理方式，節(jié)省管理成本，提升數(shù)據(jù)輔助決策的效率。同時(shí)，將項(xiàng)目積累成果與經(jīng)驗(yàn)對外幫助企業(yè)或團(tuán)隊(duì)進(jìn)行可視化項(xiàng)目自主開發(fā)與交付，推動(dòng)產(chǎn)業(yè)大數(shù)據(jù)智慧化管理。同時(shí)支持集成各部門數(shù)據(jù)，疊加地理位置信息、交通人流信息、建筑物信息、區(qū)域熱力圖、智慧能源：實(shí)時(shí)接入能源行業(yè)的各類生產(chǎn)、安全、運(yùn)維、管理類控與信息推送，有效支撐指揮中心智能態(tài)勢研判、全景狀智慧城市：將以城市數(shù)字化，管理智能化為立足點(diǎn)，聚合城市經(jīng)濟(jì)、城市建設(shè)、政務(wù)服務(wù)、環(huán)境檢測、金融環(huán)境、地理信息等多種數(shù)據(jù)資源，深入分析城市管理中，經(jīng)濟(jì)、政務(wù)、環(huán)境、安防等多個(gè)業(yè)務(wù)場景。宏觀上支撐城環(huán)境監(jiān)測，安全態(tài)勢、資產(chǎn)態(tài)勢、電子證照等龐大的數(shù)據(jù)資源和功能模塊，將各職能部門相對孤立的27騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族ElasticsearchX-PackKibanaOceanus數(shù)據(jù)ETLSQL、JARBI報(bào)表實(shí)時(shí)OLAP云數(shù)據(jù)倉庫CDWClickHousePostgreSQLCKafka彈性MapReduceFlumeHBaseMapReduceElasticsearchX-PackKibanaOceanus數(shù)據(jù)ETLSQL、JARBI報(bào)表實(shí)時(shí)OLAP云數(shù)據(jù)倉庫CDWClickHousePostgreSQLCKafka彈性MapReduceFlumeHBaseMapReduceSparkPresto數(shù)據(jù)庫MySQL BI報(bào)表內(nèi)部數(shù)據(jù)外部數(shù)據(jù)騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族28騰訊云針對金融行業(yè)特性，提供從數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)應(yīng)用全棧式金融大數(shù)據(jù)解決方案，幫助金融機(jī)構(gòu)聯(lián)動(dòng)渠道、產(chǎn)品、權(quán)益和人員，助力金融機(jī)構(gòu)1.基于全托管式流計(jì)算Oceanus整合金融機(jī)構(gòu)內(nèi)外部數(shù)據(jù)源，為離線分析、實(shí)時(shí)分析、日志查詢等多類場景構(gòu)2.基于彈性MapReduce，（包含Hive、HBase、Presto、Spark等豐富的開源組件）快速構(gòu)建企業(yè)級(jí)數(shù)據(jù)3.基于云數(shù)據(jù)倉庫CDW優(yōu)異的查詢性能實(shí)現(xiàn)毫秒級(jí)的實(shí)時(shí)查詢分析，查詢效率數(shù)倍于傳統(tǒng)數(shù)據(jù)倉庫；4.基于ElasticsearchService（包含X-Pack高級(jí)特性)實(shí)現(xiàn)海量數(shù)據(jù)的高效信息檢索；5.以聯(lián)邦學(xué)習(xí)、安全多方計(jì)算等數(shù)據(jù)安全與隱私保護(hù)技術(shù)為核心，針對機(jī)器學(xué)習(xí)算法進(jìn)行定制化的隱私保護(hù)改6.提供SaaS化BI能夠快速制作個(gè)性化報(bào)表，為運(yùn)營決策提供數(shù)據(jù)依據(jù)。金融機(jī)構(gòu)可以靈活借助騰訊云提供的豐富大數(shù)據(jù)組件，構(gòu)建用戶畫像，從多個(gè)維度實(shí)現(xiàn)對用戶的深度理解和精準(zhǔn)定位，洞察用戶潛在需求，推出個(gè)性化的營銷策略；在大數(shù)據(jù)應(yīng)用的基礎(chǔ)上，結(jié)合算法、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型等AI技術(shù)的運(yùn)用，實(shí)現(xiàn)用戶立體化、多維度數(shù)據(jù)掃描，降低“騙貸”等獲客風(fēng)險(xiǎn)，實(shí)現(xiàn)騰訊云針對金融行業(yè)的輿情監(jiān)測場景，實(shí)現(xiàn)對互聯(lián)網(wǎng)金融資訊數(shù)據(jù)信息進(jìn)行實(shí)時(shí)、全面的采集、清洗、抽取、分析、建模和應(yīng)用，幫助金融機(jī)構(gòu)在第一時(shí)間掌握輿情動(dòng)態(tài)，及時(shí)作出回應(yīng)和處理，實(shí)現(xiàn)智能化輿情監(jiān)控和市場風(fēng)提升獲客效率，幫助金融機(jī)構(gòu)實(shí)現(xiàn)“千人千面”提升獲客效率，幫助金融機(jī)構(gòu)實(shí)現(xiàn)“千人千面”29騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族富途證券于2012年在香港成立，是騰訊戰(zhàn)略投資的知名科技型券商，全球主流金融市場全面持牌，專注為客戶提供一站式便捷高效的美股港股投資及理財(cái)服務(wù)。目前用戶數(shù)超過1600萬，托管資產(chǎn)超過4600億港元。富途證券的BI報(bào)表系統(tǒng)一開始建立MySQL數(shù)據(jù)庫之上，主要提供相關(guān)的報(bào)表給管理層進(jìn)行數(shù)據(jù)分析和業(yè)務(wù)決策。隨著業(yè)務(wù)數(shù)據(jù)量越來越大，MySQL已經(jīng)無法滿足海量數(shù)據(jù)計(jì)算的要求。另外，金融風(fēng)控、精細(xì)化運(yùn)營、用戶畫像、內(nèi)容推薦等業(yè)務(wù)場景也需要針對海量數(shù)據(jù)進(jìn)行離線分析和實(shí)時(shí)計(jì)算，目標(biāo)是用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展，實(shí)現(xiàn)富途充分利用EMR產(chǎn)品的計(jì)算和存儲(chǔ)能力，構(gòu)建了BI報(bào)表系統(tǒng)、社區(qū)關(guān)系挖掘、機(jī)器學(xué)習(xí)等應(yīng)用。在突發(fā)性大量合規(guī)報(bào)表的業(yè)務(wù)場景下，富途借助EMR的彈性伸縮能力，根據(jù)業(yè)務(wù)的高峰低谷進(jìn)行算力的擴(kuò)充或富途使用EMR的能力監(jiān)控大盤行情、客戶資產(chǎn)、賬戶狀態(tài)等相關(guān)數(shù)據(jù)，進(jìn)行實(shí)時(shí)業(yè)務(wù)風(fēng)控，并采取相關(guān)的應(yīng)對對于牛牛圈的社區(qū)關(guān)系挖掘、社區(qū)熱貼、實(shí)時(shí)熱榜等計(jì)算場景，富途利用EMR挖掘用戶之間的關(guān)系，富途利用ES產(chǎn)品構(gòu)建用戶畫像、用戶標(biāo)簽功能，幫助運(yùn)營人員快速精準(zhǔn)地在海量用戶中找到目標(biāo)人群，實(shí)現(xiàn)用中國銀行是中國唯一持續(xù)經(jīng)營超過百年的銀行，也是中國國際化和多元化程度最高的銀行。機(jī)構(gòu)遍及中國內(nèi)地及61個(gè)國家和地區(qū)，旗下有中銀國際、中銀投資、中銀基金、中銀保險(xiǎn)、中銀航空租賃、中銀消費(fèi)金融、中銀金融商統(tǒng)一大數(shù)據(jù)平臺(tái)：客戶在大數(shù)據(jù)平臺(tái)建設(shè)和使用方面存在平臺(tái)建設(shè)能力薄弱、大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)不足、大數(shù)據(jù)組件統(tǒng)一數(shù)據(jù)湖平臺(tái)：長期以來數(shù)據(jù)價(jià)值挖掘能力欠缺、數(shù)據(jù)孤島嚴(yán)重是中國銀行在推進(jìn)數(shù)據(jù)應(yīng)用上面臨的現(xiàn)實(shí)困構(gòu)建BDP大數(shù)據(jù)平臺(tái)：構(gòu)建面向全行的大數(shù)據(jù)應(yīng)用平臺(tái)，實(shí)現(xiàn)了統(tǒng)一數(shù)據(jù)治理、全鏈路大數(shù)據(jù)開發(fā)和一站式可視構(gòu)建UDP數(shù)據(jù)湖平臺(tái)：數(shù)據(jù)湖一期以數(shù)據(jù)為中心，以“覆蓋BDP/EDP數(shù)據(jù)源、一次接入分批加載”為與原則，搭載以離線文本接入、文件湖、緩沖區(qū)和貼源層為主體的數(shù)據(jù)治理體系，離線接入超過一萬張?jiān)幢砑虞d至貼源層、逐步替代EDP、BDP提供數(shù)據(jù)支撐。17套TBDS約3000+個(gè)節(jié)點(diǎn)，存儲(chǔ)量3PB+，總表超過18000+，日調(diào)度任務(wù)80000+，共支撐中行BDP大數(shù)據(jù)平臺(tái)、UDP數(shù)據(jù)湖平臺(tái)、LSP標(biāo)簽畫像、沙箱系統(tǒng)、事中風(fēng)控模型、風(fēng)險(xiǎn)大屏等應(yīng)用。中信建投證券股份有限公司（下稱“中信建投證券”或“公司”）成立于2005年11月2日，是經(jīng)中國證監(jiān)會(huì)批準(zhǔn)設(shè)立的全國性大型綜合證券公司。公司總部位于北京，公司在境內(nèi)擁有205家證券營業(yè)部和19家期貨營業(yè)部，分布在北京、上海、天津、重慶等直轄市，以及華北、東北、華東、中南、西統(tǒng)一數(shù)據(jù)集成：客戶內(nèi)部有多種數(shù)據(jù)源需要統(tǒng)一集成到大數(shù)據(jù)平臺(tái)，數(shù)據(jù)中心信創(chuàng)專區(qū)：客戶構(gòu)建全信創(chuàng)數(shù)據(jù)中心，從底層基礎(chǔ)設(shè)構(gòu)建tbds大數(shù)據(jù)集成平臺(tái)：對各種不同數(shù)據(jù)源進(jìn)行配置、管理，以及元信息同步。通過離線任務(wù)及實(shí)時(shí)任務(wù)實(shí)現(xiàn)構(gòu)建tbds大數(shù)據(jù)信創(chuàng)版本：支持客戶在信創(chuàng)專區(qū)在統(tǒng)一的集成平臺(tái)之上進(jìn)行各種集成任務(wù)的管全面覆蓋客戶各場景下大數(shù)據(jù)平臺(tái)的產(chǎn)品落地，北京生產(chǎn)及測試環(huán)境、上海災(zāi)備環(huán)境，信創(chuàng)專區(qū)生產(chǎn)及測試環(huán)上海農(nóng)村商業(yè)銀行簡稱上海農(nóng)商銀行。成立于2005年8月25日，是一家經(jīng)中國銀行業(yè)監(jiān)督管理委員會(huì)正式批準(zhǔn)成立的股份制商業(yè)銀行。是在有著逾50年統(tǒng)一數(shù)據(jù)服務(wù)：構(gòu)建數(shù)據(jù)共享和開放服務(wù)體系，實(shí)現(xiàn)全行對外提供數(shù)據(jù)服務(wù)、數(shù)據(jù)統(tǒng)一數(shù)據(jù)開發(fā)：搭建流計(jì)算、離線計(jì)算、分布式數(shù)據(jù)存儲(chǔ)的大數(shù)據(jù)平臺(tái)，引入統(tǒng)一的分布式數(shù)據(jù)模型，并在此基統(tǒng)一開發(fā)18000+個(gè)數(shù)據(jù)任務(wù)統(tǒng)一落標(biāo)1000個(gè)標(biāo)準(zhǔn)項(xiàng)統(tǒng)一管控19000張數(shù)據(jù)表全面支撐零售和網(wǎng)金業(yè)務(wù)的指標(biāo)標(biāo)簽，營銷集市，反欺詐，智能決策和數(shù)據(jù)探索業(yè)務(wù)場景。本項(xiàng)目榮獲“2021金融業(yè)新技術(shù)應(yīng)用創(chuàng)新突出貢獻(xiàn)獎(jiǎng)”和2021年度農(nóng)村中小金融機(jī)構(gòu)科技微眾銀行于2014年12月獲得由深圳銀監(jiān)局頒發(fā)的金融許可證，是國內(nèi)首家開業(yè)的民營銀行。微眾銀行嚴(yán)格遵守國家金融法律法規(guī)和監(jiān)管政策，以合規(guī)經(jīng)營和穩(wěn)健發(fā)展為基礎(chǔ)，致力于為普羅大眾、微小企業(yè)提供差異化、有特隨著業(yè)務(wù)的持續(xù)拓展和內(nèi)容升級(jí)，信貸全鏈路服務(wù)場景受限于微眾單方的數(shù)據(jù)質(zhì)量，部分?jǐn)?shù)據(jù)建模識(shí)別高風(fēng)險(xiǎn)用由于金融機(jī)構(gòu)合規(guī)性與安全性的要求，外部數(shù)據(jù)合作的流程冗長且復(fù)雜，導(dǎo)致數(shù)據(jù)安全性、時(shí)效性表現(xiàn)較差，如：在投入大量的成本后可能模型效果仍然較差，效果轉(zhuǎn)化不理想。因此急需一種新的數(shù)據(jù)合作技術(shù)促成快速數(shù)騰訊云隱私計(jì)算提供一站式解決智能數(shù)據(jù)構(gòu)建與管理的全鏈路訴求，通過聯(lián)邦學(xué)習(xí)（FL）+安全多方計(jì)算（MPC）+可信執(zhí)行環(huán)境（TEE），構(gòu)建信貸全鏈路數(shù)據(jù)管理與業(yè)務(wù)數(shù)據(jù)運(yùn)用，從營銷、貸前、貸中到貸后，為客戶提供在不同業(yè)務(wù)場景下的全面數(shù)據(jù)建模與分析的合作技術(shù)，解決全流程中不同階段的模型效果，縮短金融機(jī)構(gòu)與其他合作機(jī)構(gòu)的流程時(shí)間，快速實(shí)現(xiàn)數(shù)據(jù)價(jià)值的有效實(shí)現(xiàn)了信貸業(yè)務(wù)全生命周期多業(yè)務(wù)場景覆蓋，并幫助微眾銀行有效降低客戶不良率，部分場景線上授信實(shí)際效果提升了10%。 OceanusFlinkonTKEFlinkonTKE數(shù)據(jù)數(shù)據(jù)ETLSQL、JARSQL、JARElasticsearchX-Pack特性ElasticsearchX-Pack特性Kibana節(jié)點(diǎn)BI報(bào)表BI報(bào)表實(shí)時(shí)OLAP云數(shù)據(jù)倉庫CDW云數(shù)據(jù)倉庫CDWClickHouseClickHousePostgreSQLPostgreSQLCKafkaCKafka彈性MapReduceMySQLPrestoPrestoSparkSpark35騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族騰訊云依托豐富的游戲生態(tài)資源和能力，致力于打造高質(zhì)量、全方位生態(tài)的游戲云服務(wù)平臺(tái)，提供游戲從研發(fā)到游戲行業(yè)日志分析平臺(tái)：游戲玩家會(huì)產(chǎn)生大量日志數(shù)據(jù)，基于ElasticStack(Logstash、Beats、ES、Ki對日志進(jìn)行記錄、存儲(chǔ)、搜索和分析，通過數(shù)據(jù)分析增加留存和轉(zhuǎn)換，減少流失，提升服務(wù)質(zhì)量與玩家游戲體游戲行為分析平臺(tái)：基于APP原生、H5、Web埋點(diǎn)，實(shí)時(shí)采集游戲玩家點(diǎn)擊、瀏覽、操作、支付、評(píng)論等數(shù)據(jù)至流消息通道CKafka，由流計(jì)算Oceanus進(jìn)行解析、處理、存儲(chǔ)至云數(shù)據(jù)倉庫CDW相關(guān)庫表，再由BI進(jìn)行實(shí)時(shí)展示。分析人員無需了解數(shù)據(jù)表便可對轉(zhuǎn)化漏斗、路徑分析、留存分析、頁面分析、事件分析、實(shí)時(shí)數(shù)據(jù)數(shù)字化運(yùn)營分析和決策平臺(tái)：基于標(biāo)簽、人群畫像、算法模型和數(shù)據(jù)集市，結(jié)合活動(dòng)平臺(tái)，對游戲玩家進(jìn)行拉新、促活、付費(fèi)轉(zhuǎn)化、留存、廣告投放等，實(shí)現(xiàn)良好的ROI；依托ABTest、游戲增長分析、活動(dòng)效果評(píng)估和廣騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族36B站B站B站(嗶哩嗶哩)是中國年輕世代高度聚集的文化社區(qū)和視頻平臺(tái),圍繞用戶、創(chuàng)作者和內(nèi)容，構(gòu)建了一個(gè)源源不斷產(chǎn)生優(yōu)質(zhì)內(nèi)容的生態(tài)系統(tǒng)。2020年8月，B站月均活躍用戶已突破2億。在B站龐大的業(yè)務(wù)板塊中，游戲業(yè)務(wù)占有非常重要的地位。B站游戲的數(shù)據(jù)量非常龐大且在持續(xù)快速增加，游戲新增的數(shù)據(jù)量會(huì)隨著游戲的熱度增加或者兼容，傳統(tǒng)的數(shù)倉分析平臺(tái)無法滿足業(yè)務(wù)的快速擴(kuò)容或者縮容，對數(shù)據(jù)平臺(tái)擴(kuò)展性提出了挑戰(zhàn)；由于業(yè)務(wù)的迅速發(fā)展，數(shù)據(jù)孤島問題嚴(yán)重，不同部門，不同游戲的數(shù)據(jù)存在不同的硬件設(shè)備，無法對數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)和關(guān)聯(lián)分析；除此之外，游戲數(shù)據(jù)的運(yùn)營和決策對數(shù)據(jù)的實(shí)時(shí)處理要求較高，自建一個(gè)實(shí)時(shí)性、穩(wěn)定性強(qiáng)的平臺(tái)對于企業(yè)來說成本高在玩家行為日志和客戶端打點(diǎn)日志分析和搜索、廣告實(shí)時(shí)歸因分析、游戲運(yùn)營日志指標(biāo)實(shí)時(shí)分析、游戲防沉迷四大應(yīng)用場景中，B站大數(shù)據(jù)團(tuán)隊(duì)基于騰訊云大數(shù)據(jù)的能力，構(gòu)建了完善的數(shù)據(jù)應(yīng)用服分鐘級(jí)別集群構(gòu)建能力，支持迅速彈性擴(kuò)容，幫助游戲業(yè)務(wù)應(yīng)對高峰突發(fā)情況；豐富的服務(wù)維度和主機(jī)維度監(jiān)控騰訊云ElasticsearchService提供冷熱分層架構(gòu)的支持，搭配X-Pack提供的索引生命周期管理能力，可在為保障客戶對于實(shí)時(shí)性的需求，流計(jì)算O指標(biāo)；騰訊云ClickHouse在寬表聚合場景下的查詢性能在亞秒級(jí)響應(yīng)，提升了游戲數(shù)據(jù)分析效率和體驗(yàn)。通過引入騰訊云大數(shù)據(jù)產(chǎn)品EMR、ES、流計(jì)算Oceanus，使得集群交付暢游公司是中國領(lǐng)先的在線游戲開發(fā)和運(yùn)營商，于2009年4月在納斯達(dá)克全球精選市場上市，前身是搜狐公司游戲事業(yè)部。搜狐暢游擅長研發(fā)、運(yùn)營長在暢游多端眾多游戲類型中，移動(dòng)端的手游占有非常重要的地位和比例，在移動(dòng)互聯(lián)網(wǎng)的DT時(shí)代，公司如何依托自身多年火熱的“老”游戲積累業(yè)務(wù)經(jīng)驗(yàn)和玩家數(shù)據(jù)，快速推動(dòng)“新”游戲設(shè)計(jì)、研發(fā)、入市，并促進(jìn)玩家活躍度提升和付費(fèi)轉(zhuǎn)化成為業(yè)務(wù)核心目標(biāo)之一。實(shí)現(xiàn)這一目標(biāo)的根基在于如何搭建數(shù)據(jù)分析中臺(tái)，有效整合多源數(shù)據(jù)，如何實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)、計(jì)算、分析和應(yīng)用平針對自身業(yè)務(wù)需求，暢游基于騰訊云大數(shù)據(jù)眾多成熟穩(wěn)定的產(chǎn)品構(gòu)建了數(shù)據(jù)中臺(tái)，覆蓋離線批處理、實(shí)時(shí)計(jì)算、NoSQL存儲(chǔ)、OLAP等多場景。在方案設(shè)計(jì)和構(gòu)建階段，騰訊云大數(shù)據(jù)團(tuán)隊(duì)充分結(jié)合暢游的數(shù)據(jù)規(guī)模、應(yīng)用需求和成本效率兼具的目標(biāo)訴求，整合多種大數(shù)據(jù)產(chǎn)品，實(shí)現(xiàn)合理ROI控制。在暢游場景中，騰訊云EMR系列產(chǎn)品（即騰訊云版Hadoop、Hive、Impala、Kudu、Kafka等）提供統(tǒng)一的數(shù)據(jù)集成和處理方案，滿足了游戲數(shù)據(jù)分析多個(gè)場景需求，包括游戲玩家畫像、行為分析、活躍留存、LTV、付費(fèi)轉(zhuǎn)化、多維報(bào)表、日常運(yùn)營、營銷推薦、游戲反欺詐、游戲防37手游37手游37手游是三七互娛（上海）科技有限公司旗下獨(dú)立子公司，專注于移動(dòng)游戲運(yùn)營，累計(jì)運(yùn)營近2000款游戲。向市場成功推出《永恒紀(jì)元》、《一刀傳世》、《斗羅大陸》H5、《拳魂覺醒》、《鬼語迷城》、《混沌起源》、《大天使之劍H5》等作品。在三七各業(yè)務(wù)板塊中，37手游游戲業(yè)務(wù)占據(jù)著重要的地位，而在游戲業(yè)務(wù)中，游戲的運(yùn)營投放效果追蹤、游戲畫像系統(tǒng)、游戲場景數(shù)據(jù)分析等多種場景，又有著重要的業(yè)務(wù)支撐作用。傳統(tǒng)的如游戲投放效果追逐實(shí)時(shí)性不高，一般為T+1方式，沒法滿足業(yè)務(wù)對運(yùn)營策略及時(shí)調(diào)整的訴求；畫像系統(tǒng)是支撐游戲業(yè)務(wù)下包括游戲活動(dòng)、監(jiān)控、風(fēng)控等多種場景的基礎(chǔ)能力，故畫像系統(tǒng)的高穩(wěn)定、高性能、便捷運(yùn)維騰訊云大數(shù)據(jù)產(chǎn)品矩陣針對不同場景化需求給出不同場景化產(chǎn)品解決方案。針對37手游的需求，采用云數(shù)據(jù)倉庫在投放系統(tǒng)中，37手游游戲運(yùn)營平臺(tái)將不同渠道的游戲推廣數(shù)據(jù)集中收集到云數(shù)據(jù)倉庫ClickHouse，包括多個(gè)媒體平臺(tái)、多個(gè)APP下載中心、37內(nèi)部的游戲推廣平臺(tái)。同時(shí)將游戲的基礎(chǔ)信息數(shù)據(jù)從關(guān)系數(shù)據(jù)庫同步到云數(shù)在畫像系統(tǒng)建設(shè)中，通過離線、實(shí)時(shí)、統(tǒng)計(jì)類三個(gè)鏈路，生成包括用戶、設(shè)備、游戲等多維度用戶畫像指標(biāo)，存儲(chǔ)在騰訊云ES中，供上層包括游戲活動(dòng)、監(jiān)控、推薦系統(tǒng)、風(fēng)控等多種業(yè)務(wù)場景使用。騰訊云ES全托管模式及其高可靠、高穩(wěn)定、高性能特性，幫助37手游在運(yùn)維效率借助騰訊云EMR產(chǎn)品的高彈性、高穩(wěn)定性、運(yùn)維便捷性，能夠分鐘級(jí)別構(gòu)建游戲場景下數(shù)據(jù)倉庫分析平臺(tái)，幫助37手游在游戲業(yè)務(wù)高速發(fā)展過程中，實(shí)現(xiàn)集群運(yùn)維投入減 BI報(bào)表Oceanus數(shù)據(jù)數(shù)據(jù)ETLSQL、JARSQL、JARKibanaElasticsearchKibanaElasticsearchX-PackX-Pack實(shí)時(shí)OLAP云數(shù)據(jù)倉庫云數(shù)據(jù)倉庫CDWClickHousePostgreSQLBI報(bào)表BI報(bào)表CKafkaMySQLPrestoHBaseMapReduceSparkPrestoHBaseMapReduceSpark彈性MapReduceFlume騰訊云電商大數(shù)據(jù)解決方案依托強(qiáng)大的云基礎(chǔ)設(shè)施和服務(wù)能力、為各種規(guī)模的電商客戶快速構(gòu)建基礎(chǔ)平臺(tái)，并提供豐富的場景化大數(shù)據(jù)分析與挖掘的能力，騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族40基于彈性MapReduce快速構(gòu)建電商大數(shù)據(jù)平臺(tái)；基于終端用戶的基礎(chǔ)屬性、興趣關(guān)注、消費(fèi)行為、信用評(píng)分、位置坐標(biāo)等數(shù)據(jù)構(gòu)建買家用戶畫像，同時(shí)基于商品數(shù)據(jù)構(gòu)建商品畫像，為用戶提供個(gè)性化推薦，實(shí)現(xiàn)電商首頁、單品頁、頻道頁和活動(dòng)頁等個(gè)性展示；同時(shí)基于用戶的點(diǎn)擊行為和用戶畫像在平臺(tái)推送差異化的廣告，進(jìn)行通過CKafka接入電商業(yè)務(wù)端實(shí)時(shí)流量數(shù)據(jù)，結(jié)合用戶畫像、商品畫像，利用流計(jì)算Oceanus與云數(shù)據(jù)倉庫CDW進(jìn)行實(shí)時(shí)分析，在促銷活動(dòng)高峰期，監(jiān)測營銷數(shù)據(jù)，檢測各類目下相同價(jià)格層商品覆蓋和實(shí)時(shí)銷售情況；借助于騰訊云Elasticsearch服務(wù)，為企業(yè)提供商品、訂單、庫存等個(gè)性化搜索；利用機(jī)器學(xué)習(xí)進(jìn)行模型推理訓(xùn)練，深度挖掘用戶購買行為數(shù)據(jù)，分析用戶購買能力和特征，基于用戶購買習(xí)慣和建立智能客服平臺(tái)，結(jié)合SLA和話術(shù)，實(shí)現(xiàn)多渠道整合，依托智能客服機(jī)器人實(shí)現(xiàn)高效分流、答疑和自動(dòng)構(gòu)建在電商運(yùn)營管理端提供便捷的BI工具，輕松接入云數(shù)據(jù)倉庫CDW，對商品、交易、訂單、渠道、促銷等相關(guān)最終幫助客戶針對性地開發(fā)契合用戶的產(chǎn)品來降低產(chǎn)品的市場風(fēng)險(xiǎn)，節(jié)省投入成本，提升銷量，加速客戶轉(zhuǎn)化與變現(xiàn)，從而實(shí)現(xiàn)從“消費(fèi)者”到“廠商”的反向定制生產(chǎn)小紅書41騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族微盟是中國領(lǐng)軍的企業(yè)云端商業(yè)及營銷解決方案提供商，同時(shí)也是中國領(lǐng)軍的精準(zhǔn)營銷服務(wù)提供商，圍繞商業(yè)云、營銷云、銷售云打造智慧商業(yè)服務(wù)生態(tài)。微盟現(xiàn)有渠道代理商超1600家，注冊商戶超300萬。為了更好的服務(wù)微盟BI、搜索、營銷、推薦等業(yè)務(wù)場景，微盟需要一套安全、穩(wěn)定、性能數(shù)據(jù)安全、權(quán)限安全、業(yè)務(wù)安全的極高要求，云產(chǎn)品需要具備數(shù)據(jù)容災(zāi)、多租戶隔離的特性；營銷和的核心競爭力，因此需要數(shù)據(jù)平臺(tái)具備很高的實(shí)時(shí)性和準(zhǔn)確性；運(yùn)維方面也需要數(shù)據(jù)平臺(tái)具備組件、指標(biāo)的監(jiān)控和告警，以便第一時(shí)間排查和定位問題；另外由于大數(shù)據(jù)生態(tài)比較復(fù)雜，對數(shù)據(jù)平臺(tái)建設(shè)微盟基于騰訊云大數(shù)據(jù)產(chǎn)品構(gòu)建了云上數(shù)據(jù)平臺(tái)，涵蓋BI報(bào)表分析、個(gè)性化推薦、商品，訂單，庫存搜索、用騰訊云EMR提供了一鍵構(gòu)建集群能力，滿足業(yè)務(wù)高峰時(shí)段分鐘級(jí)別彈性擴(kuò)縮容；對集群計(jì)算和存儲(chǔ)組件的深度自動(dòng)擴(kuò)縮容能力能夠基于時(shí)間和負(fù)載兩種策略彈性計(jì)算節(jié)點(diǎn)，滿足微盟在離線和即席分析場景在不同時(shí)段的資源需求；登錄鑒權(quán)、索引在文檔字段級(jí)別的權(quán)限管理能力，為集群安全訪問提供了穩(wěn)固的保障；集成對象存儲(chǔ)COS功能讓備份變得簡單；多可用區(qū)能力為集群提供了在城市電力或網(wǎng)絡(luò)異常情況下的容災(zāi)保障。佳；EMR、ES和云數(shù)據(jù)倉庫ClickHouse服務(wù)提供了豐富的組件級(jí)別和應(yīng)用級(jí)別的告警能力，極大提升了問騰訊云EMR安全體系和ES白金版高級(jí)特性X-Pack，小紅書是年輕人的生活方式平臺(tái)，主營業(yè)務(wù)包括社區(qū)和電商，用戶可以通過短視頻、圖文等形式記錄生活點(diǎn)滴，分享生活方式，并基于興趣形成互動(dòng)。截至到2019年10月，小紅書月活躍用戶數(shù)已經(jīng)過億，其中70%用戶是90小紅書小紅書整體基礎(chǔ)架構(gòu)是存算分離模式，需要一套安全、穩(wěn)定、高性能的存算分離解決方案。由于數(shù)據(jù)量劇增，需要一套快速構(gòu)建并具備彈性的大數(shù)據(jù)PaaS平臺(tái)。小紅書使用騰訊云ES主要服務(wù)于社區(qū)、電商、搜索三大業(yè)務(wù)板塊，為業(yè)務(wù)方提供日志搜索和查詢服務(wù)。借助于騰訊云ES內(nèi)核增強(qiáng)特性提升集群穩(wěn)定性和寫入查詢性能，具體表現(xiàn)1、定向路由優(yōu)化：在規(guī)模較大的集群中（100+節(jié)點(diǎn)），單個(gè)索引一般有超多個(gè)分片配置（100+），多分片bulk寫入場景，通過routing的方式實(shí)現(xiàn)一個(gè)bulk只寫入到一個(gè)分片，降低網(wǎng)絡(luò)開銷、提升數(shù)據(jù)節(jié)點(diǎn)CPU使針對小紅書多云模式和基礎(chǔ)技術(shù)架構(gòu)，騰訊云EMR提供的存算分離方案，服務(wù)于推薦、搜索、廣告、電商、BI報(bào)表等多個(gè)業(yè)務(wù)場景提供離線計(jì)算、數(shù)據(jù)ETL、Adhoc查詢能力，滿足小紅書快速業(yè)務(wù)增長和數(shù)據(jù)增長，具體2、通過EMR實(shí)現(xiàn)了集群管控平臺(tái)，為不同業(yè)務(wù)方提供自主集群管控能力，節(jié)3、EMR深度集成騰訊云對象存儲(chǔ)，優(yōu)化組件內(nèi)核，提升組件訪問對象存儲(chǔ)性能?；隍v訊云ES，2、借助于騰訊云EMR一鍵構(gòu)建集群能力，能夠分鐘級(jí)別構(gòu)建算法特征加工節(jié)點(diǎn)集群，提升交付效率，并滿足3、借助于EMR提供的集群構(gòu)建和擴(kuò)容API實(shí)現(xiàn)了統(tǒng)一集群管控平臺(tái)，提升了集群運(yùn)維管理效率，節(jié)省了運(yùn)維43騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/叮咚買菜致力于通過產(chǎn)地直采、前置倉配貨和最快29分鐘配送到家的服務(wù)模式，通過技術(shù)驅(qū)動(dòng)產(chǎn)業(yè)鏈升級(jí)，為用戶提供品質(zhì)確定、時(shí)間確定、品類確定的生鮮消費(fèi)體驗(yàn)。2020年全年?duì)I收突破140億，建成前置倉超過850個(gè)，日生鮮業(yè)務(wù)的快速發(fā)展給叮咚買菜基礎(chǔ)架構(gòu)層面帶來不小的挑戰(zhàn)，由于自建大數(shù)據(jù)基礎(chǔ)設(shè)施成本高、運(yùn)維復(fù)雜度高，且專業(yè)技術(shù)人員匱乏，這對業(yè)務(wù)高速發(fā)展中的企業(yè)來說是一種負(fù)擔(dān)，使其在無法完針對叮咚買菜大數(shù)據(jù)基礎(chǔ)架構(gòu)上云需求，騰訊云大數(shù)據(jù)團(tuán)隊(duì)深入業(yè)務(wù)場景，在實(shí)時(shí)計(jì)算平臺(tái)、搜索服務(wù)等多個(gè)場在實(shí)時(shí)計(jì)算平臺(tái)方面，采用了騰訊云流計(jì)算Oceanus和云數(shù)據(jù)倉庫ClickHouse。提供了全托管產(chǎn)品，使叮咚買菜團(tuán)隊(duì)無須關(guān)注基礎(chǔ)設(shè)施的運(yùn)維，就可以輕松構(gòu)建調(diào)用鏈監(jiān)控服務(wù)，同時(shí)流計(jì)算Oceanus亞秒級(jí)數(shù)據(jù)處理能在搜索平臺(tái)方面，采用了騰訊云ES。該產(chǎn)品基于開源搜索引擎Elasticsearch打造的高可用、可伸縮的云端全托管的Elasticsearch服務(wù)，包含Kibana及常用插件，并集成了安全、SQL、機(jī)器學(xué)習(xí)、告警、監(jiān)控等高級(jí)特性（X-Pack），幫助叮咚買菜快速部署、輕松管理、按需擴(kuò)展幾百個(gè)集群節(jié)點(diǎn)，簡化復(fù)雜運(yùn)維操作，助力叮咚買菜團(tuán)隊(duì)快速構(gòu)建日志分析、異常監(jiān)控、網(wǎng)站搜索、企業(yè)搜索、BI分析等各相比于自建ES集群，大大提升了集群的可用性以及寫入、查詢性能，點(diǎn)查詢加范圍查詢性能提升一倍,帶景聚合性能提升3-7倍，搜索場景查詢性能提升40%。騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家“什么值得買”網(wǎng)站從成立開始便致力于解決消費(fèi)過程中的信息不對稱問題，如今已成為集導(dǎo)購、媒體、工具、社區(qū)屬性于一體的消費(fèi)內(nèi)容社區(qū)。2020年11月入選商務(wù)部第二批數(shù)字商務(wù)企業(yè)，12月完成7.285億元再融資。隨著“什么值得買”業(yè)務(wù)的橫向擴(kuò)展和用戶規(guī)模的快速增長，數(shù)據(jù)和應(yīng)用規(guī)模也隨之暴漲，如何才能快速整合多業(yè)務(wù)、多形態(tài)、多維度的數(shù)據(jù)，形成全域數(shù)據(jù)中心，滿足不同應(yīng)用對數(shù)據(jù)特征的差異化需求，如何將數(shù)據(jù)進(jìn)行資產(chǎn)化以賦能業(yè)務(wù)應(yīng)用和創(chuàng)新，成為了客戶巨大的挑戰(zhàn)。而自建IDC成本高、搭建難、周期長，后期運(yùn)維復(fù)雜度極高，且對相關(guān)技術(shù)人才需求多、專業(yè)化程度要求高，對業(yè)務(wù)高速發(fā)展中的企業(yè)來說是一種不小的負(fù)擔(dān)，使其無法完全專注于業(yè)務(wù)創(chuàng)新。因此，業(yè)務(wù)和數(shù)據(jù)上云，將底層技術(shù)的復(fù)雜性交由專業(yè)的云廠商支撐，以獲得專業(yè)、高結(jié)合自身現(xiàn)階段業(yè)務(wù)需求，“什么值得買”基于騰訊云大數(shù)據(jù)產(chǎn)品構(gòu)建了云上數(shù)據(jù)中臺(tái)，覆蓋了從數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、分析、可視化到服務(wù)化的全面場景支撐，支持了報(bào)表分析、交互查詢、營銷推薦、數(shù)據(jù)指標(biāo)、日志搜騰訊云大數(shù)據(jù)還提供了分鐘級(jí)別集群構(gòu)建，支持迅速彈性擴(kuò)容，幫助客戶應(yīng)對大促業(yè)務(wù)高峰突發(fā)情況；為了保證集群運(yùn)維的高效性，騰訊云大數(shù)據(jù)提供了豐富的服務(wù)維度和主機(jī)維度監(jiān)控指標(biāo)和秒級(jí)告警觸達(dá)能力，使得數(shù)據(jù)運(yùn)云數(shù)據(jù)倉庫ClickHouse在寬表聚合場景下的查詢性能在亞秒級(jí)響應(yīng)，幫助客戶提升電商數(shù)據(jù)分析效率和體驗(yàn)。WeData提供一站式數(shù)據(jù)開發(fā)平臺(tái)，集成支持多種計(jì)算引擎，全面滿足客戶大數(shù)據(jù)處理和分析的應(yīng)用訴求，通過數(shù)據(jù)治理模塊，全面實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化、提升數(shù)據(jù)質(zhì)量，通過引入騰訊云大數(shù)據(jù)產(chǎn)品EMR、DTS、WeData使得集群的交付效率整體提升了8倍，數(shù)據(jù)鏈路處理整體效率45騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn) 流計(jì)算流計(jì)算Oceanus數(shù)據(jù)數(shù)據(jù)ETLSQL、JARSQL、JAR云數(shù)據(jù)倉庫云數(shù)據(jù)倉庫CDWClickHouseClickHousePostgreSQLPostgreSQLBI報(bào)表BI報(bào)表CKafka彈性MapReduceFlumeMapReduceMapReduceSparkSpark依托騰訊云大數(shù)據(jù)產(chǎn)品體系快速構(gòu)建數(shù)據(jù)中臺(tái)，匯聚學(xué)生、教師、課程、知識(shí)等各類數(shù)據(jù)，形成以數(shù)據(jù)為驅(qū)動(dòng)的“教-學(xué)-練-測-評(píng)”流程閉環(huán)。騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族46基于CKafka、流計(jì)算Oceanus實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)、內(nèi)外部數(shù)據(jù)的實(shí)時(shí)同步，接入彈性MapReduce構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉庫，結(jié)合ElasticsearchService、云數(shù)據(jù)倉庫CDW等產(chǎn)品最終構(gòu)建為包含數(shù)據(jù)同步，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)計(jì)型，學(xué)科模型和教學(xué)模型，實(shí)現(xiàn)智能學(xué)習(xí)路徑規(guī)47騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族作業(yè)幫教育科技(北京）有限公司成立于2015年，一直致力于用科技手段助力教育普惠，運(yùn)用人工智作業(yè)幫教育科技(北京）有限公司成立于2015年，一直致力于用科技手段助力教育普惠，運(yùn)用人工智能、大數(shù)據(jù)等前沿技術(shù)，面對促銷，或者臨時(shí)算例需求時(shí)，自建大數(shù)據(jù)平臺(tái)無法快速實(shí)現(xiàn)彈性，過去需要通過降低一部分業(yè)務(wù)計(jì)算優(yōu)先級(jí)因此，尋求一個(gè)穩(wěn)定，高效，具備彈性能力作業(yè)幫基于騰訊云EMR、ES產(chǎn)品，構(gòu)建了數(shù)據(jù)同步，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)計(jì)算，數(shù)據(jù)服務(wù)，安全等數(shù)據(jù)中臺(tái)核心服務(wù)。通過EMR可以快速構(gòu)建一個(gè)大數(shù)據(jù)大數(shù)據(jù)組件組合提供服務(wù)，騰訊云大數(shù)據(jù)EMR、ES產(chǎn)品提供穩(wěn)定的組件內(nèi)核；面對促銷或者結(jié)合騰訊云容器服務(wù)（TKE&EKS），解決臨時(shí)資源調(diào)配問題，采用EMRonTKE方案，客戶可以按照業(yè)務(wù)錯(cuò)峰，將在線服務(wù)資源在負(fù)載較低的時(shí)候分割部分資源補(bǔ)充大數(shù)據(jù)計(jì)算資源，同時(shí)需要保障當(dāng)在線業(yè)務(wù)需要資源時(shí)，能夠平滑回收資源；采用EMRonEKS方案，客戶可以自主的擴(kuò)縮容大數(shù)據(jù)計(jì)算資源，短時(shí)間便可以拉起上萬核算力，補(bǔ)充到大數(shù)據(jù)計(jì)算資源中；同時(shí)EMR還提供便捷的集群運(yùn)維管理工具及完善的集群監(jiān)控和告警系騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族CKafkaBI報(bào)表數(shù)據(jù)庫MySQLCKafkaBI報(bào)表數(shù)據(jù)庫MySQL BI報(bào)表APPAPP行為數(shù)據(jù)ElasticsearchElasticsearchKibana實(shí)時(shí)OLAP數(shù)據(jù)ETL云數(shù)據(jù)倉庫CDWClickHouseSQL、JARPostgreSQLOceanusX-Pack彈性MapReduceFlumePrestoHBaseHBaseMapReduceSpark對象儲(chǔ)存COS騰訊云除了為文娛行業(yè)用戶提供強(qiáng)大的音視頻云產(chǎn)品外，同時(shí)還結(jié)合大數(shù)據(jù)產(chǎn)品構(gòu)建數(shù)據(jù)側(cè)全鏈路的解決方案，49騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族通過騰訊云彈性MapReduce快速構(gòu)建數(shù)據(jù)平臺(tái)匯聚各類數(shù)據(jù)，借助其分鐘級(jí)別的彈性伸縮能力，靈活應(yīng)對上通過Spark計(jì)算引擎統(tǒng)計(jì)大規(guī)模用戶行為數(shù)據(jù)，建立用戶統(tǒng)計(jì)類畫像標(biāo)簽建模標(biāo)識(shí)預(yù)測類標(biāo)簽，從而構(gòu)建完整的用戶畫像體系，捕捉用戶的興趣偏好；結(jié)合媒體內(nèi)容的點(diǎn)擊率，觀看時(shí)針對重要的直播活動(dòng)監(jiān)控預(yù)警場景，通過CKafka實(shí)時(shí)采集行為埋點(diǎn)、后臺(tái)日志等關(guān)鍵數(shù)據(jù)，然后通過SparkStreaming計(jì)算引擎，滿足實(shí)時(shí)性要求不是特別高但吞吐量大的需求場景下的實(shí)時(shí)數(shù)據(jù)處理。同時(shí)基于Spark機(jī)器學(xué)習(xí)模型進(jìn)行異常檢測，并采用時(shí)間序列分析、非監(jiān)督異常檢測算法進(jìn)行異常識(shí)別，借助可視化大屏或BI針對實(shí)時(shí)推薦場景，通過流計(jì)算Oceanus進(jìn)行實(shí)時(shí)用戶行為分析，捕捉用戶的實(shí)時(shí)興趣；通過在線特征更新和在線學(xué)習(xí)，提升推薦的點(diǎn)擊率。同時(shí)對用戶的曝光和點(diǎn)擊數(shù)據(jù)做實(shí)時(shí)分析，通過算法調(diào)整推薦內(nèi)容，優(yōu)化推薦排針對海量媒體數(shù)據(jù)、小文件方面則采用存算分離的架構(gòu)，可將數(shù)據(jù)存儲(chǔ)到騰訊云COS中，直接在EMR上進(jìn)行騰訊云大數(shù)據(jù)產(chǎn)品及解決方案手冊/產(chǎn)品家族50央視頻是中央廣播電視總臺(tái)基于5G+4K/8K+AI等新技術(shù)推出的綜合性視聽新媒體旗艦平臺(tái)。它聚合了中央廣播電視總臺(tái)海量節(jié)目資源，打造了一款國家級(jí)視頻社交媒體平臺(tái)。目前累計(jì)下載量已達(dá)2.7億次，單日活躍用戶數(shù)高達(dá)響面比較大，央視頻的安全播出至關(guān)重要，對播出事故率有著嚴(yán)格的要求。可查資料顯示，2002年播出事故率為8.75秒/百小時(shí)，2003年為3.86秒/百小時(shí)，2004年為2.52秒/百小時(shí)，2005年為1.49秒/百小時(shí)。要使事故率用。客戶自建實(shí)時(shí)監(jiān)控平臺(tái)，面臨數(shù)據(jù)來源多，數(shù)據(jù)量結(jié)合自身業(yè)務(wù)需求，央視頻通過騰訊實(shí)時(shí)大數(shù)據(jù)產(chǎn)品，構(gòu)建了一套完整的監(jiān)控預(yù)警平臺(tái)，對潛在的風(fēng)險(xiǎn)進(jìn)行及時(shí)通過CKafka實(shí)時(shí)采集埋點(diǎn)數(shù)據(jù)、程序后端日志、業(yè)務(wù)數(shù)據(jù)庫日志；通過SparkStreaming對數(shù)據(jù)流進(jìn)行實(shí)時(shí)處理。SparkStreaming適合實(shí)時(shí)性要求不是特別高，大吞吐量的場景，支持Spark機(jī)器學(xué)習(xí)庫，可以通過機(jī)SparkStreaming經(jīng)過ETL處理后，結(jié)果數(shù)據(jù)一部分進(jìn)入DB，用來展示實(shí)時(shí)的監(jiān)控指標(biāo)變化，另外一條數(shù)據(jù)非監(jiān)督異常檢測算法進(jìn)行異常識(shí)別，異常結(jié)果最終以電話、依托騰訊云強(qiáng)大的彈性伸縮能力，使得客戶面對大型活動(dòng)時(shí)也具備了快速擴(kuò)所容的能力，為業(yè)務(wù)的正常開展保駕鳳凰網(wǎng)是跨平臺(tái)網(wǎng)絡(luò)新媒體公司，旗下有綜合門戶鳳凰網(wǎng)、手機(jī)鳳凰網(wǎng)及移動(dòng)客戶端、鳳凰視頻三大平臺(tái)。除自身優(yōu)質(zhì)內(nèi)容外還整合了眾多專業(yè)媒體生產(chǎn)的內(nèi)容。鳳凰網(wǎng)月度覆蓋用戶數(shù)超過4.3億，在中國互聯(lián)網(wǎng)門戶網(wǎng)站中處于除了公司內(nèi)部的優(yōu)質(zhì)內(nèi)容，鳳凰網(wǎng)整合了眾多專業(yè)媒體生產(chǎn)的內(nèi)容，每天產(chǎn)生大量的媒體內(nèi)容。但用戶因?yàn)槟昕蛻艚Y(jié)合自身業(yè)務(wù)需求，借助騰訊云大數(shù)據(jù)產(chǎn)品矩陣，構(gòu)建了全鏈路的解決方案，包含用戶畫像、特征工程、內(nèi)通過Spark統(tǒng)計(jì)大規(guī)模用戶行為數(shù)據(jù)，給用戶計(jì)算統(tǒng)計(jì)類畫像標(biāo)簽；通過SparkMLlib對用戶行為建模，產(chǎn)生用戶的預(yù)測類標(biāo)簽，構(gòu)建用戶畫像體系，捕捉用戶的興趣偏好。通過內(nèi)容的點(diǎn)擊率，觀看時(shí)間，觀看次數(shù)構(gòu)建內(nèi)通過TensorFlowonGPU加速模型的訓(xùn)練速度，縮短模型試驗(yàn)的迭代周期，從而加快推薦系統(tǒng)的進(jìn)化速度，帶通過流計(jì)算Oceanus進(jìn)行實(shí)時(shí)用戶行為分析，捕捉用戶的實(shí)時(shí)興趣；通過在線特征更新和在線學(xué)習(xí)，提升推薦的點(diǎn)擊率，同時(shí)也解決了部分推薦系統(tǒng)冷啟動(dòng)的問題。同時(shí)也會(huì)對用戶的曝光和點(diǎn)擊數(shù)據(jù)做實(shí)時(shí)分析，通過feedback算法，調(diào)整曝光多，但點(diǎn)擊率比較低的推薦內(nèi)容，優(yōu)化推薦排借助流計(jì)算Oceanus實(shí)時(shí)分析、TensorFlow酷狗是中國極具技術(shù)創(chuàng)新基因的數(shù)字音樂交互服務(wù)提供商，致力于為互聯(lián)網(wǎng)用戶和數(shù)字音樂產(chǎn)業(yè)發(fā)展提供完善的解決方案?？峁芬魳窊碛谐?000萬正版模式構(gòu)建大數(shù)據(jù)平臺(tái)所帶來的相關(guān)問題逐漸顯現(xiàn)，如資源交付慢、存儲(chǔ)資源利用率不高、高峰時(shí)期計(jì)算資源不足、集群版本難以跟進(jìn)社區(qū)、小文件多、宕機(jī)頻繁、權(quán)限把控不嚴(yán)等多類問題，集群運(yùn)維復(fù)雜度高，人員投入大。集群運(yùn)維的問題帶來的也是業(yè)務(wù)穩(wěn)定性的問題。因此急需一個(gè)能解決相關(guān)問題的穩(wěn)定的、可持續(xù)保障的云原酷狗借助騰訊云大數(shù)據(jù)產(chǎn)品構(gòu)建云原生架構(gòu)體系，滿足了數(shù)據(jù)經(jīng)營分析系統(tǒng)、自助報(bào)表系統(tǒng)、數(shù)據(jù)分發(fā)總線、網(wǎng)基于EMR分鐘級(jí)別彈性建、擴(kuò)、縮容集群能力，滿足了業(yè)務(wù)在高峰時(shí)期資源的保障需求。為了提升運(yùn)維人員的運(yùn)維效率、降低運(yùn)維成本，EMR提供了豐富的包括指標(biāo)監(jiān)控、配置管理、集群運(yùn)維工具、專家護(hù)航等多種能力。而基于存算分離的架構(gòu)，很好地解決了包括資源利用率不高、小文件多等問題。同時(shí)為了保障酷狗數(shù)據(jù)安全隔離，提供了EMRRanger技術(shù)的方案，很好解決了包括HDFS、Hive、HBase、YARN等多種場景的權(quán)限知乎是中文互聯(lián)網(wǎng)高質(zhì)量的問答社區(qū)和創(chuàng)作者聚集的原創(chuàng)內(nèi)容平臺(tái)。截至2020年12月，知乎上的總問題數(shù)超過4400萬條，總回答數(shù)超過2.4億條。在付費(fèi)內(nèi)容領(lǐng)域，知乎月活躍付費(fèi)用戶數(shù)已超過250萬，總內(nèi)容數(shù)超過300為PB級(jí)別。如此龐大的大數(shù)據(jù)集群需要高效，穩(wěn)定，靈活，快