騰訊視頻指標中臺驅(qū)動湖倉一體建設實踐

Tencent騰訊DataFunSummitTencent騰訊CONTENTTencent騰訊DataFunSummitTencent騰訊視頻業(yè)務流程用戶行為關(guān)鍵指標啟動活躍用戶數(shù)搜索瀏覽搜索曝光人數(shù)點擊人數(shù)搜索次數(shù)曝光人數(shù)點擊人數(shù)播放播放UV播放VV評論互動用戶數(shù)互動滲透率鏈路復雜:涉及組件多，跨BG業(yè)務廣實驗類外顯類為運營團隊提供實時數(shù)據(jù)決策能力熱度值視頻技術(shù)背景鏈路復雜:涉及組件多，跨BG業(yè)務廣實驗類外顯類為運營團隊提供實時數(shù)據(jù)決策能力熱度值體量大:來源豐富，峰值S000+萬/s體量大:來源豐富，峰值S000+萬/s報表分析類報表分析類灰度實驗：及時止損、加速擴量Tencent騰訊DataFunSummitTencent騰訊成本成本指標問題指標中臺業(yè)界調(diào)研ü指標只需要定義一次，可以在儀表盤和分析工具中靈活使用2、MetricStoreü指標統(tǒng)一計算并存儲，提供一致性的指標服務ü用較少的代碼，較快的速度去交付應用程序Airbnb的度量平臺Minerva商業(yè)化指標中臺產(chǎn)品KyligenceZen報表工具數(shù)據(jù)產(chǎn)品敏捷分析實驗平臺開發(fā)應用…資產(chǎn)工場治理引擎數(shù)據(jù)發(fā)現(xiàn)組織保障數(shù)據(jù)委員會指標中臺整體架構(gòu)報表工具數(shù)據(jù)產(chǎn)品敏捷分析實驗平臺開發(fā)應用…資產(chǎn)工場治理引擎數(shù)據(jù)發(fā)現(xiàn)組織保障數(shù)據(jù)委員會指標服務SLA保障指標消費指標服務SLA保障指標消費數(shù)據(jù)地圖數(shù)據(jù)血緣指標分類指標認證指標管理指標分類指標認證維度標準化指標流程資產(chǎn)運營數(shù)據(jù)資產(chǎn)分指標生產(chǎn)流批一體湖倉一體多維分析數(shù)據(jù)接入任務調(diào)度數(shù)據(jù)接入任務調(diào)度數(shù)據(jù)存儲統(tǒng)計分析實時計算…定制產(chǎn)品實驗平臺指標一致性-指標服務定制產(chǎn)品實驗平臺StarRocks…數(shù)據(jù)集配置數(shù)據(jù)看板數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品指標一致性-指標認證歐拉指標認證歐拉指標認證指標名稱指標分類指標責任人指標口徑指標數(shù)據(jù)源報表工具指標檢索質(zhì)量報表運行監(jiān)控應用層應用血緣SLA分級SLA報警管理SLA分組管理管理層任務血緣信息任務定義信息元數(shù)據(jù)層指標時效性-SLA保障質(zhì)量報表運行監(jiān)控應用層應用血緣SLA分級SLA報警管理SLA分組管理管理層任務血緣信息任務定義信息元數(shù)據(jù)層報警通知值班運維SLA配置管理任務運行信息SLA監(jiān)控看板分類查找關(guān)鍵詞檢索指標易用性-數(shù)據(jù)地圖分類查找關(guān)鍵詞檢索基本信息：名稱、口徑、責任人、主題…指標血緣信息：數(shù)據(jù)源、數(shù)據(jù)應用、下游指標分類查找指標關(guān)鍵詞檢索指標指標詳情簡單指標易用性-自助分析簡單拖拽式使用方式,開支持不同指標不同維度下的關(guān)聯(lián)分析涵蓋全業(yè)務場景制定治理目標定義治理規(guī)則推送相關(guān)責任人責任人處理資產(chǎn)分監(jiān)控制定治理目標定義治理規(guī)則推送相關(guān)責任人責任人處理資產(chǎn)分監(jiān)控治理項成本分1.無用任務下線2.數(shù)據(jù)生命周期控制規(guī)范分1.業(yè)務庫和主題域2.表字段命名、注釋3.反向依賴、原始層依賴安全分1.敏感字段加密2.表和任務Owner不一致質(zhì)量分1.SLA任務延時應用分Tencent騰訊DataFunSummitTencent騰訊湖倉一體建設背景數(shù)據(jù)掉0數(shù)據(jù)掉0負反饋負反饋人效問題人效問題頻繁人力、腳本統(tǒng)一Lamda架構(gòu)湖倉一體1.0建設方案人力、腳本統(tǒng)一Lamda架構(gòu)數(shù)據(jù)處理任務，支持UpsertPresto，Hive相同的存儲模型配置化、標準化：全面SQL化痛點刀耕火種式研發(fā)，實時離線兩套API，人效低io，廣播join等）保障性能。引入FlinkBatch引擎，將流批一體研發(fā)框架湖倉一體1.0的問題開發(fā)效率湖倉一體主流趨勢4、云原生湖倉4、云原生湖倉湖倉一體2.0的優(yōu)化開發(fā)效率湖倉2.0引入StarRocks優(yōu)勢支持多引擎查詢加速,IO合并存算分離生產(chǎn)提速多種數(shù)據(jù)寫入方式簡化數(shù)倉分層構(gòu)建實時數(shù)據(jù)接入支持事務提升數(shù)據(jù)可見性流處理冷熱隔離COLUMNS(event_time,channel,user,is_anonymous,is_minor),WHEREevent_time>"2022-01-0100:00:00"("desired_concurrent_number"="10","max_error_number"="1000")("iceberg_catalog_type"="EXTERNAL_CAT"iceberg_catalog_name"="iceberg","iceberg_table"="iceberg_table","iceberg_where_expr"="event_time>'2022-01-0100:00:00'",…).("external_table"="iceberg.db1.tb1_ext1","add_target_table_as_cold_table"="true",)"max_file_size"="1G","max_file_row"="10000000","load_mem_limit"="2147483648","timeout"="3600",性能對比>對比StarRocks內(nèi)表和使用Presto、StarRocks查詢Iceberg效率Tencent騰訊DataFunSummitTencent騰訊指標中臺總結(jié)&規(guī)劃