




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
Tencent騰訊DataFunSummitTencent騰訊CONTENTTencent騰訊DataFunSummitTencent騰訊視頻業(yè)務(wù)流程用戶行為關(guān)鍵指標啟動活躍用戶數(shù)搜索瀏覽搜索曝光人數(shù)點擊人數(shù)搜索次數(shù)曝光人數(shù)點擊人數(shù)播放播放UV播放VV評論互動用戶數(shù)互動滲透率鏈路復(fù)雜:涉及組件多,跨BG業(yè)務(wù)廣實驗類外顯類為運營團隊提供實時數(shù)據(jù)決策能力熱度值視頻技術(shù)背景鏈路復(fù)雜:涉及組件多,跨BG業(yè)務(wù)廣實驗類外顯類為運營團隊提供實時數(shù)據(jù)決策能力熱度值體量大:來源豐富,峰值S000+萬/s體量大:來源豐富,峰值S000+萬/s報表分析類報表分析類灰度實驗:及時止損、加速擴量Tencent騰訊DataFunSummitTencent騰訊成本成本指標問題指標中臺業(yè)界調(diào)研ü指標只需要定義一次,可以在儀表盤和分析工具中靈活使用2、MetricStoreü指標統(tǒng)一計算并存儲,提供一致性的指標服務(wù)ü用較少的代碼,較快的速度去交付應(yīng)用程序Airbnb的度量平臺Minerva商業(yè)化指標中臺產(chǎn)品KyligenceZen報表工具數(shù)據(jù)產(chǎn)品敏捷分析實驗平臺開發(fā)應(yīng)用…資產(chǎn)工場治理引擎數(shù)據(jù)發(fā)現(xiàn)組織保障數(shù)據(jù)委員會指標中臺整體架構(gòu)報表工具數(shù)據(jù)產(chǎn)品敏捷分析實驗平臺開發(fā)應(yīng)用…資產(chǎn)工場治理引擎數(shù)據(jù)發(fā)現(xiàn)組織保障數(shù)據(jù)委員會指標服務(wù)SLA保障指標消費指標服務(wù)SLA保障指標消費數(shù)據(jù)地圖數(shù)據(jù)血緣指標分類指標認證指標管理指標分類指標認證維度標準化指標流程資產(chǎn)運營數(shù)據(jù)資產(chǎn)分指標生產(chǎn)流批一體湖倉一體多維分析數(shù)據(jù)接入任務(wù)調(diào)度數(shù)據(jù)接入任務(wù)調(diào)度數(shù)據(jù)存儲統(tǒng)計分析實時計算…定制產(chǎn)品實驗平臺指標一致性-指標服務(wù)定制產(chǎn)品實驗平臺StarRocks…數(shù)據(jù)集配置數(shù)據(jù)看板數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品指標一致性-指標認證歐拉指標認證歐拉指標認證指標名稱指標分類指標責任人指標口徑指標數(shù)據(jù)源報表工具指標檢索質(zhì)量報表運行監(jiān)控應(yīng)用層應(yīng)用血緣SLA分級SLA報警管理SLA分組管理管理層任務(wù)血緣信息任務(wù)定義信息元數(shù)據(jù)層指標時效性-SLA保障質(zhì)量報表運行監(jiān)控應(yīng)用層應(yīng)用血緣SLA分級SLA報警管理SLA分組管理管理層任務(wù)血緣信息任務(wù)定義信息元數(shù)據(jù)層報警通知值班運維SLA配置管理任務(wù)運行信息SLA監(jiān)控看板分類查找關(guān)鍵詞檢索指標易用性-數(shù)據(jù)地圖分類查找關(guān)鍵詞檢索基本信息:名稱、口徑、責任人、主題…指標血緣信息:數(shù)據(jù)源、數(shù)據(jù)應(yīng)用、下游指標分類查找指標關(guān)鍵詞檢索指標指標詳情簡單指標易用性-自助分析簡單拖拽式使用方式,開支持不同指標不同維度下的關(guān)聯(lián)分析涵蓋全業(yè)務(wù)場景制定治理目標定義治理規(guī)則推送相關(guān)責任人責任人處理資產(chǎn)分監(jiān)控制定治理目標定義治理規(guī)則推送相關(guān)責任人責任人處理資產(chǎn)分監(jiān)控治理項成本分1.無用任務(wù)下線2.數(shù)據(jù)生命周期控制規(guī)范分1.業(yè)務(wù)庫和主題域2.表字段命名、注釋3.反向依賴、原始層依賴安全分1.敏感字段加密2.表和任務(wù)Owner不一致質(zhì)量分1.SLA任務(wù)延時應(yīng)用分Tencent騰訊DataFunSummitTencent騰訊湖倉一體建設(shè)背景數(shù)據(jù)掉0數(shù)據(jù)掉0負反饋負反饋人效問題人效問題頻繁人力、腳本統(tǒng)一Lamda架構(gòu)湖倉一體1.0建設(shè)方案人力、腳本統(tǒng)一Lamda架構(gòu)數(shù)據(jù)處理任務(wù),支持UpsertPresto,Hive相同的存儲模型配置化、標準化:全面SQL化痛點刀耕火種式研發(fā),實時離線兩套API,人效低io,廣播join等)保障性能。引入FlinkBatch引擎,將流批一體研發(fā)框架湖倉一體1.0的問題開發(fā)效率湖倉一體主流趨勢4、云原生湖倉4、云原生湖倉湖倉一體2.0的優(yōu)化開發(fā)效率湖倉2.0引入StarRocks優(yōu)勢支持多引擎查詢加速,IO合并存算分離生產(chǎn)提速多種數(shù)據(jù)寫入方式簡化數(shù)倉分層構(gòu)建實時數(shù)據(jù)接入支持事務(wù)提升數(shù)據(jù)可見性流處理冷熱隔離COLUMNS(event_time,channel,user,is_anonymous,is_minor),WHEREevent_time>"2022-01-0100:00:00"("desired_concurrent_number"="10","max_error_number"="1000")("iceberg_catalog_type"="EXTERNAL_CAT"iceberg_catalog_name"="iceberg","iceberg_table"="iceberg_table","iceberg_where_expr"="event_time>'2022-01-0100:00:00'",…).("external_table"="iceberg.db1.tb1_ext1","add_target_table_as_cold_table"="true",)"max_file_size"="1G","max_file_row"="10000000","load_mem_limit"="2147483648","timeout"="3600",性能對比>對比StarRocks內(nèi)表和使用Presto、StarRocks查詢Iceberg效率Tencent騰訊DataFunSummitTencent騰訊指標中臺總結(jié)&規(guī)劃
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 水上樂園場地租賃合同及水上娛樂服務(wù)協(xié)議
- 車輛無償借用及駕駛?cè)藛T行為規(guī)范協(xié)議
- 餐飲業(yè)餐飲廢棄物處理服務(wù)合同
- 電商平臺售后服務(wù)及消費者權(quán)益保護協(xié)議
- 全球電商物流損失責任界定及賠償標準合同
- 草場租賃與草原畜牧業(yè)合作開發(fā)合同
- 廁所隔斷定制化生產(chǎn)與售后服務(wù)合同
- 柴油銷售居間服務(wù)合同書
- 新能源產(chǎn)業(yè)園區(qū)場地廠房租賃合同
- 企業(yè)年會策劃服務(wù)合同細則
- 2025至2030中國心理保健行業(yè)發(fā)展趨勢分析與未來投資戰(zhàn)略咨詢研究報告
- 天津2025年中國醫(yī)學(xué)科學(xué)院放射醫(yī)學(xué)研究所第一批招聘筆試歷年參考題庫附帶答案詳解
- 2023-2024學(xué)年河南省永城市小學(xué)數(shù)學(xué)二年級下冊期末評估測試題
- 乳腺疾病的超聲診斷 (超聲科)
- 服務(wù)精神:馬里奧特之路
- 《建筑施工安全檢查標準》JGJ59-2011圖解
- 華為大學(xué)人才培養(yǎng)與發(fā)展實踐
- 醫(yī)療垃圾廢物處理課件
- 公路工程基本建設(shè)項目概算、預(yù)算編制辦法
- 護理崗位管理與績效考核-PPT課件
- 電力變壓器損耗水平代號的確定
評論
0/150
提交評論