滴滴數(shù)據(jù)資產(chǎn)管理實踐

1、滴滴數(shù)據(jù)資產(chǎn)管理實踐技術(shù)創(chuàng)新，變革未來目錄 / Contents01滴滴的數(shù)據(jù)資產(chǎn)概述02平臺建設(shè) 之 數(shù)據(jù)開發(fā)平臺03平臺建設(shè) 之 數(shù)據(jù)應(yīng)用平臺04平臺建設(shè) 之 資產(chǎn)管理平臺滴滴的數(shù)據(jù)資產(chǎn)概述滴滴的數(shù)據(jù)資產(chǎn)5.5億+用戶1000+座全球城市日新增106TB數(shù)據(jù)日均處理處理4875+TB數(shù)據(jù)人司機乘客路靜態(tài)信息：全球、全國、城市等各粒度動態(tài)信息：行程軌跡車靜態(tài)信息：歸屬人/公司、車牌號、車型動態(tài)信息：里程數(shù)、維保 記錄700億日ETA請求150億日定位數(shù)據(jù)滴滴的數(shù)據(jù)特色010203結(jié)構(gòu)化數(shù)據(jù)為主，價值密度高實時數(shù)據(jù)占比高地理位置、軌跡相關(guān)的數(shù)據(jù)占比高數(shù)據(jù)同 步數(shù)據(jù)開 發(fā)調(diào)度監(jiān)控告 警數(shù)據(jù)質(zhì) 量

2、項目管 理權(quán)限管 理數(shù)據(jù)開 發(fā)平臺離線引擎實時引擎機器學習引擎數(shù) 據(jù) 內(nèi) 容 建 設(shè)數(shù)據(jù)服務(wù)化決策分析業(yè)務(wù)分析看板分析數(shù)據(jù)應(yīng)用產(chǎn)品平臺 BI自助分析工具統(tǒng)一數(shù)據(jù)門戶PCAPP-H5業(yè)務(wù)應(yīng)用/DS內(nèi)部用戶/DS大屏用戶數(shù)據(jù)公共層數(shù)據(jù)接入數(shù)據(jù)消費技 術(shù) & 業(yè) 務(wù) 元 數(shù) 據(jù) 打 通指標管理平臺資產(chǎn)管理平臺數(shù)據(jù)大屏滴滴的數(shù)據(jù)平臺業(yè)務(wù)架構(gòu)元數(shù)據(jù)打通，更準確識別公司核心數(shù)據(jù)資產(chǎn)，輔助資產(chǎn)信息的完善，從而沉淀數(shù)據(jù)資產(chǎn)平臺建設(shè) 之 數(shù)據(jù)開發(fā)平臺數(shù)據(jù)夢工場數(shù)易BI實時監(jiān)控監(jiān)控大屏北極星把脈數(shù)據(jù)應(yīng)用產(chǎn)品數(shù)據(jù)地圖監(jiān)控告警數(shù)據(jù)質(zhì)量資產(chǎn)管理離線計算引擎Hive 、SparkOmega標簽系統(tǒng)智能地圖 流計算引擎Fl

3、ink數(shù)據(jù)檢索ES消息隊列Kafka、DDMQHbase Phoenix機器學習TensorFlow 一站式智能數(shù)據(jù)開發(fā)、生產(chǎn)平臺數(shù)據(jù)中臺(數(shù)據(jù)夢工場)數(shù)據(jù)開發(fā)調(diào)度同步中心數(shù)據(jù)安全機器學習算法平臺高質(zhì)量的元數(shù)據(jù)內(nèi)置 規(guī)范 產(chǎn)出語義明確的元數(shù)據(jù)衍生更智能化的平臺服務(wù)極致簡單只要會SQL，人人都是數(shù)據(jù)玩家！完整閉環(huán)一站式數(shù)據(jù)開發(fā)生產(chǎn)平臺底層封裝、模塊中心化、平臺應(yīng)用模塊智能聯(lián) 動，提升開發(fā)效率安全保障權(quán)限控制責任到人，權(quán)限到字段開發(fā)生產(chǎn)數(shù)據(jù)隔離多種措施保障數(shù)據(jù)安全行業(yè)領(lǐng)先基于開源引擎基線監(jiān)控機制，標記最核心計算通路，確保核心數(shù)據(jù)及時產(chǎn)出經(jīng)驗積累國內(nèi)領(lǐng)先的大數(shù)據(jù)體系建設(shè)及數(shù)據(jù)治理經(jīng)驗數(shù)據(jù)同步數(shù)據(jù)開發(fā)

4、調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理穩(wěn)定高效異構(gòu)數(shù)據(jù)源同步服務(wù)。1）集成實時、離線兩種方式；2）快速擴展，插件式拓展多種同步類型；3）自主運維，同步相關(guān)指標清晰可見；4）為流計算提供實時數(shù)據(jù)源；產(chǎn)品功能產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理針對數(shù)據(jù)開發(fā)、臨時查詢場景，為用戶提供更加規(guī)范、順滑的數(shù)據(jù)開發(fā)體驗：1）智能編輯器，支持各種庫表、函數(shù)、變量聯(lián)想輸入、動態(tài)語法檢查等2）提供SQL格式化、錯誤提示，提供更順滑的SQL開發(fā)體驗3）支持各種SQL（Hive、Spark、Presto）、Shell、PySpark等類型任務(wù)支持，4）支持文件多版本、任務(wù)回滾；5）直

5、通調(diào)度，字段檢測依賴，方便測試和上 線任務(wù)。 6）提供歷史查詢記錄和大規(guī)模數(shù)據(jù)下載能力（經(jīng)過安全審批）產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理支持百萬級的離線例行任務(wù)調(diào)度，保障業(yè)務(wù)穩(wěn)定運行。1）提供開發(fā)、生產(chǎn)兩套環(huán)境，相互隔離2）支持MR/Hive/Spark/Shell等不太任 務(wù)類型的任務(wù)調(diào)度3）支持小時、天、周、月多種調(diào)度周期配置 4）數(shù)據(jù)回溯簡單易用：支持重跑、支持 多維度運維產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理智能監(jiān)控任務(wù)運行情況，異常時發(fā)出告警。體系化解決“是警”， 杜絕無效報警；抽象“數(shù)據(jù)基線”保證重要數(shù)據(jù)的及時產(chǎn)出，并動態(tài)

6、規(guī)劃相關(guān)任務(wù)優(yōu)先級。結(jié)合算法，預(yù)測可能的數(shù)據(jù)延遲，提前預(yù)警， 將影響面降到最低。升級邏輯，避免漏處理。數(shù)據(jù)量流量異常數(shù)據(jù)數(shù)據(jù)接入表規(guī)則監(jiān)控字段規(guī)則監(jiān) 控自定義監(jiān)控否報警、何時報警、如何報警、給誰報數(shù)據(jù)任務(wù)出錯數(shù)據(jù)任務(wù)延遲加工基線延遲質(zhì)量存儲告警計算告警資源告警產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理全鏈路的數(shù)據(jù)質(zhì)量管控，實現(xiàn)數(shù)據(jù)質(zhì)量校驗、通知、管理能力1）完整配置 VS 快速配置2）強規(guī)則 VS 弱規(guī)則3）表規(guī)則 VS 字段規(guī)則4）預(yù)設(shè)規(guī)則 VS SQL規(guī)則41%產(chǎn)品功能個人資產(chǎn)我的資產(chǎn)我的應(yīng)用數(shù)據(jù)管理資產(chǎn)概覽資產(chǎn)明細大盤待辦趨勢應(yīng)用概覽表任務(wù)單應(yīng)用管理趨勢&明細成本

7、管理表管理數(shù)據(jù)編目全局資產(chǎn)資產(chǎn)管理資產(chǎn)儀表盤資產(chǎn)分析業(yè)務(wù)全局管理應(yīng)用血緣數(shù)據(jù)量數(shù)據(jù)流趨勢表任務(wù)quota數(shù)據(jù)加工者數(shù)據(jù)管理者統(tǒng)一便捷的進行項目管理和權(quán)限管理。1）項目管理提供項目自身的增刪改查以及項目內(nèi)的人員、角色、生產(chǎn)賬號、庫表、存儲和隊列等資產(chǎn)管理功能。2）權(quán)限管理針對人員、角色的權(quán)限申請和主動授權(quán)，以及過期權(quán)限、閑置權(quán)限的回收和權(quán)限審計等功能。數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報警數(shù)據(jù)質(zhì)量項目管理和權(quán)限管理數(shù)據(jù) 同步數(shù)據(jù)開發(fā)實時數(shù)據(jù)源離線調(diào)度提交實時運維提交監(jiān)控告警機器學習數(shù)據(jù) 質(zhì)量提交質(zhì)量告警觸發(fā)觸發(fā)實時任務(wù)告警夢工場-模塊關(guān)系圖ML任務(wù)告警項目 管理權(quán)限管理夢工場-典型的離線場景數(shù)據(jù)庫導(dǎo)入

8、日志數(shù)據(jù)導(dǎo)入其他來源數(shù)據(jù)離線同步實時同步實時同步實時同步導(dǎo)入1導(dǎo)入2導(dǎo)入3導(dǎo)入4導(dǎo)入5導(dǎo)入6日志check計算1計算2計算3計算4計算5計算6計算7計算8導(dǎo)出1導(dǎo)出2導(dǎo)出3導(dǎo)出4導(dǎo)出5數(shù)據(jù)導(dǎo)入數(shù)據(jù)加工數(shù)據(jù)導(dǎo)出夢工場-優(yōu)先級上推策略355數(shù)據(jù)庫導(dǎo)入日志數(shù)據(jù)導(dǎo)入其他來源數(shù)據(jù)離線同步3實時同步1實時同步5實時同步5數(shù)據(jù)導(dǎo)入導(dǎo)入1 2導(dǎo)入2 3導(dǎo)入3 3導(dǎo)入4 3導(dǎo)入5 5導(dǎo)入6 5日志5check數(shù)據(jù)加工23135計算1計算2計算3計算4計算5數(shù)據(jù)導(dǎo)出235計算6計算7計算812345導(dǎo)出1導(dǎo)出2導(dǎo)出3導(dǎo)出4導(dǎo)出5基線(業(yè)務(wù))-任務(wù) - 調(diào)度機 - yarn 全流程打通夢工場-業(yè)務(wù)下線數(shù)據(jù)庫導(dǎo)入日志

9、數(shù)據(jù)導(dǎo)入其他來源數(shù)據(jù)離線同步實時同步實時同步實時同步導(dǎo)入1導(dǎo)入2導(dǎo)入3導(dǎo)入4導(dǎo)入5導(dǎo)入6日志check計算1計算2計算3計算4計算5計算6計算7計算8導(dǎo)出1導(dǎo)出2導(dǎo)出4導(dǎo)出5數(shù)據(jù)導(dǎo)入數(shù)據(jù)加工數(shù)據(jù)導(dǎo)出業(yè)務(wù)下線導(dǎo)出3平臺建設(shè) 之 數(shù)據(jù)應(yīng)用平臺數(shù)易數(shù)易敏捷、自助的數(shù)據(jù)分析、可視化平臺。數(shù)易解決用戶三大痛點問題：Where：去哪兒看數(shù)據(jù)What：數(shù)據(jù)分析、可視化可以產(chǎn)出哪些內(nèi)容？How：業(yè)務(wù)需求那么多，如何快速響應(yīng)，更方便、自 助實現(xiàn)數(shù)據(jù)可視化？分析可視化可視化能力開放的 API 接口BI層的可擴展性查詢層查詢層的可擴展性數(shù)據(jù)存儲層存儲層的可擴展性開放分析功能的查詢接口擴展對接多種數(shù)據(jù)源可對接實時、離

10、線、文件多種 源數(shù)據(jù)類型無縫對接主 流大數(shù)據(jù)處 理套件數(shù)易技術(shù)特點數(shù)據(jù)APP滴滴數(shù)據(jù)App，讓用戶隨時隨地第一時間觸達數(shù)據(jù)，掌握業(yè)務(wù)，結(jié)合數(shù)據(jù)知識圈子分享，是滴滴內(nèi)部的一站式數(shù)據(jù)移動平臺。標簽系統(tǒng)是基于海量標簽進行用戶分群、快速圈出特定人群、對人群進行計算及分析，支持精細化運營和廣告投放等活動的運營支持服務(wù)系統(tǒng)。分析速度快數(shù)據(jù)顆粒度足夠細數(shù)據(jù)交叉分析數(shù)據(jù)分析快速制定策略提供策略服務(wù)尋找相似人群產(chǎn)品策略策略收益分析目標人群關(guān)鍵指標趨勢分析效果追蹤標簽系統(tǒng)用戶單一維度構(gòu)成分析交叉維度分析用戶核心路徑漏斗分析重點用戶關(guān)鍵指標趨勢追蹤標簽系統(tǒng)多維度數(shù)據(jù)分析快速圈定目標用戶 制定千人千面的策略人群相似性

11、擴展探索業(yè)務(wù)增長標簽系統(tǒng) 策略制定圖表配置簡單靈活支持多源數(shù)據(jù)接入支持多維度分析業(yè)務(wù)監(jiān)控大屏監(jiān)控滴滴核心業(yè)務(wù)指標，是管理者、產(chǎn)品、運營等觀察業(yè)務(wù)狀況的“眼睛”?；趯崟r計算能力分鐘級別發(fā)現(xiàn)業(yè)務(wù)故障業(yè)務(wù)BI監(jiān)控訂單數(shù)據(jù)毫秒級更新，適配實時數(shù)據(jù)彰顯酷炫視覺特效實時業(yè)務(wù)核心數(shù)據(jù)監(jiān)控+儀表盤的展示短信/電話預(yù)警配置支持實時、離線數(shù)據(jù)大屏各類展廳、展會數(shù)據(jù)大屏監(jiān)控大屏平臺建設(shè) 之 資產(chǎn)管理平臺一站式資源管理平臺資產(chǎn)管理平臺成本透出資產(chǎn)概覽賬單明細歷史對比治理抓手刪除數(shù)據(jù)生命周期管理下線任務(wù)轉(zhuǎn)交管理入口團隊視圖紅黑榜一體化的元數(shù)據(jù)數(shù)據(jù)存儲和計算治理資產(chǎn)治理（存儲、計算）存儲治理計算治理個人 團隊 部門同源導(dǎo)入數(shù)據(jù)相似廢棄表生命周期過長暴利掃描相似計算無效