數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐課件

1、數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐騰訊游戲大數(shù)據(jù)運(yùn)營(yíng)概況15w+表離線計(jì)算量：220+萬/天流式計(jì)算量：2000+萬/秒4000億+數(shù)據(jù)100P+端游 100+ 款頁游 90+ 款4w+表600億+數(shù)據(jù)多維分析Bitmap IndexGeneratorData MapperBitmap FilterBuilderCol-1Col-1Col30w+表Execute EngineTDWDynamicBitmap IndexCacheAggregateMerger13000億+數(shù)據(jù)手游 300+ 款每日傳輸量：17000億條，約260TB，總存儲(chǔ)量為100PB+，公司占比為20%2019中 國(guó) 數(shù) 據(jù) 智

2、 能 管 理 峰 會(huì)問題與痛點(diǎn)在游戲大數(shù)據(jù)管控中，面臨著眾多問題與痛點(diǎn)01數(shù)據(jù)多樣化，缺少統(tǒng)一標(biāo)準(zhǔn)02 計(jì)算邏輯理解一不致，導(dǎo)致統(tǒng)計(jì)結(jié)果有偏差03數(shù)據(jù)全鏈路質(zhì)量問題，層次復(fù)雜、不能快速定位問題0405數(shù)據(jù)質(zhì)量偏低給數(shù)據(jù)應(yīng)用帶來的各種挑戰(zhàn)數(shù)據(jù)標(biāo)準(zhǔn)缺乏結(jié)構(gòu)化管理，集成困難游戲數(shù)據(jù)管控的問題與難點(diǎn)06 數(shù)據(jù)分散，沒有形成完整的成本管理07 數(shù)據(jù)價(jià)值的評(píng)估較為困難08 數(shù)據(jù)安全與合規(guī)保障的問題2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)發(fā)展歷程構(gòu)建游戲大數(shù)據(jù)資產(chǎn)管理體系-歷經(jīng)6年在各階段解決的關(guān)鍵問題數(shù)據(jù)集成數(shù)據(jù)治理 數(shù)據(jù)孤島形成資產(chǎn)運(yùn)營(yíng) 沒有統(tǒng)一數(shù)據(jù)平臺(tái) 數(shù)據(jù)流轉(zhuǎn)架構(gòu)混亂 數(shù)據(jù)傳輸時(shí)延高 數(shù)據(jù)集成

3、效率低 平臺(tái)組件不夠穩(wěn)定 數(shù)據(jù)標(biāo)準(zhǔn)缺失數(shù)據(jù)驅(qū)動(dòng)質(zhì)量參差不齊數(shù)據(jù)成本劇增 數(shù)據(jù)安全防護(hù)差 數(shù)據(jù)血緣不完整 數(shù)據(jù)獲取效率低指標(biāo)概念不一數(shù)據(jù)合規(guī)存在風(fēng)險(xiǎn) 數(shù)據(jù)價(jià)值難評(píng)估 數(shù)據(jù)生命周期不合理運(yùn)營(yíng)效率有待提升2013年2014年2016年2018年2019年游戲大數(shù)據(jù)資產(chǎn)管理：通過組織、流程、制度、技術(shù)等組合手段，確保數(shù)據(jù)交付的質(zhì)量、效率、成本和安全，助力業(yè)務(wù)數(shù)據(jù)價(jià)值提升2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)能力模型“三好”“用好”數(shù)據(jù)資產(chǎn)“管好”數(shù)據(jù)資產(chǎn)“看好”數(shù)據(jù)資產(chǎn)產(chǎn)品PM產(chǎn)品PM數(shù)據(jù)管理人員安全管理人員數(shù)據(jù)地圖數(shù)據(jù)助手平臺(tái)指引業(yè)務(wù)指標(biāo)數(shù)據(jù)價(jià)值資源視圖數(shù)據(jù)應(yīng)用成本結(jié)算數(shù)據(jù)熱點(diǎn)數(shù)據(jù)血緣數(shù)據(jù)審

4、計(jì)血緣跟蹤數(shù)據(jù)追溯異常分析知識(shí)圖譜線下培訓(xùn)產(chǎn)品開發(fā)產(chǎn)品運(yùn)維數(shù)據(jù)管理人員產(chǎn)品開發(fā)產(chǎn)品運(yùn)維業(yè)務(wù)管理配置管理評(píng)估影響成本管理數(shù)據(jù)映射資源調(diào)度數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理數(shù)據(jù)源管理數(shù)據(jù)質(zhì)量數(shù)據(jù)接入產(chǎn)品PM數(shù)據(jù)字典數(shù)據(jù)變更數(shù)據(jù)檢索權(quán)限流程安全策略安全規(guī)范制度管理通用模塊專屬模塊2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)體系架構(gòu)數(shù)據(jù)增值服務(wù)可視化報(bào)表效果分析活動(dòng)營(yíng)銷消息推送渠道管理戰(zhàn)績(jī)查詢更多資產(chǎn)管理平臺(tái)資產(chǎn)總覽資產(chǎn)治理資產(chǎn)服務(wù)資產(chǎn)安全價(jià)值評(píng)估更多數(shù)據(jù)治理資產(chǎn)運(yùn)營(yíng)數(shù)據(jù)集成數(shù)據(jù)驅(qū)動(dòng)成本優(yōu)化生命周期管理安全管理數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)傳輸數(shù)據(jù)整合數(shù)據(jù)存儲(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)流程制度數(shù)據(jù)質(zhì)量數(shù)據(jù)共享數(shù)據(jù)血緣價(jià)值評(píng)估熱度分析廣度分析影

5、響評(píng)估收益度分析數(shù)據(jù)開放DevAIOps元數(shù)據(jù)管理元數(shù)據(jù)標(biāo)準(zhǔn)技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)元數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)檢索元數(shù)據(jù)開放更多游戲大數(shù)據(jù)資產(chǎn)管理體系2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)元數(shù)據(jù)管理元數(shù)據(jù)（Metadata）描述數(shù)據(jù)的數(shù)據(jù)按服務(wù)對(duì)象劃分業(yè)務(wù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)元數(shù)據(jù)管理元數(shù)據(jù)應(yīng)用 元數(shù)據(jù)檢索數(shù)據(jù)一體化質(zhì)量監(jiān)控資源管理其他應(yīng)用更新管理版本管理其他管理用戶管理權(quán)限管理日志管理備份恢復(fù)可視化 元數(shù)據(jù)能力特點(diǎn) 異構(gòu)適配，集中存儲(chǔ) 業(yè)務(wù)指標(biāo)，開放共享 描述數(shù)據(jù)，理解業(yè)務(wù) 自動(dòng)構(gòu)建血緣關(guān)系鏈 擴(kuò)展能力，輔助運(yùn)營(yíng)元數(shù)據(jù)管理同步管理接口管理一體化更多技術(shù)元數(shù)

6、據(jù)業(yè)務(wù)元數(shù)據(jù)DataMoreiData元數(shù)據(jù)服務(wù)接口其它元數(shù)據(jù)存儲(chǔ)實(shí)時(shí)規(guī)則圖靈模型橋接器數(shù)據(jù)映射橋接器元數(shù)據(jù)采集轉(zhuǎn)換層異構(gòu)數(shù)據(jù)源DBMSNoSQL日志文本TDW外部接口業(yè)務(wù)系統(tǒng)其它元數(shù)據(jù)管理體系技術(shù)架構(gòu)2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)資產(chǎn)目錄-某業(yè)務(wù)視圖2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)服務(wù)發(fā)現(xiàn)Consul / L5Web管理端服務(wù)特性：TCPKV-JSON 單機(jī)： UDP：5W qps;TGlog_SvrTGlog_SvrKCP: 9w; TCP:10wUDP明文結(jié)構(gòu)游戲客戶端游戲服務(wù)端GWLBTGlog_Svr 單機(jī)吞吐量：180Mbps

7、自定義序列化 分布式高可用，雙方擴(kuò)容互傳輸體系不耦合HTTPRPCTGlog_SvrTGlog_SvrTGlog_SvrPB/TDR序列化 高可用，高可靠：擴(kuò)容不丟失數(shù)據(jù)；WAL雙備數(shù)據(jù) 完整率: 99.9999.9999%RPC-ProtoFile I/OKCP 多協(xié)議支持；多數(shù)據(jù)格式支DB-Binlog持TDBANKAGENT 專業(yè)數(shù)據(jù)管理、數(shù)據(jù)運(yùn)維 周邊系統(tǒng)完善支持規(guī)范結(jié)構(gòu)布道專業(yè)運(yùn)維管理LogX在線實(shí)時(shí)檢索元數(shù)據(jù)管理2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)治理-數(shù)據(jù)標(biāo)準(zhǔn)管理統(tǒng)一日志規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)指標(biāo)項(xiàng)標(biāo)準(zhǔn)業(yè)務(wù)屬性指標(biāo)命名指標(biāo)值域生成邏輯技術(shù)屬性管理屬性統(tǒng)一接入流程

8、數(shù)據(jù)標(biāo)準(zhǔn)管理組織職責(zé)制度規(guī)范流程管控標(biāo)準(zhǔn)維護(hù)2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)治理-數(shù)據(jù)質(zhì)量監(jiān)控覆蓋數(shù)據(jù)應(yīng)用設(shè)備基礎(chǔ)監(jiān)控應(yīng)用鏈路監(jiān)控集群計(jì)算監(jiān)控計(jì)算延遲監(jiān)控服務(wù)可用監(jiān)控任務(wù)狀態(tài)監(jiān)控設(shè)備基礎(chǔ)監(jiān)控集群計(jì)算監(jiān)控集群存儲(chǔ)監(jiān)控來源變更監(jiān)控計(jì)算延遲監(jiān)控字典變動(dòng)監(jiān)控?cái)?shù)據(jù)掉零監(jiān)控資源容量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)+計(jì)算數(shù)據(jù)傳輸設(shè)備基礎(chǔ)監(jiān)控傳輸配置監(jiān)控傳輸流量監(jiān)控來源變更監(jiān)控?cái)?shù)據(jù)對(duì)賬監(jiān)控字典變動(dòng)監(jiān)控?cái)?shù)據(jù)掉零監(jiān)控服務(wù)心跳監(jiān)控設(shè)備基礎(chǔ)監(jiān)控采集配置監(jiān)控集群存儲(chǔ)監(jiān)控服務(wù)心跳監(jiān)控?cái)?shù)據(jù)對(duì)賬監(jiān)控?cái)?shù)據(jù)掉零監(jiān)控?cái)?shù)據(jù)采集完整性一致性準(zhǔn)確性及時(shí)性大數(shù)據(jù)質(zhì)量監(jiān)控多維覆蓋2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)治理-面臨挑戰(zhàn)

9、在線運(yùn)營(yíng) (終點(diǎn))微服務(wù)服務(wù)網(wǎng)關(guān)服務(wù)治理運(yùn)營(yíng)策略數(shù)據(jù)服務(wù)運(yùn)營(yíng)質(zhì)量面臨三大挑戰(zhàn)： 全鏈路數(shù)據(jù)服務(wù)環(huán)節(jié)眾多復(fù)雜，問題定位困難Tredis存儲(chǔ)Storm流式Kafka消息數(shù)據(jù)透?jìng)?業(yè)務(wù)服務(wù)故障，回溯數(shù)據(jù)問題非常困難 數(shù)據(jù)平臺(tái)異常，如何快速評(píng)估影響面？TGlog采集數(shù)據(jù)傳輸離線存儲(chǔ)離線計(jì)算數(shù)據(jù)源(起點(diǎn))基于數(shù)據(jù)流構(gòu)建的微服務(wù)技術(shù)架構(gòu)解決方案：基于數(shù)據(jù) 業(yè)務(wù)血緣構(gòu)建全鏈路質(zhì)量保障體系2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)治理-血緣構(gòu)建數(shù)據(jù)與業(yè)務(wù)血緣關(guān)系鏈構(gòu)建過程微服務(wù)調(diào)用跟蹤鏈接口使用指標(biāo)關(guān)系集群調(diào)度信息接口部署信息.dSaaSiPaaS營(yíng)銷活動(dòng)精準(zhǔn)推薦其他應(yīng)用分析報(bào)表安全打擊數(shù)據(jù)與業(yè)務(wù)血緣

10、關(guān)系鏈應(yīng)用開發(fā)平臺(tái)PaaS計(jì)算層集群負(fù)載情況數(shù)據(jù)消費(fèi)關(guān)系數(shù)據(jù)指標(biāo)關(guān)系數(shù)據(jù)存儲(chǔ)關(guān)系離線計(jì)算關(guān)系.實(shí)時(shí)計(jì)算任務(wù)調(diào)度調(diào)度引擎離線計(jì)算HDFSMR在線RMDBKV存儲(chǔ)Spark流式計(jì)算PaaS數(shù)據(jù)層數(shù)據(jù)分發(fā)MQ消息中間件數(shù)據(jù)入庫(kù)關(guān)系離線導(dǎo)入關(guān)系數(shù)據(jù)透?jìng)麝P(guān)系.業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集傳輸采集集群非結(jié)構(gòu)化SDK跨城傳輸跨國(guó)傳輸公有網(wǎng)絡(luò)IaaS基礎(chǔ)指標(biāo)信息項(xiàng)目與資源關(guān)系.IDC服務(wù)器IDC存儲(chǔ)網(wǎng)絡(luò)云服務(wù)器云存儲(chǔ)云計(jì)算IDC計(jì)算私有網(wǎng)絡(luò)數(shù)據(jù)服務(wù)流轉(zhuǎn)架構(gòu)2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)治理-血緣應(yīng)用效果 構(gòu)建數(shù)據(jù)與業(yè)務(wù)血緣，保障數(shù)據(jù)全鏈路服務(wù)質(zhì)量SLA達(dá)99.99+% 1min內(nèi)告警并評(píng)估影響面和問

11、題快速定位2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)資產(chǎn)運(yùn)營(yíng)-成本管理大數(shù)據(jù)成本管理架構(gòu)成本報(bào)告成本優(yōu)化成本評(píng)測(cè)成本組成同比環(huán)比生命周期推薦成本對(duì)比增長(zhǎng)趨勢(shì)優(yōu)化推薦資源調(diào)度優(yōu)化資源盤點(diǎn)成本預(yù)警計(jì)算邏輯優(yōu)化預(yù)算Review業(yè)務(wù)成本平均成本數(shù)據(jù)服務(wù)成本資源降配ROI評(píng)分存儲(chǔ)成本計(jì)算成本存儲(chǔ)成本計(jì)算成本數(shù)據(jù)服務(wù)成本成本對(duì)比大數(shù)據(jù)引擎存儲(chǔ)引擎計(jì)算引擎數(shù)據(jù)服務(wù)引擎2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)資產(chǎn)運(yùn)營(yíng)-成本管理某業(yè)務(wù)數(shù)據(jù)資產(chǎn)成本管理視圖2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)生命周期管理 數(shù)據(jù)生命周期管理面臨問題無數(shù)據(jù)生命周期管理會(huì)發(fā)生什么？數(shù)據(jù)無序增長(zhǎng)成本快速上

12、升計(jì)算效率低下數(shù)據(jù)維護(hù)困難2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)生命周期管理 數(shù)據(jù)在線度與生命周期 數(shù)據(jù)在線度的評(píng)估數(shù)據(jù)在線度閾值1隨時(shí)間推移，數(shù)據(jù)使用價(jià)值不斷衰減，數(shù)據(jù)在線度就是反應(yīng)數(shù)據(jù)的在線程度和使用衰減情況閾值2歸檔階段在線階段近線階段時(shí)間影響數(shù)據(jù)在線度的因素：數(shù)據(jù)使用價(jià)值和數(shù)據(jù)重要等級(jí)，而數(shù)據(jù)使用價(jià)值有跟數(shù)據(jù)訪問熱度和應(yīng)用廣度有關(guān)，數(shù)據(jù)在線度的關(guān)聯(lián)函數(shù)為 數(shù)據(jù)分類和重要等級(jí)數(shù)據(jù)分類說明重要等級(jí)() = (), )收入類在線類狀態(tài)類行為類性能類充值、消費(fèi)類，跟資金財(cái)產(chǎn)有關(guān)的數(shù)據(jù)用戶注冊(cè)、登錄、登出等在線類數(shù)據(jù)游戲用戶屬性、等級(jí)等狀態(tài)類數(shù)據(jù)用戶在游戲內(nèi)的體驗(yàn)操作等行為

13、日志服務(wù)器性能、資源容量等數(shù)據(jù)其中()為數(shù)據(jù)使用價(jià)值， 為數(shù)據(jù)重要等級(jí)數(shù)據(jù)生命周期管理策略隨在線度的變化而變化2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)安全管理游戲數(shù)據(jù)資產(chǎn)安全管理“四大” 關(guān)鍵舉措合法合規(guī)制度規(guī)范國(guó)內(nèi)和出海游戲數(shù)據(jù)按各國(guó)家制定和完善游戲用戶核心數(shù)據(jù)安全管理規(guī)范1 23 4/組織相關(guān)法案及監(jiān)督要求合法合規(guī)采集、存儲(chǔ)和使用技術(shù)保障安全管理平臺(tái)采用數(shù)據(jù)脫敏、加密技術(shù)、租戶隔離、角色授權(quán)等技術(shù)手段保障游戲數(shù)據(jù)安全傳輸、存儲(chǔ)和使用通過敏感度分級(jí)、安全審計(jì)、數(shù)據(jù)脫敏等手段，做到“事前可管 、事中可控 、事后可查 ”，防止數(shù)據(jù)非法使用。資產(chǎn)安全管理方法論：“制度先行、流程

14、規(guī)范、技術(shù)保障、平臺(tái)支撐”2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)安全管理數(shù)據(jù)使用方游戲工作室其他BG業(yè)務(wù)安全業(yè)務(wù)運(yùn)維游戲研發(fā)更多更多資產(chǎn)安全管理合法合規(guī)事前可管制度規(guī)范技術(shù)保障事中可控資產(chǎn)安全管理平臺(tái)事后可查加密存儲(chǔ)/傳輸敏感度分級(jí)實(shí)時(shí)告警事件處理權(quán)限回收授權(quán)監(jiān)控安全審計(jì)訪問記錄下載記錄安全報(bào)告權(quán)限管理離轉(zhuǎn)崗人員合法合規(guī)檢查敏感數(shù)據(jù)脫敏安全事件模擬風(fēng)險(xiǎn)評(píng)估數(shù)據(jù)平臺(tái)TDWTGLogTSpiderTRedis更多游戲大數(shù)據(jù)安全管理體系2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)安全管理數(shù)據(jù)安全實(shí)時(shí)監(jiān)控和操作審計(jì)架構(gòu)實(shí)時(shí)計(jì)算告警數(shù)據(jù)平臺(tái)ReceiverRecei

15、ver實(shí)時(shí)計(jì)算框架消息隊(duì)列Tube告警規(guī)則StormTRedis組織架構(gòu)權(quán)限管理敏感度管理Receiver告警模塊異常權(quán)限檢測(cè)采集訪問/下載記錄管理安全審計(jì)和監(jiān)控視圖配置和管理上報(bào)/審批/計(jì)算/視圖/告警告警結(jié)果運(yùn)營(yíng)報(bào)表審計(jì)入口統(tǒng)計(jì)監(jiān)控頁面2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)安全管理效果某業(yè)務(wù)資產(chǎn)安全管理視圖總覽 分鐘級(jí)的數(shù)據(jù)安全實(shí)時(shí)監(jiān)控 提供“事后”安全審計(jì)服務(wù)，回溯事件 數(shù)據(jù)安全事故0起發(fā)生2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估 實(shí)施數(shù)據(jù)價(jià)值評(píng)估的意義數(shù)據(jù) 衡量業(yè)務(wù)的投入產(chǎn)出比 衡量數(shù)據(jù)發(fā)揮的作用價(jià)值 為產(chǎn)品提供運(yùn)營(yíng)決策依據(jù) 衡量數(shù)據(jù)服

16、務(wù)平臺(tái)能力水平 數(shù)據(jù)價(jià)值評(píng)估的難點(diǎn) 行業(yè)內(nèi)無統(tǒng)一標(biāo)準(zhǔn)和方法 公司內(nèi)缺乏可量化的估值體系 數(shù)據(jù)價(jià)值存場(chǎng)景化差異性如何做數(shù)據(jù)資產(chǎn)價(jià)值評(píng)估？2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估數(shù)據(jù)價(jià)值評(píng)估“三度”模型模型成熟度熱 度成熟運(yùn)營(yíng)期研究觀察期廣 度收益度價(jià)值表現(xiàn)熱度評(píng)分與等級(jí)應(yīng)用廣度評(píng)分業(yè)務(wù)貢獻(xiàn)評(píng)分評(píng)估模型價(jià)值指標(biāo)熱度評(píng)分模型數(shù)據(jù)訪問熱度依賴計(jì)算模型數(shù)據(jù)血緣關(guān)系A(chǔ)/B Test計(jì)算模型業(yè)務(wù)運(yùn)營(yíng)指標(biāo)數(shù)據(jù)應(yīng)用 分析報(bào)表營(yíng)銷活動(dòng)數(shù)據(jù)挖掘精準(zhǔn)推薦存儲(chǔ)引擎業(yè)務(wù)安全其他數(shù)據(jù)流數(shù)據(jù)采集數(shù)據(jù)傳輸計(jì)算引擎2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估 數(shù)據(jù)熱度評(píng)估模型假

17、設(shè) , , , (G)分別是數(shù)據(jù)節(jié)點(diǎn), , , 的被調(diào)用次數(shù)。則每個(gè)節(jié)點(diǎn)的熱度值通過下面公式得到：A = + ()()其中()表示節(jié)點(diǎn)的所有子節(jié)點(diǎn)的集合，比如，數(shù)據(jù)節(jié)點(diǎn)A的熱度指數(shù)為BC = + ( + ()可以發(fā)現(xiàn)，上面的模型為典型是遞歸計(jì)算模型，其特點(diǎn)是 父節(jié)點(diǎn) 子節(jié)點(diǎn)DEFG數(shù)據(jù)節(jié)點(diǎn)的依賴關(guān)系冰冷溫?zé)?(0,10(10,200200熱度等級(jí)（天）2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估 數(shù)據(jù)廣度評(píng)估模型通過數(shù)據(jù)源S的應(yīng)用依賴關(guān)系發(fā)現(xiàn)，數(shù)據(jù)服務(wù)的種類越多，應(yīng)用廣度就越大，應(yīng)用廣度可表示為 S = S數(shù)據(jù)源其中為數(shù)據(jù)服務(wù)的種類數(shù)， 為正相關(guān)系數(shù)，表示同一個(gè)數(shù)據(jù)服務(wù)

18、有多個(gè)功能模塊依賴數(shù)據(jù)源S，模塊越多，正相關(guān)系數(shù)越大。其中 為數(shù)據(jù)服務(wù) 的模塊個(gè)數(shù)數(shù)據(jù)服務(wù)A1A2A2An = =功能模塊F1F2F1F1F2F1F2最終應(yīng)用廣度模型為數(shù)據(jù)應(yīng)用依賴關(guān)系 S = =微小中大(0,10(10,100(100,500500廣度等級(jí)（天）2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估 數(shù)據(jù)收益度評(píng)估模型時(shí)間周期123456789106759118459同等用戶規(guī)模用戶子群A用戶子群B474953555856525856616463615958626365隨機(jī)抽樣數(shù)據(jù)應(yīng)用干預(yù)A A/B Test評(píng)估模型上圖是用戶子群A和用戶子群B的平均用戶收入數(shù)據(jù)

19、，同時(shí)數(shù)據(jù)干預(yù)在時(shí)間周期11，作用于用戶子群A，那么可以通過如下的A/B Test評(píng)估模型，來計(jì)算數(shù)據(jù)干預(yù)的貢獻(xiàn)收入值，活躍度PVUV等可采用同樣思路 / = 符合條件用戶群 = =( )為數(shù)據(jù)干預(yù)時(shí)間周期，其中為A、B兩個(gè)用戶子群的歷史平均差值2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估 基于業(yè)務(wù)價(jià)值上報(bào)價(jià)值指標(biāo)采集按指定周期，結(jié)合A/B Test評(píng)估模型，計(jì)算數(shù)據(jù)應(yīng)用平臺(tái)給產(chǎn)品帶來的業(yè)務(wù)價(jià)值評(píng)分存儲(chǔ)引擎計(jì)算引擎數(shù)據(jù)應(yīng)用V(i)為價(jià)值指標(biāo)，如活躍、流水、PV、UV等P(i)為價(jià)值指標(biāo)的權(quán)重()為該業(yè)務(wù)指定周期內(nèi)的價(jià)值綜合評(píng)分A/BTest評(píng)估模型 = ()=1數(shù)據(jù)應(yīng)用

20、平臺(tái)價(jià)值指標(biāo)上報(bào)差中良優(yōu)80,1000,20 (20,60 (60,80價(jià)值評(píng)分（天）游戲數(shù)據(jù)資產(chǎn)管理平臺(tái)2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估 某業(yè)務(wù)數(shù)據(jù)熱度和廣度的分布視圖2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估 數(shù)據(jù)價(jià)值評(píng)估的作用1、投入產(chǎn)出比ROI計(jì)算推動(dòng)成本優(yōu)化大數(shù)據(jù)投入產(chǎn)出比ROI擴(kuò)大數(shù)據(jù)價(jià)值結(jié)合數(shù)據(jù)成本與價(jià)值，計(jì)算數(shù)據(jù)服務(wù)平臺(tái)投入產(chǎn)出比，為市場(chǎng)化數(shù)據(jù)管理運(yùn)營(yíng)提供直接依據(jù)數(shù)據(jù)成本數(shù)據(jù)價(jià)值2、推動(dòng)數(shù)據(jù)成本優(yōu)化減少投入，推動(dòng)業(yè)務(wù)方實(shí)施數(shù)據(jù)服務(wù)成本優(yōu)化3、數(shù)據(jù)深度挖掘到精細(xì)化場(chǎng)景落地放大價(jià)值，橫向?qū)Ρ韧惍a(chǎn)品，協(xié)助業(yè)務(wù)方結(jié)合數(shù)據(jù)服務(wù)，發(fā)掘更多業(yè)務(wù)服務(wù)場(chǎng)景數(shù)據(jù)價(jià)值評(píng)估2019中 國(guó) 數(shù) 據(jù) 智 能 管 理 峰 會(huì)數(shù)據(jù)驅(qū)動(dòng)-運(yùn)營(yíng)效率提升計(jì)算資源靜態(tài)分配存在問題 計(jì)算集群資源使用率較低，CPU總體使用率偏低 大部分資源池，存在著空閑時(shí)間段，且相互錯(cuò)峰解決方案：基于技術(shù)