數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐

1、數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)騰訊游戲大數(shù)據(jù)運(yùn)營(yíng)概況每日傳輸量：17000億條，約260TB，總存儲(chǔ)量為100PB+，公司占比為20%15w+表4000億+數(shù)據(jù)4w+表600億+數(shù)據(jù)30w+表13000億+數(shù)據(jù)Dynamic Bitmap Index CacheBitmap Index GeneratorBitmap FilterBuilderExecute EngineAggregateMerger多維分析Data MapperCol-1Col-1ColTDW離線計(jì)算量：220+萬(wàn)/天100P+流式計(jì)算量：2000+萬(wàn)/秒端 游 100+ 款頁(yè) 游 90+ 款手 游 300+

2、 款問(wèn)題與痛點(diǎn)在游戲大數(shù)據(jù)管控中，面臨著眾多問(wèn)題與痛點(diǎn)數(shù)據(jù)多樣化，缺少統(tǒng)一標(biāo)準(zhǔn)計(jì)算邏輯理解一不致，導(dǎo)致統(tǒng)計(jì)結(jié)果有偏差03數(shù)據(jù)全鏈路質(zhì)量問(wèn)題，層次復(fù)雜、不能快速定位問(wèn)題游戲數(shù)據(jù)管控的問(wèn)題與難點(diǎn)04數(shù)據(jù)質(zhì)量偏低給數(shù)據(jù)應(yīng)用帶來(lái)的各種挑戰(zhàn)05數(shù)據(jù)標(biāo)準(zhǔn)缺乏結(jié)構(gòu)化管理，集成困難數(shù)據(jù)分散，沒(méi)有形成完整的成本管理數(shù)據(jù)價(jià)值的評(píng)估較為困難數(shù)據(jù)安全與合規(guī)保障的問(wèn)題發(fā)展歷程構(gòu)建游戲大數(shù)據(jù)資產(chǎn)管理體系-歷經(jīng)6年在各階段解決的關(guān)鍵問(wèn)題數(shù)據(jù)集成數(shù)據(jù)治理數(shù)據(jù)孤島形成沒(méi)有統(tǒng)一數(shù)據(jù)平臺(tái)數(shù)據(jù)流轉(zhuǎn)架構(gòu)混亂數(shù)據(jù)傳輸時(shí)延高數(shù)據(jù)集成效率低平臺(tái)組件不夠穩(wěn)定資產(chǎn)運(yùn)營(yíng)數(shù)據(jù)標(biāo)準(zhǔn)缺失質(zhì)量參差不齊數(shù)據(jù)安全防護(hù)差數(shù)據(jù)血緣不完整數(shù)據(jù)獲取效率低數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)

3、成本劇增指標(biāo)概念不一數(shù)據(jù)合規(guī)存在風(fēng)險(xiǎn)數(shù)據(jù)生命周期不合理數(shù)據(jù)價(jià)值難評(píng)估運(yùn)營(yíng)效率有待提升2013年2014年2016年2018年年游戲大數(shù)據(jù)資產(chǎn)管理：通過(guò)組織、流程、制度、技術(shù)等組合手段，確保數(shù)據(jù)交付的 質(zhì)量、效率、成本和安全，助力業(yè)務(wù)數(shù)據(jù)價(jià)值提升能力模型“三好”“用好”數(shù)據(jù)資產(chǎn)“管好”數(shù)據(jù)資產(chǎn)“看好”數(shù)據(jù)資產(chǎn)產(chǎn)品PM知識(shí)圖譜線下培訓(xùn)數(shù)據(jù)助手?jǐn)?shù)據(jù)管理人員業(yè)務(wù)管理數(shù)據(jù)映射配置管理資源調(diào)度評(píng)估影響數(shù)據(jù)質(zhì)量成本管理元數(shù)據(jù)管理產(chǎn)品開(kāi)發(fā)產(chǎn)品運(yùn)維數(shù)據(jù)字典數(shù)據(jù)源管理數(shù)據(jù)變更數(shù)據(jù)質(zhì)量數(shù)據(jù)檢索數(shù)據(jù)接入數(shù)據(jù)管理人員安全管理人員數(shù)據(jù)審計(jì)數(shù)據(jù)追溯血緣跟蹤異常分析產(chǎn)品PM數(shù)據(jù)價(jià)值成本結(jié)算資源視圖數(shù)據(jù)應(yīng)用數(shù)據(jù)血緣數(shù)據(jù)熱點(diǎn)數(shù)據(jù)

4、地圖平臺(tái)指引通用模塊專屬模塊業(yè)務(wù)指標(biāo)產(chǎn)品開(kāi)發(fā)產(chǎn)品運(yùn)維 產(chǎn)品PM權(quán)限流程安全規(guī)范安全策略制度管理體系架構(gòu)資產(chǎn)管理平臺(tái)資產(chǎn)總覽資產(chǎn)治理資產(chǎn)服務(wù)資產(chǎn)安全數(shù)據(jù)增值服務(wù)可視化報(bào)表效果分析活動(dòng)營(yíng)銷消息推送渠道管理戰(zhàn)績(jī)查詢價(jià)值評(píng)估更多技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)元數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)檢索元數(shù)據(jù)開(kāi)放元數(shù)據(jù)管理更多數(shù)據(jù)集成數(shù)據(jù)整合數(shù)據(jù)傳輸數(shù)據(jù)清洗數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)治理數(shù)據(jù)質(zhì)量流程制度數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)共享資產(chǎn)運(yùn)營(yíng)影響評(píng)估安全管理生命周期管理成本優(yōu)化DevAIOps收益度分析廣度分析熱度分析價(jià)值評(píng)估數(shù)據(jù)開(kāi)放數(shù)據(jù)血緣數(shù)據(jù)驅(qū)動(dòng)更多游戲大數(shù)據(jù)資產(chǎn)管理體系元數(shù)據(jù)管理元數(shù)據(jù)（Metadata）描述數(shù)據(jù)的數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)按服

5、務(wù)對(duì)象劃分異構(gòu)數(shù)據(jù)源元數(shù)據(jù)采集轉(zhuǎn)換層元數(shù)據(jù)應(yīng)用元數(shù)據(jù)檢索數(shù)據(jù)一體化質(zhì)量監(jiān)控資源管理日志文本TDWDBMS業(yè)務(wù)系統(tǒng)外部接口NoSQL其它模型橋接器元數(shù)據(jù)存儲(chǔ)數(shù)據(jù)映射橋接器技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)其它元數(shù)據(jù)服務(wù)接口實(shí)時(shí)規(guī)則iDataDataMore更多一體化圖靈用戶管理權(quán)限管理元數(shù)據(jù)管理更新管理同步管理版本管理其他管理日志管理備份恢復(fù)可視化接口管理其他應(yīng)用元數(shù)據(jù)管理體系技術(shù)架構(gòu)元數(shù)據(jù)能力特點(diǎn)異構(gòu)適配，集中存儲(chǔ)業(yè)務(wù)指標(biāo)，開(kāi)放共享描述數(shù)據(jù)，理解業(yè)務(wù)自動(dòng)構(gòu)建血緣關(guān)系鏈擴(kuò)展能力，輔助運(yùn)營(yíng)元數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)目錄-某業(yè)務(wù)視圖TCPUDPKCPHTTPRPC明文結(jié)構(gòu)自定義 序列化PB/TDR序列化RPC-Proto

6、DB-BinlogKV-JSONGW規(guī)范結(jié)構(gòu)游戲客戶端游戲服務(wù)端LBTGlog_SvrTGlog_SvrTGlog_SvrTGlog_SvrTGlog_SvrTGlog_SvrTDBANK AGENT 傳 輸 體 系服務(wù)發(fā)現(xiàn)Consul / L5Web管理端LogX在線實(shí)時(shí)檢索布道專業(yè)運(yùn)維管理元數(shù)據(jù)管理File I/O數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)服務(wù)特性：?jiǎn)螜C(jī)： UDP：5W qps; KCP: 9w; TCP:10w單機(jī)吞吐量：180Mbps分布式高可用，雙方擴(kuò)容互 不耦合高可用，高可靠：擴(kuò)容不丟失數(shù)據(jù)；WAL雙備數(shù)據(jù)完整率: 99.9999.9999%多協(xié)議支持；多數(shù)據(jù)格式支持專業(yè)數(shù)據(jù)管理、數(shù)據(jù)

7、運(yùn)維周邊系統(tǒng)完善支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)管理組織職責(zé)數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)制度規(guī)范流程管控標(biāo)準(zhǔn)維護(hù)數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)業(yè)務(wù)屬性技術(shù)屬性 管理屬性指標(biāo)項(xiàng)標(biāo)準(zhǔn)指標(biāo)命名指標(biāo)值域 生成邏輯統(tǒng)一日志規(guī)范統(tǒng)一接入流程數(shù)據(jù)治理-數(shù)據(jù)標(biāo)準(zhǔn)管理大數(shù)據(jù)質(zhì)量監(jiān)控多維覆蓋數(shù)據(jù)采集數(shù)據(jù)傳輸數(shù)據(jù)存儲(chǔ)+計(jì)算數(shù)據(jù)應(yīng)用設(shè)備基礎(chǔ)監(jiān)控應(yīng)用鏈路監(jiān)控設(shè)備基礎(chǔ)監(jiān)控傳輸配置監(jiān)控?cái)?shù)據(jù)對(duì)賬監(jiān)控設(shè)備基礎(chǔ)監(jiān)控采集配置監(jiān)控設(shè)備基礎(chǔ)監(jiān)控集群計(jì)算監(jiān)控集群計(jì)算監(jiān)控計(jì)算延遲監(jiān)控傳輸流量監(jiān)控來(lái)源變更監(jiān)控字典變動(dòng)監(jiān)控集群存儲(chǔ)監(jiān)控來(lái)源變更監(jiān)控?cái)?shù)據(jù)對(duì)賬監(jiān)控計(jì)算延遲監(jiān)控字典變動(dòng)監(jiān)控?cái)?shù)據(jù)掉零監(jiān)控集群存儲(chǔ)監(jiān)控服務(wù)心跳監(jiān)控?cái)?shù)據(jù)掉零監(jiān)控服務(wù)心跳監(jiān)控?cái)?shù)據(jù)掉零監(jiān)控資源容量監(jiān)控服務(wù)可用監(jiān)控任務(wù)狀態(tài)監(jiān)控完整性一致

8、性準(zhǔn)確性及時(shí)性數(shù)據(jù)治理-數(shù)據(jù)質(zhì)量監(jiān)控覆蓋數(shù)據(jù)治理-面臨挑戰(zhàn)數(shù)據(jù)服務(wù)運(yùn)營(yíng)質(zhì)量面臨三大挑戰(zhàn)：全鏈路數(shù)據(jù)服務(wù)環(huán)節(jié)眾多復(fù)雜，問(wèn)題定位困難業(yè)務(wù)服務(wù)故障，回溯數(shù)據(jù)問(wèn)題非常困難數(shù)據(jù)平臺(tái)異常，如何快速評(píng)估影響面？解決方案：基于數(shù)據(jù)+業(yè)務(wù)血緣構(gòu)建全鏈路質(zhì)量保障體系TGlog采集數(shù)據(jù)傳輸數(shù)據(jù)透?jìng)魑⒎?wù)離線存儲(chǔ)離線計(jì)算數(shù)據(jù)源服務(wù)網(wǎng)關(guān)服務(wù)治理運(yùn)營(yíng)策略基于數(shù)據(jù)流構(gòu)建的微服務(wù)技術(shù)架構(gòu)(起點(diǎn))在線運(yùn)營(yíng) (終點(diǎn))Tredis存儲(chǔ)Storm流式Kafka消息數(shù)據(jù)治理-血緣構(gòu)建IaaS云服務(wù)器云存儲(chǔ)云計(jì)算IDC服務(wù)器IDC存儲(chǔ)IDC計(jì)算網(wǎng)絡(luò)私有網(wǎng)絡(luò)公有網(wǎng)絡(luò)SDK非結(jié)構(gòu)化結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)跨國(guó)傳輸跨城傳輸采集集群采集傳輸PaaS數(shù)據(jù)層

9、數(shù)據(jù)分發(fā)流式計(jì)算實(shí)時(shí)計(jì)算SparkMRHDFS離線計(jì)算PaaS計(jì)算層MQ消息中間件KV存儲(chǔ)在線RMDB任務(wù)調(diào)度調(diào)度引擎iPaaSdSaaS分析報(bào)表精準(zhǔn)推薦營(yíng)銷活動(dòng)安全打擊其他應(yīng)用應(yīng)用開(kāi)發(fā)平臺(tái)微服務(wù)調(diào)用跟蹤鏈接口使用指標(biāo)關(guān)系集群調(diào)度信息接口部署信息.集群負(fù)載情況數(shù)據(jù)消費(fèi)關(guān)系數(shù)據(jù)指標(biāo)關(guān)系數(shù)據(jù)存儲(chǔ)關(guān)系離線計(jì)算關(guān)系.數(shù)據(jù)入庫(kù)關(guān)系離線導(dǎo)入關(guān)系數(shù)據(jù)透?jìng)麝P(guān)系.基礎(chǔ)指標(biāo)信息項(xiàng)目與資源關(guān)系.數(shù) 據(jù) 與 業(yè) 務(wù) 血 緣 關(guān) 系 鏈數(shù)據(jù)與業(yè)務(wù)血緣關(guān)系鏈構(gòu)建過(guò)程數(shù)據(jù)服務(wù)流轉(zhuǎn)架構(gòu)數(shù)據(jù)治理-血緣應(yīng)用效果構(gòu)建數(shù)據(jù)與業(yè)務(wù)血緣，保障數(shù)據(jù)全鏈路服務(wù)質(zhì)量SLA達(dá)99.99+%1min內(nèi)告警并評(píng)估影響面和問(wèn)題快速定位存儲(chǔ)引擎計(jì)算引擎

10、成本組成存儲(chǔ)成本數(shù)據(jù)服務(wù)成本計(jì)算成本大數(shù)據(jù)引擎數(shù)據(jù)服務(wù)引擎成本評(píng)測(cè)成本對(duì)比資源盤點(diǎn)ROI評(píng)分成本優(yōu)化生命周期推薦計(jì)算邏輯優(yōu)化資源調(diào)度優(yōu)化成本報(bào)告同比環(huán)比優(yōu)化推薦增長(zhǎng)趨勢(shì)成本預(yù)警大數(shù)據(jù)成本管理架構(gòu)預(yù)算Review資源降配資產(chǎn)運(yùn)營(yíng)-成本管理數(shù)據(jù)服務(wù)成本計(jì)算成本存儲(chǔ)成本成本對(duì)比業(yè)務(wù)成本平均成本資產(chǎn)運(yùn)營(yíng)-成本管理某業(yè)務(wù)數(shù)據(jù)資產(chǎn)成本管理視圖無(wú)數(shù)據(jù)生命周期管理會(huì)發(fā)生什么？數(shù)據(jù)無(wú)序增長(zhǎng)成本快速上升 計(jì)算效率低下 數(shù)據(jù)維護(hù)困難資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)生命周期管理數(shù)據(jù)生命周期管理面臨問(wèn)題數(shù)據(jù)分類和重要等級(jí)數(shù)據(jù)在線度時(shí)間在線階段近線階段數(shù)據(jù)在線度與生命周期閾值1閾值2歸檔階段數(shù)據(jù)在線度的評(píng)估隨時(shí)間推移，數(shù)據(jù)使用價(jià)值不斷衰減

11、，數(shù)據(jù)在 線度就是反應(yīng)數(shù)據(jù)的在線程度和使用衰減情況影響數(shù)據(jù)在線度的因素：數(shù)據(jù)使用價(jià)值和數(shù)據(jù) 重要等級(jí)，而數(shù)據(jù)使用價(jià)值有跟數(shù)據(jù)訪問(wèn)熱度 和應(yīng)用廣度有關(guān)，數(shù)據(jù)在線度的關(guān)聯(lián)函數(shù)為() = (), )其中()為數(shù)據(jù)使用價(jià)值， 為數(shù)據(jù)重要等級(jí)數(shù)據(jù)生命周期管理策略隨在線度的變化而變化數(shù)據(jù)分類說(shuō)明重要等級(jí)收入類充值、消費(fèi)類，跟資金財(cái)產(chǎn)有關(guān)的數(shù)據(jù)在線類用戶注冊(cè)、登錄、登出等在線類數(shù)據(jù)狀態(tài)類游戲用戶屬性、等級(jí)等狀態(tài)類數(shù)據(jù)行為類用戶在游戲內(nèi)的體驗(yàn)操作等行為日志性能類服務(wù)器性能、資源容量等數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)生命周期管理1243制度規(guī)范制定和完善游戲用戶核心數(shù)據(jù) 安全管理規(guī)范合法合規(guī)國(guó)內(nèi)和出海游戲數(shù)據(jù)按各國(guó)家/組織相

12、關(guān)法案及監(jiān)督要求合法合規(guī)采集、存儲(chǔ)和使用技術(shù)保障采用數(shù)據(jù)脫敏、加密技術(shù)、租 戶隔離、角色授權(quán)等技術(shù)手段 保障游戲數(shù)據(jù)安全傳輸、存儲(chǔ) 和使用安全管理平臺(tái)通過(guò)敏感度分級(jí)、安全審計(jì)、 數(shù)據(jù)脫敏等手段，做到“事前 可管 、事中可控 、事后可查 ”，防止數(shù)據(jù)非法使用。資產(chǎn)安全管理方法論：“制度先行、流程規(guī)范、技術(shù)保障、平臺(tái)支撐”游戲數(shù)據(jù)資產(chǎn)安全管理“四大” 關(guān)鍵舉措資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)安全管理資產(chǎn)安全管理合法合規(guī)制度規(guī)范技術(shù)保障資產(chǎn)安全管理平臺(tái)數(shù)據(jù)使用方游戲工作室其他BG業(yè)務(wù)安全業(yè)務(wù)運(yùn)維游戲研發(fā)更多TSpiderTGLogTRedisTDW數(shù)據(jù)平臺(tái)更多事后可查事中可控敏感度分級(jí)權(quán)限管理 離轉(zhuǎn)崗人員 合法合規(guī)檢

13、查事前可管實(shí)時(shí)告警事件處理權(quán)限回收 授權(quán)監(jiān)控更多加密存儲(chǔ)/傳輸敏感數(shù)據(jù)脫敏 安全事件模擬 風(fēng)險(xiǎn)評(píng)估安全審計(jì)訪問(wèn)記錄下載記錄 安全報(bào)告游戲大數(shù)據(jù)安全管理體系資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)安全管理消息隊(duì)列TubeReceiverReceiverStormTRedis告警 模塊告警 結(jié)果實(shí)時(shí)計(jì)算安全審計(jì)和監(jiān)控視圖管理告警告警 規(guī)則實(shí)時(shí)計(jì)算框架異常權(quán)限檢測(cè)配置和管理上報(bào)/審批/計(jì)算/視圖/告警統(tǒng)計(jì)監(jiān)控頁(yè)面運(yùn)營(yíng)報(bào)表審計(jì)入口數(shù)據(jù)平臺(tái)組織架構(gòu)Receiver采集訪問(wèn)/下載記錄權(quán)限管理敏感度管理數(shù)據(jù)安全實(shí)時(shí)監(jiān)控和操作審計(jì)架構(gòu)資產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)安全管理分鐘級(jí)的數(shù)據(jù)安全實(shí)時(shí)監(jiān)控提供“事后”安全審計(jì)服務(wù)，回溯事件數(shù)據(jù)安全事故0起發(fā)生資

14、產(chǎn)運(yùn)營(yíng)-數(shù)據(jù)安全管理效果某業(yè)務(wù)資產(chǎn)安全管理視圖總覽數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估實(shí)施數(shù)據(jù)價(jià)值評(píng)估的意義衡量業(yè)務(wù)的投入產(chǎn)出比衡量數(shù)據(jù)發(fā)揮的作用為產(chǎn)品提供運(yùn)營(yíng)決策依據(jù)衡量數(shù)據(jù)服務(wù)平臺(tái)能力水平數(shù)據(jù)價(jià)值評(píng)估的難點(diǎn)行業(yè)內(nèi)無(wú)統(tǒng)一標(biāo)準(zhǔn)和方法公司內(nèi)缺乏可量化的估值體系數(shù)據(jù)價(jià)值存場(chǎng)景化差異性如何做數(shù)據(jù)資產(chǎn)價(jià)值評(píng)估？數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值評(píng)估“三度”模型數(shù)據(jù)采集數(shù)據(jù)傳輸計(jì)算引擎存儲(chǔ)引擎價(jià)值指標(biāo)數(shù)據(jù)訪問(wèn)熱度數(shù)據(jù)血緣關(guān)系業(yè)務(wù)運(yùn)營(yíng)指標(biāo)評(píng)估模型熱度評(píng)分模型依賴計(jì)算模型A/B Test計(jì)算模型價(jià)值表現(xiàn)熱度評(píng)分與等級(jí)應(yīng)用廣度評(píng)分業(yè)務(wù)貢獻(xiàn)評(píng)分熱 度廣 度模型成熟度成熟運(yùn)營(yíng)期研究觀察期收益度分析報(bào)表營(yíng)銷活動(dòng)數(shù)據(jù)挖掘精準(zhǔn)推薦業(yè)務(wù)安全其他數(shù)據(jù)驅(qū)動(dòng)

15、-數(shù)據(jù)價(jià)值評(píng)估數(shù)據(jù)流數(shù)據(jù)應(yīng)用數(shù)據(jù)熱度評(píng)估模型()假設(shè) , , , (G)分別是數(shù)據(jù)節(jié)點(diǎn), , , 的被調(diào)用次數(shù)。則每個(gè)節(jié)點(diǎn)的熱度值通過(guò)下面公式得到： = + ()其中()表示節(jié)點(diǎn)的所有子節(jié)點(diǎn)的集合，比如，數(shù)據(jù)節(jié)點(diǎn)A的熱度指數(shù)為 = + ( + ()可以發(fā)現(xiàn)，上面的模型為典型是遞歸計(jì)算模型，其特點(diǎn)是 父節(jié)點(diǎn) 子節(jié)點(diǎn)ABCDEFG數(shù)據(jù)節(jié)點(diǎn)的依賴關(guān)系熱度等級(jí)（天）冷溫?zé)?(0,10(10,200200冰數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估通過(guò)數(shù)據(jù)源S的應(yīng)用依賴關(guān)系發(fā)現(xiàn)，數(shù)據(jù)服務(wù)的種類越 多，應(yīng)用廣度就越大，應(yīng)用廣度可表示為 S = 其中為數(shù)據(jù)服務(wù)的種類數(shù)， 為正相關(guān)系數(shù)，表示同 一個(gè)數(shù)據(jù)服務(wù)有多個(gè)功能模塊依賴數(shù)據(jù)

16、源S，模塊越多， 正相關(guān)系數(shù)越大。其中 為數(shù)據(jù)服務(wù)的模塊個(gè)數(shù) = =最終應(yīng)用廣度模型為 S = =SA1A2數(shù)據(jù)應(yīng)用依賴關(guān)系A(chǔ)2AnF2F1F1F2F1F2數(shù)據(jù)源數(shù)據(jù)服務(wù)功能模塊F1廣度等級(jí)（天）小中大(0,10(10,100(100,500500微數(shù)據(jù)廣度評(píng)估模型數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估符合條件用戶群時(shí)間周期1234567891011用戶子群A4753585256646158636784用戶子群B4955565861635962655959同等用戶規(guī)模隨機(jī)抽樣數(shù)據(jù)應(yīng)用干預(yù)A上圖是用戶子群A和用戶子群B的平均用戶收入數(shù)據(jù)，同時(shí)數(shù)據(jù)干預(yù)在時(shí) 間周期11，作用于用戶子群A，那么可以通過(guò)如下的A/B

17、Test評(píng)估模型， 來(lái)計(jì)算數(shù)據(jù)干預(yù)的貢獻(xiàn)收入值，活躍度PVUV等可采用同樣思路 /= 為數(shù)據(jù)干預(yù)時(shí)間周期，其中為A、B兩個(gè)用戶子群的歷史平均差值 =( )數(shù)據(jù)收益度評(píng)估模型數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估A/B Test評(píng)估模型存儲(chǔ)引擎計(jì)算引擎數(shù)據(jù)應(yīng)用A/BTest評(píng)估模型數(shù)據(jù)應(yīng)用平臺(tái) 價(jià)值指標(biāo)上報(bào)游戲數(shù)據(jù)資產(chǎn)管理平臺(tái)按指定周期，結(jié)合A/B Test評(píng)估模型，計(jì)算數(shù)據(jù)應(yīng)用平臺(tái)給產(chǎn)品帶來(lái)的業(yè)務(wù)價(jià)值評(píng)分V(i)為價(jià)值指標(biāo)，如活躍、流水、PV、UV等P(i)為價(jià)值指標(biāo)的權(quán)重()為該業(yè)務(wù)指定周期內(nèi)的價(jià)值綜合評(píng)分 = ()=1價(jià)值評(píng)分（天）(20,60(60,8080,100中良優(yōu)0,20差基于業(yè)務(wù)價(jià)值上報(bào)價(jià)值指

18、標(biāo)采集數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估某業(yè)務(wù)數(shù)據(jù)熱度和廣度的分布視圖數(shù)據(jù)價(jià)值評(píng)估數(shù)據(jù) 成本大數(shù)據(jù)投入產(chǎn)出比ROI數(shù)據(jù) 價(jià)值推動(dòng)成本優(yōu)化擴(kuò)大數(shù)據(jù)價(jià)值1、投入產(chǎn)出比ROI計(jì)算結(jié)合數(shù)據(jù)成本與價(jià)值，計(jì)算數(shù)據(jù)服務(wù)平臺(tái)投入產(chǎn)出比，為市場(chǎng)化數(shù)據(jù)管理運(yùn)營(yíng)提供直接依據(jù)2、推動(dòng)數(shù)據(jù)成本優(yōu)化減少投入，推動(dòng)業(yè)務(wù)方實(shí)施數(shù)據(jù)服務(wù)成本優(yōu)化3、數(shù)據(jù)深度挖掘到精細(xì)化場(chǎng)景落地放大價(jià)值，橫向?qū)Ρ韧惍a(chǎn)品，協(xié)助業(yè)務(wù)方結(jié)合數(shù)據(jù)服務(wù)，發(fā)掘更多業(yè)務(wù)服務(wù)場(chǎng)景數(shù)據(jù)驅(qū)動(dòng)-數(shù)據(jù)價(jià)值評(píng)估數(shù)據(jù)價(jià)值評(píng)估的作用計(jì)算資源靜態(tài)分配存在問(wèn)題計(jì)算集群資源使用率較低，CPU總體使 用率偏低大部分資源池，存在著空閑時(shí)間段，且相互錯(cuò)峰數(shù)據(jù)驅(qū)動(dòng)-運(yùn)營(yíng)效率提升解決方案：基于技術(shù)元數(shù)據(jù)的資源動(dòng)態(tài)調(diào)度第一步：應(yīng)用組的預(yù)估分配核數(shù) () = (_ , ( (), () , _ )其中， () 為預(yù)測(cè)算法的預(yù)測(cè)值() 為當(dāng)前使用+等待分配核數(shù)（當(dāng)前需要資源數(shù)）_ 為分配最小保護(hù)核數(shù)（靜態(tài)分配值）_ 為應(yīng)用組 的初始分配值（靜態(tài)分配值） () = ()/ =第二步：應(yīng)用組的實(shí)際分配核數(shù) ()其中， 為個(gè)應(yīng)用組的總分配核數(shù) ()為應(yīng)用組 的預(yù)估分配核數(shù)下限上限預(yù)測(cè)基線當(dāng)前參考模型特點(diǎn)1、上下限保護(hù)機(jī)制2、繁忙時(shí)不縮容3、充分利用冗余資源數(shù)據(jù)驅(qū)動(dòng)-運(yùn)營(yíng)效率提升）動(dòng)態(tài)分配前動(dòng)態(tài)分配后任務(wù)平均耗