超越成本：游戲數(shù)據(jù)平臺(tái)效能提升之道白皮書

超越成本游戲數(shù)據(jù)平臺(tái)效能提升之道目錄行業(yè)背景產(chǎn)業(yè)愈發(fā)紅布局難度加劇 1游戲數(shù)據(jù)平臺(tái)發(fā)展現(xiàn)狀 5一游戲數(shù)據(jù)平臺(tái)建設(shè)發(fā)展歷程?業(yè)務(wù)牽技術(shù)支撐 6二游戲公司數(shù)據(jù)平臺(tái)建設(shè)現(xiàn)狀 8業(yè)務(wù)建設(shè) 8技術(shù)建設(shè) 9團(tuán)隊(duì)建設(shè) 9三當(dāng)前游戲數(shù)據(jù)平臺(tái)建設(shè)痛點(diǎn)&挑戰(zhàn) 10數(shù)據(jù)質(zhì)量提升 10打破數(shù)據(jù)孤島 11高效響應(yīng)業(yè)務(wù) 12隱私合規(guī)要求 14游戲數(shù)據(jù)平臺(tái)建設(shè)如何破局 15一游戲公司數(shù)據(jù)平臺(tái)價(jià)值定位 16數(shù)據(jù)平臺(tái)第一階段建設(shè) 16數(shù)據(jù)平臺(tái)第二階段建設(shè) 17數(shù)據(jù)平臺(tái)第三階段建設(shè) 17數(shù)據(jù)平臺(tái)第四階段建設(shè) 185.總結(jié) 18二降本 19人力資源成本?成為懂業(yè)務(wù)的數(shù)據(jù)中臺(tái)團(tuán)隊(duì) 19硬件資源成本?最大化資源利用率 21數(shù)據(jù)存儲(chǔ)成本優(yōu)化 21數(shù)據(jù)計(jì)算成本優(yōu)化 23三提效數(shù)據(jù)民主化?讓更多業(yè)務(wù)用戶參與平臺(tái)建設(shè) 24系統(tǒng)融合提效?業(yè)內(nèi)先進(jìn)技術(shù)綜合降低成本 24實(shí)時(shí)迭代提效?節(jié)省開發(fā)資源 26數(shù)據(jù)分析效率提升 26精細(xì)化運(yùn)營(yíng)效率提升 30AIGC賦能游戲行業(yè)效率最大化 31海藝AI 32Mage.space 33StockImgAI 33游戲數(shù)據(jù)平臺(tái)建設(shè)經(jīng)典案例 34一中手游 351.客戶背景352.TE系統(tǒng)解決方案353.落地效果354.方案價(jià)值36二、Habby1.客戶背景36362.TE系統(tǒng)解決方案363.方案價(jià)值38三、青瓷1.客戶背景38382.TE系統(tǒng)解決方案383.落地效果384.方案價(jià)值39四、某游戲頭部企業(yè)客戶案例1.客戶背景39392.TE系統(tǒng)解決方案403.落地效果404.方案價(jià)值41游戲數(shù)據(jù)平臺(tái)發(fā)展現(xiàn)狀 42行業(yè)背景產(chǎn)業(yè)愈發(fā)紅海，布局難度加劇2023年中國(guó)游戲市場(chǎng)實(shí)際銷售收入達(dá)3029.64億元，同比增長(zhǎng)13.95%，市場(chǎng)呈現(xiàn)回暖趨勢(shì)，但市場(chǎng)仍將面臨增速不足的困境。1432023年中國(guó)自助研發(fā)游戲海外市場(chǎng)實(shí)際行業(yè)背景：產(chǎn)業(yè)愈發(fā)紅海，布局難度加劇銷售收入為163.666在游戲產(chǎn)業(yè)的嚴(yán)峻形勢(shì)下，企業(yè)經(jīng)營(yíng)難度較大，主要上市游戲企業(yè)中連續(xù)多年僅6成左右企業(yè)能夠盈利，其中2022年更是不足6成，企業(yè)效益被嚴(yán)重壓縮。影響收益的投入。降低成本的行為中最具代表性的便是人力資源成本的減少，統(tǒng)計(jì)結(jié)果顯示，越來(lái)越多的企業(yè)選擇精簡(jiǎn)員工人數(shù)或維持原狀，2023年僅23.1%的上市游戲企業(yè)增加員工數(shù)量。5202310009業(yè)者所在企業(yè)或項(xiàng)目用于技術(shù)研究與應(yīng)用的投入增加。銷售費(fèi)用方面企業(yè)也在加碼投入，2023年中國(guó)游戲產(chǎn)業(yè)主要上市企業(yè)銷售費(fèi)用同比增長(zhǎng)15%。游戲數(shù)據(jù)平臺(tái)發(fā)展現(xiàn)狀一、游戲數(shù)據(jù)平臺(tái)建設(shè)發(fā)展歷程?業(yè)務(wù)牽引，技術(shù)支撐回顧數(shù)據(jù)平臺(tái)的發(fā)展歷史，本身也是一部「降本增效」的演進(jìn)史。（2010年以前有游戲公司基于oraclerac買了TeradataGreenplum2010Google（GFSMapReduceBigTableHadoopHadoop平臺(tái)通過(guò)其分布式計(jì)析應(yīng)用的階段。到了2016（Snow?akeDatabricksDoris二、游戲公司數(shù)據(jù)平臺(tái)建設(shè)現(xiàn)狀業(yè)務(wù)建設(shè)塊。建議：技術(shù)建設(shè)的數(shù)據(jù)系統(tǒng)。團(tuán)隊(duì)建設(shè)目前數(shù)據(jù)中臺(tái)在團(tuán)隊(duì)構(gòu)建層面，基于企業(yè)規(guī)模和現(xiàn)狀的不同，主要分為以下3種形態(tài)：減少在數(shù)據(jù)平臺(tái)工具和基礎(chǔ)數(shù)據(jù)架構(gòu)的搭建工作投入，更多依賴于現(xiàn)成的三方平臺(tái)和工具完成。減少增加增加AIDATA+AI代變化的游戲行業(yè)中搶占先機(jī)。三、當(dāng)前游戲數(shù)據(jù)平臺(tái)建設(shè)痛點(diǎn)&挑戰(zhàn)數(shù)據(jù)質(zhì)量提升對(duì)于游戲企業(yè)而言，數(shù)據(jù)質(zhì)量可以從以下4個(gè)維度進(jìn)行衡量：準(zhǔn)確性情況相符。完整性業(yè)務(wù)語(yǔ)義。時(shí)效性維度。一致性間去驗(yàn)證哪個(gè)數(shù)據(jù)才是正確的。求的價(jià)值。打破數(shù)據(jù)孤島數(shù)據(jù)孤島指企業(yè)內(nèi)部不同部門或系統(tǒng)之間的數(shù)據(jù)相互獨(dú)立、無(wú)法共享和整合的現(xiàn)象，痛點(diǎn)：系統(tǒng)差異大打通數(shù)據(jù)的成本很高。數(shù)據(jù)格式雜標(biāo)準(zhǔn)統(tǒng)一難：不同系統(tǒng)的數(shù)據(jù)橫跨了多個(gè)部門，難以制定統(tǒng)一的數(shù)據(jù)接入集成標(biāo)準(zhǔn)。業(yè)務(wù)迭代快價(jià)值落地慢則仍難以落地。高效響應(yīng)業(yè)務(wù)在游戲數(shù)據(jù)分析的業(yè)務(wù)場(chǎng)景中，往往數(shù)據(jù)需求方與提供方會(huì)頻繁產(chǎn)生交集。大型游戲企業(yè)的中臺(tái)團(tuán)隊(duì)往往需要同時(shí)應(yīng)對(duì)多個(gè)項(xiàng)目組的需求。大多數(shù)老項(xiàng)目較為穩(wěn)卻占據(jù)較多中臺(tái)資源，而新項(xiàng)目也需要獲得中臺(tái)團(tuán)隊(duì)支持，使得中臺(tái)團(tuán)隊(duì)在面對(duì)數(shù)據(jù)上述協(xié)作流程存在以下痛點(diǎn)：數(shù)據(jù)需求層出不窮人力。共性需求重復(fù)造輪子“重復(fù)造輪子的事始終存在。協(xié)作流程復(fù)雜耗時(shí)長(zhǎng)大的浪費(fèi)。數(shù)據(jù)口徑難以對(duì)齊“指導(dǎo)業(yè)務(wù)。隱私合規(guī)要求（GeneralDataProtectionRegulation2018525202011“《加利福利亞消費(fèi)者隱私法案（CaliforniaConsumerPriacyActCA2021111日生效。3個(gè)方面考量：數(shù)據(jù)安全性采集合規(guī)性及全面的數(shù)據(jù)收集能力。游戲出海合規(guī)游戲數(shù)據(jù)平臺(tái)建設(shè)如何破局一、游戲公司數(shù)據(jù)平臺(tái)價(jià)值定位數(shù)據(jù)平臺(tái)第一階段建設(shè)平臺(tái)工具搭建BI工具等。架構(gòu)設(shè)計(jì)數(shù)據(jù)的分層和分域架構(gòu)設(shè)計(jì)，確保企業(yè)「統(tǒng)一清晰」的數(shù)據(jù)標(biāo)準(zhǔn)，保障數(shù)據(jù)質(zhì)量。流動(dòng)。平臺(tái)工具。數(shù)據(jù)平臺(tái)第二階段建設(shè)數(shù)據(jù)開發(fā)能力建設(shè)數(shù)據(jù)加工處理，滿足游戲業(yè)務(wù)方用數(shù)需求。casebycase數(shù)據(jù)管理能力建設(shè)制定數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量規(guī)則。制定數(shù)據(jù)治理流程。數(shù)據(jù)平臺(tái)第三階段建設(shè)數(shù)據(jù)服務(wù)能力建設(shè)數(shù)據(jù)服務(wù)是數(shù)據(jù)中臺(tái)團(tuán)隊(duì)面向游戲業(yè)務(wù)方的統(tǒng)一窗口。構(gòu)建游戲公司統(tǒng)一的一體化數(shù)據(jù)服務(wù)門戶。構(gòu)建游戲公司統(tǒng)一的一體化數(shù)據(jù)服務(wù)門戶。數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)能力建設(shè)促進(jìn)游戲總體數(shù)據(jù)資產(chǎn)的使用。建立數(shù)據(jù)資產(chǎn)在成本和價(jià)值層面的衡量體系。數(shù)據(jù)本身不產(chǎn)生價(jià)值，中臺(tái)團(tuán)隊(duì)需要聚焦在如何讓數(shù)據(jù)發(fā)揮更大價(jià)值上。數(shù)據(jù)本身不產(chǎn)生價(jià)值，中臺(tái)團(tuán)隊(duì)需要聚焦在如何讓數(shù)據(jù)發(fā)揮更大價(jià)值上。數(shù)據(jù)平臺(tái)第四階段建設(shè)游戲全鏈路的數(shù)據(jù)深度服務(wù)能力建設(shè)進(jìn)入游戲業(yè)務(wù)的深水區(qū)，通過(guò)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)。DATA+AI能力建設(shè)DATA+AI預(yù)判和決策?？偨Y(jié)ROI的方式完成前期兩階段的工作。二、降本人力資源成本?成為懂業(yè)務(wù)的數(shù)據(jù)中臺(tái)團(tuán)隊(duì)目前游戲數(shù)據(jù)中臺(tái)的人力資源大致按照上面的比例進(jìn)行分配，日常的數(shù)據(jù)開發(fā)治理和常規(guī)的數(shù)據(jù)報(bào)表和分析需求的滿足會(huì)占據(jù)團(tuán)隊(duì)的人力資源大頭，只有少部分的精力可以投入到離業(yè)務(wù)更近的深度分析和應(yīng)用場(chǎng)景以及「DATA+AI」在業(yè)務(wù)側(cè)的探索和應(yīng)用。這樣的資源劃分已不太能適應(yīng)當(dāng)下行業(yè)「降本增效」的大環(huán)境，數(shù)據(jù)平臺(tái)面臨著以下核心挑戰(zhàn)：數(shù)據(jù)開發(fā)治理以及常規(guī)數(shù)據(jù)業(yè)務(wù)需求的滿足很難體現(xiàn)到真正的業(yè)務(wù)價(jià)值上，這部分的價(jià)值很難衡量。較多的人力投入在被動(dòng)地滿足業(yè)務(wù)方數(shù)據(jù)需求，伴隨著業(yè)務(wù)方數(shù)據(jù)需求的持續(xù)增人力資源與常態(tài)化業(yè)務(wù)數(shù)據(jù)需求的滿足之間的投入產(chǎn)出比不高，進(jìn)一步加劇了公司對(duì)于數(shù)據(jù)平臺(tái)業(yè)務(wù)價(jià)值產(chǎn)出的挑戰(zhàn)。以及垂直的業(yè)務(wù)深度中。AI數(shù)數(shù)科技提供一站式的從用戶行為分析→用戶畫像→精細(xì)化運(yùn)營(yíng)觸達(dá)的業(yè)務(wù)閉環(huán)工具，以及數(shù)據(jù)采集->數(shù)據(jù)清洗->數(shù)據(jù)建?！鷶?shù)據(jù)計(jì)算→數(shù)據(jù)可視化為一體的數(shù)據(jù)底層：用戶行為分析用戶畫像&進(jìn)行深度的挖掘。精細(xì)化運(yùn)營(yíng)觸達(dá)系統(tǒng)能夠基于分析結(jié)果和特征群體，通過(guò)AppPush（Email完成實(shí)時(shí)的效果回收和分析。API真正懂業(yè)務(wù)的數(shù)據(jù)中臺(tái)團(tuán)隊(duì)。硬件資源成本?最大化資源利用率成本優(yōu)化。數(shù)據(jù)存儲(chǔ)成本優(yōu)化化地利用不同存儲(chǔ)載體的性能。由于越接近實(shí)時(shí)的熱數(shù)據(jù)對(duì)于存取的性能開銷越大，而歷史數(shù)據(jù)因被讀取使用的場(chǎng)景SSD磁盤的性能最強(qiáng)，成本最高，因此可僅存取最近N小時(shí)的數(shù)據(jù)。1AlluxioLocalCacheLocalCache能。TEROI1個(gè)月內(nèi)的熱數(shù)據(jù)。同時(shí)在本地集群中為了支持?jǐn)?shù)據(jù)秒級(jí)別的實(shí)時(shí)寫入，會(huì)基于kudu組件構(gòu)建實(shí)時(shí)存儲(chǔ)層，該部分?jǐn)?shù)據(jù)只會(huì)維護(hù)最近3小時(shí)的數(shù)據(jù)，超過(guò)3小時(shí)的數(shù)據(jù)會(huì)自動(dòng)沉降到本地HDFS中，這樣可以充分利用SSD存儲(chǔ)性能的同時(shí)控制好成本。低海量數(shù)據(jù)的存儲(chǔ)成本。數(shù)據(jù)計(jì)算成本優(yōu)化數(shù)據(jù)查詢的一個(gè)比較大的特點(diǎn)是隨時(shí)間的波動(dòng)非常大，例如某出海游戲公司的數(shù)據(jù)平臺(tái)在UTC-0T+1898的策略實(shí)k8sAWS的EKSASKTKETE系統(tǒng)目前已經(jīng)適配了所有主流云廠商上的原生化框架以及自建k8s生態(tài)，能夠?qū)崿F(xiàn)以下核心能力：將支持在30秒內(nèi)完成計(jì)算節(jié)點(diǎn)的動(dòng)態(tài)擴(kuò)縮本。4支持云上無(wú)狀態(tài)spot（1/10～1/5三、提效：數(shù)據(jù)民主化?讓更多業(yè)務(wù)用戶參與平臺(tái)建設(shè)系統(tǒng)融合提效?業(yè)內(nèi)先進(jìn)技術(shù)綜合降低成本業(yè)務(wù)發(fā)展導(dǎo)致平臺(tái)適配性不足數(shù)據(jù)平臺(tái)成本難以持續(xù)優(yōu)化于最新的技術(shù)和組件也能夠可插拔式地快速引入，這樣對(duì)于不可預(yù)見(jiàn)的業(yè)務(wù)場(chǎng)景也能夠TETETETETETE系統(tǒng)的核心引擎?TrinoTE實(shí)時(shí)迭代提效?節(jié)省開發(fā)資源數(shù)據(jù)分析效率提升數(shù)據(jù)中臺(tái)團(tuán)隊(duì)一般會(huì)采用以下的業(yè)務(wù)模式來(lái)滿足需求：發(fā)完成后寫入到BITableauBIMPP席查詢能力通過(guò)SQLIDE工具直接暴露SQL來(lái)獲得想要的數(shù)據(jù)結(jié)果。SQL的ad-hocSQLSQL也需要花費(fèi)較長(zhǎng)的時(shí)間，如果寫出來(lái)的SQL例如有嚴(yán)重的笛卡爾積問(wèn)題，也會(huì)對(duì)數(shù)據(jù)平臺(tái)本身的查詢資源產(chǎn)生極大的浪費(fèi)。SQ的數(shù)據(jù)需求。SQL功能來(lái)解決非常復(fù)雜的業(yè)務(wù)場(chǎng)景需求。開發(fā)工作。數(shù)數(shù)科技的TESQLTE“注冊(cè)首日不同等級(jí)玩家的次日留存SQL要100...約100行SQL代碼 標(biāo)簽+留存模型...在熟練使用TE系統(tǒng)后，原來(lái)的業(yè)務(wù)需求只需要現(xiàn)有1/3的人力來(lái)支撐即可，剩余人員可以投入到AI應(yīng)用研發(fā)等其他高價(jià)值工作中。精細(xì)化運(yùn)營(yíng)效率提升需要長(zhǎng)時(shí)間的開發(fā)周期和高成本的持續(xù)投入。在傳統(tǒng)的營(yíng)銷方式中，營(yíng)銷工具之間功能割裂，業(yè)務(wù)流程及數(shù)據(jù)互不打通，無(wú)法實(shí)現(xiàn)一站式的全渠道自動(dòng)化游戲運(yùn)營(yíng)。通過(guò)TER。30%。TE50AIGC賦能游戲行業(yè)效率最大化AIGCTop50AIGCAI%的受訪者所在公司/部門所使用的AIAIAIAI技海藝AIAIAIGCAIAIAI角色生成：可以根據(jù)預(yù)設(shè)的風(fēng)格和特征，快速生成多樣化的游戲角色，滿足不同游戲類型的需求。沉浸式的體驗(yàn)。道具制作：自動(dòng)生成各種游戲道具，增加游戲的豐富性和趣味性。Mage.spaceMage.space以其強(qiáng)大的可視化界面和用戶友好的操作流程，使得非技術(shù)背景的用戶也能輕松地創(chuàng)建和編輯游戲內(nèi)容。3D環(huán)境構(gòu)建：能夠自動(dòng)生成復(fù)雜的3D環(huán)境適應(yīng)性：Mage.space生成的環(huán)境能夠根據(jù)游戲劇情和玩家行為進(jìn)行動(dòng)態(tài)調(diào)整，提供更加真實(shí)的游戲體驗(yàn)。StockImgAIStockImgAI專注于提供高質(zhì)量的圖像生成服務(wù)，其AIGC技術(shù)能夠根據(jù)用戶輸入的描述或關(guān)鍵詞，快速生成具有商業(yè)價(jià)值的圖像。角色立繪生成：StockImgAI能夠根據(jù)角色設(shè)定，生成具有獨(dú)特風(fēng)格的角色立繪，豐富游戲的視覺(jué)表現(xiàn)。場(chǎng)景插畫制作：它自動(dòng)生成與游戲場(chǎng)景相匹配的插畫，提升游戲的藝術(shù)性和敘事性。圖形資源庫(kù)構(gòu)建：StockImgAI構(gòu)建了一個(gè)龐大的圖形資源庫(kù)，為游戲開發(fā)者提供了豐富的視覺(jué)素材選擇，加速了游戲開發(fā)流程。游戲數(shù)據(jù)平臺(tái)建設(shè)經(jīng)典案例客戶背景客戶內(nèi)部產(chǎn)品具有大DAUTE系統(tǒng)解決方案TEIDC存儲(chǔ)資源做集中規(guī)劃，落地效果使用過(guò)保低配集群存儲(chǔ)冷數(shù)據(jù)，該部分?jǐn)?shù)據(jù)存儲(chǔ)成本一半以上。方案價(jià)值A(chǔ)lluxio集群或LocalCache的方式做加速。降低數(shù)據(jù)存儲(chǔ)成本。客戶背景HabbyTE系統(tǒng)解決方案TE系統(tǒng)的三方集成模塊提供了一系列第三方廣告平臺(tái)的集成能力，可以將這些平臺(tái)的廣告投放與廣告變現(xiàn)數(shù)據(jù)同步到TE系統(tǒng)中來(lái)。目前支持一鍵集成的第三方平臺(tái)：方案價(jià)值TEAPI接口將游戲上下游的數(shù)據(jù)匯聚到同一個(gè)系統(tǒng)中并完成數(shù)據(jù)的mappingROI分析。客戶背景青瓷內(nèi)部的數(shù)據(jù)應(yīng)用場(chǎng)景存在客服系統(tǒng)通過(guò)API的方式調(diào)用查詢引擎來(lái)獲取玩家的API請(qǐng)求的業(yè)務(wù)波動(dòng)性特征以及APIAPIAP