互聯(lián)網(wǎng)數(shù)據(jù)分析@騰訊

互聯(lián)網(wǎng)數(shù)據(jù)分析@騰訊提綱數(shù)據(jù)架構(gòu)互聯(lián)網(wǎng)特點(diǎn)構(gòu)建高性能數(shù)據(jù)分析架構(gòu)數(shù)據(jù)倉庫（養(yǎng)數(shù)據(jù)）數(shù)據(jù)應(yīng)用（用數(shù)據(jù)）指標(biāo)搭建業(yè)務(wù)分析模型用戶挖掘模型輔助決策特點(diǎn)：增長快、體量大、業(yè)務(wù)多、敏捷業(yè)務(wù)形態(tài)增長快體量大業(yè)務(wù)多敏捷分析能力TB級增量數(shù)據(jù)PB級計算實時計算需求小時級報表實施天級挖掘應(yīng)用數(shù)據(jù)分析–工作內(nèi)容業(yè)務(wù)分析指標(biāo)體系計算模型提取業(yè)務(wù)數(shù)據(jù)解讀、分析報表輸出數(shù)據(jù)提取流程建設(shè)數(shù)據(jù)應(yīng)用橫向數(shù)據(jù)報表分析報告外掛、安全打擊推薦考核指標(biāo)數(shù)據(jù)倉庫身份體系Profile用戶行為機(jī)能庫工具平臺計算平臺展示平臺數(shù)據(jù)提取工具高性能數(shù)據(jù)分析架構(gòu)細(xì)節(jié)一：SDK部分技術(shù)架構(gòu)SDK策略server上報接收server策略配置探測資源池LB中間層展示庫終端移動網(wǎng)絡(luò)APN管道實時入庫基礎(chǔ)服務(wù)移動IP庫身份庫機(jī)能庫數(shù)據(jù)存儲計算云展示平臺TDW集群HQL計算聚類模型應(yīng)用展現(xiàn)kafka消息serverstorm流式計算實時計算數(shù)據(jù)共享分發(fā)Hive集群細(xì)節(jié)二：零代碼開發(fā)，自動化運(yùn)維可視化拖拽+邏輯SQL=零代碼細(xì)節(jié)三，以數(shù)據(jù)流為中心數(shù)據(jù)任務(wù)=規(guī)范+配置項數(shù)據(jù)倉庫—養(yǎng)數(shù)據(jù)MIG身份庫機(jī)能庫數(shù)平QQ畫像IP庫LBS庫QQ畫像內(nèi)容豐富；公司內(nèi)都可用；業(yè)務(wù)群也會有自己的一些數(shù)據(jù)；數(shù)據(jù)質(zhì)量非常重要，用和養(yǎng)互相推動；……今天的綱要數(shù)據(jù)架構(gòu)互聯(lián)網(wǎng)特點(diǎn)分析構(gòu)建高性能數(shù)據(jù)分析架構(gòu)數(shù)據(jù)倉庫（養(yǎng)數(shù)據(jù)）數(shù)據(jù)應(yīng)用（用數(shù)據(jù)）指標(biāo)體系業(yè)務(wù)分析模型用戶挖掘模型輔助決策從干系人角度來看指標(biāo)體系產(chǎn)品經(jīng)理的疑惑哪些是我們的潛在用戶？用戶流失原因是功能問題嗎？如何挽留？廣告需要精細(xì)化，避免用戶騷擾用戶只能按arpu分類？用戶對分類推薦不感興趣，點(diǎn)擊率低用戶產(chǎn)品分析目標(biāo)業(yè)務(wù)分析模型和用戶挖掘模型在線模型流動模型漏斗模型路徑模型拉新模型流失模型關(guān)聯(lián)模型病毒模型業(yè)務(wù)分析模型概覽模型分析目標(biāo)在線模型業(yè)務(wù)活躍曲線及用戶形態(tài)流動模型業(yè)務(wù)健康度漏斗模型營銷類路徑模型用戶行為分析在線模型，平臺類業(yè)務(wù)的關(guān)鍵流動模型，體現(xiàn)業(yè)務(wù)整體健康度歷史用戶（1年內(nèi)開通過，上月末非開通）回流率5.12%A業(yè)務(wù)用戶（上月末用戶數(shù)）留存率76.34%版本流失率23.66%流失用戶本月B業(yè)務(wù)新注冊用戶A業(yè)務(wù)用戶（本月）新注冊拉新占0.47%本月B業(yè)務(wù)活躍用戶拉新占17.31%非B業(yè)務(wù)用戶非B業(yè)務(wù)新開占1.15%漏斗模型，渠道分析的利器曝光點(diǎn)擊下載激活路徑模型，功能行為分析數(shù)據(jù)挖掘的例子年齡在20~23之間、最近一個月通過PC側(cè)A平臺大于5次并且最近一個月關(guān)閉了B業(yè)務(wù)C功能的白領(lǐng)用戶，屬于高流失概率用戶，流失概率27%年齡在14~17之間、最近一個月在A平臺B頻道訪問超過3次的男性用戶，喜歡C類游戲的概率較高，對其推薦成功概率為33%年齡在17~20之間、流失前未使用任何F功能、存活周期小于30天并且最近一個月使用B業(yè)務(wù)超過3天的女性用戶，通過C功能提醒關(guān)懷，回流概率較高，回流概率25%用戶挖掘模型概覽模型分析目標(biāo)常用算法拉新模型尋找對產(chǎn)品有興趣的潛在用戶進(jìn)行推廣拉新分類：決策樹、Logistic回歸、神經(jīng)網(wǎng)絡(luò)流失模型提前預(yù)測用戶流失概率，做好挽留關(guān)聯(lián)模型內(nèi)容推送（音樂、商品、書籍等）關(guān)聯(lián)規(guī)則、協(xié)同過濾病毒模型關(guān)系鏈推薦傳播關(guān)聯(lián)規(guī)則、協(xié)同過濾拉新模型，用于潛在渠道挖掘流失模型，目的在于挽留數(shù)據(jù)模型策略基礎(chǔ)屬性興趣屬性行為屬性渠道屬性預(yù)測：流失概率預(yù)測：挽留成功概率挽留價值=客戶價值×流失概率×挽留成功概率優(yōu)先對挽留價值大的客戶實施挽留挽留分析-算法建模1智能標(biāo)簽特征識別3用戶分群細(xì)化運(yùn)營2關(guān)懷營銷減少騷擾挽留分析-模型命中優(yōu)化四倍提升挽留實施效果2011.2月1、關(guān)懷通知2、老用戶分級特權(quán)挽留關(guān)聯(lián)模型在推薦上的廣泛應(yīng)用算法復(fù)雜度音樂推薦Lift值越高，相關(guān)性越強(qiáng)，推薦效果高基于關(guān)系鏈的病毒模型又稱雪崩模型，口碑模型來源于社交網(wǎng)絡(luò)關(guān)系鏈幾何級蔓延