SDCC機器學習在美團用戶畫像中的應(yīng)用付晴川V

機器學習在美團用戶畫像中的應(yīng)用付晴川fuqingchuan@2015-11-213W什么是用戶畫像？為什么要做用戶畫像？如何做用戶畫像？什么是用戶畫像？什么是用戶畫像？什么是用戶畫像？數(shù)據(jù)簽化為什么需要用戶畫像？為什么需要用戶畫像？用戶用戶體驗商戶營收提升工程師自動化美團運營效率在對的時間獲取對的服務(wù)！獲取更多的潛在優(yōu)質(zhì)客戶！更精準高效的活動策略制定！數(shù)據(jù)應(yīng)用接口標準化/通用化！如何來做用戶畫像？架構(gòu)算法特征模型實踐問題架構(gòu)–系統(tǒng)概覽架構(gòu)——細節(jié)解讀MT

dmspa項目統(tǒng)一特征提取框架動機1.多工程師/多個模型“自給自足”，特征分散。2.存在人力/計算資源冗余。實現(xiàn)1.特征統(tǒng)一提取/集中存儲——大一統(tǒng)特征庫。2.支持no-coding/配置化提特征。效果1.建模周期:

3~4周下降到1~2周。2.人力/計算冗余減少2倍（估算值）架構(gòu)——細節(jié)解讀MT

utvs系列項目用戶畫像統(tǒng)一接口多系統(tǒng)項目動機

1.數(shù)據(jù)挖掘成果需要友好統(tǒng)一的輸出接口:

可視化+API實現(xiàn)

1.用戶標簽體系WEB可視化

2.用戶標簽索引/實時查詢3.報表自動化效果1.成果推廣加速/溝通成本降低

2.傳統(tǒng)用戶問卷調(diào)查報報告周期1個月，utvs系統(tǒng)10分鐘！算法–用戶特征需要做橫跨跨多個產(chǎn)品品線的特征征提取！算法–用戶特征體體系用戶特征體系一級/業(yè)務(wù)基本團購外賣酒店電影上門……

二級/行為注冊登陸瀏覽下單搜索收藏評論消費分享LBS……三級/時間年月日周早中晚周末工作日節(jié)假日……+每+最近自由級/可選品類品牌詞條…MxNxKxL=?特征膨脹算法–用戶特征算法–用戶特征算法–特征與效果果實例用戶職業(yè)標標簽:學生身份識識別算法-問題及常用用模型實踐-問題及常用用模型---實例模型實例一項目有車一族標簽挖掘需求

1.汽車服務(wù)推廣活動需要精準圈定有車人群降低營銷成本。實現(xiàn)

1.樣本：問卷調(diào)查正樣本+隨機負樣本

2.特征：信息增益特征離散化+卡方/信息增益/互信息等特征選擇

3.模型:

try

SVM/MaxEnt/LR

=>

SVM效果1.離線評測：P93%，R85%

2.線上對比：推送打開率提升3倍，下單率提升5倍！實踐-問題及常用用模型---實例模型實例一項目常住地標簽挖掘需求

1.決策支持：酒店需要分析用戶下單與地域關(guān)系，決定是否上異地推薦模塊。實現(xiàn)

1.樣本：問卷調(diào)查

2.模型:

try

LR/SVM/RF/GBDT=>

LR3.多個LR模型組合效果1.離線評測：P96%,R73%

2.線上對比：新上異地模塊點擊率超越歷史最佳“名店搶購”1個百分點！實踐-關(guān)于算法工工程師的段段子……理想中的算法工程師提出假設(shè)->收集數(shù)據(jù)->訓練模型->解釋結(jié)果實際中的算法工程師提出假設(shè)->收集數(shù)據(jù)->預處理->預處理->訓練模型->調(diào)試->調(diào)試->重新收集數(shù)據(jù)->預處理->收集更多數(shù)據(jù)->調(diào)試->調(diào)試->調(diào)試->…>放棄實踐-分享：那些些年踩過的的坑……目標效果現(xiàn)實效果分享一數(shù)據(jù)挖掘的天花板實數(shù)據(jù)本身！ToDo：努力逼近這個效果而不是較勁！實踐-分享：那些些年踩過的的坑……分享二實際應(yīng)用中特征作用遠大于模型！ToDo：在深度優(yōu)化模型之前，先榨干數(shù)據(jù)特征的增益吧！特征至少帶來80%+的收益。模型LR

SVM特征瀏覽次數(shù)消費頻次下單品類搜索分詞實踐-分享：那些些年踩過的的坑……分享三關(guān)于樣本:樣本少/不均衡！ToDo：1)

SVM或TSVM,

2)

under

sampling/over

sampling/SMOTE。不均衡？實在無樣本：可以考慮隨機+規(guī)則過濾方法挑樣本！Smote要用到KNN，高維不靠譜！收集樣本才是王道！實踐-分享：那些些年踩過的的坑……分享四訓練集特征分布和自然待測數(shù)據(jù)不一致。ToDo：特征如果跟Label有直接關(guān)聯(lián)就不要用了。建模訓/測效果好的離譜自然結(jié)果一塌糊涂實踐-分享：那些些年踩過的的坑……分享五不要有把錘子，就把所有的問題當釘子。ToDo：多了解模型的優(yōu)缺點，選擇合適的模型！考察點分類/回歸/…樣本大小異常點敏感度效果/性能tradeoff容易過擬合？線性/