移動搜索個性化演示文稿

移動搜索個性化演示文稿6/27/2023本文檔共29頁；當前第1頁；編輯于星期一\18點14分6/27/2023（優(yōu)選）移動搜索個性化本文檔共29頁；當前第2頁；編輯于星期一\18點14分移動搜索產(chǎn)品形態(tài)3本文檔共29頁；當前第3頁；編輯于星期一\18點14分個性化搜索–挑戰(zhàn)大數(shù)據(jù)，稀疏，長尾，噪音淘寶上海量的商品，針對個體而言，發(fā)生行為的商品有限，稀疏度在百萬分之一，甚至更低用戶行為模式的挖掘和利用網(wǎng)購行為的復雜性如何準確的描述用戶的興趣和特色，包括長短期興趣等？Peoplechangeovertime冷啟動

新用戶

新商品多樣性與精確性的兩難困境Interestingnessv.relevanceNeedSerendipity用戶界面與用戶體驗個性化體驗的可解釋性系統(tǒng)的挑戰(zhàn)性評估的挑戰(zhàn)性4本文檔共29頁；當前第4頁；編輯于星期一\18點14分個性化搜索誤區(qū)千人千面并非意味著去追求單純個體的個性化體驗個性化搜索是立足于提升整體用戶的個性化體驗Personalization

!=customization勿忘行為建模的基本假設

hypothesis：

接受商品接受他得所有屬性過度個性化搜索場景的個性化：“topersonalizeornottopersonalize“Explore&Exploitation主觀性vs.客觀性“datadriven”購物行為所表現(xiàn)的個性化特點！=用戶的物理個性化特征5本文檔共29頁；當前第5頁；編輯于星期一\18點14分個性化技術(shù)的魅力6個性化技術(shù)機器學習計算經(jīng)濟學系統(tǒng)架構(gòu)大數(shù)據(jù)分析本文檔共29頁；當前第6頁；編輯于星期一\18點14分目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化7本文檔共29頁；當前第7頁；編輯于星期一\18點14分鳥瞰個性化體系用戶query商品個性化數(shù)據(jù)+模型用戶關(guān)系數(shù)據(jù)商品關(guān)系數(shù)據(jù)用戶-商品關(guān)系數(shù)據(jù)海選層精排層（長期個性化+實時個性化）Re-rank層Query/user意圖識別GraphSearch引擎?zhèn)€性化搜索結(jié)果展示8本文檔共29頁；當前第8頁；編輯于星期一\18點14分個性化體系offline長期個性化模型建模實時個性化模型建?；趕ession的用戶點擊行為序列建立的實時userprofile建模實時人群-商品轉(zhuǎn)化率預估建模分布式數(shù)據(jù)處理

&并行機器學習（ODPS）Pv日志成交日志點擊日志SyncProcessor基于hbase的HqueueAucProcessorUserProcessorHbase(歷史表)iStreamonyarnredis實時<人群-商品>反饋特征抽取、計算，ID化用戶實時profile預測器Nearline實時增量數(shù)據(jù)TT推送的實時日志RealtimeLearner在線學習模塊User-profile實時模型（性別，購買力，品牌，店鋪，風格。。）UPS商品引擎實時特征更新長期個性化模型海選層Re-rank層精排層長期個性化實時個性化onlineXW

YQuery意圖預測用戶引擎實時模型Nearline環(huán)節(jié)實時更新的模型更新商品端用戶行為累積特征模型更新實現(xiàn)用戶profile的實時更新輸出模型給

online輸出模型給nearline通過nearline實現(xiàn)Online計算模塊特征表現(xiàn)X

的變化9本文檔共29頁；當前第9頁；編輯于星期一\18點14分個性化體系Offline離線模型訓練數(shù)據(jù)收集，過濾,聚合，特征ID化利用batch-learning產(chǎn)出nearline環(huán)節(jié)，online環(huán)節(jié)所需要的模型Near-line構(gòu)建于流式計算體系的實時日志解析，行為特征抽取，聚合實時用戶profile預測，實時人群-商品累積行為特征計算，離散化處理更新在線排序計算依賴的實時字段，UPS中實時userprofile字段，引擎中的商品正排字段構(gòu)建基于mini-batch的在線學習模型，增強系統(tǒng)的適應新數(shù)據(jù)的能力和explore能力實時反作弊Online各個排序維度模型的在線預測多個排序因素的在線融合EE策略10本文檔共29頁；當前第10頁；編輯于星期一\18點14分移動元素@個性化體系查詢意圖

時間，地點，逛/搜

PullorPush用戶肖像移動端特色數(shù)據(jù)

跨屏行為建模，實時肖像特征P(滿意|query,用戶,商品)實時個性化E&EPULLPUSH11本文檔共29頁；當前第11頁；編輯于星期一\18點14分目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化12本文檔共29頁；當前第12頁；編輯于星期一\18點14分Query/User意圖識別User-context地點+時間13本文檔共29頁；當前第13頁；編輯于星期一\18點14分Query/User意圖識別訓練數(shù)據(jù)轉(zhuǎn)化型query瀏覽型queryQuery的個性化需求Query進行個性化標注地域性別購買力年齡段。。。顯式：query包含個性化tag隱示：query不包含個性化tag連衣裙，大褲衩

電影票骷髏頭T恤情侶裝蕾絲正版海外購官網(wǎng)高檔samsung三星galaxynotei92203g(gsm/wcdma)手機黑色彈力修身高腰小腳褲薄款eg.建立以query轉(zhuǎn)化率為目標；用戶session內(nèi)行為為特征的LR模型解決16%搜索意圖明確的

輪胎鐘點工移動端的場景時間+地點+狀態(tài)14本文檔共29頁；當前第14頁；編輯于星期一\18點14分Query的隱含個性化需求15本文檔共29頁；當前第15頁；編輯于星期一\18點14分目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化16本文檔共29頁；當前第16頁；編輯于星期一\18點14分私有化/移動化/社交化跨屏行為、實時用戶肖像手機類型網(wǎng)絡類型GPS(經(jīng)緯度)天氣場景（移動，家，辦公）17本文檔共29頁；當前第17頁；編輯于星期一\18點14分用戶DNA@個性化體系人口統(tǒng)計學性別，年齡段，職業(yè)，人生階段等行為偏好價格，店鋪，品牌等用戶DNA社會關(guān)系微博好友，手機通訊錄，轉(zhuǎn)賬等其他手機設備，網(wǎng)絡類型等場景(時間，地點，狀態(tài)等）興趣偏好風格，款式，愛吃，愛美，愛旅游等數(shù)據(jù)數(shù)億月活躍用戶數(shù)十億日均用戶行為次數(shù)數(shù)千億+用戶-商品關(guān)系鏈數(shù)百億+用戶-店鋪關(guān)系鏈數(shù)百億+用戶-用戶關(guān)系鏈千萬

達人買家?guī)?8本文檔共29頁；當前第18頁；編輯于星期一\18點14分實時用戶DNA@個性化體系行為4…………..N個采用滑窗方式抽取訓練樣本，窗口內(nèi)的行為中前面n-1個提取特征，最后一個當作目標用戶48小時內(nèi)的行為序列N-1個行為序列個性化偏好先驗概率行為類型最后一個針對每個個性化偏好提取是否點擊或成交該個性化偏好+LR模型行為5行為6行為7行為N行為1行為2行為3Pc端行為移動端行為移動首次pvNophysicalsessionboundary19本文檔共29頁；當前第19頁；編輯于星期一\18點14分目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化20本文檔共29頁；當前第20頁；編輯于星期一\18點14分瀏覽和交互模式：自上而下的串行模型21本文檔共29頁；當前第21頁；編輯于星期一\18點14分問題定義@個性化模型個性化模型目標是：如何考慮移動場景下瀏覽和交互模式下產(chǎn)生的bias串行瀏覽模式下：有效點擊量化模型（UCM）有效pv量化模型（UBM）22本文檔共29頁；當前第22頁；編輯于星期一\18點14分UBM&UCM有效曝光量化模型（UBM）參考：AUserBrowsingModeltoPredictSearchEngineClickDatafromPastObservations，GeorgesE.Dupret，BenjaminPiwowarski，SIGIR’08有效點擊量化模型（UCM）參考：Modelingdwelltimetopredictclick-levelsatisfaction，YounghoKim,AhmedHassan,RyenW.White,andImedZitouni，WSDM201423本文檔共29頁；當前第23頁；編輯于星期一\18點14分結(jié)果分析@UBM&UCMDwellTime點擊轉(zhuǎn)化率UBM訓練結(jié)果UCM訓練結(jié)果24本文檔共29頁；當前第24頁；編輯于星期一\18點14分個性化模型UBMUCM修正修正【0】：q下商品u的滿意度Usermodelqueryuser人口統(tǒng)計學標簽購物偏好用戶簇標簽移動設備相關(guān)場景相關(guān)商品類目標簽商品標簽賣家/店鋪商品ID匹配類歷史反饋類線性模型：L1-LR

非線性：GBM，DNN25本文檔共29頁；當前第25頁；編輯于星期一\18點14分目錄目錄1234個性化體系架構(gòu)Query/user意圖識別

個性化數(shù)據(jù)個性化模型6E&E5實時個性化26本文檔共29頁；當前第26頁；編輯于星期一\18點14分流量大，屏幕小行為特點：碎片化，隨時隨地Pc點擊分布@day移動點擊分布@day27本文檔共29頁；當前第27頁；編輯于星期一\18點14分互聯(lián)網(wǎng)機器學習需要“上線”28引用：Tieyan

Liu阿里技術(shù)沙龍08/2013vs本文檔共29頁；當前第28頁；編輯于星期一\18點14分實時計算@移動搜索TT日志實時日志解析實時user-profile預