《推系統(tǒng) 第2版》 課件 Lec5 基于知識的推、Lec6 混合推、Lec7 推系統(tǒng)評測

基于知識的推薦動機傳統(tǒng)推薦方法（基于內(nèi)容和基于協(xié)同過濾）適合于推薦書籍、電影、新聞等高頻、低成本的消費品不適合推薦房產(chǎn)、汽車、專業(yè)設(shè)備、金融服務(wù)等低頻、高成本的項目原因：用戶冷啟動：無法向新用戶（無歷史行為數(shù)據(jù)的用戶）推薦項目低頻行為：歷史行為年代久遠(yuǎn)，時間間隔長，缺乏參考意義風(fēng)險高：購買房產(chǎn)、汽車、金融服務(wù)等項目的成本和風(fēng)險都很高基于知識的推薦基本思想：利用用戶的顯式需求和項目的領(lǐng)域知識為用戶進(jìn)行推薦三種基本類型：基于約束的推薦vs.基于效用的推薦vs.基于實例的推薦基于約束的推薦基于約束的推薦基本思想：根據(jù)用戶給定的顯式需求（約束集）推薦合適的候選項目把推薦任務(wù)看作是一個解決約束滿足問題的過程應(yīng)用領(lǐng)域：不經(jīng)常被購買且產(chǎn)品復(fù)雜的領(lǐng)域例如：房產(chǎn)、專業(yè)設(shè)備、金融服務(wù)等示例：購買筆記本電腦

用戶總是希望能夠以較低的成本（例如：價格）獲得較高質(zhì)量或性能的項目當(dāng)用戶對目標(biāo)領(lǐng)域還不夠了解時，給出的約束集通常不切實際，找不到合適的項目約束放寬算法：MinRlex

01100011100111001001111011001101項目-約束滿足矩陣PQRS約束放寬算法：示例

01100011100111001001111011001101基于效用的推薦基于效用的推薦

基于效用的推薦：示例

取值性能經(jīng)濟性price01006size50100RAM40100GPUyes100no30

性能[40%]經(jīng)濟性[60%]效用值[排名]7.6

[4]8.5[1]7.6

[4]6.7[8]7.6[4]7.6

[4]8.4

[3]8.5

[1]評分規(guī)則項目效用基于實例的推薦基于實例的推薦

基于距離的匹配度度量

基于實例的推薦：示例

基于實例的推薦：示例

pricesizeRAMGPU匹配度排名1.00.50.81.00.2400.4620.42910.55040.9000.846010.70410.9650.615000.38670.65010.14300.38380.7200.3850.14310.614200.385110.60430.9150.7310.14300.423510.615000.3966混合推薦系統(tǒng)混合推薦目標(biāo)：提升系統(tǒng)的準(zhǔn)確度和穩(wěn)定性動機：各種基礎(chǔ)推薦算法雖然各有利弊，但相互之間存在互補現(xiàn)狀：Netflix、Amazon、淘寶、頭條等平臺都采用混合推薦混合推薦：通過多種算法的組合來避免或彌補各自的弱點（取長補短）推薦方法優(yōu)點缺點基于人口統(tǒng)計學(xué)能為新用戶推薦個性化程度低協(xié)同過濾個性化程度高結(jié)果具有新穎性數(shù)據(jù)稀疏問題冷啟動問題基于內(nèi)容能推薦新項目容易解釋用戶冷啟動結(jié)果缺乏新穎性基于知識沒有冷啟動問題結(jié)果具有可解釋性需要人工交互

知識獲取困難Netflix百萬美金公開賽$1millionprizefora10%improvementoverNetflix’scurrentmovierecommender/classifier(MSE=0.9514)1個月，接近5%2個月，接近6%6個月，接近7%1年，接近8%3年，超過10%一個由工程師和統(tǒng)計學(xué)家組成的七人團(tuán)隊奪得了大獎理論依據(jù)與方法分類誤差分析

不同推薦模型的信息源示意圖只有模型組合才可能還原問題的全貌！混合/組合方法分類根據(jù)是否使用標(biāo)注樣本：有監(jiān)督組合vs.無監(jiān)督組合根據(jù)基模型之間的依賴關(guān)系：并行式混合vs.串行式混合vs.整體式混合混合/組合并行式串行式整體式混合/組合有監(jiān)督無監(jiān)督常見無監(jiān)督組合模型包括：各種Bagging算法；例如隨機森林（RandomForest）等無監(jiān)督組合訓(xùn)練測試假設(shè)各個基模型的貢獻(xiàn)相同常見有監(jiān)督組合模型：各種Boosting和Stacking算法；例如AdaBoost、GBDT等有監(jiān)督組合訓(xùn)練測試從標(biāo)注數(shù)據(jù)中學(xué)習(xí)組合模型并行式vs.串行式vs.整體式并行式混合：各基模型可獨立、并行地進(jìn)行訓(xùn)練或構(gòu)造串行式混合：后面基模型的訓(xùn)練或構(gòu)造依賴于前面的基模型整體式混合：只包含一個推薦單元通過預(yù)處理和組合多個知識源將多模型整合在一起并行式混合并行式混合基本思想：直接對已有推薦器（基推薦器）的輸出結(jié)果進(jìn)行混合無需對現(xiàn)有基推薦器做任何修改方法分類：加權(quán)式混合vs.切換式混合vs.排序混合加權(quán)式混合

加權(quán)推薦(0.5:0.5)項目171項目24.52項目33.53項目40.54推薦器1項目161項目20項目332項目413推薦器2項目182項目291項目343項目40加權(quán)式混合

HongzhiLiu,YingpengDu,ZhonghaiWu.AEM:AttentionalEnsembleModelforPersonalizedClassifierWeightLearning,

PatternRecognition,96,10697:1-8,2019切換式混合（Switching）動機：在不同場景，針對不同用戶，各基推薦器的性能表現(xiàn)可能有較大差異活躍用戶、新用戶（不活躍用戶）、新項目（冷門項目）、熱門項目基本思想：在不同的場景下選擇不同的基推薦器切換式混合（Switching）

排序混合動機：加權(quán)式混合要求各基推薦器的輸出在同一范圍內(nèi)并且采用相同的量綱基本思想：采用基于排序的方式來進(jìn)行歸一化處理對各基推薦器輸出的推薦(排序)列表進(jìn)行混合排序，以形成最終排序列表常用方法：波達(dá)計數(shù)(BordaCount)、凱梅尼優(yōu)化(KemenyOptimization)、成對投票表決波達(dá)計數(shù)法（BordaCount）Borda

Count:

score(a)

=

4+

5+

3=12;

score(b)

=

3+3+5=11;

…基本思想：根據(jù)各排序列表對項目進(jìn)行重新打分，并采用加和的方式計算最終得分；Top-N推薦：排在第1位的得N分，排在第2位的得N-1分，…，排在最后一位的得1分串行式混合串行式混合基本假設(shè)：基推薦器之間存在一定的依賴關(guān)系后面的基推薦器的構(gòu)造或輸出依賴于前面的基推薦器的輸出方法分類：級聯(lián)過濾

vs.級聯(lián)學(xué)習(xí)級聯(lián)過濾

級聯(lián)過濾推薦結(jié)果項目181項目20項目342項目40推薦器1項目161項目20項目332項目413推薦器2項目182項目291項目343項目40后續(xù)推薦器不會引入額外項目

級聯(lián)過濾基本思想：基推薦器按一定規(guī)則排序，后面的推薦器對前面推薦器的結(jié)果進(jìn)行優(yōu)化關(guān)鍵：基推薦器的選擇和排序：算法效果、算法復(fù)雜度召回-排序框架就是典型的級聯(lián)過濾方法級聯(lián)學(xué)習(xí)動機：級聯(lián)過濾是一種嚴(yán)格基于優(yōu)先級的混合方法如果前面（高優(yōu)先級）的推薦器出現(xiàn)錯誤（刪除了一些相關(guān)項目），后面的推薦器將無法挽回基本思想：在應(yīng)用或驗證階段和加權(quán)式混合類似不同之處在于訓(xùn)練階段，級聯(lián)學(xué)習(xí)依賴于串行(逐個)訓(xùn)練各基推薦器常用方法：Boosting集成模型，例如：AdaBoost、GBDT等級聯(lián)學(xué)習(xí)：

Adaboost在每一輪基學(xué)習(xí)器訓(xùn)練完成后都會更新樣本權(quán)重，再訓(xùn)練下一個基學(xué)習(xí)器；對于分類錯誤的樣本，加大其對應(yīng)權(quán)重；而對于分類正確的樣本，降低其權(quán)重整體式混合整體式混合基本思想：通過對算法進(jìn)行內(nèi)部調(diào)整，將多個知識源或多種方法整合在一起整體上看只包含一個推薦單元常用方法：特征組合

vs.特征擴充

vs.基于圖模型的混合特征組合

特征擴充MelvilleP,et

al.Content-boostedcollaborativefilteringforimprovedrecommendations,

AAAI2002:187-192.基于圖模型的混合基于圖模型的混合基本思想：利用圖（Graph）將多種不同的信息整合在一起進(jìn)行統(tǒng)一表示將推薦問題轉(zhuǎn)化為一個圖搜索（GraphSearch）或邊預(yù)測問題目標(biāo)：使推薦具有一個全面、統(tǒng)一的表示，能靈活支持多種推薦方法基于雙層圖模型的混合推薦基本思想：對用戶-項目二部圖進(jìn)行擴展，得到一個雙層圖通過查找與目標(biāo)用戶節(jié)點高度關(guān)聯(lián)的項目節(jié)點，進(jìn)而得出推薦列表雙層圖：一層為用戶層，另一層為項目層兩層之間的邊為層間連接（表示用戶對項目的反饋）用戶層中每個節(jié)點代表一個用戶，用戶節(jié)點之間的邊表示用戶之間的相似關(guān)系項目層中每個節(jié)點代表一個項目，項目節(jié)點之間的邊表示項目之間的相似關(guān)系項目層（基于內(nèi)容）用戶層（基于人口統(tǒng)計學(xué)）用戶反饋行為基于雙層圖模型的混合推薦基于內(nèi)容的推薦：從與目標(biāo)用戶關(guān)聯(lián)的項目節(jié)點開始，通過項目層的邊探索其他相關(guān)項目基于用戶的協(xié)同過濾：從目標(biāo)用戶節(jié)點開始，先在用戶層搜索相似用戶，再通過層之間的邊探索相關(guān)項目混合推薦：從目標(biāo)用戶節(jié)點開始，通過利用圖中所有（三種）類型的邊探索相關(guān)項目項目層（基于內(nèi)容）用戶層（基于人口統(tǒng)計學(xué)）用戶反饋行為基于內(nèi)容推薦基于用戶協(xié)同過濾目標(biāo)用戶協(xié)同用戶推薦系統(tǒng)評測評測視角針對同一問題，不同推薦算法可能會生成不同的推薦列表這些推薦結(jié)果是否合理？哪個更好？從不同參與方的角度，需構(gòu)建不同的評測方法和評價指標(biāo)用戶的角度、商家或平臺的角度、算法研究員的角度等項目層（基于內(nèi)容）用戶層（基于人口統(tǒng)計學(xué)）用戶反饋行為基于內(nèi)容推薦基于用戶協(xié)同過濾目標(biāo)用戶協(xié)同用戶項目流行度頭部長尾部從長尾部分推薦項目評測視角用戶好的推薦系統(tǒng)應(yīng)該能降低其信息獲取的交互成本應(yīng)該優(yōu)先從“長尾”區(qū)域選擇項目進(jìn)行推薦，推薦用戶可能真正喜歡的項目商家或平臺好的推薦系統(tǒng)應(yīng)能增加“用戶點擊率”、“用戶轉(zhuǎn)化率”、“平臺活躍度”等能夠為商家或平臺帶來收益或利潤算法研究員好的推薦系統(tǒng)應(yīng)該能夠準(zhǔn)確預(yù)測用戶對項目的偏好程度并且在某些指標(biāo)上表現(xiàn)得比現(xiàn)有的系統(tǒng)更好實驗方法在線實驗A/B測試（A/BTests）：一種典型的在線實驗方法，本質(zhì)是分離式組間實驗，也叫對照實驗將具有相同特征的用戶均勻分配到各實驗組，以避免出現(xiàn)數(shù)據(jù)偏差優(yōu)缺點：保證所有算法所處環(huán)境的一致性；實驗結(jié)果客觀、準(zhǔn)確成本高、風(fēng)險大，容易導(dǎo)致用戶流失用戶調(diào)查基本思想：通過尋找少量的真實用戶或領(lǐng)域?qū)＜?，對系統(tǒng)進(jìn)行試用觀測并記錄用戶的行為以及他們對系統(tǒng)滿意度的反饋（問卷調(diào)查）分析試用用戶的行為和反饋來了解被測系統(tǒng)的性能優(yōu)缺點：不會因體驗較差而導(dǎo)致真實用戶流失能夠了解真實用戶對系統(tǒng)的評價時間周期相對較長，需要邀請用戶、用戶試用、用戶反饋、反饋分析離線實驗假設(shè)：收集到的用戶歷史行為與系統(tǒng)部署后的用戶行為相似基本思想：通過用戶的歷史行為數(shù)據(jù)來模擬用戶與系統(tǒng)的交互行為優(yōu)點：不需要真實用戶的參與，成本低、速度快過濾不合適算法，為成本高的用戶調(diào)查和在線實驗提供較小的算法候選集評價指標(biāo)Top-N推薦評價指標(biāo)通常采用分類準(zhǔn)確度指標(biāo)或是基于排序的指標(biāo)例如：精確度、召回率、AUC、MAP、nDCG等評分預(yù)測評價指標(biāo)基于預(yù)測評分和真實評分的誤差來構(gòu)建評價指標(biāo)例如：平均絕對誤差、平均平方誤差(均方誤差)、均方根誤差等其他評價指標(biāo)例如：多樣性、新穎性、覆蓋率等評價指標(biāo)：分類準(zhǔn)確率分類準(zhǔn)確度

混淆矩陣真實值預(yù)測值分類準(zhǔn)確度

混淆矩陣真實值預(yù)測值F1與F-Measure

ROC曲線

縱軸:橫軸:0.01.01.0ROC曲線AUC真陽性率TPR假陽性率FPR混淆矩陣真實值正例(Positive)負(fù)例(Negative)預(yù)測值正例（Positive）負(fù)例（Negative）AUC值

評價指標(biāo)：排序、評分及其他基于排序的評價指標(biāo)

基于排序的評價指標(biāo):MAP

基于排序的評價指標(biāo):nDCG

基于排序的評價指標(biāo):nDCG

評分預(yù)測評價指標(biāo)評分預(yù)測準(zhǔn)確度

符號含義用戶u對項目i的實際評分系統(tǒng)的預(yù)測評分測試數(shù)據(jù)集評分預(yù)測準(zhǔn)確度：歸一化

符號含義用戶評分區(qū)間的最大值用戶評分區(qū)間的最小值其它常用評價指標(biāo)

公開數(shù)據(jù)集離線實驗數(shù)據(jù)集動機：為離線驗證一個算法或系統(tǒng)的性能，需在實驗數(shù)據(jù)集上對其進(jìn)行評測針對不同類型的算法，需要使用不同類型的數(shù)據(jù)集為驗證算法的穩(wěn)定性，通常還需在多個不同的數(shù)據(jù)集上對其進(jìn)行評測數(shù)據(jù)來源：常用數(shù)據(jù)集：MovieLens、Netflix、Last.FM、AmazonProduct等各種數(shù)據(jù)競賽平臺，例如Kaggle、天池等MovieLens數(shù)據(jù)集推薦系統(tǒng)領(lǐng)域最為常用的實驗數(shù)據(jù)集MovieLens：一個非商業(yè)性的、以研究為目的的實驗性電影推薦網(wǎng)站允許用戶對自己看過的電影進(jìn)行評分，評分區(qū)間為1~5分根據(jù)用戶歷史評分信息，預(yù)測對未看電影的評分和并為其推薦電影目前該數(shù)據(jù)集有三個不同規(guī)模的子數(shù)據(jù)集（數(shù)據(jù)采樣）MovieLens-100K：943個用戶對1682部電影的十萬條評分?jǐn)?shù)據(jù)MovieLens-1M：6040個用戶對3900部電影的一百萬條評分?jǐn)?shù)據(jù)MovieLens-10M：71567個用戶對10681部電影的一千萬條評分?jǐn)?shù)據(jù)每個用戶至少給20部電影評過分（刪除評分過少用戶，數(shù)據(jù)過濾）/datasets/movielens/消費者評論數(shù)據(jù)集Epinions數(shù)據(jù)集：E是一個知名的消費者評論網(wǎng)站用戶可以在該網(wǎng)站上評價(評論、評分)自己使用過的商品其他用戶可以查看這些打分和評論，并給出肯定或者反對的評價網(wǎng)站會為每個用戶建立一個信任用戶列表數(shù)據(jù)集特色：包含評分?jǐn)?shù)據(jù)、評論文本、社交關(guān)系等下載地址：/epinions.htmlYelp數(shù)據(jù)集：Yelp是美國一個著名的商戶點評網(wǎng)站囊括各地餐館、購物中心、酒店、旅游等領(lǐng)域的商戶用戶可以在Yelp網(wǎng)站上給商戶打分、提交評論、交流購物體驗等數(shù)據(jù)集特色：包含用戶評分、評論文本、商戶屬性等下載地址：/dataset電商數(shù)據(jù)集Amazonproduct數(shù)據(jù)集：電商評論數(shù)據(jù)集從亞馬遜（Amazon）電商平臺上爬取的用戶-商品數(shù)據(jù)用戶對商品的評論信息（評分、文本、投票等）商品的屬性信息（描述、類別、價格、品牌和特性）