電子商務推薦系統(tǒng)介紹

1、2022-7-3報告人：報告人：鄧愛林鄧愛林2022-7-3l電子商務推薦系統(tǒng)簡介電子商務推薦系統(tǒng)簡介l電子商務推薦系統(tǒng)技術介紹電子商務推薦系統(tǒng)技術介紹l基于關聯(lián)規(guī)則的推薦算法基于關聯(lián)規(guī)則的推薦算法l基于最近鄰居的協(xié)同過濾算法基于最近鄰居的協(xié)同過濾算法l基于項目的協(xié)同過濾算法基于項目的協(xié)同過濾算法2022-7-3lHarvard商學院的商學院的Joe Ping在在大規(guī)模定制大規(guī)模定制一文中認為現(xiàn)一文中認為現(xiàn)代企業(yè)應該從大規(guī)模生產(chǎn)代企業(yè)應該從大規(guī)模生產(chǎn)(以標準化的產(chǎn)品和均勻的市以標準化的產(chǎn)品和均勻的市場為特征場為特征)向大規(guī)模定制向大規(guī)模定制(為不同客戶的不同需求提供不為不同客戶的不同需求提供不

2、同的商品同的商品)轉化轉化l電子商務推薦系統(tǒng)電子商務推薦系統(tǒng)(Recommendation System)向客戶提向客戶提供商品信息和建議，模擬銷售人員幫助客戶完成購買供商品信息和建議，模擬銷售人員幫助客戶完成購買過程過程2022-7-3l電子商務推薦系統(tǒng)的作用：電子商務推薦系統(tǒng)的作用： 將電子商務網(wǎng)站的瀏覽者轉變?yōu)橘徺I者將電子商務網(wǎng)站的瀏覽者轉變?yōu)橘徺I者(Converting Browsers into Buyers) 提高電子商務網(wǎng)站的交叉銷售能力提高電子商務網(wǎng)站的交叉銷售能力(Cross-Sell) 提高客戶對電子商務網(wǎng)站的忠誠度提高客戶對電子商務網(wǎng)站的忠誠度(Building Loya

3、lty)2022-7-3l電子商務推薦系統(tǒng)的界面表現(xiàn)形式分類：電子商務推薦系統(tǒng)的界面表現(xiàn)形式分類： Browsing：客戶提出對特定商品的查詢要求，推薦客戶提出對特定商品的查詢要求，推薦系統(tǒng)根據(jù)查詢要求返回高質量的推薦系統(tǒng)根據(jù)查詢要求返回高質量的推薦 Similar Item：推薦系統(tǒng)根據(jù)客戶購物籃中的商品推薦系統(tǒng)根據(jù)客戶購物籃中的商品和客戶可能感興趣的商品推薦類似的商品和客戶可能感興趣的商品推薦類似的商品 Email：推薦系統(tǒng)通過電子郵件的方式通知客戶可推薦系統(tǒng)通過電子郵件的方式通知客戶可能感興趣的商品信息能感興趣的商品信息 Text Comments：推薦系統(tǒng)向客戶提供其他客戶對推薦系統(tǒng)向

4、客戶提供其他客戶對相應產(chǎn)品的評論信息相應產(chǎn)品的評論信息2022-7-3l電子商務推薦系統(tǒng)的界面表現(xiàn)形式分類電子商務推薦系統(tǒng)的界面表現(xiàn)形式分類(續(xù)續(xù))： Average Rating：推薦系統(tǒng)向客戶提供其他客戶對推薦系統(tǒng)向客戶提供其他客戶對相應產(chǎn)品的等級評價相應產(chǎn)品的等級評價 Top-N：推薦系統(tǒng)根據(jù)客戶的喜好向客戶推薦最可推薦系統(tǒng)根據(jù)客戶的喜好向客戶推薦最可能吸引客戶的能吸引客戶的N件產(chǎn)品件產(chǎn)品 Ordered Search Results：推薦系統(tǒng)列出所有的搜索推薦系統(tǒng)列出所有的搜索結果，并將搜索結果按照客戶的興趣降序排列結果，并將搜索結果按照客戶的興趣降序排列 2022-7-3l電子商務推

5、薦系統(tǒng)的輸入：電子商務推薦系統(tǒng)的輸入： 客戶輸入客戶輸入(Targeted Customer Inputs)隱式瀏覽輸入隱式瀏覽輸入(Implicit navigation)：客戶的瀏覽行為作客戶的瀏覽行為作為推薦系統(tǒng)的輸入，但客戶并不知道這一點為推薦系統(tǒng)的輸入，但客戶并不知道這一點顯式瀏覽輸入顯式瀏覽輸入(Explicit navigation) ：客戶的瀏覽行為是客戶的瀏覽行為是有目的向推薦系統(tǒng)提供自己的喜好有目的向推薦系統(tǒng)提供自己的喜好關鍵詞和項目屬性輸入關鍵詞和項目屬性輸入(Keywords and Item attributes)：客戶輸入關鍵詞或項目的有關屬性以得到推薦系統(tǒng)有價客戶

6、輸入關鍵詞或項目的有關屬性以得到推薦系統(tǒng)有價值的推薦值的推薦用戶購買歷史用戶購買歷史(Purchase history)：用戶過去的購買紀錄用戶過去的購買紀錄2022-7-3l電子商務推薦系統(tǒng)的輸入電子商務推薦系統(tǒng)的輸入(續(xù)續(xù))： 社團輸入社團輸入(Community Inputs)項目屬性項目屬性(Item Attribute)：社團對商品風格和類社團對商品風格和類別的集體評判別的集體評判社團購買歷史社團購買歷史(Community Purchase History)：社團過去的購買紀錄社團過去的購買紀錄文本評價文本評價(Text Comments)：其他客戶對商品的其他客戶對商品的文本評價

7、，計算機并不知道評價是好是壞文本評價，計算機并不知道評價是好是壞評分評分(Rating)：其他客戶對商品的評分，計算機其他客戶對商品的評分，計算機可以對評分進行處理可以對評分進行處理2022-7-3l電子商務推薦系統(tǒng)的輸出電子商務推薦系統(tǒng)的輸出： 建議建議(Suggestion)單個建議單個建議(Single Item)未排序建議列表未排序建議列表(Unordered List)排序建議列表排序建議列表(Ordered List) 預言預言(Prediction)：系統(tǒng)對給定項目的總體評分系統(tǒng)對給定項目的總體評分 個體評分個體評分(Individual Rating)：輸出其他客戶對商品輸出其

8、他客戶對商品的個體評分的個體評分 評論評論(Review)：輸出其他客戶對商品的文本評價輸出其他客戶對商品的文本評價2022-7-3l推薦技術分類標準：推薦技術分類標準： 自動化程度自動化程度(Degree of Automation)：客戶為了得到客戶為了得到推薦系統(tǒng)的推薦是否需要顯式的輸入信息推薦系統(tǒng)的推薦是否需要顯式的輸入信息 持久性程度持久性程度(Degree of Persistence)：推薦系統(tǒng)產(chǎn)生推薦系統(tǒng)產(chǎn)生推薦是基于客戶當前的單個會話推薦是基于客戶當前的單個會話(Session)還是基于還是基于客戶的多個會話客戶的多個會話2022-7-3l推薦技術分類推薦技術分類 Non-P

9、ersonalized Recommendation：推薦系統(tǒng)的推推薦系統(tǒng)的推薦主要基于其他客戶對該產(chǎn)品的平均評價，這種推薦主要基于其他客戶對該產(chǎn)品的平均評價，這種推薦系統(tǒng)獨立于客戶，所有的客戶得到的推薦都是相薦系統(tǒng)獨立于客戶，所有的客戶得到的推薦都是相同的同的 (自動，瞬時自動，瞬時) Attributed-Based Recommendation：推薦系統(tǒng)的推：推薦系統(tǒng)的推薦主要基于產(chǎn)品的屬性特征薦主要基于產(chǎn)品的屬性特征 (手工手工) Item-to-Item Correlation：推薦系統(tǒng)根據(jù)客戶感興：推薦系統(tǒng)根據(jù)客戶感興趣的產(chǎn)品推薦相關的產(chǎn)品趣的產(chǎn)品推薦相關的產(chǎn)品 (瞬時瞬時) Pe

10、ople-to-People Correlation：，又稱協(xié)同過濾，推：，又稱協(xié)同過濾，推薦系統(tǒng)根據(jù)客戶與其他已經(jīng)購買了商品的客戶之間薦系統(tǒng)根據(jù)客戶與其他已經(jīng)購買了商品的客戶之間的相關性進行推薦的相關性進行推薦 (自動，持久自動，持久)2022-7-3l電子商務推薦系統(tǒng)研究熱點與方向：電子商務推薦系統(tǒng)研究熱點與方向： 對當前的電子商務推薦系統(tǒng)進行改進，以使得推薦對當前的電子商務推薦系統(tǒng)進行改進，以使得推薦系統(tǒng)能產(chǎn)生更加精確的推薦系統(tǒng)能產(chǎn)生更加精確的推薦 將數(shù)據(jù)挖掘技術及將數(shù)據(jù)挖掘技術及Web挖掘技術應用到電子商務推挖掘技術應用到電子商務推薦系統(tǒng)中，產(chǎn)生完全自動化的推薦，使用戶感受到薦系統(tǒng)中，

11、產(chǎn)生完全自動化的推薦，使用戶感受到完全個性化的購物體驗完全個性化的購物體驗 將電子商務推薦系統(tǒng)由虛擬的銷售人員轉變?yōu)槭袌鰧㈦娮由虅胀扑]系統(tǒng)由虛擬的銷售人員轉變?yōu)槭袌龇治龉ぞ叻治龉ぞ?開發(fā)銷售方的電子商務推薦系統(tǒng)，為商家的產(chǎn)品定開發(fā)銷售方的電子商務推薦系統(tǒng)，為商家的產(chǎn)品定價、促銷活動及交叉銷售等提供推薦價、促銷活動及交叉銷售等提供推薦 2022-7-3l電子商務推薦系統(tǒng)使用的技術主要有：電子商務推薦系統(tǒng)使用的技術主要有： Bayesian網(wǎng)絡網(wǎng)絡(Bayesian Network) 關聯(lián)規(guī)則關聯(lián)規(guī)則(Association Rules) 聚類聚類(Clustering) Horting圖圖(Ho

12、rting Graph) 協(xié)同過濾技術協(xié)同過濾技術(Collaborative Filtering)2022-7-3l電子商務推薦系統(tǒng)中的電子商務推薦系統(tǒng)中的Bayesian網(wǎng)絡技術利用訓練集網(wǎng)絡技術利用訓練集創(chuàng)建相應的模型，模型用決策樹表示，節(jié)點和邊表示創(chuàng)建相應的模型，模型用決策樹表示，節(jié)點和邊表示客戶信息?？蛻粜畔ⅰ模型的建立可以離線進行，一般需要數(shù)小時或數(shù)天，模型的建立可以離線進行，一般需要數(shù)小時或數(shù)天，得到的模型非常小，對模型的使用非?？斓玫降哪Ｐ头浅Ｐ。瑢δＰ偷氖褂梅浅？靗這種方法適合客戶的興趣愛好變化比較慢的場合這種方法適合客戶的興趣愛好變化比較慢的場合l推薦精度和最近鄰技術差不

13、多推薦精度和最近鄰技術差不多2022-7-3l電子商務推薦系統(tǒng)中的關聯(lián)規(guī)則技術根據(jù)關聯(lián)規(guī)則發(fā)電子商務推薦系統(tǒng)中的關聯(lián)規(guī)則技術根據(jù)關聯(lián)規(guī)則發(fā)現(xiàn)算法和客戶當前的購買行為向用戶產(chǎn)生推薦現(xiàn)算法和客戶當前的購買行為向用戶產(chǎn)生推薦l關聯(lián)規(guī)則的發(fā)現(xiàn)也可以離線進行關聯(lián)規(guī)則的發(fā)現(xiàn)也可以離線進行l(wèi)推薦精度比最近鄰技術略差推薦精度比最近鄰技術略差l具體介紹見第三節(jié)具體介紹見第三節(jié)2022-7-3l電子商務推薦系統(tǒng)中的聚類技術將具有相似愛好的客電子商務推薦系統(tǒng)中的聚類技術將具有相似愛好的客戶分配到相同的族中，聚類產(chǎn)生之后，根據(jù)族中其他戶分配到相同的族中，聚類產(chǎn)生之后，根據(jù)族中其他客戶對某商品的評價就可以得到系統(tǒng)對該商

14、品的評價客戶對某商品的評價就可以得到系統(tǒng)對該商品的評價l聚類過程可以離線進行聚類過程可以離線進行l(wèi)聚類產(chǎn)生之后，性能比較好聚類產(chǎn)生之后，性能比較好l如果某客戶處于一個聚類的邊緣，則對該客戶的推薦如果某客戶處于一個聚類的邊緣，則對該客戶的推薦精度比較低精度比較低l推薦精度比最近鄰技術略差推薦精度比最近鄰技術略差2022-7-3l電子商務推薦系統(tǒng)中的電子商務推薦系統(tǒng)中的Horting圖技術是一種基于圖的圖技術是一種基于圖的方法，節(jié)點代表客戶，邊代表兩個客戶之間的相似度。方法，節(jié)點代表客戶，邊代表兩個客戶之間的相似度。在圖中尋找近鄰節(jié)點，然后綜合近鄰節(jié)點的觀點形成在圖中尋找近鄰節(jié)點，然后綜合近鄰節(jié)點

15、的觀點形成最后的推薦最后的推薦lHorting圖技術可以跳過中間節(jié)點尋找最近鄰居，考慮圖技術可以跳過中間節(jié)點尋找最近鄰居，考慮了節(jié)點之間的傳遞相似關系了節(jié)點之間的傳遞相似關系l推薦精度優(yōu)于最近鄰技術推薦精度優(yōu)于最近鄰技術2022-7-3l電子商務推薦系統(tǒng)中的協(xié)同過濾技術一般采用最近鄰電子商務推薦系統(tǒng)中的協(xié)同過濾技術一般采用最近鄰技術，利用客戶的歷史喜好信息計算客戶之間的距離，技術，利用客戶的歷史喜好信息計算客戶之間的距離，目標客戶對特定商品的喜好程度由其最近鄰居對商品目標客戶對特定商品的喜好程度由其最近鄰居對商品評價的加權平均值來計算評價的加權平均值來計算l可以處理客戶數(shù)據(jù)變化比較快的情況可以

16、處理客戶數(shù)據(jù)變化比較快的情況l在大型數(shù)據(jù)庫中搜索最近鄰居非常耗時，實時性不好在大型數(shù)據(jù)庫中搜索最近鄰居非常耗時，實時性不好2022-7-3l協(xié)同過濾算法的主要挑戰(zhàn)：協(xié)同過濾算法的主要挑戰(zhàn)： 算法的適應能力：處理大規(guī)模的數(shù)據(jù)算法的適應能力：處理大規(guī)模的數(shù)據(jù) 推薦精度，使用如下兩個指標來度量：推薦精度，使用如下兩個指標來度量：False negatives：客戶喜歡但推薦系統(tǒng)并沒有推客戶喜歡但推薦系統(tǒng)并沒有推薦的商品薦的商品False positive：推薦系統(tǒng)推薦但客戶并不喜歡的推薦系統(tǒng)推薦但客戶并不喜歡的商品商品2022-7-3l關聯(lián)規(guī)則的意義，支持度置信度等概念大家都很熟悉，關聯(lián)規(guī)則的意義，

17、支持度置信度等概念大家都很熟悉，簡單介紹一下簡單介紹一下l關聯(lián)規(guī)則就是在一個交易數(shù)據(jù)庫中統(tǒng)計購買了商品集關聯(lián)規(guī)則就是在一個交易數(shù)據(jù)庫中統(tǒng)計購買了商品集X的交易中有多大比例的交易同時購買了商品集的交易中有多大比例的交易同時購買了商品集Y，得，得到的關聯(lián)規(guī)則表示為：到的關聯(lián)規(guī)則表示為：X=Ys%,c%ls表示關聯(lián)規(guī)則的支持度，表示關聯(lián)規(guī)則的支持度，c表示關聯(lián)規(guī)則的置信度表示關聯(lián)規(guī)則的置信度l關聯(lián)規(guī)則的發(fā)現(xiàn)算法很多，如關聯(lián)規(guī)則的發(fā)現(xiàn)算法很多，如Apriori，AprioriTid，DHP，F(xiàn)P-tree等等2022-7-3l算法過程：算法過程： 使用關聯(lián)規(guī)則發(fā)現(xiàn)算法找出所有滿足最小支持度和使用關聯(lián)規(guī)

18、則發(fā)現(xiàn)算法找出所有滿足最小支持度和最小置信度的關聯(lián)規(guī)則最小置信度的關聯(lián)規(guī)則R 找出找出R中所有被客戶支持的關聯(lián)規(guī)則中所有被客戶支持的關聯(lián)規(guī)則R1，即關聯(lián)規(guī)，即關聯(lián)規(guī)則左邊的所有商品都被客戶購買則左邊的所有商品都被客戶購買 找出被關聯(lián)規(guī)則找出被關聯(lián)規(guī)則R1所預測并且沒有被客戶所購買的所預測并且沒有被客戶所購買的所有商品所有商品P 根據(jù)根據(jù)P中商品在關聯(lián)規(guī)則中商品在關聯(lián)規(guī)則R1中的置信度排序，如果中的置信度排序，如果某商品被多個規(guī)則預測，則取置信度最大者作為排某商品被多個規(guī)則預測，則取置信度最大者作為排序依據(jù)，挑選前序依據(jù)，挑選前N個商品作為算法輸出個商品作為算法輸出2022-7-3l算法分析：算

19、法分析： 第一步關聯(lián)規(guī)則的發(fā)現(xiàn)最耗時，是算法的瓶頸，但第一步關聯(lián)規(guī)則的發(fā)現(xiàn)最耗時，是算法的瓶頸，但可以離線進行可以離線進行 實時性比較好，因為后三步不會太耗時實時性比較好，因為后三步不會太耗時2022-7-3l基本思想：使用統(tǒng)計技術尋找與目標客戶有相同喜好基本思想：使用統(tǒng)計技術尋找與目標客戶有相同喜好的鄰居；然后根據(jù)目標客戶多個鄰居的觀點產(chǎn)生向目的鄰居；然后根據(jù)目標客戶多個鄰居的觀點產(chǎn)生向目標客戶的推薦標客戶的推薦2022-7-3l算法分為三個主要的階段：算法分為三個主要的階段： 表示表示(Representation)：對客戶已經(jīng)購買的商品進行對客戶已經(jīng)購買的商品進行建模建模 鄰居形成鄰居形

20、成(Neighborhood Formation)：尋找目標客尋找目標客戶所對應的鄰居戶所對應的鄰居 推薦產(chǎn)生推薦產(chǎn)生(Recommendation Generation)：從目標客從目標客戶的鄰居中產(chǎn)生戶的鄰居中產(chǎn)生N項產(chǎn)品推薦項產(chǎn)品推薦2022-7-3l表示階段：用表示階段：用m*n階客戶階客戶-商品矩陣表示商品矩陣表示lRi, j = 1，如果第，如果第i個客戶購買了第個客戶購買了第j件商品件商品lRi, j = 0，如果第，如果第i個客戶沒有購買第個客戶沒有購買第j件商品件商品2022-7-3l上述表示稱為上述表示稱為原始表示原始表示(Original Representation)，

21、這，這種表示的主要問題有：種表示的主要問題有： 稀疏性稀疏性(Sparsity)：大部分的客戶購買的商品不到全大部分的客戶購買的商品不到全部商品的部商品的1%，從而使得推薦精度很低，從而使得推薦精度很低 適應性適應性(Scalability)：計算代價隨著客戶數(shù)目和商品計算代價隨著客戶數(shù)目和商品數(shù)目的增加而增加，很難滿足實時性要求數(shù)目的增加而增加，很難滿足實時性要求 同義詞問題同義詞問題(Synonymy)：同一類商品的名字不一樣同一類商品的名字不一樣2022-7-3l通過通過奇異值分解奇異值分解(Singular Value Decomposition)將將m*n階客戶階客戶-商品矩陣變換為

22、商品矩陣變換為m*k階矩陣，這種表示稱為階矩陣，這種表示稱為降降維表示維表示(Reduced Dimensional Representation)，可以部，可以部分解決原始表示存在的稀疏性、縮放性和同義詞問題分解決原始表示存在的稀疏性、縮放性和同義詞問題2022-7-3l鄰居形成階段：關鍵在于計算客戶之間的相似性。鄰居形成階段：關鍵在于計算客戶之間的相似性。l目標：對于每個客戶目標：對于每個客戶u，找到它的，找到它的l個鄰居個鄰居N = N1, N2, , Nl，使得，使得sim(u, N1)最大，最大， sim(u, N2)次次之，之，。2022-7-3l相似性度量方法：相似性度量方法：

23、相關性相關性(Correlation)：使用使用Pearson相關系數(shù)表示相關系數(shù)表示 余弦相似性余弦相似性(Cosine)：將客戶將客戶a和客戶和客戶b看作兩個向量，看作兩個向量， 客戶之間的相似性通過向量之間的于弦夾角來表示客戶之間的相似性通過向量之間的于弦夾角來表示2022-7-3l推薦產(chǎn)生階段：由目標客戶的鄰居產(chǎn)生推薦產(chǎn)生階段：由目標客戶的鄰居產(chǎn)生N件商品推薦，可以件商品推薦，可以采用如下兩種不同方法產(chǎn)生推薦采用如下兩種不同方法產(chǎn)生推薦 最頻繁項目推薦最頻繁項目推薦(Most-frequent Item Recommendation)：掃描目標客戶每一個鄰居的購買數(shù)據(jù)，對其購買的商品進

24、掃描目標客戶每一個鄰居的購買數(shù)據(jù)，對其購買的商品進行計數(shù)，選擇出現(xiàn)頻率最高且目標客戶沒有購買的前行計數(shù)，選擇出現(xiàn)頻率最高且目標客戶沒有購買的前N件件商品最為推薦結果商品最為推薦結果 基于關聯(lián)的推薦基于關聯(lián)的推薦(Association Rule-based Recommendation)：類似于前面介紹的基于關聯(lián)規(guī)則的推薦算法，只是將目標類似于前面介紹的基于關聯(lián)規(guī)則的推薦算法，只是將目標客戶的鄰居作為算法的輸入客戶的鄰居作為算法的輸入2022-7-3l基本思路：基本思路：根據(jù)目標客戶已經(jīng)評價過的項目與目標項根據(jù)目標客戶已經(jīng)評價過的項目與目標項目的相似性，選擇目的相似性，選擇k個最相似的項目個最相似的項目i1, i2, , ik，同，同時得到時得到k個最相似的項目與目標項目的相似度，記為個最相似的項目與目標項目的相似度，記為si1, si2, , sik，然后將目標客