CH05 電子商務(wù)推薦系統(tǒng)

1第五章：電子商務(wù)推薦系統(tǒng)陳震宇東北大學(xué)管理學(xué)院什么是推薦系統(tǒng)？什么是推薦系統(tǒng)？TheNextflixprizestoryInOctober2006,Netflixannounceditwouldgivea$1milliontowhoevercreatedamovie-recommendingalgorithm10%betterthanitsown.Withintwoweeks,theDVDrentalcompanyhadreceived169submissions,includingthreethatwereslightlysuperiortoCinematch,Netflix'srecommendationsoftwareAfteramonth,morethanathousandprogramshadbeenentered,andthetopscorerswerealmosthalfwaytothegoalButwhatstartedoutlookingsimplesuddenlygothard.Therateofimprovementbegantoslow.Thesamethreeorfourteamscloggedthetopoftheleader-board.TheNextflixprizestoryProgresswasalmostimperceptible,andpeoplebegantosaya10percentimprovementmightnotbepossible.Threeyearslater,on21stofSeptember2009,Netflixannouncedthewinner.電子商務(wù)推薦系統(tǒng)概念Harvard商學(xué)院的JoePing在大規(guī)模定制一文中認(rèn)為現(xiàn)代企業(yè)應(yīng)該從大規(guī)模生產(chǎn)(以標(biāo)準(zhǔn)化的產(chǎn)品和均勻的市場(chǎng)為特征)向大規(guī)模定制(為不同客戶的不同需求提供不同的商品)轉(zhuǎn)化。電子商務(wù)推薦系統(tǒng)(RecommendationSystem)向客戶提供商品信息和建議，模擬銷售人員幫助客戶完成購(gòu)買過程。推薦系統(tǒng)在互聯(lián)網(wǎng)產(chǎn)品與服務(wù)推薦中廣泛使用.大多數(shù)電子商務(wù)網(wǎng)站有推薦系統(tǒng).2023/2/4電子商務(wù)推薦系統(tǒng)作用電子商務(wù)推薦系統(tǒng)的兩個(gè)重要功能.面對(duì)海量信息，推薦系統(tǒng)幫助使用者解決信息過載問題.推薦系統(tǒng)幫助商家銷售更多商品，獲取更多利潤(rùn).從商家的角度，電子商務(wù)推薦系統(tǒng)有助于：將電子商務(wù)網(wǎng)站的瀏覽者轉(zhuǎn)變?yōu)橘?gòu)買者(ConvertingBrowsersintoBuyers)提高電子商務(wù)網(wǎng)站的交叉銷售能力(Cross-Selling)提高客戶對(duì)電子商務(wù)網(wǎng)站的忠誠(chéng)度(BuildingLoyalty)2023/2/4電子商務(wù)推薦系統(tǒng)分類電子商務(wù)推薦系統(tǒng)的輸出：建議(Suggestion)單個(gè)建議(SingleItem)未排序建議列表(UnorderedList)排序建議列表(OrderedList)預(yù)言(Prediction)：系統(tǒng)對(duì)給定項(xiàng)目的總體評(píng)分個(gè)體評(píng)分(IndividualRating)：輸出其他客戶對(duì)商品的個(gè)體評(píng)分評(píng)論(Review)：輸出其他客戶對(duì)商品的文本評(píng)價(jià)2023/2/4電子商務(wù)推薦系統(tǒng)分類電子商務(wù)推薦系統(tǒng)的輸入：客戶輸入(TargetedCustomerInputs)隱式瀏覽輸入(Implicitnavigation)：客戶的瀏覽行為作為推薦系統(tǒng)的輸入，但客戶并不知道這一點(diǎn)顯式瀏覽輸入(Explicitnavigation)：客戶的瀏覽行為是有目的向推薦系統(tǒng)提供自己的喜好關(guān)鍵詞和項(xiàng)目屬性輸入(KeywordsandItemattributes)：客戶輸入關(guān)鍵詞或項(xiàng)目的有關(guān)屬性以得到推薦系統(tǒng)有價(jià)值的推薦用戶購(gòu)買歷史(Purchasehistory)：用戶過去的購(gòu)買紀(jì)錄2023/2/4電子商務(wù)推薦系統(tǒng)簡(jiǎn)介電子商務(wù)推薦系統(tǒng)的輸入(續(xù))：社團(tuán)輸入(CommunityInputs)項(xiàng)目屬性(ItemAttribute)：社團(tuán)對(duì)商品風(fēng)格和類別的集體評(píng)判社團(tuán)購(gòu)買歷史(CommunityPurchaseHistory)：社團(tuán)過去的購(gòu)買紀(jì)錄文本評(píng)價(jià)(TextComments)：其他客戶對(duì)商品的文本評(píng)價(jià)，計(jì)算機(jī)并不知道評(píng)價(jià)是好是壞評(píng)分(Rating)：其他客戶對(duì)商品的評(píng)分，計(jì)算機(jī)可以對(duì)評(píng)分進(jìn)行處理2023/2/4電子商務(wù)推薦系統(tǒng)分類推薦技術(shù)分類標(biāo)準(zhǔn)：自動(dòng)化程度(DegreeofAutomation)：客戶為了得到推薦系統(tǒng)的推薦是否需要顯式的輸入信息持久性程度(DegreeofPersistence)：推薦系統(tǒng)產(chǎn)生推薦是基于客戶當(dāng)前的單個(gè)會(huì)話(Session)還是基于客戶的多個(gè)會(huì)話2023/2/4電子商務(wù)推薦系統(tǒng)分類推薦技術(shù)分類Non-PersonalizedRecommendation：推薦系統(tǒng)的推薦主要基于其他客戶對(duì)該產(chǎn)品的平均評(píng)價(jià)，這種推薦系統(tǒng)獨(dú)立于客戶，所有的客戶得到的推薦都是相同的(自動(dòng)，瞬時(shí))Attributed-BasedRecommendation：推薦系統(tǒng)的推薦主要基于產(chǎn)品的屬性特征(手工)Item-to-ItemCorrelation：推薦系統(tǒng)根據(jù)客戶感興趣的產(chǎn)品推薦相關(guān)的產(chǎn)品(瞬時(shí))People-to-PeopleCorrelation：推薦系統(tǒng)根據(jù)客戶與其他已經(jīng)購(gòu)買了商品的客戶之間的相關(guān)性進(jìn)行推薦(自動(dòng)，持久)2023/2/4電子商務(wù)推薦系統(tǒng)的研究問題給定一組使用者U

和一組推薦給使用者的對(duì)象集S.令

p是效用函數(shù)，用來(lái)測(cè)量某一對(duì)象s(S)對(duì)于某一特定的使用者

u(

U)的有用性，例如：p:U×S

R,R是完全有序集合(例如,一個(gè)區(qū)間的非負(fù)整數(shù)或者實(shí)數(shù))目標(biāo)基于歷史數(shù)據(jù)來(lái)學(xué)習(xí)

p.使用p來(lái)預(yù)測(cè)每一個(gè)對(duì)象s(S)對(duì)于每一個(gè)使用者u(U)的效用函數(shù).29預(yù)測(cè)的類型評(píng)分預(yù)測(cè)：預(yù)測(cè)使用者以前沒有使用過的對(duì)象的評(píng)分.例如：預(yù)測(cè)沒有看過的電影的評(píng)分.在這種情況下,對(duì)于使用者u

而言,對(duì)象s

的效用是u對(duì)s

的評(píng)分.TopN對(duì)象預(yù)測(cè)：預(yù)測(cè)使用者可能購(gòu)買的對(duì)象的排序列表.30電子商務(wù)推薦系統(tǒng)的基本方法基于內(nèi)容的推薦（Content-basedrecommendations）:Theuserwillberecommendeditemssimilartotheonestheuserpreferredinthepast;協(xié)同過濾(Collaborativefilteringorcollaborativerecommendations):Theuserwillberecommendeditemsthatpeoplewithsimilartastesandpreferenceslikedinthepast.混合方法(Hybrids):Combinecollaborativeandcontent-basedmethods.31基于內(nèi)容的推薦系統(tǒng)的思路推薦相似對(duì)象：Recommenditemssimilartothoseuserspreferredinthepast使用者資料：Userprofilingisthekey關(guān)鍵詞：Items/contentusuallydenotedbykeywords匹配：Matching“userpreferences”with“itemcharacteristics”…worksfortextualinformation向量空間方法：VectorSpaceModelwidelyused32基于內(nèi)容的推薦方法的局限性有的內(nèi)容難于通過關(guān)鍵詞描述：Notallcontentiswellrepresentedbykeywords,e.g.images無(wú)法區(qū)分基于相同特征的對(duì)象：ItemsrepresentedbysamesetoffeaturesareindistinguishableOverspecialization:unrateditemsnotshown大量?jī)?nèi)容信息導(dǎo)致匹配困難：Userswiththousandsofpurchasesisaproblem新使用者沒有歷史信息:Nohistoryavailable過于相似或者差異過大的推薦不容易被使用者接受：Shouldn’tshowitemsthataretoodifferent,ortoosimilar33協(xié)同過濾協(xié)同過濾(CF)是研究的最大，也是應(yīng)用最為廣泛的推薦方法.k-最近鄰法

(k-nearestneighbor),關(guān)聯(lián)規(guī)則法(associationrulesbasedprediction)

矩陣因子化法(matrixfactorization)CF的關(guān)鍵特征:itpredictstheutilityofitemsforauserbasedontheitemspreviouslyratedbyotherlike-mindedusers.34k-最近鄰方法(KNN)kNN(whichisalsocalledthememory-basedapproach)utilizestheentireuser-itemdatabasetogeneratepredictionsdirectly,i.e.,thereisnomodelbuilding.ThisapproachincludesbothUser-basedmethodsItem-basedmethods35abcdHowitworksk-最近鄰方法的原理36ItemtoItemUsertoUserabcdUser-to-UserRecommendationsaremadebyfindinguserswithsimilartastes.JaneandTimbothlikedItem2anddislikedItem3;itseemstheymighthavesimilartaste,whichsuggeststhatingeneralJaneagreeswithTim.ThismakesItem1agoodrecommendationforTim.

Thisapproachdoesnotscalewellformillionsofusers.Item-to-ItemRecommendationsaremadebyfindingitemsthathavesimilarappealtomanyusers.

DonandSandraaretwouserswholikedbothItem1andItem4.Thatsuggeststhat,ingeneral,peoplewholikedItem4willalsolikeitem1,soItem1willberecommendedtoTim.Thisapproachisscalabletomillionsofusersandmillionsofitems.協(xié)同過濾的基本思想37A9B3C::Z5ABC9::Z10A5B3C::Z7ABC8::ZA6B4C::ZA10B4C8..Z1

UserDatabaseActiveUserCorrelationMatchA9B3C..Z5A9B3C::Z5A10B4C8..Z1ExtractRecommendationsC協(xié)同過濾的相似度計(jì)算問題i1i2i3………u12-45-6u2………………u352-2-9…………………256529Howsimilararethey?-CosineVectorSimilarity-SpearmanCorrelation-Mean-squaredDifference-Entropy-basedUncertaintyPearsonCorrelationCoefficientCo-ratedItems基于使用者的

kNN方法基于使用者的KNN方法包含如下兩個(gè)步驟：鄰居信息項(xiàng)theneighborhoodformationphase；推薦項(xiàng)therecommendationphase.Therearemanyspecificmethodsforboth.Hereweonlyintroduceoneforeachphase.39鄰居信息項(xiàng)定義兩個(gè)使用者：Lettherecord(orprofile)ofthetargetuserbeu

(representedasavector),

andtherecordofanotheruserbev(v

T).使用者之間的相似性：Thesimilaritybetweenthetargetuser,u,andaneighbor,v,canbecalculatedusingthePearson’scorrelationcoefficient:40推薦項(xiàng)目標(biāo)使用者u對(duì)于對(duì)象i的評(píng)分預(yù)測(cè)：whereVisthesetofksimilarusers,rv,iistheratingofuservgiventoitemi,一個(gè)簡(jiǎn)化形式如下：

41基于對(duì)象的協(xié)同過濾算法計(jì)算對(duì)象i和j之間的相似性：計(jì)算對(duì)象相似性之后，選擇k個(gè)與目標(biāo)對(duì)象i最相似的對(duì)象，從而預(yù)測(cè)使用者u對(duì)于對(duì)象i的評(píng)分值：42局限性使用者評(píng)分尺度差異性：Differentusersmightusedifferentscales.Possiblesolution:weightedratings,i.e.deviationsfromaveragerating小規(guī)模數(shù)據(jù)庫(kù)難以找到相似使用者或者對(duì)象：Findingsimilarusers/usergroupsisn’tveryeasyNewuser:NopreferencesavailableNewitem:Noratingsavailable個(gè)人資料信息的價(jià)值：Demographicfilteringisrequired多屬性評(píng)分信息的價(jià)值：Multi-criteriaratingsisrequired43推薦系統(tǒng)中的關(guān)鍵問題45

冷啟動(dòng)問題缺少用戶購(gòu)買、瀏覽記錄等數(shù)據(jù)無(wú)法進(jìn)行用戶對(duì)商品喜好的預(yù)測(cè)單次推薦結(jié)果的多樣化在單次推薦中避免商品的單一如用戶買過一個(gè)兒童玩具，則全部推薦兒童玩具應(yīng)全面考慮用戶喜好（可能購(gòu)買商品）的多樣性多次推薦結(jié)果