數(shù)據(jù)中心培訓(xùn)

推薦系統(tǒng)數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第1頁。1.推薦系統(tǒng)&個性化推薦系統(tǒng)2.協(xié)同過濾3.SVD分解4.SVD+協(xié)同過濾5.基于latentfactormodel的矩陣分解模型數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第2頁。1.1推薦系統(tǒng)熱門推薦相關(guān)推薦個性化推薦推薦系統(tǒng)為什么個性化推薦？What

islongtail：由《連線》雜志主編ChrisAnderson在2004年10月“長尾”一文中最早提出，用來描述諸如亞馬遜和Netflix之類網(wǎng)站的商業(yè)和經(jīng)濟模式。傳統(tǒng)的“80%的銷售額來自于20%的熱門品牌”賣出更多不熱門的商品，長尾商品的總銷售額將是不可小覷的數(shù)字。主流商品代表了絕大多數(shù)用戶的需求，而長尾商品代表了一小部分用戶的個性需求。因此，如果要通過發(fā)掘長尾提高銷售額，必須充分研究用戶的興趣。長尾互聯(lián)網(wǎng)加入數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第3頁。亞馬遜：20%-30%數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第4頁。2.1協(xié)同過濾（CollaborativeFilteringRecommendation）主要思想：和你興趣合得來的朋友喜歡的，你也很有可能喜歡；喜歡一件東西A，而另一件東西B與這件十分相似，就很有可能喜歡B；大家都比較滿意的，人人都追著搶的，我也就很有可能喜歡經(jīng)典著名的商業(yè)組織有：

1、Tapestry（1992）：電子郵件分類過濾，解決Xerox公司在PaloAlto的研究中心資訊過載問題。

2、GroupLens（1994）：推薦系統(tǒng)，在線社區(qū)，移動及普適技術(shù)，數(shù)字圖書館，和地理信息系統(tǒng)，見大名鼎鼎的MovieLens電影評分推薦。

3、Netflix：研究影視視頻在線推薦。

4、Amazon：亞馬遜網(wǎng)絡(luò)書城，為亞馬遜每年貢獻(xiàn)二三十個百分點的創(chuàng)收。數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第5頁。2.2協(xié)同過濾分類：

基于用戶協(xié)同過濾（User–based）：基于計算相似用戶用以推薦基于物品協(xié)同過濾（Item–based）：基于計算相似物品用以推薦數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第6頁。2.3基于用戶的協(xié)同過濾最古老的算法，標(biāo)志了推薦系統(tǒng)的誕生，在1992年被提出用于郵件過濾，1994年被Grouplens用于新聞過濾。通過不同用戶對item的評分來評測用戶之間的相似性，基于用戶之間的相似性做出推薦。步驟：（1）找到和目標(biāo)用戶興趣相似的用戶集合（2）找到這個集合中的用戶喜歡的，且目標(biāo)用戶沒有聽說過

的物品推薦給目標(biāo)用戶數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第7頁。2.3.1發(fā)現(xiàn)興趣相似用戶

數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第8頁。數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第9頁。2.3.2推薦物品首先需要從矩陣中找出與目標(biāo)用戶u最相似的K個用戶，用集合S(u,K)表示，將S中用戶喜歡的物品全部提取出來，并去除u已經(jīng)喜歡的物品。對于每個候選物品i，用戶u對它感興趣的程度用如下公式計算：其中rvi表示用戶v對i的喜歡程度，在一些需要用戶給予評分的推薦系統(tǒng)中，則要代入用戶評分。假設(shè)我們要給A推薦物品，選取K=3個相似用戶，相似用戶則是：B、C、D，那么他們喜歡過并且A沒有喜歡過的物品有：c、e，那么分別計算p(A,c)和p(A,e)：

數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第10頁。2.4.1基于物品的協(xié)同過濾（1）計算物品之間的相似度（2）根據(jù)物品的相似度和用戶的歷史行為給用戶生成推薦列表喜歡物品i的用戶中有多少比例的用戶也喜歡j如果j很熱門，值接近于1，對于挖掘長尾信息不是一個好的特性。

數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第11頁。和用戶歷史上感興趣的物品越相似的物品，越可能在推薦表中獲得比較高的排名。

數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第12頁。行與行之間比較的是基于用戶的相似度，列與列之間比較的則是基于物品的相似度。到底使用哪一種相似度呢？這取決于用戶或物品的數(shù)目?；谖锲废嗨贫扔嬎愕臅r間會隨物品數(shù)量的增加而增加，基于用戶的相似度計算的時間則會隨用戶數(shù)量的增加而增加。在Netflix大賽中，則會有480000個用戶和17700部電影。如果用戶的數(shù)目很多，那么我們可能傾向于使用基于物品相似度的計算方法。數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第13頁。3.SVD分解

數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第14頁。數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第15頁。如何知道僅需保留前3個奇異值的呢？確定要保留的奇異值的數(shù)目有很多啟發(fā)式的策略，其中一個典型的做法就是保留矩陣中90%的信息。為了計算總信息，我們將所有的奇異值求其平方和。于是可以將奇異值的平方和累加到總值的90%為止。通過三個矩陣對原始矩陣進行了近似

數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第16頁。4.SVD+協(xié)同過濾SVD是一種強大的降維工具，我們可以利用SVD來逼近矩陣并從中提取重要特征。通過保留矩陣80%～90%的信息，就可以得到重要的特征并去掉噪聲。SVD已經(jīng)運用到了多個應(yīng)用中，其中一個成功的應(yīng)用案例就是推薦系統(tǒng)。推薦系統(tǒng)將物品推薦給用戶，協(xié)同過濾則是一種基于用戶喜好或行為數(shù)據(jù)的推薦的實現(xiàn)方法。協(xié)同過濾的核心是相似度計算方法，有很多相似度計算方法都可以用于計算物品或用戶之間的相似度。通過在低維空間下計算相似度，SVD提高了推薦系系統(tǒng)的效果。數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第17頁。VozalisMG,MargaritisKG.ApplyingSVDonGeneralizedItem-basedFiltering[J].IJCSA,2006,3(3):27-51.

數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第18頁。5.基于梯度下降法的矩陣分解模型在時間復(fù)雜度和空間復(fù)雜度方面都有很大的優(yōu)勢`思想：讓變量沿著目標(biāo)函數(shù)負(fù)梯度的方向移動，直到移動到極小值點一個用戶u對一個物品i的打分rui可以通過用戶特征向量pu和物品特征向量qi的點乘來建模特征向量pu;qi可以通過優(yōu)化如下的損失函數(shù)進行訓(xùn)練：

數(shù)據(jù)中心培訓(xùn)全文共20頁，當(dāng)前為第19頁。矩陣分解的思路是把評分矩陣通過分解，用一個低秩的矩陣來逼近原來的評分矩陣。優(yōu)點：容易編程實現(xiàn)較低的時間和空間復(fù)雜度預(yù)測的精度比較高缺點推薦的結(jié)果不具有很好的可解釋性。因為把ratingsmatrix分解成user-factormatrix和item-factormatrix，這里的factor很難用實際意義的概念來解釋。不過，矩陣分解的過程相當(dāng)于一個軟聚類的過程，得到的每一個factor相當(dāng)于每一個聚類后的分組，只是