基于深度學(xué)習(xí)的推薦系統(tǒng)：綜述總結(jié)

基于深度學(xué)習(xí)的推薦系統(tǒng)：綜述總結(jié)摘要：隨著在線信息量的不斷增長，推薦系統(tǒng)已成為克服此類信息過載的有效策略。鑒于其在許多網(wǎng)絡(luò)應(yīng)用中的廣泛采用，以及其改善與過度選擇相關(guān)的許多問題的潛在影響，推薦系統(tǒng)的實用性不容小覷。近年來，深度學(xué)習(xí)在計算機(jī)視覺和自然語言處理等許多研究領(lǐng)域引起了相當(dāng)大的興趣，不僅歸功于出色的表現(xiàn)，而且還具有從頭開始學(xué)習(xí)特征表征的吸引人的特性。深度學(xué)習(xí)的影響也很普遍，最近證明了它在應(yīng)用于信息檢索和推薦系統(tǒng)研究時的有效性。顯然，推薦系統(tǒng)中的深度學(xué)習(xí)領(lǐng)域正在蓬勃發(fā)展。本文旨在全面回顧最近基于深度學(xué)習(xí)的推薦系統(tǒng)的研究工作。更具體地說，我們提供并設(shè)計了基于深度學(xué)習(xí)的推薦模型的分類，并提供了最新技術(shù)的綜合摘要。最后，我們擴(kuò)展了當(dāng)前的趨勢，并提供了有關(guān)該領(lǐng)域新的令人興奮的發(fā)展的新觀點。介紹推薦系統(tǒng)是針對消費者過度選擇的直觀防線。鑒于網(wǎng)絡(luò)上可用信息的爆炸性增長，用戶經(jīng)常受到無數(shù)產(chǎn)品，電影或餐館的歡迎。因此，個性化是促進(jìn)更好用戶體驗的基本策略。總而言之，這些系統(tǒng)在各種信息訪問系統(tǒng)中發(fā)揮著至關(guān)重要和不可或缺的作用，以促進(jìn)業(yè)務(wù)和促進(jìn)決策過程[69,121]，并且在諸如電子商務(wù)和/或媒體網(wǎng)站等眾多網(wǎng)絡(luò)領(lǐng)域中普遍存在。通常，基于用戶偏好，物品特征，用戶與物品過去交互以及諸如時間（例如，序列感知推薦器）和空間（例如，POI推薦器）數(shù)據(jù)的一些其他附加信息來生成推薦列表。推薦模型主要分為協(xié)同過濾，基于內(nèi)容的推薦系統(tǒng)和基于輸入數(shù)據(jù)類型的混合推薦系統(tǒng)[1]。深度學(xué)習(xí)目前正在大肆炒作。過去幾十年見證了深度學(xué)習(xí)（DL）在計算機(jī)視覺和語音識別等許多應(yīng)用領(lǐng)域取得的巨大成功。學(xué)術(shù)界和工業(yè)界一直在競相將深度學(xué)習(xí)應(yīng)用于更廣泛的應(yīng)用，因為它能夠解決許多復(fù)雜的任務(wù)，同時提供最先進(jìn)的結(jié)果[27]。最近，深度學(xué)習(xí)極大地改變了推薦架構(gòu)，并為改進(jìn)推薦器的性能帶來了更多機(jī)會。基于深度學(xué)習(xí)的推薦系統(tǒng)的最新進(jìn)展通過克服傳統(tǒng)模型的障礙和實現(xiàn)高推薦質(zhì)量而獲得了顯著的關(guān)注。深度學(xué)習(xí)能夠有效地捕獲非線性和非平凡的用戶-物品關(guān)系，并且能夠?qū)⒏鼜?fù)雜的抽象編碼為更高層中的數(shù)據(jù)表示。此外，它還從豐富的可訪問數(shù)據(jù)源（如上下文，文本和可視信息）中捕獲數(shù)據(jù)本身內(nèi)的錯綜復(fù)雜的關(guān)系。推薦系統(tǒng)中深度學(xué)習(xí)的普遍性和普遍性。在行業(yè)中，推薦系統(tǒng)是增強(qiáng)用戶體驗和促進(jìn)許多在線網(wǎng)站和移動應(yīng)用程序的銷售/服務(wù)的關(guān)鍵工具[20,27,30,43,113]。例如，在Netfiix上觀看的電影中有80％來自推薦[43]，60％的視頻點擊來自YouTube的主頁推薦[30]。最近，許多公司采用深度學(xué)習(xí)來進(jìn)一步提高他們的推薦質(zhì)量[20,27,113]。Covington等。[27]提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的推薦算法，用于在YouTube上進(jìn)行視頻推薦。Cheng等。[20]提出了一個適用于GooglePlay的App推薦系統(tǒng)，具有廣泛而深入的模型。Shumpei等人。[113]為雅虎新聞提供了基于RNN的新聞推薦系統(tǒng)。所有這些模型都經(jīng)過了在線測試，并顯示出比傳統(tǒng)模型顯著的改進(jìn)。因此，我們可以看到深度學(xué)習(xí)推動了工業(yè)推薦應(yīng)用的顯著革命。近年來，基于深度學(xué)習(xí)的推薦方法的研究出版物數(shù)量呈指數(shù)級增長，為推薦系統(tǒng)研究中深度學(xué)習(xí)不可避免的普遍存在提供了有力證據(jù)。自2016年以來，領(lǐng)先的推薦系統(tǒng)國際會議RecSys1開始組織推薦系統(tǒng)2的深度學(xué)習(xí)定期研討會。該研討會旨在促進(jìn)研究并鼓勵基于深度學(xué)習(xí)的推薦系統(tǒng)的應(yīng)用。學(xué)術(shù)界和工業(yè)界深度學(xué)習(xí)的成功需要后續(xù)研究人員和從業(yè)人員進(jìn)行全面的審查和總結(jié)，以便更好地了解這些模型的優(yōu)缺點和應(yīng)用場景。這項調(diào)查與以前的調(diào)查有何不同？在基于深度學(xué)習(xí)的推薦領(lǐng)域已經(jīng)進(jìn)行了大量研究。然而，據(jù)我們所知，很少有系統(tǒng)的評論很好地塑造了這個領(lǐng)域，并定位了現(xiàn)有的工作和當(dāng)前的進(jìn)展。雖然有些作品已經(jīng)探索了建立在深度學(xué)習(xí)技術(shù)基礎(chǔ)上的推薦應(yīng)用程序，并試圖將這一研究領(lǐng)域正式化，但很少有人試圖深入總結(jié)當(dāng)前的努力或詳細(xì)說明該領(lǐng)域存在的開放性問題。本次調(diào)查旨在提供有關(guān)基于深度學(xué)習(xí)的推薦系統(tǒng)的當(dāng)前研究的全面總結(jié)，以識別當(dāng)前限制現(xiàn)實世界實施的開放性問題，并指出沿此維度的未來方向。在過去幾年中，已經(jīng)提出了許多傳統(tǒng)推薦系統(tǒng)的調(diào)查。例如，Su等人。[138]介紹了協(xié)同過濾技術(shù)的系統(tǒng)評價;伯克等人。[8]提出了混合推薦系統(tǒng)的綜合調(diào)查;Ferna'ndez-Tob'?as等。[40]和汗等人。[74]審查了跨域推薦模型;僅舉幾例。然而，基于深度學(xué)習(xí)的推薦系統(tǒng)缺乏廣泛的評論。據(jù)我們所知，只有兩項相關(guān)的簡短調(diào)查[7,97]正式公布。Betru等人。[7]介紹了三種基于深度學(xué)習(xí)的推薦模型[123,153,159]。雖然這三項任務(wù)在這一研究領(lǐng)域具有一定的影響力，但這項調(diào)查忽略了其他新興的高質(zhì)量作品。劉等人。[97]審查了13篇關(guān)于深度學(xué)習(xí)建議的論文，并建議根據(jù)輸入的形式（使用內(nèi)容信息的方法和沒有內(nèi)容信息的方法）和輸出（評級和排名）對這些模型進(jìn)行分類。然而，隨著新研究工作的出現(xiàn)，這種分類框架不再適用，需要一個新的包容性框架來理解這一研究領(lǐng)域。鑒于推薦系統(tǒng)中深度學(xué)習(xí)的日益普及和潛力，系統(tǒng)調(diào)查將具有很高的科學(xué)和實用價值。我們從不同角度分析了這些作品，并對這一領(lǐng)域提出了一些新的見解。為此，超過100項研究入圍并列入調(diào)查。我們?nèi)绾问占撐模吭谶@次調(diào)查中，我們收集了一百多篇相關(guān)論文。我們使用GoogleScholar作為主要搜索引擎，我們還采用了數(shù)據(jù)庫WebofScience作為發(fā)現(xiàn)相關(guān)論文的重要工具。此外，我們篩選了大多數(shù)相關(guān)的高質(zhì)量會議，如NIPS，ICML，ICLR，KDD，WWW，SIGIR，WSDM，RecSys等，僅舉幾例，以了解最近的工作。我們使用的主要關(guān)鍵詞包括：推薦系統(tǒng)，推薦，深度學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)，協(xié)同過濾，矩陣分解等。本次調(diào)查的貢獻(xiàn)。本次調(diào)查的目的是徹底審查有關(guān)基于深度學(xué)習(xí)的推薦系統(tǒng)的進(jìn)展的文獻(xiàn)。它提供了一個全景圖，讀者可以快速了解并深入了解基于深度學(xué)習(xí)的推薦領(lǐng)域。該調(diào)查為推薦系統(tǒng)領(lǐng)域的創(chuàng)新奠定了基礎(chǔ)，并充分利用了該研究領(lǐng)域的豐富性。該調(diào)查為對推薦系統(tǒng)感興趣的研究人員，從業(yè)人員和教育工作者提供服務(wù)，希望他們在選擇深度神經(jīng)網(wǎng)絡(luò)來解決手頭的推薦任務(wù)時有一個粗略的指導(dǎo)方針?？傊?，本次調(diào)查的主要貢獻(xiàn)有三方面：（1）我們對基于深度學(xué)習(xí)技術(shù)的推薦模型進(jìn)行了系統(tǒng)評價，并提出了一種分類方案來定位和組織當(dāng)前的工作;（2）我們提供現(xiàn)有技術(shù)的概述和總結(jié)。（3）我們討論挑戰(zhàn)和開放性問題，確定本研究領(lǐng)域的新趨勢和未來方向，分享愿景，拓展基于深度學(xué)習(xí)的推薦系統(tǒng)研究的視野。本文的其余部分安排如下：第2節(jié)介紹了推薦系統(tǒng)和深度神經(jīng)網(wǎng)絡(luò)的預(yù)備，我們還討論了基于深度神經(jīng)網(wǎng)絡(luò)的推薦模型的優(yōu)缺點。第3節(jié)首先介紹了我們的分類框架，然后詳細(xì)介紹了最新技術(shù)。第4節(jié)討論了挑戰(zhàn)和突出的開放研究問題。第5節(jié)總結(jié)了論文。推薦系統(tǒng)和深度學(xué)習(xí)的概述在我們深入研究本調(diào)查的細(xì)節(jié)之前，我們先介紹一下有關(guān)推薦系統(tǒng)和深度學(xué)習(xí)技術(shù)的基本術(shù)語和概念。我們還討論了將深度神經(jīng)網(wǎng)絡(luò)引入推薦系統(tǒng)的原因和動機(jī)。推薦系統(tǒng)推薦系統(tǒng)估計用戶物品的偏好，并向用戶推薦可能主動喜歡的物品[1,121]。推薦模型通常分為三類[1,69]：協(xié)同過濾，基于內(nèi)容和混合推薦系統(tǒng)。協(xié)同過濾通過學(xué)習(xí)用戶與物品歷史交互來做出推薦，無論是顯性的（例如用戶先前的評級）還是隱性反饋（例如瀏覽歷史）。基于內(nèi)容的推薦主要基于物品和用戶輔助信息的比較?？梢钥紤]各種輔助信息，例如文本，圖像和視頻?；旌夏Ｐ褪侵刚蟽煞N或更多種推薦策略的推薦系統(tǒng)[8,69]。假設(shè)我們有個用戶和個物品，表示交互矩陣，表示預(yù)測的交互矩陣。令表示用戶對物品的偏好，表示預(yù)測得分。同時，我們使用部分觀察的向量（的行向量）來表示每個用戶，以及部分觀察到的向量（的列向量）代表每個項目。和表示觀察到的和未觀察到的相互作用集。我們使用和來表示用戶和物品潛在因素，是潛在因素的維度。此外，還可以考慮諸如時間戳之類的序列信息以產(chǎn)生序列感知推薦。其他符號和表示將在相應(yīng)章節(jié)中介紹。深度學(xué)習(xí)技術(shù)深度學(xué)習(xí)通常被認(rèn)為是機(jī)器學(xué)習(xí)的子領(lǐng)域。深度學(xué)習(xí)的典型定義本質(zhì)是它學(xué)習(xí)深層表示，即從數(shù)據(jù)中學(xué)習(xí)多層次的表示和抽象。出于實際原因，我們將任何神經(jīng)可微分結(jié)構(gòu)視為“深度學(xué)習(xí)”，只要它使用隨機(jī)梯度下降（SGD）的變體優(yōu)化可微分目標(biāo)函數(shù)。神經(jīng)架構(gòu)在監(jiān)督和非監(jiān)督學(xué)習(xí)任務(wù)中都取得了巨大的成功[31]。在本小節(jié)中，我們闡明了與本次調(diào)查密切相關(guān)的各種架構(gòu)范式?！ざ鄬痈兄鳎∕LP）是前饋神經(jīng)網(wǎng)絡(luò)，在輸入層和輸出層之間具有多個（一個或多個）隱藏層。這里，感知器可以采用任意激活函數(shù)，并不一定代表嚴(yán)格的二元分類器。MLP可以被表示為非線性變換的堆疊層，學(xué)習(xí)分層特征表示。MLP也被稱為通用逼近器?！ぷ詣泳幋a器（AE）是一種無人監(jiān)督的模型，試圖在輸出層重建其輸入數(shù)據(jù)。通常，瓶頸層（最中間層）用作輸入數(shù)據(jù)的顯著特征表示。有許多自動編碼器變體，如去噪自動編碼器，邊緣化去噪自動編碼器，稀疏自動編碼器，壓縮自動編碼器和變分自動編碼器（VAE）[15,45]。·卷積神經(jīng)網(wǎng)絡(luò)（CNN）[45]是一種特殊的前饋神經(jīng)網(wǎng)絡(luò)，具有卷積層和池化操作。它可以捕獲全局和局部特征，并顯著提高效率和準(zhǔn)確性。它在處理具有網(wǎng)格狀拓?fù)涞臄?shù)據(jù)方面表現(xiàn)良好。·遞歸神經(jīng)網(wǎng)絡(luò)（RNN）[45]適用于對順序數(shù)據(jù)建模。與前饋神經(jīng)網(wǎng)絡(luò)不同，RNN中存在循環(huán)和記憶以記住以前的計算。諸如長短期記憶（LSTM）和門控循環(huán)單元（GRU）網(wǎng)絡(luò)的變體通常在實踐中被部署以克服消失的梯度問題?！な芟薏柶澛鼨C(jī)（RBM）是一個由可見層和隱藏層組成的雙層神經(jīng)網(wǎng)絡(luò)。它可以很容易地堆疊到深網(wǎng)。此處受限制意味著可見層或隱藏層中沒有層內(nèi)通信?！ど窠?jīng)自回歸分布估計（NADE）[81,152]是一種在自回歸模型和前饋神經(jīng)網(wǎng)絡(luò)之上構(gòu)建的無監(jiān)督神經(jīng)網(wǎng)絡(luò)。它是用于建模數(shù)據(jù)分布和密度的易處理且有效的估計器?！咕W(wǎng)絡(luò)（AN）[46]是一個生成神經(jīng)網(wǎng)絡(luò)，由一個鑒別器和一個發(fā)生器組成。通過在極小極大游戲框架中相互競爭來同時訓(xùn)練兩個神經(jīng)網(wǎng)絡(luò)?！ぷ⒁饽Ｐ停ˋM）是可區(qū)分的神經(jīng)架構(gòu)，其基于輸入序列（或圖像）上的軟內(nèi)容尋址來操作。注意機(jī)制通常無處不在，并且在計算機(jī)視覺和自然語言處理領(lǐng)域中被接受。然而，它也是深度推薦系統(tǒng)研究的新興趨勢。·深層強(qiáng)化學(xué)習(xí)（DRL）[106]。強(qiáng)化學(xué)習(xí)是在一種反復(fù)試驗的范例下運作的。整個框架主要由以下組成部分組成：代理，環(huán)境，狀態(tài)，行動和獎勵。深度神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)之間的結(jié)合形成了DRL，它在游戲和自動駕駛汽車等多個領(lǐng)域?qū)崿F(xiàn)了人性化的表現(xiàn)。深度神經(jīng)網(wǎng)絡(luò)使代理能夠從原始數(shù)據(jù)中獲取知識，并獲得高效的表示，而無需手工制作的特征和域啟發(fā)式。請注意，每年都有許多先進(jìn)的模型出現(xiàn)，這里我們只簡要列出一些重要的模型。對細(xì)節(jié)或更高級模型感興趣的讀者可參考[45]。為什么將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于推薦系統(tǒng)？在深入了解最新進(jìn)展的細(xì)節(jié)之前，了解將深度學(xué)習(xí)技術(shù)應(yīng)用于推薦系統(tǒng)的原因是有益的。很明顯，已經(jīng)在短短幾年內(nèi)提出了許多深度推薦系統(tǒng)，這個領(lǐng)域確實充滿了創(chuàng)新。在這一點上，很容易質(zhì)疑對這么多不同架構(gòu)的需求和/或甚至神經(jīng)網(wǎng)絡(luò)對問題域的效用。沿著相同的切線，它很容易提供一個明確的理由，說明為什么每個提出的架構(gòu)以及它最有利的場景?？偠灾?，這個問題與任務(wù)，域和推薦方案的問題高度相關(guān)。神經(jīng)架構(gòu)最吸引人的特性之一是它們（1）端到端可微分和（2）提供適合輸入數(shù)據(jù)類型的合適的歸納偏差。因此，如果模型可以利用固有結(jié)構(gòu)，那么深度神經(jīng)網(wǎng)絡(luò)應(yīng)該是有用的。例如，CNN和RNN長期利用視覺（和/或人類語言）中的內(nèi)在結(jié)構(gòu)。類似地，會話或點擊日志的順序結(jié)構(gòu)非常適合由循環(huán)/卷積模型提供的歸納偏差[56,143,175]。此外，深層神經(jīng)網(wǎng)絡(luò)也是復(fù)合的，因為多個神經(jīng)構(gòu)建塊可以組成一個（巨大的）可微分函數(shù)并且訓(xùn)練端到端。這里的關(guān)鍵優(yōu)勢是處理基于內(nèi)容的推薦。在對Web上的用戶/物品建模時，這是不可避免的，其中多模態(tài)數(shù)據(jù)是常見的。例如，當(dāng)處理文本數(shù)據(jù)（評論[202]，推文[44]等），圖像數(shù)據(jù)（社交帖子，產(chǎn)品圖像），CNN/RNN成為不可或缺的神經(jīng)構(gòu)建塊。這里，傳統(tǒng)的替代方案（設(shè)計模態(tài)特定的特征等）變得明顯不那么有吸引力，因此，推薦系統(tǒng)不能利用聯(lián)合（端到端）表示學(xué)習(xí)。從某種意義上說，推薦系統(tǒng)領(lǐng)域的發(fā)展也與相關(guān)模式（如愿景或語言社區(qū)）的進(jìn)步研究緊密結(jié)合。例如，為了處理評論，人們將不得不執(zhí)行昂貴的預(yù)處理（例如，關(guān)鍵短語提取，主題建模等），而較新的基于深度學(xué)習(xí)的方法能夠端到端地攝取所有文本信息[202]?？偠灾谶@方面深度學(xué)習(xí)的能力可以被視為范式轉(zhuǎn)換，如果沒有這些最新的進(jìn)展，在統(tǒng)一的聯(lián)合框架[197]中表達(dá)圖像，文本和交互的能力是不可能的。與僅交互設(shè)置（即矩陣完成或協(xié)作排序問題）有關(guān)，這里的關(guān)鍵思想是當(dāng)存在大量復(fù)雜性或存在大量訓(xùn)練實例時，深度神經(jīng)網(wǎng)絡(luò)是合理的。在[53]中，作者使用MLP來近似交互函數(shù)，并且比MF等傳統(tǒng)方法表現(xiàn)出合理的性能提升。雖然這些神經(jīng)模型的表現(xiàn)更好，但我們也注意到，當(dāng)使用基于動量的梯度下降訓(xùn)練時，BPR，MF和CML等標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)模型在僅交互數(shù)據(jù)上的表現(xiàn)相當(dāng)不錯[145]。然而，我們也可以將這些模型視為神經(jīng)架構(gòu)，因為它們利用了最近的深度學(xué)習(xí)進(jìn)展，例如Adam，Dropout或BatchNormalization[53,195]。同樣很容易看出，傳統(tǒng)的推薦算法（矩陣分解，分解機(jī)器等）也可以表示為神經(jīng)/可微分結(jié)構(gòu)[53,54]，并且可以通過Tensorfiow或Pytorch等框架進(jìn)行訓(xùn)練，從而實現(xiàn)高效的GPU級訓(xùn)練和自由自動分類。因此，在當(dāng)今的研究環(huán)境（甚至是工業(yè)）中，完全沒有理由不使用基于深度學(xué)習(xí)的工具來開發(fā)任何推薦系統(tǒng)。概括地說，我們總結(jié)了基于深度學(xué)習(xí)的推薦模型的優(yōu)勢，讀者在嘗試將它們用于實踐時可能會記住這些模型?！し蔷€性變換與線性模型相反，深度神經(jīng)網(wǎng)絡(luò)能夠利用非線性激勵（例如relu，sigmoid，tanh等）對數(shù)據(jù)中的非線性建模。此屬性使捕獲復(fù)雜且復(fù)雜的用戶物品間交互模式成為可能。諸如矩陣分解，分解機(jī)器，稀疏線性模型的常規(guī)方法基本上是線性模型。例如，矩陣分解通過線性組合用戶和物品潛在因素來模擬用戶-物品交互[53];分解機(jī)器是多元線性族的一員[54];顯然，SLIM是一個具有稀疏性約束的線性回歸模型。作為許多傳統(tǒng)推薦者的基礎(chǔ)的線性假設(shè)過于簡單，并將極大地限制其建模表達(dá)性。眾所周知，神經(jīng)網(wǎng)絡(luò)能夠通過改變激勵選擇和組合來以任意精度逼近任何連續(xù)函數(shù)[58,59]。此屬性可以處理復(fù)雜的交互模式并精確反映用戶的偏好。·表示學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)在從輸入數(shù)據(jù)中學(xué)習(xí)潛在的解釋因素和有用的表示方面是有效的。通常，在實際應(yīng)用程序中可以獲得有關(guān)物品和用戶的大量描述性信息。利用這些信息提供了一種方法來促進(jìn)我們對物品和用戶的理解，從而產(chǎn)生更好的推薦者。因此，將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于推薦模型中的表示學(xué)習(xí)是一種自然的選擇。使用深度神經(jīng)網(wǎng)絡(luò)來輔助表示學(xué)習(xí)的優(yōu)點有兩方面：（1）它減少了手工特征設(shè)計的工作量。特征工程是一項勞動密集型工作，深度神經(jīng)網(wǎng)絡(luò)能夠在無人監(jiān)督或監(jiān)督的方法中自動從原始數(shù)據(jù)中學(xué)習(xí)特征;（2）它使推薦模型能夠包括異構(gòu)內(nèi)容信息，例如文本，圖像，音頻甚至視頻。深度學(xué)習(xí)網(wǎng)絡(luò)在多媒體數(shù)據(jù)處理方面取得了突破，并展示了從各種來源學(xué)習(xí)的表現(xiàn)形式的潛力。

·序列建模深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在許多序列建模任務(wù)上展示了很好的結(jié)果，例如機(jī)器翻譯，自然語言理解，語音識別，聊天機(jī)器人等等。RNN和CNN在這些任務(wù)中發(fā)揮著關(guān)鍵作用。RNN通過內(nèi)部存儲器狀態(tài)來實現(xiàn)這一點，而CNN通過隨著時間滑動的過濾器來實現(xiàn)這一點。它們在數(shù)據(jù)挖掘序列結(jié)構(gòu)中都具有廣泛的適用性和靈活性。對序列信號建模是挖掘用戶行為和物品進(jìn)化的時間動態(tài)的重要主題。例如，下個物品/籃子預(yù)測和基于會話的推薦是典型的應(yīng)用。因此，深度神經(jīng)網(wǎng)絡(luò)成為這種序列模式挖掘任務(wù)的完美契合?！れ`活性深度學(xué)習(xí)技術(shù)具有很高的靈活性，特別是隨著許多流行的深度學(xué)習(xí)框架的出現(xiàn)，如Tensorfiow，Keras，Caffe，MXnet，DeepLearning4j，PyTorch，Theano等。這些工具大多以模塊化方式開發(fā)，并具有活躍的社區(qū)和專業(yè)支持。良好的模塊化使開發(fā)和工程更有效。例如，很容易將不同的神經(jīng)結(jié)構(gòu)組合起來以形成強(qiáng)大的混合模型，或者用其他模塊替換一個模塊。因此，我們可以輕松地構(gòu)建混合和復(fù)合推薦模型，以同時捕獲不同的特征和因素。潛在的局限性使用深度學(xué)習(xí)進(jìn)行推薦是否有任何缺點和局限性？在本節(jié)中，我們的目標(biāo)是解決幾個常用的反對使用深度學(xué)習(xí)進(jìn)行推薦系統(tǒng)研究的論點?！た山忉屝员M管取得了成功，但眾所周知深度學(xué)習(xí)表現(xiàn)為黑盒子，提供可解釋的預(yù)測似乎是一項非常具有挑戰(zhàn)性的任務(wù)。反對深度神經(jīng)網(wǎng)絡(luò)的一個常見論點是隱藏的權(quán)重和激勵通常是不可解釋的，限制了可解釋性。然而，隨著神經(jīng)注意模型的出現(xiàn)，這種擔(dān)憂一般得到了緩解，并為世界范圍內(nèi)的深層神經(jīng)模型鋪平了道路，這些神經(jīng)模型具有更高的可解釋性[126,146,178]。雖然解釋單個神經(jīng)元仍然對神經(jīng)模型（不僅在推薦系統(tǒng)中）構(gòu)成挑戰(zhàn)，但是現(xiàn)有的最先進(jìn)模型已經(jīng)能夠在一定程度上解釋，從而能夠提供可解釋的推薦。我們在公開問題部分更詳細(xì)地討論了這個問題?！?shù)據(jù)要求第二個可能的限制是已知深度學(xué)習(xí)是數(shù)據(jù)饑渴的感覺它需要足夠的數(shù)據(jù)才能完全支持其豐富的參數(shù)化。然而，與標(biāo)記數(shù)據(jù)稀缺的其他領(lǐng)域（例如語言或視覺）相比，在推薦系統(tǒng)研究的背景下獲取大量數(shù)據(jù)相對容易。百萬/億比例的數(shù)據(jù)集不僅在工業(yè)中很常見，而且作為學(xué)術(shù)數(shù)據(jù)集發(fā)布?！V泛的超參數(shù)調(diào)整反對深度學(xué)習(xí)的第三個成熟論點是需要進(jìn)行廣泛的超參數(shù)調(diào)整。然而，我們注意到，超參數(shù)調(diào)整不是深度學(xué)習(xí)的唯一問題，而是一般的機(jī)器學(xué)習(xí)（例如，正規(guī)化因子和學(xué)習(xí)速率同樣必須針對傳統(tǒng)的矩陣分解等進(jìn)行調(diào)整）但是，在某些情況下，深度學(xué)習(xí)可能會引入額外的超參數(shù)。例如，最近的一項工作[145]，傳統(tǒng)度量學(xué)習(xí)算法[60]的細(xì)心擴(kuò)展僅引入了單個超參數(shù)?；谏疃葘W(xué)習(xí)的推薦：最先進(jìn)的技術(shù)在本節(jié)中，我們首先介紹基于深度學(xué)習(xí)的推薦模型的類別，然后突出最先進(jìn)的研究原型，旨在確定近年來最顯著和最有希望的進(jìn)步。3.1基于深度學(xué)習(xí)的推薦模型類別為了提供該領(lǐng)域的鳥瞰圖，我們根據(jù)所采用的深度學(xué)習(xí)技術(shù)的類型對現(xiàn)有模型進(jìn)行分類。我們進(jìn)一步將基于深度學(xué)習(xí)的推薦模型分為以下兩類。圖1總結(jié)了分類方案。·神經(jīng)構(gòu)建塊的推薦。在該類別中，模型根據(jù)上述八種深度學(xué)習(xí)模型分為八個子類別：MLP，AE，CNN，RNN，RBM，NADE，AM，AN和基于DRL的推薦系統(tǒng)。使用的深度學(xué)習(xí)技術(shù)決定了推薦模型的適用性。例如，MLP可以輕松地模擬用戶和項目之間的非線性交互;CNN能夠從異構(gòu)數(shù)據(jù)源（例如文本和視覺信息）中提取本地和全局表示;RNN使推薦系統(tǒng)能夠?qū)?nèi)容信息的時間動態(tài)和連續(xù)演進(jìn)進(jìn)行建模?！ど疃然旌夏Ｐ偷耐扑]。一些基于深度學(xué)習(xí)的推薦模型使用多種深度學(xué)習(xí)技術(shù)。深度神經(jīng)網(wǎng)絡(luò)的靈活性使得將幾個神經(jīng)構(gòu)建塊組合在一起以相互補(bǔ)充并形成更強(qiáng)大的混合模型成為可能。這些夜間深度學(xué)習(xí)技術(shù)有許多可能的組合，但并非所有技術(shù)都被利用。請注意，它與[31]中的混合深度網(wǎng)絡(luò)不同，后者指的是利用生成和判別組件的深層體系結(jié)構(gòu)。表1列出了所有評估的模型，我們按照上述分類方案對其進(jìn)行組織。此外，我們還從表2中的任務(wù)角度總結(jié)了一些出版物。審查的出版物涉及各種任務(wù)。由于使用深度神經(jīng)網(wǎng)絡(luò)（例如基于會話的推薦，圖像，視頻推薦），一些任務(wù)已開始受到關(guān)注。一些任務(wù)對于推薦研究領(lǐng)域可能并不新穎（有關(guān)推薦系統(tǒng)的輔助信息的詳細(xì)評論可以在[131]中找到），但DL提供了更多找到更好解決方案的可能性。例如，如果沒有深度學(xué)習(xí)技巧的幫助，處理圖像和視頻將是一項艱巨的任務(wù)。深度神經(jīng)網(wǎng)絡(luò)的序列建模功能可以輕松捕獲用戶行為的序列模式。一些具體任務(wù)將在下文中討論。3.2基于多層感知器的推薦MLP是一個簡潔但有效的網(wǎng)絡(luò)，已被證明能夠?qū)⑷魏慰蓽y量的函數(shù)逼近任何所需的準(zhǔn)確度[59]。因此，它是許多先進(jìn)方法的基礎(chǔ)，并且在許多領(lǐng)域中被廣泛使用?；谏疃壬窠?jīng)網(wǎng)絡(luò)的特定應(yīng)用領(lǐng)域推薦模型。許多現(xiàn)有的推薦模型基本上是線性方法。MLP可用于向現(xiàn)有RS方法添加非線性變換并將其解釋為神經(jīng)擴(kuò)展。神經(jīng)協(xié)同過濾。在大多數(shù)情況下，推薦被視為用戶偏好和物品特征之間的雙向交互。例如，矩陣分解將分級矩陣分解為低維用戶/物品潛在因子。構(gòu)建雙神經(jīng)網(wǎng)絡(luò)來模擬用戶和物品之間的雙向交互是很自然的。神經(jīng)網(wǎng)絡(luò)矩陣分解（NNMF）[37]和神經(jīng)協(xié)同過濾（NCF）[53]是兩個具有代表性的作品。圖2a顯示了NCF架構(gòu)。讓和表示輔助信息（例如用戶畫像和物品特征），或僅表示用戶和物品的一個熱門標(biāo)識符。評分函數(shù)定義如下：其中函數(shù)表示多層感知器，是該網(wǎng)絡(luò)的參數(shù)。傳統(tǒng)的MF可以被視為NCF的一個特例。因此，將矩陣因子分解的神經(jīng)解釋與MLP融合起來以便制定更通用的模型是方便的，該模型利用MF的線性和MLP的非線性來提高推薦質(zhì)量。可以使用加權(quán)平方損失（用于顯式反饋）或二進(jìn)制交叉熵?fù)p失（用于隱式反饋）來訓(xùn)練整個網(wǎng)絡(luò)。交叉熵?fù)p失定義為：可以使用負(fù)抽樣方法來減少未觀察到的訓(xùn)練實例的數(shù)量。后續(xù)工作[112,134]建議使用成對排名損失來提高性能。何等人。[92,166]將NCF模型擴(kuò)展到跨域推薦。薛等人。[184]和張等人。[195]表明，可以用交互矩陣的列或行替換單熱標(biāo)識符，以保留用戶-物品交互模式。深度因子分解機(jī)。DeepFM[47]是一種端到端模型，可無縫集成分解機(jī)器和MLP。它能夠通過深度神經(jīng)網(wǎng)絡(luò)和與分解機(jī)器的低階交互來建模高階特征相互作用。分解機(jī)器（FM）利用加法和內(nèi)積運算來捕獲特征之間的線性和成對相互作用（更多細(xì)節(jié)參見[119]中的等式（1））。MLP利用非線性激活和深層結(jié)構(gòu)來模擬高階交互。MLP與FM結(jié)合的方式受到廣泛而深入的網(wǎng)絡(luò)的啟發(fā)。它用分解機(jī)器的神經(jīng)解釋取代了寬分量。與寬和深模型相比，DeepFM不需要繁瑣的特征工程。圖2b說明了DeepFM的結(jié)構(gòu)。DeepFM的輸入是一個m字段數(shù)據(jù)，由對組成的數(shù)據(jù)（用戶和物品的身份和特征）。為簡單起見，F(xiàn)M和MLP的輸出分別表示為和。預(yù)測分?jǐn)?shù)通過計算：其中是sigmod形激活函數(shù)。連等人。[93]通過提出一種極限深度分解機(jī)器來共同模擬顯式和隱式特征交互，改進(jìn)了DeepMF。通過壓縮交互網(wǎng)絡(luò)學(xué)習(xí)顯式高階特征交互。何等人提出的并行工作。[54]取代了與MLP的二階相互作用，并建議通過退出和批量歸一化使模型正規(guī)化。用MLP學(xué)習(xí)特征表示。使用MLP進(jìn)行特征表示非常簡單且高效，即使它可能不像自動編碼器，CNN和RNN那樣具有表現(xiàn)力。廣泛而深入的學(xué)習(xí)。這個通用模型（如圖3a所示）可以解決回歸和分類問題，但最初是為GooglePlay中的App推薦引入的[20]。廣度學(xué)習(xí)組件是單層感知器，也可以視為廣義線性模型。深度學(xué)習(xí)組件是多層感知器。結(jié)合這兩種學(xué)習(xí)技術(shù)的基本原理是它使推薦者能夠捕獲記憶和概括。廣泛學(xué)習(xí)組件實現(xiàn)的記憶代表了從歷史數(shù)據(jù)中捕獲直接特征的能力。同時，深度學(xué)習(xí)組件通過產(chǎn)生更一般和抽象的表示來捕捉泛化。該模型可以提高推薦的準(zhǔn)確性和多樣性。形式上，廣泛學(xué)習(xí)被定義為：，其中是模型參數(shù)。輸入是由原始輸入特征和變換組成的連接特征集（例如，跨產(chǎn)品變換以捕獲特征之間的相關(guān)性）特征。深層神經(jīng)元的每一層都是的形式，其中表示第層，是激活函數(shù)。和是權(quán)重和偏差項。通過融合這兩個模型來獲得廣泛和深入的學(xué)習(xí)模型：其中是sigmoid函數(shù)，是二進(jìn)制等級標(biāo)簽，是最終激活。該聯(lián)合模型使用隨機(jī)反向傳播（跟隨正則化引導(dǎo)算法）進(jìn)行優(yōu)化?；陬A(yù)測的分?jǐn)?shù)生成推薦列表。通過擴(kuò)展這個模型，陳等人。[13]設(shè)計了一個局部連接的廣泛和深度學(xué)習(xí)模型，用于大規(guī)模的工業(yè)級推薦任務(wù)。它采用高效的本地連接網(wǎng)絡(luò)來取代深度學(xué)習(xí)組件，從而將運行時間減少一個數(shù)量級。部署廣泛和深入學(xué)習(xí)的一個重要步驟是選擇廣泛和深入部分的功能。換句話說，系統(tǒng)應(yīng)該能夠確定哪些特征被記憶或概括。此外，還需要手工設(shè)計交叉產(chǎn)品轉(zhuǎn)換。這些預(yù)先步驟將極大地影響該模型的實用性。上述基于深度因子分解的模型可以減輕特征工程的工作量?？莆念D等。[27]探討了在YouTube推薦中應(yīng)用MLP。該系統(tǒng)將推薦任務(wù)分為兩個階段：候選生成和候選排名。候選生成網(wǎng)絡(luò)從所有視頻語料庫中檢索子集（數(shù)百個）。排名網(wǎng)絡(luò)基于來自候選者的最近鄰居分?jǐn)?shù)生成前n個列表（數(shù)十個）。我們注意到工業(yè)界更關(guān)注特征工程（例如轉(zhuǎn)換，規(guī)范化，交叉）和推薦模型的可擴(kuò)展性。Alashkar等。[2]提出了基于MLP的結(jié)構(gòu)推薦模型。這項工作使用兩個相同的MLP分別為標(biāo)記的示例和專家規(guī)則建模。通過最小化它們的輸出之間的差異，同時更新這兩個網(wǎng)絡(luò)的參數(shù)。它展示了采用專家知識指導(dǎo)MLP框架中推薦模型學(xué)習(xí)過程的功效。即使專業(yè)知識獲取需要很多人的參與，它也是高度精確的。協(xié)作度量學(xué)習(xí)（CML）。CML[60]用歐幾里德距離代替MF的點積，因為點積不滿足距離函數(shù)的三角不等式。通過最大化用戶與其不喜歡的物品之間的距離并最小化用戶與其優(yōu)選物品之間的距離來學(xué)習(xí)用戶和物品嵌入。在CML中，MLP用于學(xué)習(xí)項目特征（如文本，圖像和標(biāo)簽）的表示。深度結(jié)構(gòu)化語義模型的推薦。深度結(jié)構(gòu)化語義模型（DSSM）[65]是一種深度神經(jīng)網(wǎng)絡(luò)，用于學(xué)習(xí)公共連續(xù)語義空間中實體的語義表示并測量它們的語義相似性。它廣泛應(yīng)用于信息檢索領(lǐng)域，非常適合于前n個推薦[39,182]。DSSM將不同的實體投射到一個共同的低維空間中，并用余弦函數(shù)計算它們的相似性。基本DSSM由MLP組成，因此我們將其放在本節(jié)中。請注意，更高級的神經(jīng)層（如卷積和最大池層）也可以輕松集成到DSSM中?；谏疃日Z義相似性的個性化推薦（DSPR）[182]是標(biāo)簽感知個性化推薦器，其中每個用戶和物品由標(biāo)簽注釋表示并映射到公共標(biāo)簽空間。余弦相似度用于決定物品和用戶的相關(guān)性（或用戶的偏好該物品）。DSPR的損失函數(shù)定義如下：其中是從負(fù)用戶物品對中隨機(jī)抽樣的負(fù)樣本。該作者[183]使用自動編碼器進(jìn)一步改進(jìn)DSPR，以從用戶/物品畫像中學(xué)習(xí)低維表示。多視圖深度神經(jīng)網(wǎng)絡(luò)（MV-DNN）[39]專為跨域推薦而設(shè)計。它將用戶視為樞軸視圖，并將每個域（假設(shè)我們有Z域）視為輔助視圖。顯然，Z用戶域?qū)τ衂個相似度得分。圖3b示出了MV-DNN的結(jié)構(gòu)。MV-DNN的損失函數(shù)定義為：其中是模型參數(shù)，是平滑因子，是用戶視圖的輸出，a是活動視圖的索引。是視圖a的輸入域。MV-DNN能夠擴(kuò)展到許多域。然而，它基于這樣的假設(shè)：用戶在一個域中具有相似的品味應(yīng)該在其他域中具有相似的品味。直觀地說，在許多情況下，這種假設(shè)可能是不合理的。因此，我們應(yīng)該對不同領(lǐng)域的相關(guān)性有一些初步了解，以充分利用MV-DNN。3.3基于自動編碼器的推薦將自動編碼器應(yīng)用于推薦系統(tǒng)有兩種通用方式：（1）使用自動編碼器學(xué)習(xí)瓶頸層的低維特征表示;或（2）直接在重構(gòu)層填充交互矩陣的空白。幾乎所有的自動編碼器變體，例如去噪自動編碼器，變分自動編碼器，接收自動編碼器和邊緣化自動編碼器都可以應(yīng)用于推薦任務(wù)。表3總結(jié)了基于使用的自動編碼器類型的推薦模型?；谧詣泳幋a器的協(xié)同過濾。其中一個成功的應(yīng)用是從自動編碼的角度考慮協(xié)同過濾。AutoRec[125]將用戶部分向量或物品部分向量作為輸入，并且旨在在輸出層中重構(gòu)它們。顯然，它有兩種變體：基于物品的AutoRec（I-AutoRec）和基于用戶的AutoRec（U-AutoRec），對應(yīng)于兩種類型的輸入。在這里，我們只介紹I-AutoRec，而U-AutoRec可以相應(yīng)地輕松推導(dǎo)出來。圖4a說明了I-AutoRec的結(jié)構(gòu)。給定輸入，重建為：，其中和是激活函數(shù)，參數(shù)。I-AutoRec的目標(biāo)函數(shù)公式如下：這里表示它只考慮觀察到的評級?？梢酝ㄟ^彈性傳播（收斂更快并產(chǎn)生可比較的結(jié)果）或L-BFGS（限制記憶BroydenFletcherGoldfarbShanno算法）來優(yōu)化目標(biāo)函數(shù)。有關(guān)AutoRec的四個要點在部署之前值得注意：（1）I-AutoRec執(zhí)行的比U-AutoRec要好，這可能是由于用戶部分觀察到的向量的方差較大。（2）激活函數(shù)和的不同組合將大大影響性能。（3）適度增加隱藏單元大小將改善結(jié)果，因為擴(kuò)展隱藏層維度使AutoRec能夠更好地模擬輸入的特征。（4）添加更多層以形成深層網(wǎng)絡(luò)可以略微改進(jìn)。CFN[136,137]是AutoRec的擴(kuò)展，具有以下兩個優(yōu)點：（1）它采用了去噪技術(shù)，使CFN更加健壯；（2）它結(jié)合了諸如用戶畫像和物品描述之類的輔助信息，以減輕稀疏性和冷啟動的影響。CFN的輸入也是部分觀察到的向量，因此它也有兩種變體：I-CFN和U-CFN，分別以和作為輸入。掩蔽噪聲被強(qiáng)加為正規(guī)則，以更好地處理缺失的元素（它們的值為零）。作者介紹了三種廣泛使用的腐敗方法來破壞輸入：高斯噪聲，掩蔽噪聲和椒鹽噪聲。CFN的進(jìn)一步擴(kuò)展還包含輔助信息。然而，CFN不是僅僅在第一層中集成輔助信息，而是在每一層中注入輔助信息。因此，重建變?yōu)椋浩渲惺禽o助信息，表示和的串聯(lián)。結(jié)合輔助信息可提高預(yù)測準(zhǔn)確性，加快訓(xùn)練過程并使模型更加健壯。協(xié)同去噪自動編碼器（CDAE）。之前評估的三個模型主要用于評級預(yù)測，而CDAE[177]主要用于排名預(yù)測。CDAE的輸入是用戶部分觀察到的隱式反饋。如果用戶喜歡電影，則條目值為1，否則為0。它也可以被視為偏好向量反應(yīng)用戶對物品的興趣。圖4b說明了CDAE的結(jié)構(gòu)。CDAE的輸入被高斯噪聲破壞。損壞的輸入是從條件高斯分布中提取的。重建定義為：其中表示用戶節(jié)點的權(quán)重矩陣（見圖4b）。該權(quán)重矩陣對于每個用戶是唯一的，并且對模型性能具有顯著影響。通過最小化重建誤差也可以知道CDAE的參數(shù)：其中損失函數(shù)可以是平方或者對數(shù)損失。CDAE最初使用SGD在所有反饋上更新其參數(shù)。然而，作者認(rèn)為在實際應(yīng)用中考慮所有評級是不切實際的，因此他們提出了一種負(fù)抽樣技術(shù)來從負(fù)集合（用戶沒有與之交互的物品）中抽取一小部分，這在減少了時間復(fù)雜度基礎(chǔ)上沒有降低排名質(zhì)量。Muli-VAE和Multi-DAE[94]提出了一種變量自動編碼器，用于推薦隱式數(shù)據(jù)，顯示出比CDAE更好的性能。作者介紹了一種用于參數(shù)估計的原理貝葉斯推理方法，并且顯示出比常用似然函數(shù)更好的結(jié)果。據(jù)我們所知，基于自動編碼器的協(xié)同過濾（ACF）[114]是第一個基于自動編碼器的協(xié)同推薦模型。它不是使用原始的部分觀察向量，而是通過整數(shù)等級對它們進(jìn)行分解。例如，如果評分得分是[1-5]范圍內(nèi)的整數(shù)，則每個將被分成五個部分向量。與AutoRec和CFN類似，ACF的成本函數(shù)旨在減少均方誤差。但是，ACF有兩個缺點：（1）它無法處理非整數(shù)等級;（2）部分觀測矢量的分解增加了輸入數(shù)據(jù)的稀疏性，導(dǎo)致預(yù)測精度更差?；贏utoencoder特征表示學(xué)習(xí)。Autoencoder是一類功能強(qiáng)大的特征表示學(xué)習(xí)方法。因此，它還可以用在推薦系統(tǒng)中以從用戶/物品內(nèi)容特征學(xué)習(xí)特征表示。協(xié)同深度學(xué)習(xí)（CDL）。CDL[159]是一種分層貝葉斯模型，它將堆疊去噪自動編碼器（SDAE）集成到概率矩陣分解中。為了無縫地結(jié)合深度學(xué)習(xí)和推薦模型，作者提出了一個通用的貝葉斯深度學(xué)習(xí)框架[161]，它由兩個緊密聯(lián)系的組件組成：感知組件（深度神經(jīng)網(wǎng)絡(luò)）和任務(wù)特定組件。具體而言，CDL的感知成分是序數(shù)SDAE的概率解釋，PMF充當(dāng)任務(wù)特定成分。這種緊密的組合使CDL能夠平衡輔助信息和交互歷史的影響。CDL的生成過程如下：對于SDAE的每一層：（a）對于權(quán)重矩陣的每一列，繪制（b）繪制偏差矢量（c）對于的每一行，繪制。對于每個物品：（a）繪制一個干凈的輸入;（b）繪制潛在偏移矢量并設(shè)置潛在項目向量：。（3）為每個用戶繪制潛在用戶向量，。（4）為每個用戶-物品對，繪制評級。其中和是層的權(quán)重矩陣和偏移向量，表示層。是超參數(shù)，是用于確定觀測置信度的置信參數(shù)[63]。圖5（左）說明了CDL的圖形模型。作者利用EM風(fēng)格的算法來學(xué)習(xí)參數(shù)。在每次迭代中，它首先更新和，然后通過修復(fù)和來更新和。作者還介紹了一種基于抽樣的算法[161]，以避免局部最優(yōu)。在CDL之前，Wang等人。[158]提出了一種類似的模型，關(guān)系堆疊去噪自動編碼器（RSDAE），用于標(biāo)簽推薦。CDL和RSDAE的區(qū)別在于RSDAE用關(guān)系信息矩陣替換PMF。CDL的另一個擴(kuò)展是協(xié)同變分自動編碼器（CVAE）[89]，它用變分自動編碼器代替CDL的深層神經(jīng)元件。CVAE學(xué)習(xí)內(nèi)容信息的概率潛變量，并且可以輕松地合并多媒體（視頻，圖像）數(shù)據(jù)源。協(xié)作深度排名（CDR）。CDR[188]專門在成對框架中設(shè)計用于top-n推薦。一些研究表明，成對模型更適合排序列表生成[120,177,188]。實驗結(jié)果還表明，CDR在排名預(yù)測方面優(yōu)于CDL。圖5（右）給出了CDR的結(jié)構(gòu)。CDR的第一和第二生成過程步驟與CDL相同。第三步和第四步由以下步驟代替：·對于每個用戶：（a）為繪制潛在用戶向量：；（b）對于每個成對偏好，其中，繪制估計量，。其中表示用戶對物品和物品的偏好的成對關(guān)系，是一個置信度值，表示用戶相比于物品更喜歡物品。優(yōu)化過程以與CDL相同的方式執(zhí)行。深度協(xié)同過濾框架。它是通過協(xié)同過濾模型統(tǒng)一深度學(xué)習(xí)方法的一般框架[88]。該框架使得利用深度特征學(xué)習(xí)技術(shù)輕松構(gòu)建混合協(xié)作模型。上述[153,159,167]的工作可視為該一般框架的特例。形式上，深層協(xié)作過濾框架定義如下：其中和是權(quán)衡參數(shù)，以平衡這三個組成部分的影響，和是輔助信息，是協(xié)同過濾模型的損失。和充當(dāng)連接深度學(xué)習(xí)和協(xié)同過濾模型以及連接輔助信息與潛在因素的鉸鏈。在此框架的基礎(chǔ)上，作者提出了基于邊緣化去噪自動編碼器的協(xié)同過濾模型（mDA-CF）。與CDL相比，mDA-CF探索了一種計算效率更高的自動編碼器變體：邊緣化去噪自動編碼器[15]。它通過邊緣化損壞的輸入來節(jié)省搜索足夠損壞的輸入版本的計算成本，這使得mDA-CF比CDL更具可擴(kuò)展性。此外，mDA-CF嵌入項目和用戶的內(nèi)容信息，而CDL僅考慮項目功能的效果。AutoSVD++[196]利用收縮自動編碼器[122]來學(xué)習(xí)物品特征表示，然后將它們集成到經(jīng)典推薦模型SVD++[79]中。所提出的模型具有以下優(yōu)點：（1）與其他自動編碼器變體相比，壓縮自動編碼器捕獲無窮小的輸入變化;（2）對隱式反饋進(jìn)行建模，以進(jìn)一步提高準(zhǔn)確性;（3）設(shè)計了一種有效的訓(xùn)練算法，以減少訓(xùn)練時間。HRCD[170,171]是一種基于自動編碼器和timeSVD++的混合協(xié)同模型[80]。它是一種時間感知模型，它使用SDAE從原始特征中學(xué)習(xí)物品表示，旨在解決冷物品問題。3.4基于卷積神經(jīng)網(wǎng)絡(luò)的推薦卷積神經(jīng)網(wǎng)絡(luò)通過卷積和池操作處理非結(jié)構(gòu)化多媒體數(shù)據(jù)非常強(qiáng)大。大多數(shù)基于CNN的推薦模型利用CNN進(jìn)行特征提取?；贑NN特征表示學(xué)習(xí)。CNN可用于從多個來源學(xué)習(xí)特征表示，例如圖像，文本，音頻，視頻等。用于圖像特征提取的CNN。王等人。[165]研究了視覺特征對興趣點（POI）推薦的影響，并提出了視覺內(nèi)容增強(qiáng)的POI推薦系統(tǒng)（VPOI）。VPOI采用CNN來提取圖像特征。通過探索以下之間的相互作用，建立在PMF上的推薦模型：（1）視覺內(nèi)容和潛在用戶因素;（2）視覺內(nèi)容和潛在位置因素。楚等人。[25]在餐館推薦中利用視覺信息（例如酒店的食物和家具的圖像）的有效性。CNN聯(lián)合提取的視覺特征與文本表示一起輸入到MF，BPRMF和FM中以測試它們的性能。結(jié)果表明，視覺信息在一定程度上改善了性能但不顯著。何等人。[50]通過將視覺特征（通過CNN學(xué)習(xí)）結(jié)合到矩陣分解中，設(shè)計了視覺貝葉斯個性化排序（VBPR）算法。何等人。[49]擴(kuò)展VBPR，探索用戶的時尚意識和用戶在選擇物品時考慮的視覺因素的演變。Yu等人。[191]提出了一種基于美學(xué)的服裝推薦的耦合矩陣和張量因子分解模型，其中CNN用于學(xué)習(xí)圖像特征和美學(xué)特征。Nguyen等。[110]提出了一種基于CNN的個性化標(biāo)簽推薦模型。它利用卷積和最大池化層從圖像塊中獲取視覺特征。注入用戶信息以生成個性化推薦。為了優(yōu)化該網(wǎng)絡(luò)，采用BPR目標(biāo)來最大化相關(guān)和不相關(guān)標(biāo)簽之間的差異。雷等人。[84]提出了一種具有CNN的比較深度傾斜模型用于圖像推薦。該網(wǎng)絡(luò)包括兩個用于圖像表示學(xué)習(xí)的CNN和一個用于用戶偏好建模的MLP。它將兩個圖像（一個正圖像用戶喜歡，一個負(fù)圖像用戶不喜歡）與用戶進(jìn)行比較。訓(xùn)練數(shù)據(jù)由三元組組成：（用戶，正圖像，負(fù)圖像）。假設(shè)用戶與正圖像之間的距離應(yīng)該比用戶與負(fù)圖像之間的距離更近，其中是距離度量（例如歐幾里德距離）。ConTagNet[118]是一種上下文感知標(biāo)簽推薦系統(tǒng)。圖像特征由CNN學(xué)習(xí)。上下文表示由兩層完全連接的前饋神經(jīng)網(wǎng)絡(luò)處理。將兩個神經(jīng)網(wǎng)絡(luò)的輸出連接起來并饋入softmax函數(shù)以預(yù)測候選標(biāo)簽的概率。用于文本特征提取的CNN。DeepCoNN[202]采用兩個并行的CNN來模擬評論文本中的用戶行為和物品屬性。該模型通過利用CNN的評論文本的豐富語義表示來緩解稀疏性問題并增強(qiáng)模型可解釋性。它利用單詞嵌入技術(shù)將評論文本映射到低維語義空間，并保留單詞序列信息。然后，提取的評論表示連續(xù)地通過具有不同內(nèi)核，最大池化層和全連接層的卷積層。最后將用戶網(wǎng)絡(luò)和物品網(wǎng)絡(luò)的輸出連接為預(yù)測層的輸入，其中應(yīng)用分解機(jī)器以捕獲它們的相互作用以進(jìn)行評級預(yù)測。凱瑟琳等人。[11]提到DeepCoNN只有在目標(biāo)用戶為目標(biāo)物品編寫的評論文本在測試可用時才能正常工作，這是不合理的。因此，他們通過引入潛在層來擴(kuò)展它以表示目標(biāo)用戶-目標(biāo)-物品對。此模型在驗證/測試期間不訪問評論，并且仍然可以保持良好的準(zhǔn)確性。沉等人。[130]建立了一個電子學(xué)習(xí)資源推薦模型。它使用CNN從學(xué)習(xí)資源的文本信息中提取項目特征，例如學(xué)習(xí)資料的介紹和內(nèi)容，并按照[153]的相同程序進(jìn)行推薦。ConvMF[75]以與CDL類似的方式將CNN與PMF相結(jié)合。CDL使用自動編碼器來學(xué)習(xí)物品特征表示，而ConvMF使用CNN來學(xué)習(xí)高層物品特征表示。ConvMF相對于CDL的主要優(yōu)點是CNN能夠通過字嵌入和卷積內(nèi)核捕獲更準(zhǔn)確的物品上下文信息。Tuan等。[148]建議使用CNN來學(xué)習(xí)物品內(nèi)容信息（例如，名稱，描述，標(biāo)識符和類別）的特征表示，以增強(qiáng)基于會話的推薦的準(zhǔn)確性。用于音頻和視頻特征提取的CNN。范等人。[153]建議使用CNN從音樂信號中提取特征。卷積內(nèi)核和池化層允許多個時間段的操作。這種基于內(nèi)容的模型可以緩解音樂推薦的冷啟動問題（音樂尚未消耗）。李等人。[83]建議用突出的CNN模型ResNet提取音頻特征。該建議在類似于CML的協(xié)作度量學(xué)習(xí)框架中執(zhí)行?；贑NN的協(xié)同過濾。直接將CNN應(yīng)用于vanilla協(xié)同過濾也是可行的。例如，He等人。[51]提出使用CNN來改進(jìn)NCF并提出了ConvNCF。它使用外積而不是點積來模擬用戶項交互模式。CNN應(yīng)用于外積的結(jié)果，并且可以捕獲嵌入維度之間的高階相關(guān)性。唐等人。[143]呈現(xiàn)了具有CNN的順序推薦（具有用戶標(biāo)識符），其中兩個CNN（分層和垂直）用于對聯(lián)合級別順序模式進(jìn)行建模并且跳過用于序列感知推薦的行為。用于推薦的圖像CNN。圖形卷積網(wǎng)絡(luò)是非歐幾里得的數(shù)據(jù)的強(qiáng)大工具，例如：社交網(wǎng)絡(luò)，知識圖，蛋白質(zhì)相互作用網(wǎng)絡(luò)等[77]。推薦區(qū)域中的交互也可以被視為這樣的結(jié)構(gòu)化數(shù)據(jù)集（二分圖）。因此，它也可以應(yīng)用于推薦任務(wù)。例如，Berg等人。[6]提出將推薦問題視為具有圖CNN的鏈路預(yù)測任務(wù)。該框架使得將諸如社交網(wǎng)絡(luò)和物品關(guān)系的用戶/物品輔助信息集成到推薦模型中變得容易。Ying等。[190]提出使用圖CNN作為Pinterest中的推薦。該模型從圖形結(jié)構(gòu)以及具有隨機(jī)游走和圖形CNN的物品特征信息生成物品嵌入，并且適用于非常大規(guī)模的網(wǎng)絡(luò)推薦器。所提出的模型已經(jīng)部署在Pinterest中，以解決各種現(xiàn)實世界的推薦任務(wù)。3.5基于反饋神經(jīng)網(wǎng)絡(luò)的推薦RNN非常適合順序數(shù)據(jù)處理。因此，它成為處理用戶行為的交互和順序問題的時間動態(tài)以及具有順序信號（如文本，音頻等）的輔助信息的自然選擇。無用戶標(biāo)識的基于會話的推薦。在許多現(xiàn)實世界的應(yīng)用程序或網(wǎng)站中，系統(tǒng)通常不會打擾用戶登錄，因此它無法訪問用戶的標(biāo)識符及其長期消費習(xí)慣或長期興趣。但是，會話或cookie機(jī)制使這些系統(tǒng)能夠獲得用戶的短期偏好。由于訓(xùn)練數(shù)據(jù)的極度稀疏，這在推薦系統(tǒng)中是相對未被認(rèn)可的任務(wù)。最近的進(jìn)展證明了RNN在解決這一問題方面的功效[56,142,176]。GRU4Rec。Hidasi等人。[56]提出了一種基于會話的推薦模型GRU4Rec，基于GRU（如圖6a所示）。輸入是具有1-N編碼的實際會話狀態(tài)，其中N是物品數(shù)。如果相應(yīng)的物品在此會話中處于活動狀態(tài)，則坐標(biāo)將為1，否則為0.輸出是每個物品在會話中成為下一個物品的可能性。為了有效地訓(xùn)練所提出的框架，作者提出了一種會話并行的小批量算法和一種輸出的采樣方法。排名虧損也創(chuàng)造了TOP1并具有以下形式：其中是樣本大小，和是會話中負(fù)物品和正物品的分?jǐn)?shù)，是邏輯sigmoid函數(shù)。最后一項用作正則化。注意，BPR損失也是可行的。最近的一項工作[55]發(fā)現(xiàn)[56]中定義的原始TOP1損失和BPR損失受到梯度消失問題的影響，因此，提出了兩種新的損耗函數(shù)：TOP1-max和BPR-max。后續(xù)工作[142]提出了幾種進(jìn)一步改進(jìn)該模型的策略：（1）通過序列預(yù)處理和丟失正則化來增加點擊序列;（2）通過預(yù)訓(xùn)練適應(yīng)時間變化，使用完整的訓(xùn)練數(shù)據(jù)，并使用最近的點擊序列微調(diào)模型;（3）用教師模型對具有特權(quán)信息的模型進(jìn)行提升;（4）使用物品嵌入來減少參數(shù)數(shù)量，以便更快地計算。吳等人。[176]為現(xiàn)實世界的電子商務(wù)網(wǎng)站設(shè)計了基于會話的推薦模型。它利用基本RNN根據(jù)點擊歷史記錄預(yù)測用戶下次購買的內(nèi)容。為了最小化計算成本，它只保留有限數(shù)量的最新狀態(tài)，同時將舊狀態(tài)折疊為單個歷史狀態(tài)。該方法有助于平衡計算成本和預(yù)測準(zhǔn)確性之間的權(quán)衡。Quadrana等。[117]提出了一種基于會話的分層遞歸神經(jīng)網(wǎng)絡(luò)的推薦。當(dāng)存在用戶標(biāo)識符時，該模型可以處理會話感知推薦。上述三個基于會話的模型不考慮任何輔助信息。兩個擴(kuò)展[57,132]表明輔助信息對增強(qiáng)會話推薦質(zhì)量有影響。Hidasi等人。[57]引入了基于會話的推薦的并行架構(gòu)，該架構(gòu)利用三個GRU來學(xué)習(xí)來標(biāo)識獨熱矢量，圖像特征矢量和文本特征矢量的表示。這三個GRU的輸出被加權(quán)連接并饋入非線性激活以預(yù)測該會話中的下一個物品。Smirnova等。[132]提出了一種基于條件RNN的基于上下文感知會話的推薦系統(tǒng)。它將上下文信息注入輸入和輸出層。這兩個模型的實驗結(jié)果表明，包含額外信息的模型優(yōu)于僅基于歷史相互作用的模型。盡管RNN在基于會話的推薦中取得了成功，但Jannach等人。[68]表明簡單的鄰域方法可以獲得與GRU4Rec相同的精確度結(jié)果。將鄰域與RNN方法相結(jié)合通常可以獲得最佳性能。這項工作表明，最近的工作中的一些基線沒有充分證明和正確評估。更全面的討論可以在[103]中找到。用戶標(biāo)識符的順序推薦。與基于會話的推薦器不同，其中通常不存在用戶標(biāo)識符。以下研究涉及具有已知用戶標(biāo)識的順序推薦任務(wù)。RecurrentRecommenderNetwork（RRN）[175]是一個建立在RNN上的非參數(shù)推薦模型（如圖6b所示）。它能夠模擬物品的季節(jié)性演變和用戶偏好隨時間的變化。RRN使用兩個LSTM網(wǎng)絡(luò)作為構(gòu)建塊來模擬動態(tài)用戶狀態(tài)和物品狀態(tài)。同時，考慮到用戶長期興趣和物品靜態(tài)特征等固定屬性，該模型還包含用戶和物品的固定潛在特性：和。用戶在時間給出的物品的預(yù)測評級定義為：從LSTM得到和，通過標(biāo)準(zhǔn)矩陣分解得到和。優(yōu)化是最小化預(yù)測和實際評級值之間的平方誤差。吳等人。[174]通過同時對文本評論和評級進(jìn)行建模，進(jìn)一步改進(jìn)了RRNs模型。與大多數(shù)文本評論增強(qiáng)型推薦模型[127,202]不同，該模型旨在使用具有用戶和物品潛在狀態(tài)的字符級LSTM網(wǎng)絡(luò)生成評論。審查生成任務(wù)可以被視為輔助任務(wù)以促進(jìn)評級預(yù)測。該模型能夠提高評級預(yù)測的準(zhǔn)確性，但不能生成連貫且可讀的評論文本。將在以下文本中引入的NRT[87]可以生成可讀的評論提示。Jing等。[73]提出了一個多任務(wù)學(xué)習(xí)框架，以同時預(yù)測用戶的返回時間和推薦物品。返回時間預(yù)測由設(shè)計用于估計患者生存概率的生存分析模型驅(qū)動。作者通過使用LSTM來估計客戶的返回時間來修改此模型。物品推薦也通過LSTM從用戶過去的會話動作執(zhí)行。與上述基于會話的建議不同，該建議側(cè)重于在同一會話中進(jìn)行推薦，該模型旨在提供會話間建議。李等人。[91]提出了順序推薦的行為密集型模型。該模型由兩部分組成：神經(jīng)項嵌入和判別行為學(xué)習(xí)。后一部分由兩個LSTM組成，分別用于會話和偏好行為學(xué)習(xí)。Christakopoulou等人。[24]設(shè)計了一個帶有RNN的交互式推薦器。擬議的框架旨在解決互動推薦中的兩個關(guān)鍵任務(wù)：提出問題并做出回應(yīng)。RNN用于解決這兩項任務(wù)：根據(jù)用戶最近的行為（例如，監(jiān)視事件）預(yù)測用戶可能會問的問題并預(yù)測響應(yīng)。Donkers等。[35]設(shè)計了一種新型的門控循環(huán)單元，以明確表示個人用戶的下一物品推薦?；赗NN的特征表示學(xué)習(xí)。對于具有順序模式的輔助信息，使用RNN作為表示學(xué)習(xí)工具是可取的選擇。戴等人。[29]提出了一個共同進(jìn)化的潛在模型，以捕捉用戶和物品的潛在特征的共同進(jìn)化性質(zhì)。用戶和物品之間的交互在推動用戶偏好和物品狀態(tài)的變化方面起著重要作用。為了對歷史交互進(jìn)行建模，作者提出使用RNN自動學(xué)習(xí)用戶和物品特征的驅(qū)動，進(jìn)化和共同演化的影響的表示。Bansal等人。[5]提出使用GRU將文本序列編碼為潛在因子模型。這種混合模型解決了熱啟動和冷啟動問題。此外，作者采用了一個多任務(wù)正則化器來防止過度使用并減輕訓(xùn)練數(shù)據(jù)的稀疏性。主要任務(wù)是評級預(yù)測，而輔助任務(wù)是項目元數(shù)據(jù)（例如標(biāo)簽，流派）預(yù)測。Okura等。[113]建議使用GRU來學(xué)習(xí)用戶瀏覽歷史（瀏覽新聞）的更具表現(xiàn)力的聚合，并推薦具有潛在因素模型的新聞文章。與傳統(tǒng)的基于單詞的方法相比，結(jié)果顯示出顯著的改進(jìn)。該系統(tǒng)已完全部署到在線生產(chǎn)服務(wù)，每天為超過一千萬的獨立用戶提供服務(wù)。李等人。[87]提出了一個多任務(wù)學(xué)習(xí)框架NRT，用于預(yù)測評級以及同時為用戶生成文本提示。生成的提示提供簡明的建議，并預(yù)測用戶對某些產(chǎn)品的體驗和感受。評級預(yù)測任務(wù)由物品上的非線性層和用戶潛在因子建模，其中和（不一定相等）是用戶和物品的潛在因素維度。將預(yù)測的評級和兩個潛在因子矩陣輸入GRU以生成提示。這里，用作上下文信息來決定生成的提示的情緒。多任務(wù)學(xué)習(xí)框架使整個模型能夠在端到端的范例中得到有效的訓(xùn)練。宋等人。[135]設(shè)計了一個時間DSSM模型，該模型將RNN集成到DSSM中以供推薦?；趥鹘y(tǒng)的DSSM，TDSSM將物品靜態(tài)特征替換為左側(cè)網(wǎng)絡(luò)，將具有兩個子網(wǎng)絡(luò)的右側(cè)網(wǎng)絡(luò)替換為用戶靜態(tài)特征（具有MLP）和用戶時間特征（具有RNN）的建模。3.6基于限制玻爾茲曼機(jī)的推薦Salakhutdinov等。[123]提出了一種基于限制玻爾茲曼機(jī)的推薦器（如圖6c所示）。據(jù)我們所知，它是第一個建立在神經(jīng)網(wǎng)絡(luò)上的推薦模型。RBM的可見單元限于二進(jìn)制值，因此，評級得分以單熱矢量表示以適應(yīng)有限制。例如，[0,0,0,1,0]表示用戶給該物品評分4。設(shè)表示固定大小為的隱藏單位。每個用戶都有一個具有共享參數(shù)的唯一RBM。假設(shè)用戶評定個電影，可見單位的數(shù)量是，設(shè)是矩陣，其中如果用戶將電影評為，則，否則，然后：其中表示電影和隱藏單元的評級之間的連接的權(quán)重，是電影的評級的偏差，是隱藏單元的偏差。RBM不易處理，但可以通過對比發(fā)散（CD）算法[45]學(xué)習(xí)參數(shù)。作者進(jìn)一步提出使用條件RBM來結(jié)合隱式反饋。這里的本質(zhì)是用戶通過給予隱含地告訴他們的偏好評級，不管他們?nèi)绾卧u價物品。上面的RBM-CF是基于用戶的，其中給定用戶的評級被限制在可見層上。相似性，如果我們將給定物品的評級限制在可見層上，我們可以容易地設(shè)計基于物品的RBM-CF。Georgiev等人。[42]建議將基于用戶和基于物品的RBM-CF組合在一個統(tǒng)一的框架中。在這種情況下，可見單元由用戶和項隱藏單元確定。劉等人。[100]設(shè)計了混合RBM-CF，其中包含物品特征（物品類別）。該模型也基于條件RBM。這種混合模型與具有隱式反饋的條件RBM-CF之間存在兩個差異：（1）這里的條件層用二元項類型建模;（2）條件層影響具有不同連接權(quán)重的隱藏層和可見層。3.7基于神經(jīng)注意力的推薦注意機(jī)制是由人類視覺注意力驅(qū)動的。例如，人們只需要關(guān)注視覺輸入的特定部分來理解或識別它們。注意機(jī)制能夠從原始輸入中濾除無信息特征，并減少噪聲數(shù)據(jù)的副作用。注意機(jī)制能夠從原始輸入中濾除無信息特征，并減少噪聲數(shù)據(jù)的副作用。這是一種直觀但有效的技術(shù)，近年來在計算機(jī)視覺[3]，自然語言處理[104,155]和語音識別[22,23]等領(lǐng)域引起了相當(dāng)多的關(guān)注。神經(jīng)注意不僅可以與MLP，CNN和RNN結(jié)合使用，還可以獨立解決某些任務(wù)[155]。將注意機(jī)制集成到RNN中使RNN能夠處理長而有噪聲的輸入[23]。雖然LSTM可以在理論上解決長記憶問題，但在處理遠(yuǎn)程依賴時仍然存在問題。注意機(jī)制提供了一個更好的解決方案，并幫助網(wǎng)絡(luò)記憶輸入?；谧⒁饬Φ腃NN能夠捕獲輸入中信息量最大的元素[127]。通過將注意機(jī)制應(yīng)用于推薦系統(tǒng)，可以利用注意機(jī)制來過濾無信息內(nèi)容并選擇最具代表性的物品[14]，同時提供良好的可解釋性。雖然神經(jīng)注意機(jī)制并不完全是一種獨立的深度神經(jīng)技術(shù)，但由于其廣泛使用，仍然值得單獨討論。注意模型通過注意力得分學(xué)習(xí)參與輸入。計算注意力分?jǐn)?shù)是神經(jīng)注意力模型的核心?；谟嬎阕⒁饬Φ梅值姆绞剑覀儗⑸窠?jīng)注意力模型分為（1）標(biāo)準(zhǔn)vanilla注意力和（2）共同注意力。vanilla注意力利用參數(shù)化的背景向量來學(xué)習(xí)參與，而共同關(guān)注是從兩個序列學(xué)習(xí)注意力量。自我約束是共同作用的一個特例。最近的工作[14,14,127]證明了一種機(jī)制在提高推薦績效方面的能力。表4總結(jié)了基于注意力的推薦模型。關(guān)于vanilla注意力的推薦陳等人。[14]通過在潛在因子模型中引入兩級注意機(jī)制，提出了一種注意協(xié)同過濾模型。它由物品級別和組件級別的注意組成。物品級注意用于選擇最具代表性的物品來表征用戶。組件級別的關(guān)注旨在從每個用戶的多媒體輔助信息中捕獲最豐富的信息。Tay等人。[145]提出了基于記憶的協(xié)作度量學(xué)習(xí)的關(guān)注。它介紹了通過關(guān)注CML學(xué)習(xí)的潛在關(guān)系向量。Jhamb等人。[70]提出使用注意機(jī)制來改善基于自動編碼器的CF的性能。劉等人。[99]提出了一種基于短期注意和記憶優(yōu)先權(quán)的模型，其中長期和短期用戶興趣都集成在一起，用于基于會話的推薦。Ying等。[189]提出了一種用于順序推薦的分層注意模型。兩個關(guān)注網(wǎng)絡(luò)用于模擬用戶的長期和短期利益。向RNN引入注意機(jī)制可以顯著提高其性能。李等人。[90]提出了這種基于注意力的LSTM模型用于標(biāo)簽推薦。這項工作利用RNN和注意機(jī)制的優(yōu)勢來捕獲順序?qū)傩圆⒆R別來自微博帖子的信息詞。Loyala等。[101]提出了一種編碼器-解碼器架構(gòu)，其注意用戶會話和意圖建模.該模型由兩個RNN組成，可以更具表現(xiàn)力的方式捕捉過渡規(guī)律。vanilla注意力也可以與CNN一起用于推薦任務(wù)。龔等人。[44]提出了一種基于注意力的CNNs系統(tǒng)，用于微博中的＃標(biāo)簽推薦。它將主題標(biāo)簽推薦視為多標(biāo)簽分類問題。所提出的模型由全球頻道和本地關(guān)注頻道組成。全局通道由卷積濾波器和最大池層組成。所有單詞都在全局通道的輸入中編碼。本地注意力通道具有一個具有給定窗口大小和閾值的注意層，以選擇信息性詞語（在本工作中稱為觸發(fā)詞）。因此，只有觸發(fā)詞在后續(xù)層中起作用。在后續(xù)工作[127]中，Seo等人。利用與[44]相同的兩個神經(jīng)網(wǎng)絡(luò)（沒有最后兩層）來學(xué)習(xí)來自用戶和物品評論文本的特征表示，并使用最終層中的點積來預(yù)測評分。王等人。[169]提出了一個文章推薦的組合模型，其中CNN用于學(xué)習(xí)文章表示，并且注意力被用于處理編輯選擇行為的多樣化差異。關(guān)于共同關(guān)注的推薦張等人。[194]提出了一個組合模型AttRec，它通過利用自我注意力和度量學(xué)習(xí)的強(qiáng)度來改進(jìn)順序推薦性能。它利用自我關(guān)注從最近的交互中學(xué)習(xí)用戶的短期意圖，并利用度量學(xué)習(xí)的優(yōu)勢來學(xué)習(xí)更具表現(xiàn)力的用戶和物品嵌入。周等人。[205]提出使用自我意識進(jìn)行用戶異構(gòu)行為建模。自我關(guān)注是一種簡單而有效的機(jī)制，并且在順序推薦任務(wù)方面表現(xiàn)出優(yōu)于CNN和RNN的性能。我們相信它有能力取代許多復(fù)雜的神經(jīng)模型，預(yù)計會有更多的調(diào)查。Tay等人。[146]提出了一種基于評論的推薦系統(tǒng)，該系統(tǒng)具有多指針共同關(guān)注。共同關(guān)注使模型能夠通過用戶和物品評論的共同學(xué)習(xí)來選擇信息評論。張等人。[193]提出了一種基于共同注意的標(biāo)簽推薦模型，該模型集成了視覺和文本信息。施等人。[62]提出了一種用于元路徑的個性化排名任務(wù)的神經(jīng)共同關(guān)注模型。3.8基于神經(jīng)自回歸的推薦如上所述，RBM不易處理，因此我們通常使用ContrastiveDivergence算法來近似參數(shù)[81]上的對數(shù)似然梯度，這也限制了RBM-CF的使用。所謂的神經(jīng)自回歸分布估計器（NADE）是一種易處理的分布估計器，它為RBM提供了理想的替代方案。受RBM-CF的啟發(fā)，鄭等人。[204]提出了一種基于NADE的協(xié)同過濾模型（CF-NADE）。CF-NADE模擬用戶評級的分布。在這里，我們提供一個詳細(xì)的例子來說明CF-NADE的工作原理。假設(shè)我們有4部電影：m1（評級為4），m2（評級為2），m3（評級為3）和m4（評級為5）。CF-NADE通過鏈模擬評級向量的聯(lián)合概率規(guī)則：，其中是用戶評價的物品數(shù)，是中的元組（1,2，...，）的排列，是第個額定物品的索引，是用戶給物品的評級。更具體地說，該過程如下：（1）用戶給予m1四星級無條件的概率;（2）用戶在m1四星級的條件下給出m22星級的概率;（3）用戶在m1四星級和m2兩星級的條件下給出m33星級的概率;（4）用戶在m1四星級、m2兩星級和m3三星級的條件下給出m45星級的概率。理想情況下，電影的順序應(yīng)遵循評級的時間戳。然而，實證研究表明，隨機(jī)抽取也會產(chǎn)生良好的性能。這個模型可以進(jìn)一步擴(kuò)展到深度模型。在后續(xù)論文中，鄭等人。[203]提出結(jié)合隱式反饋來克服評級矩陣的稀疏性問題。杜等人。[36]通過用戶物品共同自回歸方法進(jìn)一步改進(jìn)了這個模型，該方法在評級估計和個性化排名任務(wù)中都表現(xiàn)出色。3.9深入強(qiáng)化學(xué)習(xí)推薦大多數(shù)推薦模型將推薦過程視為靜態(tài)過程，這使得難以捕獲用戶的時間意圖并及時響應(yīng)。近年來，DRL已經(jīng)開始獲得個性化推薦[21,107,168,198-200]。趙等人。[199]提出了一個DRL框架，DEERS，用于在順序交互設(shè)置中提供負(fù)反饋和正反饋。趙等人。[198]探討了使用DRL的頁面推薦方案，建議的框架DeepPage能夠根據(jù)用戶的實時操作自適應(yīng)地優(yōu)化項目頁面。鄭等人。[200]提出了一個帶有DRL的新聞推薦系統(tǒng)DRN，以應(yīng)對以下三個挑戰(zhàn)：（1）新聞內(nèi)容和用戶偏好的動態(tài)變化;（2）納入用戶的退貨模式（對服務(wù)）;（3）增加建議的多樣性。陳等人。[16]提出了一種健碩的深度Q學(xué)習(xí)算法，用兩種策略解決不穩(wěn)定的獎勵估計問題：分層抽樣重放和近似后悔獎勵。崔等人。[21]提出用RL和雙聚類解決冷啟動問題。Munemasa等[107]提出使用DRL進(jìn)行商店推薦。強(qiáng)化學(xué)習(xí)技術(shù)，如情境強(qiáng)盜方法[86]，在實際應(yīng)用中表現(xiàn)出了卓越的推薦性能。深度神經(jīng)網(wǎng)絡(luò)增加了RL的實用性，并且可以為設(shè)計實時推薦策略建模各種額外信息。3.10基于對抗網(wǎng)絡(luò)的推薦IRGAN[162]是第一個將GAN應(yīng)用于信息檢索領(lǐng)域的模型。具體而言，作者展示了其在三個信息檢索任務(wù)中的能力，包括：網(wǎng)絡(luò)搜索，項目推薦和問題回答。在本次調(diào)查中，我們主要關(guān)注如何使用IRGAN推薦商品。首先，我們介紹IRGAN的一般框架。傳統(tǒng)的GAN由鑒別器和發(fā)生器組成?？赡茉谛畔z索方面存在兩種思維流派，即生成檢索和判別檢索。生成檢索假設(shè)在文檔和查詢之間存在潛在的生成過程，并且可以通過在給定查詢q的情況下生成相關(guān)文檔d來實現(xiàn)檢索任務(wù)。判別式檢索學(xué)習(xí)預(yù)測給定標(biāo)記的相關(guān)查詢-文檔對的相關(guān)性得分r。IRGAN的目標(biāo)是將這兩個想法組合成一個統(tǒng)一的模型，并使它們在GAN中扮演像發(fā)電機(jī)和鑒別器這樣的極小極大游戲。生成檢索旨在生成類似于基本事實的相關(guān)文檔，以欺騙判別性檢索模型。形式上，讓指代用戶的相關(guān)性（偏好）分布。生成檢索模型試圖近似真實的相關(guān)性分布。判別性檢索試圖區(qū)分相關(guān)文件和非相關(guān)文件。類似于GAN的目標(biāo)函數(shù)，總體目標(biāo)如下：其中代表sigmoid形函數(shù)，和分別是生成和判別檢索的參數(shù)。參數(shù)和可以通過梯度下降交替學(xué)習(xí)。構(gòu)造上述客觀方程用于逐點相關(guān)性估計。在某些特定任務(wù)中，應(yīng)該采用成對范式來生成更高質(zhì)量的排名列表。這里，假設(shè)由softmax函數(shù)給出：是從查詢生成文檔的概率。在實詞檢索系統(tǒng)中，和是任務(wù)特定的。它們可以具有相同或不同的配方。為方便起見，作者用相同的函數(shù)對它們進(jìn)行建模，并將它們定義為：和。在物品推薦方案中，作者采用矩陣分解來制定。它可以用其他高級模型代替，例如分解機(jī)器或神經(jīng)網(wǎng)絡(luò)。何等人。[52]提出了一種對抗性的個性化排名方法，通過對抗性訓(xùn)練增強(qiáng)了貝葉斯個性化排名。它在原始BPR目標(biāo)和對手之間進(jìn)行極小極大游戲，增加噪音或排列以最大化BPR損失。蔡等人。[9]提出了一種基于GAN的異構(gòu)書目網(wǎng)絡(luò)表示學(xué)習(xí)方法，可以有效地解決個性化的引文推薦任務(wù)。王等人。[164]提出使用GAN為基于存儲器網(wǎng)絡(luò)的流推薦器生成負(fù)樣本。實驗表明，所提出的基于GAN的采樣器可以顯著提高性能。3.11基于混合模型的推薦利用深度神經(jīng)網(wǎng)絡(luò)的良好靈活性，可以集成許多神經(jīng)構(gòu)建塊來形式化更強(qiáng)大和更具表現(xiàn)力的模型。盡管有很多可能的組合方式，但我們建議混合模型應(yīng)該針對特定任務(wù)進(jìn)行合理而精心的設(shè)計。在這里，我們總結(jié)了已被證明在某些應(yīng)用領(lǐng)域有效的現(xiàn)有模型。CNN和自動編碼器?；趨f(xié)作知識的嵌入（CKE）[192]將CNN與自動編碼器結(jié)合用于圖像特征提取。CKE可以被視為CDL的更近一步。CDL僅考慮物品文本信息（例如文章摘要和電影情節(jié)），而CKE利用不同嵌入技術(shù)的結(jié)構(gòu)內(nèi)容，文本內(nèi)容和視覺內(nèi)容。結(jié)構(gòu)信息包括物品的屬性以及物品和用戶之間的關(guān)系。CKE采用TransR[96]，一種異構(gòu)網(wǎng)絡(luò)嵌入方法，用于解釋結(jié)構(gòu)信息。同樣，CKE使用SDAE從文本信息中學(xué)習(xí)特征表示。至于視覺信息，CKE采用堆疊卷積自動編碼器（SCAE）。SCAE通過用卷積層替換完全連接的SDAE層來有效利用卷積。推薦過程以類似于CDL的概率形式完成。CNN和RNN。李等人。[82]提出了一個帶有RNN和CNN的深度混合模型，用于報價推薦。報價推薦被視為在給定查詢文本或?qū)υ挼那闆r下生成排序的引用列表的任務(wù)（每個對話包含一系列推文）。它應(yīng)用CNN從學(xué)習(xí)中學(xué)習(xí)重要的本地語義，并將它們映射到分布向量。LSTM進(jìn)一步處理這些分布向量，以計算目標(biāo)報價與給定推文對話的相關(guān)性。整體架構(gòu)如圖12（a）所示。張等人。[193]提出了基于CNN和RNN的混合模型用于標(biāo)簽推薦。給定帶有相應(yīng)圖像的推文，作者利用CNN從圖像中提取特征，并利用LSTM從推文中學(xué)習(xí)文本特征。同時，作者提出了一種共同關(guān)注機(jī)制來模擬相關(guān)影響并平衡文本和圖像的貢獻(xiàn)。Ebsesu等人。[38]提出了一種神經(jīng)引文網(wǎng)絡(luò)，它將CNN與RNN集成在一個編碼器-解碼器框架中，用于引用推薦。在此模型中，CNN充當(dāng)編碼器，捕獲來自引用上下文的長期依賴性。RNN用作解碼器，其在所引用的論文的標(biāo)題中學(xué)習(xí)單詞的概率，給出所有先前的單詞以及CNN獲得的表示。陳等人。[17]提出了一個具有CNN和RNN的集成框架，用于個性化關(guān)鍵幀（視頻中）推薦，其中CNN用于學(xué)習(xí)關(guān)鍵幀圖像的特征表示，RNN用于處理文本特征。RNN和自動編碼器。前面提到的協(xié)同深度學(xué)習(xí)模型缺乏健碩性，無法對文本信息序列進(jìn)行建模。王等人。[160]進(jìn)一步利用集成RNN和去噪自動編碼器來克服這種限制。作者首先設(shè)計了一種名為健碩循環(huán)網(wǎng)絡(luò)的RNN概括?；趶?qiáng)大的循環(huán)網(wǎng)絡(luò)，作者提出了稱為CRAE的分層貝葉斯推薦模型。CRAE還包括編碼和解碼部分，但它用RNN替換前饋神經(jīng)層，這使得CRAE能夠捕獲物品內(nèi)容信息的順序信息。此外，作者設(shè)計了通配符去噪和beta池技術(shù)，以防止模型過度使用。具有DRL的RNN。王等人。[163]提出結(jié)合監(jiān)督深度強(qiáng)化學(xué)習(xí)和RNNs治療建議。該框架可以從指標(biāo)信號和評估信號中學(xué)習(xí)處方政策。實驗表明，該系統(tǒng)可以自動推斷和發(fā)現(xiàn)最佳處理方法。我們相信這是一個有價值的話題，有益于社會利益。未來的研究方向和開放性問題雖然現(xiàn)有的工作為深度推薦系統(tǒng)研究奠定了堅實的基礎(chǔ)，但本節(jié)概述了幾個有前途的研究方向。我們還詳細(xì)闡述了幾個開放性問題，我們認(rèn)為這些問題對該領(lǐng)域的現(xiàn)狀至關(guān)重要。4.1聯(lián)合代表學(xué)習(xí)用戶和物品內(nèi)容信息提出準(zhǔn)確的建議需要深入了解物品特征和用戶的實際需求和偏好[1,85]。當(dāng)然，這可以通過利用豐富的輔助信息來實現(xiàn)。例如，上下文信息根據(jù)用戶的情況和環(huán)境定制服務(wù)和產(chǎn)品[151]，并減輕冷啟動的影響;隱式反饋表明用戶的隱含意圖并且更容易收集，而收集明確的反饋是一項需要資源的任務(wù)。雖然現(xiàn)有的工作已經(jīng)研究了深度學(xué)習(xí)模型在挖掘用戶和物品概況[92,196]，隱式反饋[50,188,196,203]，上下文信息[38,75,118,149,151]和評論文本[87,127,174,202]以獲得建議，他們不會全面利用這些不同的輔助信息，并充分利用現(xiàn)有數(shù)據(jù)。此外，很少有作品從社交媒體[61]和物理世界（例如物聯(lián)網(wǎng)）調(diào)查用戶的足跡（例如推文或Facebook帖子）[186]。可以從這些輔助數(shù)據(jù)資源推斷用戶的時間興趣或意圖，而深度學(xué)習(xí)方法是用于整合這些附加信息的期望且強(qiáng)大的工具。深度學(xué)習(xí)處理異構(gòu)數(shù)據(jù)源的能力也為使用非結(jié)構(gòu)化數(shù)據(jù)（如文本，視覺，音頻和視頻功能）推薦不同物品帶來了更多機(jī)會。此外，特征工程尚未在推薦研究界進(jìn)行過充分研究，但它在工業(yè)應(yīng)用中必不可少并廣泛應(yīng)用[20,27]。但是，大多數(shù)現(xiàn)有模型需要手動操作和選擇的功能，這既費時又乏味。深度神經(jīng)網(wǎng)絡(luò)是一種通過減少人工干預(yù)來實現(xiàn)自動特征破解的有前途的工具[129]。還可以通過“野外”中存在的自由文本，圖像或數(shù)據(jù)進(jìn)行表示學(xué)習(xí)，而無需設(shè)計復(fù)雜的特征工程管道。對推薦系統(tǒng)特有的深度特征工程進(jìn)行更深入的研究，可以節(jié)省人力，提高推薦質(zhì)量。一個有趣的前瞻性研究問題是如何設(shè)計最能利用其他數(shù)據(jù)模式可用性的神經(jīng)架構(gòu)。最近的一項工作可能為這種性質(zhì)的模型鋪平道路，即聯(lián)合代表學(xué)習(xí)框架[197]。學(xué)習(xí)用戶和項目的聯(lián)合（可能是多模式表示）可能成為推薦系統(tǒng)研究的下一個新興趨勢。為此，深度學(xué)習(xí)這一方面將是如何以端到端的方式設(shè)計出感應(yīng)偏差（混合神經(jīng)架構(gòu)）。例如，推理不同的模態(tài)（文本，圖像，交互）數(shù)據(jù)以獲得更好的推薦性能。4.2深度學(xué)習(xí)的可解釋建議一種常見的解釋是深度神經(jīng)網(wǎng)絡(luò)是高度不可解釋的。因此，提出可解釋的建議似乎是一項艱巨的任務(wù)。同樣，假設(shè)大型，復(fù)雜的神經(jīng)模型只是將數(shù)據(jù)與任何真正的理解相匹配也是很自然的（參見后面關(guān)于機(jī)器推理的推薦部分）。這正是為什么這個方向既令人興奮又至關(guān)重要的原因。可解釋的深度學(xué)習(xí)主要有兩種方法。第一個是對用戶做出可解釋的預(yù)測，讓他們了解網(wǎng)絡(luò)推薦背后的因素（即為什么推薦這個物品/服務(wù)？）[126,178]。第二個軌道主要側(cè)重于從業(yè)者的解釋能力，探測權(quán)重和激活以更多地了解模型[145]。截至今天，注意力模型[126,146,178]或多或少地緩解了神經(jīng)模型的不可解釋的問題。如果有的話，注意力模型反而導(dǎo)致更大范圍的可解釋性，因為注意力量不僅提供關(guān)于模型的內(nèi)部工作的見解，而且還能夠向用戶提供可解釋的結(jié)果。雖然