強(qiáng)化學(xué)習(xí)讓推薦系統(tǒng)像智能機(jī)器人一樣自主

所以這節(jié)課，我會(huì)帶你重點(diǎn)學(xué)習(xí)這三點(diǎn)內(nèi)容：一是強(qiáng)化學(xué)習(xí)的基本概念；二是，我會(huì)以微軟的DRN模型為例，幫你厘清強(qiáng)化學(xué)推薦系統(tǒng)的應(yīng)用細(xì)節(jié)；三是幫助你搞清楚深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的結(jié)合點(diǎn)究竟在哪。事實(shí)上，任何一個(gè)有智力的，它的學(xué)習(xí)過程都遵循強(qiáng)化學(xué)習(xí)所描述的原理。比如說，嬰兒學(xué)走路就是通過與環(huán)境交互，不斷從失敗中學(xué)習(xí)，來改進(jìn)自己的下一步的動(dòng)作才最終成功的。再比如說，在機(jī)器人領(lǐng)域，一個(gè)智能機(jī)器人控制機(jī)械臂來完成一個(gè)指定的任務(wù)，或者協(xié)調(diào)全身的動(dòng)作來學(xué)習(xí)跑步，本質(zhì)上都符合強(qiáng)化學(xué)習(xí)的過程。為了把強(qiáng)化學(xué)習(xí)技術(shù)落地，只清楚它的基本原理顯然是不夠的，我們需要清晰地定義出強(qiáng)化學(xué)習(xí)中的每個(gè)關(guān)鍵變量，形成一套通用的技術(shù)框架。對(duì)于一個(gè)通用的強(qiáng)化學(xué)習(xí)框架來說，有這么六個(gè)元素是必須要有的：智能體（Agent）：強(qiáng)化學(xué)習(xí)的主體也就是作出決定的“大腦”；為了方便，我們可以用一段話把強(qiáng)化學(xué)習(xí)的六大要素串起來：一個(gè)智能體身處在不斷變化的環(huán)境之中，為了達(dá)成某個(gè)目標(biāo)，它需要不斷作出行動(dòng)，行動(dòng)會(huì)帶來好或者不好的獎(jiǎng)勵(lì)，智能體收集起這些反饋進(jìn)行自我學(xué)習(xí)，改變自己所處的狀態(tài)，再進(jìn)行下一步的行動(dòng)，然后智能體會(huì)持續(xù)這個(gè)“行動(dòng)--更新狀態(tài)”的循環(huán)，不斷優(yōu)化自身，直到達(dá)成這就是強(qiáng)化學(xué)習(xí)通用過程的描述，那么，對(duì)于推薦系統(tǒng)而言，我們能不能創(chuàng)造這樣一個(gè)會(huì)自我學(xué)習(xí)、自我調(diào)整的智能體，為用戶進(jìn)行推薦呢？事實(shí)上，微軟的DRN模型已經(jīng)實(shí)現(xiàn)這DRN強(qiáng)化學(xué)習(xí)推薦模型DRN（DeepRein mentLearningNetwork，深度強(qiáng)化絡(luò)）是微軟在2018年，它被應(yīng)用在了推薦的場(chǎng)景上，下圖1是DRN的框圖。事實(shí)上，它不僅是微軟DRN圖1從這個(gè)技術(shù)框圖中，我們可以清楚地看到強(qiáng)化學(xué)習(xí)的六大要素。接下來，我就以DRN的學(xué)習(xí)過程串聯(lián)起所有要素，來和你詳細(xì)說說這六大要素在推薦系統(tǒng)場(chǎng)景下分別指的是什么，以及每個(gè)要素的位置和作用。在的推薦系統(tǒng)場(chǎng)景下，DRN模型的第一步是初始化推薦系統(tǒng)，主要初始化的是推薦模進(jìn)行排序這樣的行動(dòng)，并在或者App這些環(huán)境中推送給用戶。為正向或者負(fù)向再反饋給推薦系統(tǒng)。推薦系統(tǒng)收到之后，會(huì)根據(jù)它改變、更新當(dāng)前的狀態(tài)，并進(jìn)行模型訓(xùn)練來更新模型。接著，就是推薦系統(tǒng)不斷重復(fù)“排序-推送-反饋”的步驟，直到達(dá)成提高的整體點(diǎn)到這里，你有沒有發(fā)現(xiàn)強(qiáng)化學(xué)習(xí)推薦系統(tǒng)跟傳統(tǒng)推薦系統(tǒng)相比，它的主要特點(diǎn)是什么？其實(shí)，就在于強(qiáng)化學(xué)習(xí)推薦系統(tǒng)始終在強(qiáng)調(diào)“持續(xù)學(xué)習(xí)”和“實(shí)時(shí)訓(xùn)練”。它不斷利用新學(xué)我們現(xiàn)在已經(jīng)熟悉了強(qiáng)化學(xué)習(xí)推薦系統(tǒng)的框架，但其中最關(guān)鍵的部分“智能體”到底長(zhǎng)什么樣呢？微軟又是怎么實(shí)現(xiàn)“實(shí)時(shí)訓(xùn)練”的呢？接下來，就讓我們深入DRN的細(xì)節(jié)中去看一看。DRNDeepQ-NetworkQ圖2DQNDQN的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，它就是一個(gè)典型的雙塔結(jié)構(gòu)。其中，用戶塔的輸入特征是用戶特征和場(chǎng)景特征，物品塔的輸入向量是所有的用戶、環(huán)境、用戶-交叉特征和新在強(qiáng)化學(xué)習(xí)的框架下，用戶塔特征向量因?yàn)榇砹擞脩舢?dāng)前所處的狀態(tài)，所以也可被視為狀態(tài)向量。物品塔特征向量則代表了系統(tǒng)下一步要選擇的，我們剛才說了，這個(gè)選擇的過程就是智能體的“行動(dòng)”，所以物品塔特征向量也被稱為行量。雙塔模型通過對(duì)狀態(tài)向量和行量分別進(jìn)行MLP處理，再用互操作層生成了最終的行動(dòng)質(zhì)量得分Qs,a)，智能體正是通過這一得分的高低，來選擇到底做出哪些行動(dòng)，也就是推薦哪些給用戶的。度推薦模型又解釋了一遍。別著急，下面我要講的DRNDRNDRN的學(xué)習(xí)過程是整個(gè)強(qiáng)化學(xué)習(xí)推薦系統(tǒng)框架的重點(diǎn)，正是因?yàn)榭梢愿拢攀沟脧?qiáng)化學(xué)習(xí)模型相比其他“靜態(tài)”深度學(xué)習(xí)模型有了實(shí)時(shí)性上的優(yōu)勢(shì)。下面，我們就按照下圖中從左至右的時(shí)間軸，來描繪一下DRN學(xué)習(xí)過程中的重要步驟。圖3DRN我們先來看離線部分。DRN根據(jù)歷史數(shù)據(jù)訓(xùn)練好DQN模型，作為智能體的初始化模型。而部分根據(jù)模型更新的間隔分成n個(gè)時(shí)間段，這里以t1到t5時(shí)間段為例。首先在t1到t2階段，DRN時(shí)間點(diǎn)，DRN利用t1到t2（Minor最后在t4時(shí)間點(diǎn)，DRN利用t1到t4階段的用戶點(diǎn)擊數(shù)據(jù)及用戶活躍度數(shù)據(jù)，進(jìn)行模型的主更新（Majorupdate）。時(shí)間線不斷延長(zhǎng)，我們就不斷重復(fù)t1到t4這3個(gè)階段的操這其中，我要重點(diǎn)強(qiáng)調(diào)兩個(gè)操作，一個(gè)是在t4的時(shí)間點(diǎn)出現(xiàn)的模型主更新操作，我們可以理解為利用歷史數(shù)據(jù)的重新訓(xùn)練，用訓(xùn)練好的模型來替代現(xiàn)有模型。另一個(gè)是t2、t3時(shí)間DRN使用的一種新的訓(xùn)練方法，DuelingBanditGradientDescentalgorithm（競(jìng)DRN的學(xué)習(xí)方法：競(jìng)爭(zhēng)梯度下降算圖4DRN的學(xué)習(xí)過QW添加一個(gè)較小的隨機(jī)擾動(dòng)，得到一個(gè)新的模型參數(shù)，這里我們稱對(duì)應(yīng)的網(wǎng)絡(luò)為探索網(wǎng)絡(luò)Q~。在這一步中，由當(dāng)前網(wǎng)絡(luò)Q生成探索網(wǎng)絡(luò)，產(chǎn)生隨機(jī)擾動(dòng)的1如下ΔW=α?rand(?1,1)?其中，α是一個(gè)探索因子，決定探索力度的大小。rand(-1,11,1]之間的隨QQ~L和L~，再將兩個(gè)推薦列Q～Q，我們總的來說，DRN的學(xué)習(xí)過程利用了“探索”的思想，其調(diào)整模型的粒度可以精細(xì)到每次獲得反饋之后，這一點(diǎn)很像隨機(jī)梯度下降的思路：雖然一次樣本的結(jié)果可能產(chǎn)生隨機(jī)擾動(dòng)，但只要總的下降趨勢(shì)是正確的，我們就能夠通過海量的嘗試最終達(dá)到最優(yōu)點(diǎn)。DRN正是通過這種方式，讓模型時(shí)刻與最“新鮮”的數(shù)據(jù)保持同步，實(shí)時(shí)地把的信息融合進(jìn)模型中。模型的每次“探索”和更新也就是我們之前提到的模型“微更新”。到這里，我們就講完了微軟的深度強(qiáng)化學(xué)習(xí)模型DRN。我們可以想這樣一個(gè)問題：這個(gè)模型本質(zhì)上到底改進(jìn)了什么？從我的角度來說，它最大的改進(jìn)就是把模型推斷、模型更新、推薦系統(tǒng)工程整個(gè)了，讓整個(gè)模型學(xué)習(xí)的過程變得更高效，能根據(jù)用戶的實(shí)時(shí)學(xué)到新知識(shí)，做出最實(shí)時(shí)的反饋。但同時(shí)，也正是因?yàn)楣こ毯湍Ｐ途o緊地耦合在一起，讓強(qiáng)化學(xué)推薦系統(tǒng)中的落地并不容易。在這個(gè)過程中，能不能有一個(gè)架構(gòu)師一樣的角色來通盤協(xié)調(diào)，就成為了整個(gè)落地過程的關(guān)鍵點(diǎn)。有一個(gè)環(huán)節(jié)出錯(cuò)，比如說模型在做完實(shí)時(shí)訓(xùn)練后，模型參數(shù)更新得不及時(shí)，那整個(gè)強(qiáng)化學(xué)習(xí)的流程就被打亂了，整體的效果就會(huì)受到影響。所以對(duì)我們個(gè)人來說，掌握強(qiáng)化學(xué)習(xí)模型的框架，也就多了一個(gè)發(fā)展的方向。那對(duì)于團(tuán)隊(duì)來說，如果強(qiáng)化學(xué)習(xí)能夠成功落地，也一定證明了這個(gè)團(tuán)隊(duì)有著極強(qiáng)的合作能力，在工程和研究方向上都有著過硬的實(shí)踐能力。簡(jiǎn)單來說，強(qiáng)化學(xué)習(xí)的通用過程就是訓(xùn)練一個(gè)智能體，讓它通過與環(huán)境進(jìn)行交互，不斷學(xué)習(xí)強(qiáng)化自己的智力，并指導(dǎo)自己的下一步行動(dòng)，以取得最大化的預(yù)期利益。這也讓強(qiáng)化學(xué)模型實(shí)時(shí)更新，用戶行為快速反饋等方向上擁有巨大的優(yōu)勢(shì)。但強(qiáng)化學(xué)習(xí)的落地并不容易，整個(gè)落地過程的工程量非常大?，F(xiàn)階段，我們只需要以微軟的DRN模型作為參考，重點(diǎn)掌握強(qiáng)化學(xué)推薦系統(tǒng)領(lǐng)域的應(yīng)用細(xì)節(jié)就可以了。一個(gè)是DRN構(gòu)建了雙塔模型作為深度推薦模型，來得出“行動(dòng)得分”。第二個(gè)是DRN的更新方式，它利用“微更新”實(shí)時(shí)地學(xué)習(xí)用戶的反饋，更新推薦模型，再利用階段性的“主更新”學(xué)習(xí)全量樣本，更新模型。第三個(gè)是微更新時(shí)的方法，競(jìng)爭(zhēng)梯度下降算法，它通過比較原網(wǎng)絡(luò)和探索網(wǎng)絡(luò)的實(shí)時(shí)效果，來更新模型的參數(shù)。DRN歡迎的思考和疑問寫在留言區(qū)，如果你的朋友們也在關(guān)注強(qiáng)化學(xué)推薦系統(tǒng)上的發(fā) 不得售賣。頁面已增加防盜追蹤，將依法其上一 下一 特別加餐|“銀彈”不可靠，最優(yōu)的模型結(jié)構(gòu)該怎么找寫言寫言問題1.3孫1次，那么我可以理解為，強(qiáng)化學(xué)在于t1到t3這部分的微調(diào)整嗎，我覺得強(qiáng)化學(xué)習(xí)bi中的ploriolobLLeo我覺得更新不是區(qū)別強(qiáng)化學(xué)習(xí)D