Bengio和LeCun在NIPS2016上的演講

1、選自 NIPS2016 機(jī)器之心整理編輯： 杜夏德 NIPS 2016 召開至今，干貨滿滿， Google 、吳恩達(dá)、 IanGoodfellow 等 公司和學(xué)者的演講、展示的材料不斷放出。今天小編又給大 家?guī)?lái)兩位重磅級(jí)學(xué)者 Yoshua Bengio 和 Yann LeCun 在 NIPS2106 上的講演材料。 Bengio 主要介紹從生物學(xué)角度介 紹了深度學(xué)習(xí)， 而 LeCun 講解了基于能量的 GAN 及其對(duì)抗 訓(xùn)練的方法。點(diǎn)擊閱讀原文即可下載兩份材料的 PDF1 【生 物學(xué)可信深度學(xué)習(xí)】 Towards biologically plausible deep learning by

2、 Yoshua BengioP2-5. 深度學(xué)習(xí)的核心議題是信 用分配也就是，隱藏層要做什么才能對(duì)其他層及該網(wǎng)絡(luò)更大 的目標(biāo)有用？現(xiàn)有的方法是反向傳播算法及玻爾茲曼機(jī)中 的隨機(jī)松弛。但是強(qiáng)化學(xué)習(xí)不行，因?yàn)榉讲顣?huì)隨著神經(jīng)元獲 得的信用數(shù)量呈線性上升。那么大腦有時(shí)如何做的呢？生物 學(xué)上可信的反向傳播。連續(xù) Hopfield 神經(jīng)網(wǎng)絡(luò)的能量函數(shù) 變異 P6-9. 作為推理的神經(jīng)計(jì)算需要對(duì)稱性， 巧合的是沒有 強(qiáng)制對(duì)稱的自動(dòng)編碼器最終會(huì)有對(duì)稱權(quán)重。反向傳播不需要 嚴(yán)格的對(duì)稱。 P10-13 如何在負(fù)相中進(jìn)行快速推理（后驗(yàn)采 樣）。對(duì)于深度生成網(wǎng)絡(luò)的快速推理前饋初始化在生物學(xué)上 是可信的。誤差的傳遞是件

3、好事，因?yàn)樗軐?shí)現(xiàn)一種和諧。 而誤差的傳遞其實(shí)就是增量目標(biāo)的傳遞。 P15-22 我們?nèi)绾斡?xùn)練一個(gè)執(zhí)行計(jì)算的物理系統(tǒng)？首先要實(shí)現(xiàn)動(dòng)態(tài)平衡P23-26STDP 連接平衡傳播產(chǎn)生 STDP 一個(gè)微分對(duì)比的 Hebbian 更新 P27. 繼承反向傳播的特性 P28. 誤差傳遞等 于增量目標(biāo)的傳遞 P29-30. 平衡傳播包括作為前饋網(wǎng)絡(luò)中 一個(gè)特例的一般反向傳播 P31. 開放性的問(wèn)題擺脫能量公式 的局部極小值，同時(shí)泛化到被其動(dòng)力學(xué)限制的系統(tǒng)中，還要 學(xué)習(xí)過(guò)渡算子( transition operator )，這樣就可以避免權(quán)重 對(duì)稱約束將這些想法推廣到無(wú)監(jiān)督學(xué)習(xí)中一段時(shí)間后反向 傳播會(huì)怎么樣呢？

4、 P32. STDP vs 反 STDP ：可能嗎？ P33. Variational WalkbackP34.GAN 在大腦中的部署和 Actor-Critic 算法：質(zhì)疑單一目標(biāo)優(yōu)化 Dogma2. 【能量 GAN 與對(duì)抗方法】 Energy-Based GANs & other Adversarial things by Yann LeCunP2. 無(wú)監(jiān)督學(xué)習(xí) P3. 基于能量的無(wú) 監(jiān)督學(xué)習(xí)學(xué)習(xí)一個(gè)滿足以下兩個(gè)條件的能量函數(shù)在數(shù)據(jù)流 形上取值較低在其他地方取值較高 P4-5. 在帶有能量函數(shù) 的變量之間撲捉相關(guān)性 ( dependencies )P6. 學(xué)習(xí)該能量函 數(shù) P7-9. 塑造能量函數(shù)的 7 個(gè)策略 P10-22 對(duì)抗訓(xùn)練。難 點(diǎn)是在不確定的情況下預(yù)測(cè)?；谀芰康臒o(wú)監(jiān)督學(xué)習(xí)對(duì)抗訓(xùn) 練：一個(gè)可訓(xùn)練的目標(biāo)函數(shù)基于能量的 GAN 。 EBGAN 損 失函數(shù) EBGAN 的解決方法是納什均衡 ENGAN 中的 D 是一個(gè)梯形網(wǎng)絡(luò)基于能量的EBGAN 在128 X 128像素的ImagNet上訓(xùn)練的結(jié)果?；谀芰康?EBGAN 在256 X 256像素的 ImagNet 上訓(xùn)練的結(jié)果。 P23-34 視頻預(yù)測(cè)(經(jīng)過(guò) 對(duì)抗訓(xùn)練)用于視頻預(yù)測(cè)的多尺度卷積網(wǎng)絡(luò)不能使用平方誤 差：模糊預(yù)測(cè)預(yù)測(cè)的無(wú)監(jiān)督學(xué)習(xí)視頻預(yù)測(cè)：預(yù)測(cè)