深度學(xué)習(xí)的深度信念網(wǎng)絡(luò)DBN.ppt

1、PPT模板下載：,深度置信網(wǎng)絡(luò)BDN學(xué)習(xí)報告,自編碼算法,自編碼神經(jīng)網(wǎng)絡(luò)嘗試學(xué)習(xí)一個 的函數(shù)，也就是說，它嘗試逼近一個恒等函數(shù)，從而使得輸出接近于輸入。恒等函數(shù)雖然看上去不太有學(xué)習(xí)的意義，但是當(dāng)我們?yōu)樽跃幋a神經(jīng)網(wǎng)絡(luò)加入某些限制，比如限定隱藏神經(jīng)元的數(shù)量，我們就可以從輸入數(shù)據(jù)中發(fā)現(xiàn)一些有趣的結(jié)構(gòu)。,自編碼神經(jīng)網(wǎng)絡(luò)示例,如果輸入數(shù)據(jù)中隱含著一些特定的結(jié)構(gòu)，比如某些輸入特征是彼此相關(guān)的，那么這一算法就可以發(fā)現(xiàn)輸入數(shù)據(jù)中的這些相關(guān)性。事實上，這一簡單的自編碼神經(jīng)網(wǎng)絡(luò)通?？梢詫W(xué)習(xí)出一個跟主元分析(PCA)結(jié)果非常相似的輸入數(shù)據(jù)的低維表示。,“預(yù)訓(xùn)練”方法限制玻爾茲曼機（RBM）,RBM網(wǎng)絡(luò)共有2層，其中

2、第一層稱為可視層，一般來說是輸入層，另一層是隱含層，也就是我們一般指的特征提取層。 是可視層與隱藏層之間的權(quán)重矩陣， 是可視節(jié)點的偏移量， 是隱藏節(jié)點的偏移量。,隱含層,可視層,“預(yù)訓(xùn)練”方法限制玻爾茲曼機（RBM）,定義能量函數(shù)：,聯(lián)合概率分布： Z為歸一化系數(shù)，其定義為： 輸入層的邊緣概率為：,限制玻爾茲曼機（RBM）,計算方法,權(quán)值更新,網(wǎng)絡(luò)學(xué)習(xí)的目的是最大可能的擬合輸入數(shù)據(jù)，即最大化 。 Hinton提出了一種快速算法，稱作contrastive divergence（對比分歧）算法。這種算法只需迭代k次，就可以獲得對模型的估計，而通常k等于1. CD算法在開始是用訓(xùn)練數(shù)據(jù)去初始化可見

3、層，然后用條件分布計算隱層；然后，再根據(jù)隱層，同樣，用條件分布來計算可見層。這樣產(chǎn)生的結(jié)果是對輸入的一個重構(gòu)。根據(jù)CD算法： 其中， 是學(xué)習(xí)率， 是樣本數(shù)據(jù)的期望， 是重構(gòu)后可視層數(shù)據(jù)的期望,深度學(xué)習(xí),深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型組合低層特征形成更加抽象的高層來表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征。其動機在于建立模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。,深度學(xué)習(xí)的核心思路如下： 無監(jiān)督學(xué)習(xí)用于每一層網(wǎng)絡(luò)的pre-train； 每次用無監(jiān)督學(xué)習(xí)只訓(xùn)練一層，將其訓(xùn)練結(jié)果作為其高一層的

4、輸入； 用自頂而下的監(jiān)督算法去調(diào)整所有層。,多層置信網(wǎng)絡(luò)結(jié)構(gòu),首先，你需要用原始輸入 x(k) 訓(xùn)練第一個自編碼器，它能夠?qū)W習(xí)得到原始輸入的一階特征表示 h(1)(k)。,多層置信網(wǎng)絡(luò)結(jié)構(gòu),接著，你需要把原始數(shù)據(jù)輸入到上述訓(xùn)練好的稀疏自編碼器中，對于每一個輸入 x(k)，都可以得到它對應(yīng)的一階特征表示 h(1)(k)。然后你再用這些一階特征作為另一個稀疏自編碼器的輸入，使用它們來學(xué)習(xí)二階特征 h(2)(k)。,多層置信網(wǎng)絡(luò)結(jié)構(gòu),再把一階特征輸入到剛訓(xùn)練好的第二層稀疏自編碼器中，得到每個h(1)(k) 對應(yīng)的二階特征激活值 h(2)(k)。接下來，你可以把這些二階特征作為softmax分類器的輸入，訓(xùn)練得到一個能將二階特征映射到數(shù)字標(biāo)簽的模型。,多層置信網(wǎng)絡(luò)結(jié)構(gòu),最終，你可以將這三層結(jié)合起來構(gòu)建一個包含兩個隱藏層和一個最終softmax分類器層的棧式自編碼網(wǎng)絡(luò)，這個網(wǎng)絡(luò)能夠如你所愿地對MNIST數(shù)字進行分類。,多層置信網(wǎng)絡(luò)結(jié)構(gòu),DBNs由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經(jīng)網(wǎng)絡(luò)類型如圖所示。,多層置信網(wǎng)絡(luò)結(jié)構(gòu),最終在構(gòu)筑好整個網(wǎng)絡(luò)后，相當(dāng)于進行了一次完整的無監(jiān)督學(xué)習(xí)。 在