深度學習的深度信念網(wǎng)絡DBN.ppt

1、PPT模板下載：,深度置信網(wǎng)絡BDN學習報告,自編碼算法,自編碼神經網(wǎng)絡嘗試學習一個 的函數(shù)，也就是說，它嘗試逼近一個恒等函數(shù)，從而使得輸出接近于輸入。恒等函數(shù)雖然看上去不太有學習的意義，但是當我們?yōu)樽跃幋a神經網(wǎng)絡加入某些限制，比如限定隱藏神經元的數(shù)量，我們就可以從輸入數(shù)據(jù)中發(fā)現(xiàn)一些有趣的結構。,自編碼神經網(wǎng)絡示例,如果輸入數(shù)據(jù)中隱含著一些特定的結構，比如某些輸入特征是彼此相關的，那么這一算法就可以發(fā)現(xiàn)輸入數(shù)據(jù)中的這些相關性。事實上，這一簡單的自編碼神經網(wǎng)絡通常可以學習出一個跟主元分析(PCA)結果非常相似的輸入數(shù)據(jù)的低維表示。,“預訓練”方法限制玻爾茲曼機（RBM）,RBM網(wǎng)絡共有2層，其中

2、第一層稱為可視層，一般來說是輸入層，另一層是隱含層，也就是我們一般指的特征提取層。 是可視層與隱藏層之間的權重矩陣， 是可視節(jié)點的偏移量， 是隱藏節(jié)點的偏移量。,隱含層,可視層,“預訓練”方法限制玻爾茲曼機（RBM）,定義能量函數(shù)：,聯(lián)合概率分布： Z為歸一化系數(shù)，其定義為： 輸入層的邊緣概率為：,限制玻爾茲曼機（RBM）,計算方法,權值更新,網(wǎng)絡學習的目的是最大可能的擬合輸入數(shù)據(jù)，即最大化 。 Hinton提出了一種快速算法，稱作contrastive divergence（對比分歧）算法。這種算法只需迭代k次，就可以獲得對模型的估計，而通常k等于1. CD算法在開始是用訓練數(shù)據(jù)去初始化可見

3、層，然后用條件分布計算隱層；然后，再根據(jù)隱層，同樣，用條件分布來計算可見層。這樣產生的結果是對輸入的一個重構。根據(jù)CD算法： 其中， 是學習率， 是樣本數(shù)據(jù)的期望， 是重構后可視層數(shù)據(jù)的期望,深度學習,深度學習的實質，是通過構建具有很多隱層的機器學習模型組合低層特征形成更加抽象的高層來表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征。其動機在于建立模擬人腦進行分析學習的神經網(wǎng)絡，模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。因此，“深度模型”是手段，“特征學習”是目的。,深度學習的核心思路如下： 無監(jiān)督學習用于每一層網(wǎng)絡的pre-train； 每次用無監(jiān)督學習只訓練一層，將其訓練結果作為其高一層的

4、輸入； 用自頂而下的監(jiān)督算法去調整所有層。,多層置信網(wǎng)絡結構,首先，你需要用原始輸入 x(k) 訓練第一個自編碼器，它能夠學習得到原始輸入的一階特征表示 h(1)(k)。,多層置信網(wǎng)絡結構,接著，你需要把原始數(shù)據(jù)輸入到上述訓練好的稀疏自編碼器中，對于每一個輸入 x(k)，都可以得到它對應的一階特征表示 h(1)(k)。然后你再用這些一階特征作為另一個稀疏自編碼器的輸入，使用它們來學習二階特征 h(2)(k)。,多層置信網(wǎng)絡結構,再把一階特征輸入到剛訓練好的第二層稀疏自編碼器中，得到每個h(1)(k) 對應的二階特征激活值 h(2)(k)。接下來，你可以把這些二階特征作為softmax分類器的輸入，訓練得到一個能將二階特征映射到數(shù)字標簽的模型。,多層置信網(wǎng)絡結構,最終，你可以將這三層結合起來構建一個包含兩個隱藏層和一個最終softmax分類器層的棧式自編碼網(wǎng)絡，這個網(wǎng)絡能夠如你所愿地對MNIST數(shù)字進行分類。,多層置信網(wǎng)絡結構,DBNs由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網(wǎng)絡類型如圖所示。,多層置信網(wǎng)絡結構,最終在構筑好整個網(wǎng)絡后，相當于進行了一次完整的無監(jiān)督學習。 在