深度學(xué)習(xí)基礎(chǔ)理論課件

深度學(xué)習(xí)入門理論1深度學(xué)習(xí)入門理論1主要內(nèi)容2人腦視覺機理1關(guān)于特征2深度學(xué)習(xí)思想3訓(xùn)練過程45常用模型主要內(nèi)容2人腦視覺機理1關(guān)于特征2深度學(xué)習(xí)思想3訓(xùn)練過程45人腦視覺機理3人的視覺系統(tǒng)的信息處理是分級的，神經(jīng)-中樞-大腦的工作過程是一個不斷迭代、不斷抽象的過程。人腦視覺機理3人的視覺系統(tǒng)的信息處理是分級的，神經(jīng)-4目前我們通過機器學(xué)習(xí)去解決這些問題的思路都是這樣的（以視覺感知為例）：4目前我們通過機器學(xué)習(xí)去解決這些問題的思路都是這樣的（以視覺關(guān)于特征特征是機器學(xué)習(xí)系統(tǒng)的原材料。如果數(shù)據(jù)被很好的表達成了特征，通常線性模型就能達到滿意的精度。對于特征，我們需要考慮四個方面：1、特征表示的粒度2、初級（淺層）特征表示3、結(jié)構(gòu)性特征表示4、需要有多少個特征5關(guān)于特征特征是機器學(xué)習(xí)系統(tǒng)的原材料。如果數(shù)據(jù)被很關(guān)于特征61、特征表示的粒度

學(xué)習(xí)算法在一個什么粒度上的特征表示，才有能發(fā)揮作用？關(guān)于特征61、特征表示的粒度關(guān)于特征72、初級（淺層）特征表示像素級的特征表示方法沒有作用，那怎樣的表示才有用呢？關(guān)于特征72、初級（淺層）特征表示關(guān)于特征83、結(jié)構(gòu)性特征表示

小塊的圖形可以由基本edge構(gòu)成，更結(jié)構(gòu)化，更復(fù)雜的，具有概念性的圖形如何表示呢？關(guān)于特征83、結(jié)構(gòu)性特征表示關(guān)于特征9

在不同對象上做訓(xùn)練時，所得的邊緣基底是非常相似的，但對象部分和模型就會完全不同了。關(guān)于特征9

在不同對象上做訓(xùn)練時，所得的邊緣關(guān)于特征104、需要有多少個特征我們知道需要層次的特征構(gòu)建，由淺入深，但每一層該有多少個特征呢？關(guān)于特征104、需要有多少個特征深度學(xué)習(xí)思想對堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，并且使得輸入與輸出的差別盡可能地小，就可以實現(xiàn)對輸入信息進行分級表達了。深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。11深度學(xué)習(xí)思想對堆疊多個層，也就是說這一層的輸出作為下深度學(xué)習(xí)訓(xùn)練過程1）使用自下上升非監(jiān)督學(xué)習(xí)從底層開始，一層一層的往頂層訓(xùn)練，采用無標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)。2）自頂向下的監(jiān)督學(xué)習(xí)就是通過帶標(biāo)簽的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對網(wǎng)絡(luò)進行微調(diào)，基于第一步得到的各層參數(shù)進一步微調(diào)整個多層模型的參數(shù)，這一步是一個有監(jiān)督訓(xùn)練過程12深度學(xué)習(xí)訓(xùn)練過程1）使用自下上升非監(jiān)督學(xué)習(xí)12深度學(xué)習(xí)的常用模型1、AutoEncoder自動編碼器自動編碼器就是一種盡可能復(fù)現(xiàn)輸入信號的神經(jīng)網(wǎng)絡(luò)。具體過程簡單的說明如下：1）給定無標(biāo)簽數(shù)據(jù)，用非監(jiān)督學(xué)習(xí)學(xué)習(xí)特征：13深度學(xué)習(xí)的常用模型1、AutoEncoder自動編碼器13AutoEncoder自動編碼器14通過調(diào)整encoder和decoder的參數(shù)，使得重構(gòu)誤差最小，這時候我們就得到了輸入input信號的第一個表示了，也就是編碼code了。因為是無標(biāo)簽數(shù)據(jù)，所以誤差的來源就是直接重構(gòu)后與原輸入相比得到。AutoEncoder自動編碼器14通過調(diào)整encoder和AutoEncoder自動編碼器2）通過編碼器產(chǎn)生特征，然后訓(xùn)練下一層。這樣逐層訓(xùn)練：15將第一層輸出的code當(dāng)成第二層的輸入信號，同樣最小化重構(gòu)誤差，就會得到第二層的參數(shù)，并且得到第二層輸出的code，也就是原輸入信息的第二個表達了。其他層就用同樣的方法炮制。AutoEncoder自動編碼器2）通過編碼器產(chǎn)生特征，然后AutoEncoder自動編碼器3）有監(jiān)督微調(diào)：到這里，這個AutoEncoder還不能用來分類數(shù)據(jù)，可以在AutoEncoder的最頂?shù)木幋a層添加一個分類器，然后通過標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法（梯度下降法）去訓(xùn)練。微調(diào)分為兩種，一個是只調(diào)整分類器（黑色部分）：16AutoEncoder自動編碼器3）有監(jiān)督微調(diào)：16AutoEncoder自動編碼器另一種：通過有標(biāo)簽樣本，微調(diào)整個系統(tǒng)：17在研究中可以發(fā)現(xiàn)，如果在原有的特征中加入這些自動學(xué)習(xí)得到的特征可以大大提高精確度，甚至在分類問題中比目前最好的分類算法效果還要好！AutoEncoder自動編碼器另一種：通過有標(biāo)簽樣本，微調(diào)AutoEncoder自動編碼器AutoEncoder存在的一些變體：a）SparseAutoEncoder稀疏自動編碼器b）DenoisingAutoEncoders降噪自動編碼器18AutoEncoder自動編碼器AutoEncoder存在的深度學(xué)習(xí)的常用模型2、SparseCoding稀疏編碼將一個信號表示為一組基的線性組合，而且要求只需要較少的幾個基就可以將信號表示出來。稀疏編碼算法是一種無監(jiān)督學(xué)習(xí)方法，它用來尋找一組“超完備”基向量來更高效地表示樣本數(shù)據(jù)。目標(biāo)函數(shù)：Min|I–O|+u*(|a1|+|a2|+…+|an|)19深度學(xué)習(xí)的常用模型2、SparseCoding稀疏編碼19SparseCoding稀疏編碼20SparseCoding稀疏編碼20SparseCoding稀疏編碼Sparsecoding分為兩個部分：1）Training階段：

給定一系列的樣本圖片[x1,x2,…]，我們需要學(xué)習(xí)得到一組基[Φ1,Φ2,…]，也就是字典。訓(xùn)練過程就是一個重復(fù)迭代的過程，交替更改a和Φ使得下面這個目標(biāo)函數(shù)最小。21SparseCoding稀疏編碼SparsecodingSparseCoding稀疏編碼2）Coding階段：

給定一個新的圖片x，由上面得到的字典，通過解一個LASSO問題得到稀疏向量a。這個稀疏向量就是這個輸入向量x的一個稀疏表達了。22SparseCoding稀疏編碼2）Coding階段：22深度學(xué)習(xí)的常用模型3、RestrictedBoltzman