神經(jīng)網(wǎng)絡(luò)基本知識(shí)

1、（一）三層神經(jīng)網(wǎng)絡(luò)1) 該模型的參數(shù)通過兩個(gè)步驟訓(xùn)練獲得：在該網(wǎng)絡(luò)的第一層，將輸入映射至隱藏單元激活量的權(quán)值可以通過稀疏自編碼器訓(xùn)練過程獲得。在第二層，將隱藏單元映射至輸出的權(quán)值可以通過 logistic 回歸或 softmax 回歸訓(xùn)練獲得。2) 在描述上述過程時(shí)，假設(shè)采用了“替代 (Replacement)”表示而不是“級(jí)聯(lián) (Concatenation)”表示。在替代表示中，logistic 分類器所看到的訓(xùn)練樣本格式為；而在級(jí)聯(lián)表示中，分類器所看到的訓(xùn)練樣本格式為。在級(jí)聯(lián)表示神經(jīng)網(wǎng)絡(luò)中，輸入值也直接被輸入至 logistic 分類器。3) 在訓(xùn)練獲得模型最初參數(shù)（利用自動(dòng)編碼器訓(xùn)練第一

2、層，利用 logistic/softmax 回歸訓(xùn)練第二層）之后，可以進(jìn)一步修正模型參數(shù)，進(jìn)而降低訓(xùn)練誤差。具體來說，可以對(duì)參數(shù)進(jìn)行微調(diào)，在現(xiàn)有參數(shù)的基礎(chǔ)上采用梯度下降或者 L-BFGS 來降低已標(biāo)注樣本集上的訓(xùn)練誤差。 微調(diào)的作用在于，已標(biāo)注數(shù)據(jù)集也可以用來修正權(quán)值，這樣可以對(duì)隱藏單元所提取的特征做進(jìn)一步調(diào)整。 對(duì)于微調(diào)來說，級(jí)聯(lián)表示相對(duì)于替代表示幾乎沒有優(yōu)勢(shì)。因此，如果需要開展微調(diào)，通常使用替代表示的網(wǎng)絡(luò)。但是如果不開展微調(diào)，級(jí)聯(lián)表示的效果有時(shí)候會(huì)好得多。 通常僅在有大量已標(biāo)注訓(xùn)練數(shù)據(jù)的情況下使用微調(diào)。在這樣的情況下，微調(diào)能顯著提升分類器性能。如果有大量未標(biāo)注數(shù)據(jù)集（用于非監(jiān)督特征學(xué)習(xí)/預(yù)

3、訓(xùn)練），卻只有相對(duì)較少的已標(biāo)注訓(xùn)練集，微調(diào)的作用非常有限。（二）深度網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)，即含有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)。通過引入深度網(wǎng)絡(luò)，可以計(jì)算更多復(fù)雜的輸入特征。因?yàn)槊恳粋€(gè)隱藏層可以對(duì)上一層的輸出進(jìn)行非線性變換，因此深度神經(jīng)網(wǎng)絡(luò)擁有比“淺層”網(wǎng)絡(luò)更加優(yōu)異的表達(dá)能力。1. 深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)1) 當(dāng)訓(xùn)練深度網(wǎng)絡(luò)的時(shí)候，每一層隱層應(yīng)該使用非線性的激活函數(shù)。這是因?yàn)槎鄬拥木€性函數(shù)組合在一起本質(zhì)上也只有線性函數(shù)的表達(dá)能力（例如，將多個(gè)線性方程組合在一起僅僅產(chǎn)生另一個(gè)線性方程）。因此，在激活函數(shù)是線性的情況下，相比于單隱藏層神經(jīng)網(wǎng)絡(luò)，包含多隱藏層的深度網(wǎng)絡(luò)并沒有增加表達(dá)能力。2) 深度網(wǎng)絡(luò)最主要的優(yōu)勢(shì)在于

4、，它能以更加緊湊簡(jiǎn)潔的方式來表達(dá)比淺層網(wǎng)絡(luò)大得多的函數(shù)集合。即可以找到一些函數(shù)，這些函數(shù)可以用層網(wǎng)絡(luò)簡(jiǎn)潔地表達(dá)出來（這里的簡(jiǎn)潔是指隱層單元的數(shù)目只需與輸入單元數(shù)目呈多項(xiàng)式關(guān)系）。但是對(duì)于一個(gè)只有層的網(wǎng)絡(luò)而言，除非它使用與輸入單元數(shù)目呈指數(shù)關(guān)系的隱層單元數(shù)目，否則不能簡(jiǎn)潔表達(dá)這些函數(shù)。3) 當(dāng)處理對(duì)象是圖像時(shí)，使用深度網(wǎng)絡(luò)，能夠?qū)W習(xí)到“部分-整體”的分解關(guān)系。例如，第一層可以學(xué)習(xí)如何將圖像中的像素組合在一起來檢測(cè)邊緣，第二層可以將邊緣組合起來檢測(cè)更長(zhǎng)的輪廓或者簡(jiǎn)單的“目標(biāo)的部件”，在更深的層次上，可以將這些輪廓進(jìn)一步組合起來以檢測(cè)更為復(fù)雜的特征。這種分層計(jì)算很好地模仿了大腦皮層對(duì)輸入信息的處理方

5、式。視覺圖像在人腦中是分多個(gè)階段進(jìn)行處理的，首先是進(jìn)入大腦皮層的“V1”區(qū)，然后緊跟著進(jìn)入大腦皮層“V2”區(qū)，以此類推。2. 訓(xùn)練深度網(wǎng)絡(luò)的困難目前主要使用的學(xué)習(xí)算法是：首先隨機(jī)初始化深度網(wǎng)絡(luò)的權(quán)重，然后使用有監(jiān)督的目標(biāo)函數(shù)在有標(biāo)簽的訓(xùn)練集上進(jìn)行訓(xùn)練。其中通過使用梯度下降法來降低訓(xùn)練誤差，這種方法通常不是十分湊效。1) 數(shù)據(jù)獲取問題使用上面提到的方法，需要依賴于有標(biāo)簽的數(shù)據(jù)才能進(jìn)行訓(xùn)練。然而有標(biāo)簽的數(shù)據(jù)通常是稀缺的，因此對(duì)于許多問題，我們很難獲得足夠多的樣本來擬合一個(gè)復(fù)雜模型的參數(shù)。例如，考慮到深度網(wǎng)絡(luò)具有強(qiáng)大的表達(dá)能力，在不充足的數(shù)據(jù)上進(jìn)行訓(xùn)練將會(huì)導(dǎo)致過擬合。2) 局部極值問題使用監(jiān)督學(xué)習(xí)方

6、法來對(duì)淺層網(wǎng)絡(luò)（只有一個(gè)隱藏層）進(jìn)行訓(xùn)練通常能夠使參數(shù)收斂到合理的范圍內(nèi)。但是當(dāng)用這種方法來訓(xùn)練深度網(wǎng)絡(luò)的時(shí)候，并不能取得很好的效果。特別的，使用監(jiān)督學(xué)習(xí)方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，通常會(huì)涉及到求解一個(gè)高度非凸的優(yōu)化問題。對(duì)深度網(wǎng)絡(luò)而言，這種非凸優(yōu)化問題的搜索區(qū)域中充斥著大量“壞”的局部極值，因而使用梯度下降法（或者像共軛梯度下降法，L-BFGS等方法）效果并不好。3) 梯度彌散問題梯度下降法（以及相關(guān)的L-BFGS算法等）在使用隨機(jī)初始化權(quán)重的深度網(wǎng)絡(luò)上效果不好的技術(shù)原因是：梯度會(huì)變得非常小。具體而言，當(dāng)使用反向傳播方法計(jì)算導(dǎo)數(shù)的時(shí)候，隨著網(wǎng)絡(luò)的深度的增加，反向傳播的梯度（從輸出層到網(wǎng)絡(luò)的最初幾層）

7、的幅度值會(huì)急劇地減小。結(jié)果就造成了整體的損失函數(shù)相對(duì)于最初幾層的權(quán)重的導(dǎo)數(shù)非常小。這樣，當(dāng)使用梯度下降法的時(shí)候，最初幾層的權(quán)重變化非常緩慢，以至于它們不能夠從樣本中進(jìn)行有效的學(xué)習(xí)。這種問題通常被稱為“梯度的彌散”.與梯度彌散問題緊密相關(guān)的問題是：當(dāng)神經(jīng)網(wǎng)絡(luò)中的最后幾層含有足夠數(shù)量神經(jīng)元的時(shí)候，可能單獨(dú)這幾層就足以對(duì)有標(biāo)簽數(shù)據(jù)進(jìn)行建模，而不用最初幾層的幫助。因此，對(duì)所有層都使用隨機(jī)初始化的方法訓(xùn)練得到的整個(gè)網(wǎng)絡(luò)的性能將會(huì)與訓(xùn)練得到的淺層網(wǎng)絡(luò)（僅由深度網(wǎng)絡(luò)的最后幾層組成的淺層網(wǎng)絡(luò)）的性能相似。3.逐層貪婪訓(xùn)練方法逐層貪婪訓(xùn)練方法是訓(xùn)練深度網(wǎng)絡(luò)取得一定成功的一種方法。簡(jiǎn)單來說，逐層貪婪算法的主要思路

8、是： 每次只訓(xùn)練網(wǎng)絡(luò)中的一層，即首先訓(xùn)練一個(gè)只含一個(gè)隱藏層的網(wǎng)絡(luò)，僅當(dāng)這層網(wǎng)絡(luò)訓(xùn)練結(jié)束之后才開始訓(xùn)練一個(gè)有兩個(gè)隱藏層的網(wǎng)絡(luò)，以此類推。 在每一步中，把已經(jīng)訓(xùn)練好的前層固定，然后增加第層（也就是將已經(jīng)訓(xùn)練好的前的輸出作為輸入）。 每一層的訓(xùn)練可以是有監(jiān)督的（例如，將每一步的分類誤差作為目標(biāo)函數(shù)），但更通常使用無監(jiān)督方法（例如自動(dòng)編碼器）。 這些各層單獨(dú)訓(xùn)練所得到的權(quán)重被用來初始化最終（或者說全部）的深度網(wǎng)絡(luò)的權(quán)重，然后對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行“微調(diào)”（即把所有層放在一起來優(yōu)化有標(biāo)簽訓(xùn)練集上的訓(xùn)練誤差）。逐層貪婪的訓(xùn)練方法取得成功要?dú)w功于以下兩方面： 數(shù)據(jù)獲取雖然獲取有標(biāo)簽數(shù)據(jù)的代價(jià)是昂貴的，但獲取大量的無

9、標(biāo)簽數(shù)據(jù)是容易的。自學(xué)習(xí)方法的潛力在于它能通過使用大量的無標(biāo)簽數(shù)據(jù)來學(xué)習(xí)到更好的模型。具體而言，該方法使用無標(biāo)簽數(shù)據(jù)來學(xué)習(xí)得到所有層（不包括用于預(yù)測(cè)標(biāo)簽的最終分類層）的最佳初始權(quán)重。相比純監(jiān)督學(xué)習(xí)方法，這種自學(xué)習(xí)方法能夠利用多得多的數(shù)據(jù)，并且能夠?qū)W習(xí)和發(fā)現(xiàn)數(shù)據(jù)中存在的模式。因此該方法通常能夠提高分類器的性能。 更好的局部極值當(dāng)用無標(biāo)簽數(shù)據(jù)訓(xùn)練完網(wǎng)絡(luò)后，相比于隨機(jī)初始化而言，各層初始權(quán)重會(huì)位于參數(shù)空間中較好的位置上。然后我們可以從這些位置出發(fā)進(jìn)一步微調(diào)權(quán)重。從經(jīng)驗(yàn)上來說，以這些位置為起點(diǎn)開始梯度下降更有可能收斂到比較好的局部極值點(diǎn)，這是因?yàn)闊o標(biāo)簽數(shù)據(jù)已經(jīng)提供了大量輸入數(shù)據(jù)中包含的模式的先驗(yàn)信息。

10、（三）卷積特征提取和池化1）全聯(lián)通網(wǎng)絡(luò)把輸入層和隱含層進(jìn)行“全連接”的設(shè)計(jì)，從整幅圖像中計(jì)算特征，從計(jì)算的角度來講，對(duì)相對(duì)較小的圖像是可行的。但是，如果是更大的圖像，要通過全聯(lián)通網(wǎng)絡(luò)的這種方法來學(xué)習(xí)整幅圖像上的特征，將是非常耗時(shí)。2）部分聯(lián)通網(wǎng)絡(luò)解決以上問題的一種簡(jiǎn)單方法是對(duì)隱含單元和輸入單元間的連接加以限制：每個(gè)隱含單元僅僅只能連接輸入單元的一部分。例如，每個(gè)隱含單元僅僅連接輸入圖像的一小片相鄰區(qū)域。網(wǎng)絡(luò)部分連通的思想，也是受啟發(fā)于生物學(xué)里面的視覺系統(tǒng)結(jié)構(gòu)。視覺皮層的神經(jīng)元就是局部接受信息的（即這些神經(jīng)元只響應(yīng)某些特定區(qū)域的刺激）。3）卷積自然圖像有其固有特性，也就是說，圖像的一部分的統(tǒng)計(jì)特

11、性與其他部分是一樣的。這也意味著我們?cè)谶@一部分學(xué)習(xí)的特征也能用在另一部分上，所以對(duì)于這個(gè)圖像上的所有位置，都能使用同樣的學(xué)習(xí)特征。當(dāng)從一個(gè)大尺寸圖像中隨機(jī)選取一小塊，比如說 8x8 作為樣本，并且從這個(gè)小塊樣本中學(xué)習(xí)到了一些特征，這時(shí)可以把從這個(gè) 8x8 樣本中學(xué)習(xí)到的特征作為探測(cè)器，應(yīng)用到這個(gè)圖像的任意地方中去。特別是，可以用從 8x8 樣本中所學(xué)習(xí)到的特征跟原本的大尺寸圖像作卷積，從而對(duì)這個(gè)大尺寸圖像上的任一位置獲得一個(gè)不同特征的激活值。實(shí)例：假設(shè)已經(jīng)從一個(gè) 96x96 的圖像中學(xué)習(xí)到了它的一個(gè) 8x8 的樣本所具有的特征，假設(shè)這是由有 100 個(gè)隱含單元的自編碼完成的。為了得到卷積特征，

12、需要對(duì) 96x96 的圖像的每個(gè) 8x8 的小塊圖像區(qū)域都進(jìn)行卷積運(yùn)算。也就是說，抽取 8x8 的小塊區(qū)域，并且從起始坐標(biāo)開始依次標(biāo)記為（1，1），（1，2），.，一直到（89，89），然后對(duì)抽取的區(qū)域逐個(gè)運(yùn)行訓(xùn)練過的稀疏自編碼來得到特征的激活值。在這個(gè)例子里，顯然可以得到 100 個(gè)集合，每個(gè)集合含有 89x89 個(gè)卷積特征。假設(shè)給定了的大尺寸圖像，將其定義為xlarge。首先通過從大尺寸圖像中抽取的的小尺寸圖像樣本xsmall訓(xùn)練稀疏自編碼，計(jì)算f= (W(1)xsmall+b(1)（是一個(gè) sigmoid 型函數(shù)）得到了k個(gè)特征， 其中W(1)和b(1)是可視層單元和隱含單元之間的權(quán)重和

13、偏差值。對(duì)于每一個(gè)大小的小圖像xs，計(jì)算出對(duì)應(yīng)的值fs= (W(1)xs+b(1)，對(duì)這些fconvolved值做卷積，就可以得到個(gè)卷積后的特征的矩陣。4）池化在通過卷積獲得了特征 之后，下一步是要利用這些特征去做分類。理論上講，可以用所有提取得到的特征去訓(xùn)練分類器，例如 softmax 分類器，但這樣做面臨計(jì)算量的挑戰(zhàn)。例如：對(duì)于一個(gè) 96X96 像素的圖像，假設(shè)已經(jīng)學(xué)習(xí)得到了400個(gè)定義在8X8輸入上的特征，每一個(gè)特征和圖像卷積都會(huì)得到一個(gè)(96 8 + 1) * (96 8 + 1) = 7921維的卷積特征，由于有 400 個(gè)特征，所以每個(gè)樣例都會(huì)得到一個(gè)7921* 400 = 3,1

14、68,400維的卷積特征向量。學(xué)習(xí)一個(gè)擁有超過 3 百萬特征輸入的分類器十分不便，并且容易出現(xiàn)過擬合。為了解決這個(gè)問題，即為了描述大的圖像，一個(gè)很自然的想法就是對(duì)不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，例如，人們可以計(jì)算圖像一個(gè)區(qū)域上的某個(gè)特定特征的平均值 (或最大值)。這些概要統(tǒng)計(jì)特征不僅具有低得多的維度 (相比使用所有提取得到的特征)，同時(shí)還會(huì)改善結(jié)果(不容易過擬合)。這種聚合的操作就叫做池化 (pooling)，有時(shí)也稱為平均池化或者最大池化 (取決于計(jì)算池化的方法)。池化的不變性如果選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同(重復(fù))的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性

15、。這就意味著即使圖像經(jīng)歷了一個(gè)小的平移之后，依然會(huì)產(chǎn)生相同的 (池化的) 特征。形式化描述形式上，在獲取到卷積特征后，就要確定池化區(qū)域的大小(假定為)，來池化卷積特征。那么，把卷積特征劃分到數(shù)個(gè)大小為的不相交區(qū)域上，然后用這些區(qū)域的平均(或最大)特征來獲取池化后的卷積特征。這些池化后的特征便可以用來做分類。（四）白化為了使每個(gè)輸入特征具有單位方差，可以直接使用作為縮放因子來縮放每個(gè)特征。具體地，定義白化后的數(shù)據(jù)如下：是數(shù)據(jù)經(jīng)過PCA白化后的版本:中不同的特征之間不相關(guān)并且具有單位方差。白化與降維相結(jié)合： 如果想要得到經(jīng)過白化后的數(shù)據(jù)，并且比初始輸入維數(shù)更低,可以僅保留中前個(gè)成分。當(dāng)我們把PCA

16、白化和正則化結(jié)合起來時(shí)，中最后的少量成分將總是接近于0，因而舍棄這些成分不會(huì)帶來很大的問題。1) ZCA白化數(shù)據(jù)的協(xié)方差矩陣變?yōu)閱挝痪仃嚨姆绞讲⒉晃ㄒ?。具體地，如果是任意正交矩陣，即滿足(說它正交不太嚴(yán)格，可以是旋轉(zhuǎn)或反射矩陣), 那么仍然具有單位協(xié)方差。在ZCA白化中，令。我們定義ZCA白化的結(jié)果為：可以證明，對(duì)所有可能的，這種旋轉(zhuǎn)使得盡可能地接近原始輸入數(shù)據(jù)。當(dāng)使用 ZCA白化時(shí)(不同于 PCA白化)，我們通常保留數(shù)據(jù)的全部個(gè)維度，不嘗試去降低它的維數(shù)。2) 正則化實(shí)踐中需要實(shí)現(xiàn)PCA白化或ZCA白化時(shí)，有時(shí)一些特征值在數(shù)值上接近于0，這樣在縮放步驟時(shí)我們除以將導(dǎo)致除以一個(gè)接近0的值；這可

17、能使數(shù)據(jù)上溢 (賦為大數(shù)值)或造成數(shù)值不穩(wěn)定。因而在實(shí)踐中，使用少量的正則化實(shí)現(xiàn)這個(gè)縮放過程，即在取平方根和倒數(shù)之前給特征值加上一個(gè)很小的常數(shù)：當(dāng)在區(qū)間上時(shí), 一般取值為。對(duì)圖像來說, 這里加上，對(duì)輸入圖像也有一些平滑(或低通濾波)的作用。這樣處理還能消除在圖像的像素信息獲取過程中產(chǎn)生的噪聲，改善學(xué)習(xí)到的特征。ZCA 白化是一種數(shù)據(jù)預(yù)處理方法，它將數(shù)據(jù)從映射到。 事實(shí)證明這也是一種生物眼睛(視網(wǎng)膜)處理圖像的粗糙模型。具體而言，當(dāng)你的眼睛感知圖像時(shí)，由于一幅圖像中相鄰的部分在亮度上十分相關(guān)，大多數(shù)臨近的“像素”在眼中被感知為相近的值。因此，如果人眼需要分別傳輸每個(gè)像素值（通過視覺神經(jīng)）到大腦中，會(huì)非常不劃算。取而代之的是，視網(wǎng)膜進(jìn)行一個(gè)與ZCA中相似的去相關(guān)操作 (這是由視網(wǎng)膜上的ON-型和OFF-