深度學習基礎

深度學習基礎第1頁，課件共35頁，創(chuàng)作于2023年2月目錄深度學習簡介深度學習的訓練方法深度學習常用的幾種模型和方法ConvolutionalNeuralNetworks卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡（CNN）在腦機接口中的應用第2頁，課件共35頁，創(chuàng)作于2023年2月WhatisDeepLearning?Abriefintroduceofdeeplearning第3頁，課件共35頁，創(chuàng)作于2023年2月機器學習機器學習（Machine

Learning）是一門專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構市值不斷改善自身的性能的學科，簡單地說，機器學習就是通過算法，使得機器能從大量的歷史數(shù)據(jù)中學習規(guī)律，從而對新的樣本做智能識別或預測未來。機器學習在圖像識別、語音識別、自然語言理解、天氣預測、基因表達、內(nèi)容推薦等很多方面的發(fā)展還存在著沒有良好解決的問題。第4頁，課件共35頁，創(chuàng)作于2023年2月特征的自學習傳統(tǒng)的模式識別方法：通過傳感器獲取數(shù)據(jù)，然后經(jīng)過預處理、特征提取、特征選擇、再到推理、預測或識別。特征提取與選擇的好壞對最終算法的確定性齊了非常關鍵的作用。而特征的樣式目前一般都是靠人工提取特征。而手工選取特征費時費力，需要專業(yè)知識，很大程度上靠經(jīng)驗和運氣，那么機器能不能自動的學習特征呢？深度學習的出現(xiàn)就這個問題提出了一種解決方案。第5頁，課件共35頁，創(chuàng)作于2023年2月深度學習自2006年，深度學習（DeepLearning）已經(jīng)成為機器學習研究中的一個新興領域，通常也被叫做深層結構學習或分層學習。其動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡，它模擬人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本，深度學習是無監(jiān)督學習的一種。深度學習的概念源于人工神經(jīng)網(wǎng)絡的研究，含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，已發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。第6頁，課件共35頁，創(chuàng)作于2023年2月人腦的視覺機理1981年的諾貝爾醫(yī)學獎獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理機制，他們發(fā)現(xiàn)了一種被稱為“方向選擇性細胞的神經(jīng)元細胞，當瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細胞就會活躍。第7頁，課件共35頁，創(chuàng)作于2023年2月

由此可知人的視覺系統(tǒng)的信息處理是分級的，高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖，抽象層面越高，存在的可能猜測就越少，就越利于分類。第8頁，課件共35頁，創(chuàng)作于2023年2月淺層學習與深度學習傳統(tǒng)機器學習和信號處理技術探索僅含單層非線性變換的淺層學習結構。淺層模型的一個共性是僅含單個將原始輸入信號轉換到特定問題空間特征的簡單結構。典型的淺層學習結構包括傳統(tǒng)隱馬爾科夫模型(HMM)、條件隨機場(CRFs)、最大熵模型(MaxEnt)、支持向量機(SVM)、核回歸及僅含單隱層的多層感知器(MLP)等。淺層結構的局限性在于有限的樣本和計算單元情況下對復雜的函數(shù)表示能力有限，針對復雜分類問題其泛化能力受到一定的制約。第9頁，課件共35頁，創(chuàng)作于2023年2月受到大腦結構分層的啟發(fā)，神經(jīng)網(wǎng)絡的研究發(fā)現(xiàn)多隱層的人工神經(jīng)網(wǎng)絡具有優(yōu)異的特征學習能力，學習得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；而深度神經(jīng)網(wǎng)絡在訓練上的難度，可以通過“逐層初始化”來有效克服。深度學習可以通過學習一種深層非線性網(wǎng)絡結構，實現(xiàn)復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本中集中學習數(shù)據(jù)及本質(zhì)特征的能力。第10頁，課件共35頁，創(chuàng)作于2023年2月深度學習的實質(zhì)通過構建具有很多隱層的機器學習模型和海量的訓練數(shù)據(jù)，來學習更有用的特征，從而最終提升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。深度學習與淺層學習的區(qū)別強調(diào)了模型結構的深度，通常有5-10多層的隱層節(jié)點；明確突出了特征學習的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規(guī)則構造特征的方法相比，利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。第11頁，課件共35頁，創(chuàng)作于2023年2月深度學習的訓練方法與神經(jīng)網(wǎng)絡的異同第12頁，課件共35頁，創(chuàng)作于2023年2月深度學習與神經(jīng)網(wǎng)絡的異同神經(jīng)網(wǎng)絡深度學習第13頁，課件共35頁，創(chuàng)作于2023年2月深度學習與神經(jīng)網(wǎng)絡的異同相同點二者均采用分層結構，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡，只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個logistic回歸模型。不同點：采用不同的訓練機制神經(jīng)網(wǎng)絡：采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓練整個網(wǎng)絡。隨機設定初值，計算當前網(wǎng)絡的輸出，然后根據(jù)當前輸出和樣本真實標簽之間的差去改變前面各層的參數(shù)，直到收斂；深度學習：BP算法不適合深度神經(jīng)網(wǎng)絡，如果對所有層同時訓練，時間復雜度會太高，如果每次訓練一層，偏差逐層傳遞會出現(xiàn)過擬合。因此深度學習整體上是是一個分層訓練機制。第14頁，課件共35頁，創(chuàng)作于2023年2月深度學習的訓練過程自下而上的非監(jiān)督學習：從底層開始，一層一層的往頂層訓練，分別得到各層參數(shù)。采用無標簽數(shù)據(jù)分層訓練各層參數(shù)（可以看作是特征學習的過程）。自上而下的監(jiān)督學習基于第一步的得到的各層參數(shù)進一步調(diào)整整個多層模型的參數(shù)，這一步是一個有監(jiān)督的訓練過程。第15頁，課件共35頁，創(chuàng)作于2023年2月深度學習的幾種常用模型AutoEncoder（自動編碼器）SparseCoding（稀疏編碼）RestrictedBoltzmannMachine（限制玻爾茲曼機）DeepBeliefNetworks（深度信任網(wǎng)絡）ConvolutionalNeuralNetworks（卷積神經(jīng)網(wǎng)絡）第16頁，課件共35頁，創(chuàng)作于2023年2月ConvolutionalNeuralNetworks(CNN)第17頁，課件共35頁，創(chuàng)作于2023年2月ConvolutionalNeuralNetworks(CNN)

卷積神經(jīng)網(wǎng)絡是人工神經(jīng)網(wǎng)絡的一種，已成為當前語音分析和圖像識別領域的研究熱點。它的權值共享網(wǎng)絡結構使之更類似于生物神經(jīng)網(wǎng)絡，降低了網(wǎng)絡模型的復雜度，減少了權值的數(shù)量。該優(yōu)點在網(wǎng)絡的輸入是多維圖像時表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡的輸入，避免了傳統(tǒng)識別算法中復雜的特征提取和數(shù)據(jù)重建過程。卷積網(wǎng)絡是為識別二維形狀而特殊設計的一個多層感知器，這種網(wǎng)絡結構對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。

第18頁，課件共35頁，創(chuàng)作于2023年2月卷積神經(jīng)網(wǎng)絡原理圖

如圖所示，輸入圖像（Input）通過和三個可訓練的卷積核和可加偏置進行卷積，卷積后在C1層產(chǎn)生三個特征映射圖（Featuremap）然后，C1層的Featuremap在經(jīng)過子采樣（Subsampling）后，加權值，加偏置，再通過一個Sigmoid函數(shù)得到三個S2層的特征映射圖。第19頁，課件共35頁，創(chuàng)作于2023年2月CNN的Convolution過程

如圖，原圖像是5*5大小，有25個神經(jīng)元，用一個3*3的卷積核對它進行卷積，得到了如右圖所示的卷積后的Featuremap。該特征圖大小為3*3。

假設一種卷積核只提取出圖像的一種特征，所以一般要多個卷積核來提取不同的特征，所以每一層一般都會有多張Featuremap。

同一張Featuremap上的神經(jīng)元共用一個卷積核，這大大減少了網(wǎng)絡參數(shù)的個數(shù)。第20頁，課件共35頁，創(chuàng)作于2023年2月CNN的Pooling過程如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同(重復)的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性(translationinvariant)。這就意味著即使圖像經(jīng)歷了一個小的平移之后，依然會產(chǎn)生相同的(池化的)特征。圖像具有一種“靜態(tài)性（stationarity）”的屬性，可以對圖像某一個區(qū)域上的特征取平均值(或最大值)。這種聚合的操作就叫做池化(pooling)。第21頁，課件共35頁，創(chuàng)作于2023年2月CNN的優(yōu)點參數(shù)減少與權值共享如下圖所示，如果我們有1000x1000像素的圖像，有1百萬個隱層神經(jīng)元，那么他們?nèi)B接的話（每個隱層神經(jīng)元都連接圖像的每一個像素點），就有

個連接，也就是10^12個權值參數(shù)。局部連接網(wǎng)絡，每一個節(jié)點與上層節(jié)點同位置附近10x10的窗口相連接，則1百萬個隱層神經(jīng)元就只有，即10^8個參數(shù)。其權值連接個數(shù)比原來減少了四個數(shù)量級。

第22頁，課件共35頁，創(chuàng)作于2023年2月卷積神經(jīng)網(wǎng)絡避免了顯式的特征取樣，隱式地從訓練數(shù)據(jù)中進行學習。這使得卷積神經(jīng)網(wǎng)絡明顯有別于其他基于神經(jīng)網(wǎng)絡的分類器，通過結構重組和減少權值將特征提取功能融合進多層感知器。它可以直接處理灰度圖片，能夠直接用于處理基于圖像的分類。

卷積神經(jīng)網(wǎng)絡較一般神經(jīng)網(wǎng)絡在圖像處理方面有如下優(yōu)點：

a）輸入圖像和網(wǎng)絡的拓撲結構能很好的吻合；b）特征提取和模式分類同時進行，并同時在訓練中產(chǎn)生；c）權重共享可以減少網(wǎng)絡的訓練參數(shù)，使神經(jīng)網(wǎng)絡結構變得更簡單，適應性更強。第23頁，課件共35頁，創(chuàng)作于2023年2月經(jīng)典例子：文字識別系統(tǒng)LeNet-5

1.輸入圖像是32x32的大小,卷積核的大小是5x5的，則C1層的大小是28x28。這里設定有6個不同的C1層，每一個C1層內(nèi)的權值是相同的。

2.S2層是一個下采樣層，由4個點下采樣為1個點，也就是4個數(shù)的加權平均，加權系數(shù)也需要通過學習得到。這個過程也叫做Pool。

3.我們很容易得到C3層的大小為10x10，不過，C3層有16個10x10網(wǎng)絡!我們只需要按照一定的規(guī)則來組合S2的特征圖。具體的組合規(guī)則在

LeNet-5系統(tǒng)中給出了下面的表格：第24頁，課件共35頁，創(chuàng)作于2023年2月

4.

S4層是在C3層基礎上進行下采樣，前面已述。在后面的層中每一層節(jié)點個數(shù)比較少，都是全連接層，這里不再贅述。小結：經(jīng)過計算，LeNet-5系統(tǒng)總共需要大約13萬個參數(shù)，這與前面提到的全連接系統(tǒng)每個隱藏層就需要百萬個參數(shù)有著天壤之別，極大地減少了計算量。在以上的識別系統(tǒng)中，每個特征圖提取后都緊跟著一個用來求局部平均與二次提取的亞取樣層。這種特有的兩次特征提取結構使得網(wǎng)絡對輸入樣本有較高的畸變?nèi)萑棠芰?。也就是說，卷積神經(jīng)網(wǎng)絡通過局部感受野、共享權值和亞取樣來保證圖像對位移、縮放、扭曲的魯棒性。

第25頁，課件共35頁，創(chuàng)作于2023年2月ConvolutionalNeuralNetworksforP300DetectionwithApplicationtoBrain-ComputerInterfaces第26頁，課件共35頁，創(chuàng)作于2023年2月P300檢測P300檢測：檢測P300的響應。二分類：信號呈一個P300波形，則認為檢測到；否則，檢測不到。挑戰(zhàn)性：盡管我們可以從實驗中的范例得知P300的預期響應在什么時候，但是P300的響應取決于被試者。實際上，即使一個P300響應可以被預測為在一個特定的時間點，但是被試者很可能不會在像人工產(chǎn)品一樣在正確的時刻產(chǎn)生P300響應。第27頁，課件共35頁，創(chuàng)作于2023年2月輸入正則化原始信號：由電極采集的EEG信號輸入數(shù)據(jù)正則化：1.從EEG信號樣本中提取子樣本，從而降低數(shù)據(jù)的大小以便分析。等同于把信號用120HZ的抽樣率采樣。2.用0.1到20HZ的帶通濾波器處理輸入數(shù)據(jù)CNN的輸入：一個矩陣。其中是我們采集EEG信號時所有的電極的數(shù)量。是每個電極采集到的EEG信號正則化以后長度。我們令。每個樣本代表一部分經(jīng)過650ms頻閃燈后采集的信號。第28頁，課件共35頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡拓撲結構網(wǎng)絡拓撲結構是分類器的關鍵特征。網(wǎng)絡由五層組成，每一層由一個或多個特征圖組成。一個特征圖代表一層的本質(zhì)，含有一個特殊的語義：1.第一層隱層的每個特征圖代表一個電極通道的特征。2.第二層隱層時間域上對信號進行下采樣和變換。第29頁，課件共35頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡拓撲結構第30頁，課件共35頁，創(chuàng)作于2023年2月CNN的學習規(guī)律2023/7/25在卷積神經(jīng)網(wǎng)絡的學習過程當中，主要運用前向傳播和反向傳播兩種學習法則來優(yōu)化權值，學習到一個最優(yōu)的濾波器來提取特征。（1）

前向傳播

如果用l來表示當前的網(wǎng)絡層，那么當前網(wǎng)絡層的輸出為：

其中，

為網(wǎng)絡的輸出激活函數(shù)。輸出激活函數(shù)一般選用sigmoid函數(shù)或者選用雙曲線正切函數(shù)。（2）

反向傳播算法我們假設訓練集有N個訓練樣本，一共分成2類。對于每一個訓練樣本，我們會給予一個標簽，通過調(diào)整網(wǎng)絡輸出與給定標簽之間的誤差來訓練與改變權值。在代價函數(shù)方面，我們選擇采用平方誤差代價函數(shù)。因此N個訓練樣本的代價函數(shù)如下：第31頁，課件共35頁，創(chuàng)作于2023年2月2023/7/25對于N個訓練樣本中的第n個訓練樣本，它的代價函數(shù)表示為：接下來需要根據(jù)每個樣本的輸出誤差來反向調(diào)節(jié)每一層當中的權值系數(shù)，即計算代價函數(shù)對應于卷積神經(jīng)網(wǎng)絡中的每個權值的偏導數(shù)：可以看到誤差對于bias基b的