深度學習的基本理論與應用課件

深度學習的基本理論與應用HaishanLi2018年5月14日深度學習的基本理論與應用HaishanLi目錄概述深度學習簡介深度學習的訓練過程深度學習的具體模型及方法深度學習的應用目錄概述2012年6月，《紐約時報》披露了GoogleBrain項目，吸引了公眾的廣泛關注。這個項目是由著名的斯坦福大學機器學習教授Andrew和在大規(guī)模計算機系統(tǒng)方面的世界頂尖專家Jeff共同主導，用16000個CPUCore的并行計算平臺訓練一種稱為“深層神經(jīng)網(wǎng)絡”（DNN，DeepNeuralNetworks）的機器學習模型，在語音識別和圖像識別等領域獲得了巨大的成功。2012年11月，微軟在中國天津的一次活動上公開演示了一個全自動的同聲傳譯系統(tǒng)，講演者用英文演講，后臺的計算機一氣呵成自動完成語音識別、英中機器翻譯，以及中文語音合成，效果非常流暢。據(jù)報道，后面支撐的關鍵技術也是DNN，或者深度學習（DL，DeepLearning）。2012.6“谷歌大腦”項目2012.11微軟智能同聲傳譯概述2012年6月，《紐約時報》披露了GoogleBra概述2013年1月，在百度的年會上，創(chuàng)始人兼CEO李彥宏高調(diào)宣布要成立百度研究院，其中第一個重點方向就是深度學習，并為此而成立InstituteofDeepLearning（IDL）。這是百度成立十多年以來第一次成立研究院。2013年4月，《麻省理工學院技術評論》雜志將深度學習列為2013年十大突破性技術（BreakthroughTechnology）之首。百度首席科學家吳恩達2014年12月19日表示，百度在深度學習領域的發(fā)展已經(jīng)超過了谷歌與蘋果，如果這項技術真具有劃時代的革命意義，那么百度就此開啟并且引領了語音2.0時代，也即是人工智能時代的一個重要分支，改變搜索，更改變交互。概述2013年1月，在百度的年會上，創(chuàng)始人兼CEO李彥宏高概述全球爆發(fā)人工智能產(chǎn)業(yè)浪潮概述全球爆發(fā)人工智能產(chǎn)業(yè)浪潮概述三大因素推勱人工智能快速發(fā)展概述三大因素推勱人工智能快速發(fā)展概述當前處亍行業(yè)應用大規(guī)模起量階段概述當前處亍行業(yè)應用大規(guī)模起量階段目錄概述深度學習簡介深度學習的訓練過程深度學習的具體模型及方法深度學習的應用目錄深度學習簡介識別系統(tǒng)主要的計算和測試工作耗時主要集中在特征提取部分；特征的樣式目前一般都是人工設計的，靠人工提取特征；手工選取特征費時費力，需要啟發(fā)式專業(yè)知識，很大程度上靠經(jīng)驗和運氣；不能夠自動地學習特征Low-levelsensingPre-processingFeatureextract.FeatureselectionInference:prediction,recognition傳統(tǒng)的模式識別方法（淺層學習）：深度學習簡介識別系統(tǒng)主要的計算和測試工作耗時主要集中在特征提深度學習簡介傳統(tǒng)的模式識別方法（如BP算法）

如BP算法，隨機設定初值，計算當前網(wǎng)絡的輸出，然后根據(jù)當前輸出和樣本真實標簽之間的差去改變前面各層的參數(shù)，直到收斂比較容易過擬合，參數(shù)比較難調(diào)整，而且需要不少技巧；訓練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；反饋調(diào)整時，梯度越來越稀疏，從頂層越往下，誤差校正信號越來越??；收斂易至局部最小，由于是采用隨機值初始化，當初值是遠離最優(yōu)區(qū)域時易導致這一情況；需要有標簽數(shù)據(jù)來訓練，但大部分數(shù)據(jù)是無標簽的；深度學習簡介傳統(tǒng)的模式識別方法（如BP算法） 如BP算法，隨深度學習簡介2006年，加拿大多倫多大學教授、機器學習領域的泰斗GeoffreyHinton在《科學》上發(fā)表論文提出深度學習主要觀點：1）多隱層的人工神經(jīng)網(wǎng)絡具有優(yōu)異的特征學習能力，學習得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡在訓練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學習實現(xiàn)的。采用逐層訓練機制的原因在于如果采用BP機制，對于一個deepnetwork（7層以上），殘差傳播到最前面的層將變得很小，出現(xiàn)所謂的gradientdiffusion（梯度擴散）深度學習簡介2006年，加拿大多倫多大學教授、機器學習領域的深度學習簡介本質(zhì)：

通過構建多隱層的模型和海量訓練數(shù)據(jù)（可為無標簽數(shù)據(jù)），來學習更有用的特征，從而最終提升分類或預測的準確性?！吧疃饶Ｐ汀笔鞘侄危疤卣鲗W習”是目的。與淺層學習區(qū)別：強調(diào)了模型結構的深度，通常有5-10多層的隱層節(jié)點；明確突出了特征學習的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規(guī)則構造特征的方法相比，利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。從歷史數(shù)據(jù)中學習知識，從而對未來做預測深度學習簡介本質(zhì)：從歷史數(shù)據(jù)中學習知識，從而對未來做預測深度學習簡介好處：可通過學習一種深層非線性網(wǎng)絡結構，實現(xiàn)復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。ImageNet圖像分類結果深度學習簡介好處：可通過學習一種深層非線性網(wǎng)絡結構，實現(xiàn)復雜目錄概述深度學習簡介深度學習的訓練過程深度學習的具體模型及方法深度學習的應用目錄深度學習的訓練過程第一步：采用自下而上的無監(jiān)督學習EncoderDecoderInputImageClasslabelFeaturesEncoderDecoderFeaturesEncoderDecoder逐層構建單層神經(jīng)元每層采用wake-sleep算法進行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整這個過程可以看作是一個featurelearning的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡區(qū)別最大的部分深度學習的訓練過程第一步：采用自下而上的無監(jiān)督學習Encod深度學習的訓練過程wake-sleep算法:（1）wake階段：認知過程，通過下層的輸入特征（Input）和向上的認知（Encoder）權重產(chǎn)生每一層的抽象表示（Code），再通過當前的生成（Decoder）權重產(chǎn)生一個重建信息（Reconstruction），計算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder）權重。也就是“如果現(xiàn)實跟我想象的不一樣，改變我的生成權重使得我想象的東西變得與現(xiàn)實一樣”（2）sleep階段：生成過程，通過上層概念（Code）和向下的生成（Decoder）權重，生成下層的狀態(tài)，再利用認知（Encoder）權重產(chǎn)生一個抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認知（Encoder）權重。也就是“如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念”深度學習的訓練過程wake-sleep算法:深度學習的訓練過程第二步：自頂向下的監(jiān)督學習

深度學習的第一步實質(zhì)上是一個網(wǎng)絡參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡初值隨機初始化，深度學習模型是通過無監(jiān)督學習輸入數(shù)據(jù)的結構得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果。這一步是在第一步學習獲得各層參數(shù)進的基礎上，在最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、SVM等），而后通過帶標簽數(shù)據(jù)的監(jiān)督學習，利用梯度下降法去微調(diào)整個網(wǎng)絡參數(shù)深度學習的訓練過程第二步：自頂向下的監(jiān)督學習

目錄概述深度學習簡介深度學習的訓練過程深度學習的具體模型及方法深度學習的應用深度殘差網(wǎng)絡的應用目錄深度學習的具體模型及方法生成式/無監(jiān)督模型判別式模型正則化的自編碼器降噪自動編碼器(DenoisingAutoEncoders)稀疏自動編碼器(SparseAutoEncoder))受限玻爾茲曼機深度置信網(wǎng)絡（DeepBeliefNetworks—DBN）等等遞歸神經(jīng)網(wǎng)絡深度神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡（深度殘差網(wǎng)絡）等等深度學習的具體模型及方法生成式/無監(jiān)督模型判別式模型正則化的深度學習的具體模型及方法自動編碼器（AutoEncoder）AutoEncoder還不能用來分類數(shù)據(jù)，因為它還沒有學習如何去連結一個輸入和一個類。它只是學會了如何去重構或者復現(xiàn)它的輸入而已。在AutoEncoder的最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、SVM等），然后通過標準的多層神經(jīng)網(wǎng)絡的監(jiān)督訓練方法（梯度下降法）去訓練。我們需要將最后層的特征code輸入到最后的分類器，通過有標簽樣本，通過監(jiān)督學習進行微調(diào)，這也分兩種深度學習的具體模型及方法自動編碼器（AutoEncoder深度學習的具體模型及方法自動編碼器（AutoEncoder）只調(diào)整分類器（黑色部分）通過有標簽樣本，微調(diào)整個系統(tǒng)：（如果有足夠多的數(shù)據(jù)，這個是最好的。端對端學習）深度學習的具體模型及方法自動編碼器（AutoEncoder深度學習的具體模型及方法降噪自動編碼器(DenoisingAutoEncoders)在自動編碼器的基礎上，對訓練數(shù)據(jù)加入噪聲，自動編碼器必須學習去去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。因此，這就迫使編碼器去學習輸入信號的更加魯棒的表達，這也是它的泛化能力比一般編碼器強的原因。深度學習的具體模型及方法降噪自動編碼器(Denoising深度學習的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)在AutoEncoder的基礎上加上L1的Regularity限制（L1主要是約束每一層中的節(jié)點中大部分都要為0，只有少數(shù)不為0，這就是Sparse名字的來源）稀疏性的約束是使得學習到的表達更有意義的一種重要約束；深度學習中要優(yōu)化的參數(shù)非常多，如果不加入稀疏性的約束往往會使得學習到的權重矩陣為單位矩陣，這樣就失去了深度的意義深度學習的具體模型及方法稀疏自動編碼器(SparseAut深度學習的具體模型及方法受限玻爾茲曼機（RestrictedBoltzmannMachine）定義：假設有一個二部圖，同層節(jié)點之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設所有的節(jié)點都是隨機二值（0，1值）變量節(jié)點，同時假設全概率分布p(v,h)滿足Boltzmann分布，我們稱這個模型RestrictedBoltzmannMachine(RBM)。玻爾茲曼機(Boltzmannmachine)本質(zhì)上是一種能量模型。限制條件是在給定可見層或者隱層中的其中一層后，另一層的單元彼此獨立。深度學習的具體模型及方法受限玻爾茲曼機（Restricted深度學習的具體模型及方法深度置信網(wǎng)絡（DeepBeliefNetworks）-DBNDeepBeliefNetworks是在靠近可視層的部分使用貝葉斯信念網(wǎng)絡（即有向圖模型），而在最遠離可視層的部分使用RestrictedBoltzmannMachine的模型。深度學習的具體模型及方法深度置信網(wǎng)絡（DeepBelief深度學習的具體模型及方法卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks）—CNNs通過用卷積代替規(guī)則神經(jīng)元的矩陣乘法運算來大大減少每層中需要訓練的未知權重系數(shù)的數(shù)量

輸入40x60C112@5x5…S112@20x30…C28@5x5……S28@10x15…卷積池化卷積池化全連接C3120softmax輸出深度學習的具體模型及方法卷積神經(jīng)網(wǎng)絡（Convolutio卷積層上一層輸出卷積核卷積核類似于濾波器，通過移動卷積核來提取上層輸入的局部特征，卷積核也就是生物學里視覺系統(tǒng)上的“局部感受野”，模擬視覺神經(jīng)細胞接受刺激的方式。featuremap（特征映射）二維離散卷積函數(shù)：深度學習的具體模型及方法卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks）—CNNs卷積層上一層輸出卷積核卷積核類似于濾波器，通過移動卷積核來提池化(pooling)對4x4的矩陣進行步長為2的池化操作，結果矩陣為2x2，矩陣的大小降低了4倍，參數(shù)個數(shù)降低了4倍；池化能起到下采樣的作用，能簡化網(wǎng)絡結構，減少網(wǎng)絡參數(shù)，為增加網(wǎng)絡深度留下余地。池化操作一般有兩種：最大池化(maxpooling)、平均池化(averagepooing)。平均池化最大池化深度學習的具體模型及方法卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks）—CNNs池化(pooling)對4x4的矩陣進行步長為2的池化操作，特征表達從低級的V1區(qū)提取邊緣特征，再到V2區(qū)的形狀或者目標的一部分等，再到更高層，整個目標、目標的行為等。高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)高級語義。抽象層面越高，存在的可能猜測就越少，就越利于分類。人的視覺系統(tǒng)的信息處理是分級的人類視覺系統(tǒng)深度學習的具體模型及方法卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks）—CNNs特征表達從低級的V1區(qū)提取邊緣特征，再到V2區(qū)的形狀或者目標全連接和SoftmaxK分類的Softmax假設函數(shù)是：全連接：就是添加一個隱含層，與上層輸入的每個結點進行全連接；Softmax回歸模型：是logistic回歸模型在多分類問題上的推廣，可以解決多分類的問題。所有k個類別加起來的概率和為1.深度學習的具體模型及方法卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks）—CNNs全連接和SoftmaxK分類的Softmax假設函數(shù)是：全連深度學習的具體模型及方法卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetworks）—CNNs通過用卷積代替規(guī)則神經(jīng)元的矩陣乘法運算來大大減少每層中需要訓練的未知權重系數(shù)的數(shù)量

CNN的優(yōu)點：避免了顯式的特征抽取，而隱式地從訓練數(shù)據(jù)中進行學習；同一特征映射面上的神經(jīng)元權值相同，從而網(wǎng)絡可以并行學習，降低了網(wǎng)絡的復雜性；采用時間或者空間的子采樣結構，可以獲得某種程度的位移、尺度、形變魯棒性；輸入信息和網(wǎng)絡拓撲結構能很好的吻合，在語音識別和圖像處理方面有著獨特優(yōu)勢，成為這兩方面的研究熱點。深度學習的具體模型及方法卷積神經(jīng)網(wǎng)絡（Convolutio目錄概述深度學習簡介深度學習的訓練過程深度學習的具體模型及方法深度學習的應用目錄深度學習的應用機器視覺、智能語音成為產(chǎn)業(yè)化水平最高的人工智能領域深度學習的應用機器視覺、智能語音成為產(chǎn)業(yè)化水平最高的人工智能深度學習的應用圖像識別空間金字塔深度學習的應用圖像識別空間金字塔深度學習的應用圖像識別深度學習的應用圖像識別深度學習的應用圖像超分辨深度學習的應用圖像超分辨深度學習的應用CT圖像重建（學習噪聲）深度學習的應用CT圖像重建（學習噪聲）深度學習的應用目標檢測深度學習的應用目標檢測深度學習的應用語音搜索短信輸入微博輸入古詩輸入新聞輸入深度學習的