機器學(xué)習(xí)原理與應(yīng)用電子教案 5.10.1深度學(xué)習(xí)理論

備課日期：年月日授課時間課時（理論+實驗）周次星期:節(jié)次:授課課題深度學(xué)習(xí)[理論]教學(xué)目標(biāo)1.理解深度學(xué)習(xí)的基本原理。2.掌握常用模型的構(gòu)建方法。教學(xué)重點1.深度學(xué)習(xí)模型構(gòu)建與訓(xùn)練方法；2.常用深度學(xué)習(xí)模型。教學(xué)準(zhǔn)備PPT、點名冊等。教學(xué)方法指導(dǎo)閱讀、案例法。教學(xué)過程設(shè)計備注課題引入【思考】傳統(tǒng)神經(jīng)網(wǎng)絡(luò)特點？【關(guān)鍵】經(jīng)驗風(fēng)險最小化；可表達任意函數(shù)但不易求解可靠的參數(shù)（實際中易產(chǎn)生過擬合）?！緯r間】分鐘。教學(xué)步驟及主要內(nèi)容【主板書】§14.深度學(xué)習(xí)[理論]一、基本原理【主板書】基本原理1.特征學(xué)習(xí)：通過組合低層特征而形成更加抽象的高層特征以解決分類問題?！緩娀c拓展】模仿人腦認(rèn)識與分析問題的機理解釋數(shù)據(jù)（例如圖像、聲音和文本）。其優(yōu)勢是采用非監(jiān)督式或半監(jiān)督式的特征學(xué)習(xí)和分層特征提取算法解決手工獲取特征中的精度低、可靠性差等問題?！糚PT〗傳統(tǒng)解決識別問題的流程與存在問題?！緩娀c拓展】提高分類精度的關(guān)鍵之一在于提取可以反映問題本質(zhì)的有效特征。人工選取特征不但費時費力，而且需要啟發(fā)式的專業(yè)知識。2.人腦視覺機理?！緩娀c拓展】生物視覺系統(tǒng)的分級信息處理：高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖。抽象層面越高，存在的可能猜測就越少，就越利于分類?！糚PT〗特征表示的粒度（摩托車識別為例）。3.深度學(xué)習(xí)理論的提出（2006年，加拿大多倫多大學(xué)教授GeoffreyHinton）。（1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而更有利于可視化或分類；（2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過無監(jiān)督式的“逐層初始化”進行克服?！緩娀c拓展】傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中梯度消減或彌散情況。如果采用BP機制，對于一個深層（如10層以上）的神經(jīng)網(wǎng)絡(luò)，誤差反饋至最前面的層時將變得很?。ǔ霈F(xiàn)所謂“梯度擴散”），進而導(dǎo)致訓(xùn)練失敗或偏差較大?！緩娀c拓展】“深度模型”是手段，“特征學(xué)習(xí)”是目的。4.深度學(xué)習(xí)與淺層學(xué)習(xí)（人工神經(jīng)網(wǎng)絡(luò)）的區(qū)別。（1）強調(diào)模型結(jié)構(gòu)深度；通常有10層左右或更多層隱層節(jié)點。（2）明確突出了特征學(xué)習(xí)的重要性：通過逐層特征變換，將樣本在原空間的特征表示變換到新特征空間，從而使分類更加容易。（3）深度學(xué)習(xí)可通過學(xué)習(xí)深層非線性網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)任意復(fù)雜函數(shù)的逼近，進而可發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。（4）深度學(xué)習(xí)采用逐層訓(xùn)練機制。5.深度學(xué)習(xí)訓(xùn)練過程。（1）采用自下而上的無監(jiān)督學(xué)習(xí)（即利用采用無類標(biāo)記數(shù)據(jù)或有類標(biāo)記樣本從底層開始，一層一層的往頂層訓(xùn)練）方式分層訓(xùn)練各層參數(shù)。（2）自頂向下的監(jiān)督學(xué)習(xí)

（即利用有類標(biāo)記的樣本進行參數(shù)調(diào)整，誤差自頂向下傳輸）?！緩娀c拓展】深度學(xué)習(xí)參數(shù)學(xué)習(xí)過程的第一步實質(zhì)上是一個參數(shù)初始化過程，不同于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機初始化，深度學(xué)習(xí)參數(shù)初始化是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的特征得到的，因而初始值更接近全局最優(yōu)，從而可以取得更好的效果?！糚PT〗深度學(xué)習(xí)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)之間的差異?！緯r間】分鐘?！咎釂枴俊６?、模型示例：自動編碼器。1.基本原理：就是一種盡可能復(fù)現(xiàn)輸入信號的神經(jīng)網(wǎng)絡(luò)；而為了實現(xiàn)這種復(fù)現(xiàn)，自動編碼器就必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素。2.學(xué)習(xí)過程：（1）給定無標(biāo)記樣本，用非監(jiān)督學(xué)習(xí)方式學(xué)習(xí)特征。（2）D（編程）->P1；P1（解碼）->Q；如果D與Q相差很小，則有理由相信P1是D的一種表達。（3）用P1作為輸入，采用與2相同方式獲取原特征的更多表達P2,.P3…,Pn?！緯r間】分鐘?！咎釂枴?。三、模型示例：稀疏自動編碼器。1.基本原理：生物視覺形成的圖像有上億像素，但均只用很少的代價重建與存儲。2.在自動編碼器的基礎(chǔ)上增加L1范數(shù)以使每一層中的節(jié)點大部分取值為0（或者，在大量的樣本中選取較少的具有代表性的樣本作為元素以表達新的樣本）?！緩娀c拓展】L0范數(shù)為向量中非0元素的個數(shù)，L1范數(shù)為向量中各元素絕對值之和。L0范數(shù)很難優(yōu)化求解，L1范數(shù)是L0范數(shù)的最優(yōu)凸近似，更易于求解?！糚PT〗自動編碼器與稀疏自動編碼器?！緯r間】分鐘?！咎釂枴?。課堂練習(xí)其他無小結(jié)與作業(yè)課堂小結(jié)深度學(xué)習(xí)可以自動地提取分類需要的底層或高層特征（可以學(xué)習(xí)淺層語義信息，也可以學(xué)習(xí)深層語義信息，進而為后續(xù)不同的任務(wù)提供特征；提取出來的特征要比人為設(shè)定的特定具有更強的泛化性能），由于模型的層次與參數(shù)相對較多，因而具有很強大表征能力。此外，從模式識別特征和分類器的角度，深度學(xué)習(xí)框架將特征和分類器進行了統(tǒng)一（可以擬合任意復(fù)雜函數(shù)，可以