機器學習 教案 龐俊彪 第14次課-第35次課 決策樹-深度神經(jīng)網(wǎng)絡基礎

《機器學習》教案《機器學習》教案適用專業(yè)：機器人、人工智能教學年度：教學班級：授課教師課程名稱授課地點授課時間第14次章節(jié)題目決策樹教學目的模型加速能力是重要的手段也是推向模型進化的主要原因教學重點剪枝的可能性和本質(zhì)教學難點理解剪枝的可能性和本質(zhì)教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計用例子講解計算過程教學內(nèi)容決策樹預剪枝決策樹的參數(shù)包括：樹的深度，葉節(jié)點內(nèi)的最小樣本數(shù)、和信息增益閾值；預剪枝觀點是等到?jīng)Q策樹完全生長完成再剪枝不如預先完成；預剪枝能減少計算量；決策樹悲觀剪枝悲觀剪枝的條件是我們沒有驗證集的情況下，我們可利用置信區(qū)間的概念進行剪枝；剪枝前后，決策樹的期望錯誤率不超過預定義的一個閾值；期望錯誤率的建模過程用二項式分布，即用二項式分布來描述落入一個節(jié)點內(nèi)樣本點數(shù)量；二項式分布難以計算可以用高斯分布進行近似；能用悲觀剪枝進行決策樹剪枝代碼實現(xiàn)；決策樹代價復雜度剪枝復雜度剪枝是既能描述分類準確性又能描述決策樹復雜度的指標；準確性的描述用分類錯誤率而決策樹復雜度用葉結(jié)點數(shù)量；利用最優(yōu)子決策樹序列的嵌套性貪心的計算復雜度剪枝的指標；教學過程1.講解剪枝與過擬合的關系2.講解剪枝的兩種范式教學總結(jié)授課教師課程名稱授課地點授課時間第15次章節(jié)題目集成學習教學目的集成學習的分類，學習器的優(yōu)劣和泛化誤差教學重點集成學習的動機，什么是泛化誤差教學難點如何將多個弱學習器層次的累疊在一起，掌握偏差-方差分解過程中的假設和推導過程；教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計深度神經(jīng)網(wǎng)絡和集成學習的實驗分析教學內(nèi)容集成學習的分類集成學習的動機是將能力弱的學習器進行組合后獲得能力更強的強分學習器；將多個弱學習器加法疊加在一起->bagging和boosting；成法集成學習-〉無法將弱能力的學習器組合后變強；將多個弱學習器層次的累疊在一起-〉深度神經(jīng)網(wǎng)絡；集成學習對弱學習器必須有一定的限制條件，包括，易于訓練和并行化，弱學習器之間應該有某種互補性，必須在一定原則下進行集成。學習器的優(yōu)劣和泛化誤差泛化誤差是指利用不同的訓練集合（可能是獨立同分布）對模型進行多次訓練后，對同一測試集合誤差的期望；掌握偏差-方差分解過程中的假設和推導過程；弱學習器用偏差和方差進行刻畫；教學過程分析集成的動機提出集成學習的學習器疊加講解神經(jīng)網(wǎng)絡講解弱學習器分析泛化誤差的影響理解偏差-方差分解過程教學總結(jié)授課教師課程名稱授課地點授課時間第16次章節(jié)題目集成學習教學目的掌握偏差和方差是看待模型的重要手段教學重點模型選擇與交叉驗證教學難點掌握模型選擇的依據(jù)教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計Boosting講解和randomforst的實驗分析教學內(nèi)容模型選擇與交叉驗證訓練集、驗證集都屬于訓練集，而測試集和訓練集構(gòu)成全部數(shù)據(jù)；這三個集合之間互相沒有交集；因為對數(shù)據(jù)集的一次固定（隨機）劃分，驗證集或測試集里面仍然存在偏好（例如，某些特殊的數(shù)據(jù)出現(xiàn)在測試集里面，而訓練集少甚至沒有）；K折交叉驗證是加強版本的交叉驗證，是一種讓樣本都有一次機會成為驗證集，是樣本某個指標平均意義下對模型的選擇；理解高偏差，高方差，低偏差，低方差及其組合在：1）隨著樣本數(shù)增加；2）隨著模型復雜度變化，這兩個因素下的性能（誤差）的表現(xiàn)；我們通常認為模型參數(shù)變化后，具體的模型也會變化。狹義的理解，模型選擇是對具體模型參數(shù)的選擇。廣義的理解，模型選擇是對任意模型的選擇。教學過程分析集成的可能性提出集成學習的幾種范式Bagging的偏差和方差的推導和假設講解交叉驗證的方法教學總結(jié)授課教師課程名稱授課地點授課時間第17次章節(jié)題目集成學習教學目的偏差和方差是看待模型的重要手段平均集成，可加性集成和疊加性集成的關系教學重點泛化性的分析和理解擬合，過擬合，欠擬合之間的關系模型選擇與交叉教學難點Bagging的偏差和方差的推導過程教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計Boosting講解和randomforst的實驗分析教學內(nèi)容BaggingBagging就是對具有低偏差但高方差學習器進行集成；低偏差是指每個學習器分類能力強，容易會存在過擬合現(xiàn)象，高方差是指每個學習器預測當訓練集變化時候，學習器的預測變化也很大。決策樹是典型的低偏差但高方差的學習器；Bagging的方差和偏差的推導過程所用的數(shù)學技巧；Bagging為了讓強分類器的方差減少，讓弱學習器權(quán)重變小，相關性也變小；Bagging為了讓強學習器的偏差減少，我們需要所有弱學習的偏差都小，并且希望偏差差異越小越好。Bagging的包外數(shù)據(jù)及其比例的推導過程；證明有放回的采樣方法獲得的樣本子集與全樣本集合屬于同一分布。理解SVM作為弱學習器無法獲得有效的bagging結(jié)果，而決策樹的bagging能獲得有效的bagging結(jié)果。教學過程分析集成的可能性提出集成學習的幾種范式Bagging的偏差和方差的推導和假設隨機森林是bagging下的一個特殊例子教學總結(jié)授課教師課程名稱授課地點授課時間第18次章節(jié)題目集成學習教學目的什么是隨機森林隨機森林的動機和特性教學重點如何進行隨機的特征抽取和樣本抽取袋外數(shù)據(jù)產(chǎn)生過程教學難點隨機森林決策樹之間的相關性教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計隨機化過程和袋外數(shù)據(jù)產(chǎn)生過程教學內(nèi)容隨機森林在特征層面和樣本層面進行隨機的特征抽取和樣本抽?。浑S機化能降低隨機森林中決策樹的相關性；從袋外數(shù)據(jù)產(chǎn)生過程理解隨機森林中決策樹之間仍然有相關性。教學過程理解隨機森林是bagging下的一個特殊例子理解隨機森林決策樹如何產(chǎn)生相關性和如何降低教學總結(jié)授課教師課程名稱授課地點授課時間第19次章節(jié)題目無監(jiān)督學習教學目的無監(jiān)督學習的目的K-mean等聚類算法的假設教學重點K均值聚類算法非凹非凸函數(shù)的計算過程怎么保證解的穩(wěn)定性模型選擇的常用方法和思考維度教學難點期望最大化算法K均值聚類算法的目標函數(shù)K均值聚類算法是基于聚類是等方差的高斯分布模型選擇方法教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計非凹非凸如何被優(yōu)化到局部最小教學內(nèi)容無監(jiān)督學習的動機1、從大量無標記的樣本里面挖掘出可能性的數(shù)據(jù)內(nèi)含的規(guī)律；2、數(shù)據(jù)生成應該受到潛在因素的控制，這些潛在因素中最重要的因素之一是聚集性；3、聚集性是規(guī)律重現(xiàn)的直觀認識。K均值聚類算法1、K均值聚類算法是依靠計算樣本點的距離判斷樣本之間的聚集性；2、K均值聚類算法的目標函數(shù)是非凹非凸，只有固定一個變量優(yōu)化另一個變量的情況下目標函數(shù)才能被優(yōu)化到局部最??；3、K均值聚類算法的優(yōu)化是基于梯度下降算法進行優(yōu)化；4、K均值聚類算法是基于聚類是等方差的高斯分布；5、K均值聚類算法目標函數(shù)的只能得到局部最優(yōu)，基于初始化能影響解這一假設，K均值++是基于聚類中心相互遠離這樣觀測設計的順序初始化方法；6、BIC和AIC是模型選擇中常用的兩種方法，AIC是擬合精度和模型參數(shù)量來選擇模型，而BIC是考慮樣本數(shù)量和擬合精度之間的均衡。7、擬合精度，數(shù)據(jù)量，模型參數(shù)是模型選擇的思考維度。教學過程1、理解無監(jiān)督學習的動機的由來2、理解K均值聚類算法的依據(jù)3、理解K均值聚類算法目標函數(shù)的優(yōu)化4.了解模型選擇的思考維度教學總結(jié)授課教師課程名稱授課地點授課時間第20次章節(jié)題目無監(jiān)督學習教學目的從概率的角度理解模型高斯混合模型的期望最大化算法教學重點基于混合高斯模型的聚類期望最大化算法非凹非凸函數(shù)的計算過程教學難點期望最大化算法的本質(zhì)目標函數(shù)數(shù)學求解教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計高斯混合模型在不同參數(shù)下的性能教學內(nèi)容基于混合高斯模型的聚類1.對K均值聚類的等方差高斯分布轉(zhuǎn)化為任意的多元高斯分布；2.高斯混合模型是有限參數(shù)的概率模型，與之對應的是非參數(shù)的Parzen窗；3.高斯混合模型優(yōu)化中的混合系數(shù)是隱含變量，期望是對隱含變量的積4.形成隱含變量分布下的目標函數(shù)的期望；最大化是對目標函數(shù)的期望的優(yōu)化，獲得變量的解；5.期望最大化算法本質(zhì)是對復雜分布在KL散度度量下的逐步逼近；6.數(shù)學上，如果我們能判斷函數(shù)的凹凸性，我們還可以利用Jessian不等式對目標函數(shù)轉(zhuǎn)換為目標函數(shù)的上下界進行求解。教學過程1.理解K均值聚類的等方差的高斯分布轉(zhuǎn)化2.理解高斯混合模型優(yōu)化的參數(shù)期望等細節(jié)3.理解理解期望最大化算法的本質(zhì)教學總結(jié)授課教師課程名稱授課地點授課時間第21次章節(jié)題目無監(jiān)督學習教學目的理解期望最大化算法的動機和應用和難點DBSCAN對噪聲的處理本質(zhì)教學重點高斯混合模型的期望最大化算法噪聲下基于密度的空間聚類算法教學難點期望最大化算法KL散度的由來教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計高斯混合模型在不同參數(shù)下的性能教學內(nèi)容期望最大化算法1、KL散度的由來？2、期望最大化算法主要解決具有隱變量的模型；3、期望最大化算法的難度在于期望的求解。噪聲下基于密度的空間聚類算法1、DBSCAN是利用Parzen窗的思想，讓每個樣本作為概率密度估計的計算點，通過定義連通性將兩個樣本點進行合并，再確定閾值區(qū)分不同的聚類；2、DBSCAN對噪聲的處理本質(zhì)上是一個概率上基于人工定義的分類問題；教學過程理解期望最大化算法的動機目標理解DBSCAN的基本思想理解DBSCAN處理噪聲的本質(zhì)教學總結(jié)授課教師課程名稱授課地點授課時間第22次章節(jié)題目降維分析教學目的讓學生了解降維分析的動機，掌握主成分分析方法，理解主成分分析中對數(shù)據(jù)進行歸一化的作用。教學重點主成分分析方法教學難點主成分分析如何保留高維數(shù)據(jù)的“本質(zhì)”信息；主成分分析的算法流程；教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計用主成分分析將高維矩陣變?yōu)榈途S教學內(nèi)容降維的動機高維向量維度間可能存在相關性，因此可以用一個變量來代替向量中的多個變量；降維是多個變量整合為一個變量，而特征選擇是找符合特性（如，判別力）；降維的變量的可解釋性是根據(jù)數(shù)據(jù)建模的特性所賦予。主成分分析理解主成分分析中投影矩陣是正交基是約束解空間性質(zhì)的手段，讓低維特征互相不相關，獲得緊致的特征；主成分分析解的特性是讓投影空間中的解盡量不相關；主成分分析剪掉均值預先處理的動機本質(zhì)來源于投影空間中的解盡量不相關的多解性；主成分分析解體現(xiàn)了壓縮-擴張矛盾的過程保證解的穩(wěn)定性；主成分分析解的求解過程利用投影向量的正交性等價于特征值和特征向量的求解過程；教學過程理解高維度數(shù)據(jù)如何用低維空間表示理解降維分析的動機講解主成分分析目標函數(shù)即其簡化形式講解主成分分析目標函數(shù)的優(yōu)化主成分分析中對數(shù)據(jù)進行歸一化的作用教學總結(jié)授課教師課程名稱授課地點授課時間第23次章節(jié)題目降維分析教學目的讓學生掌握語義表示模型。教學重點詞的表示方法；隱語義模型；概率隱語義模型教學難點如何處理自然語言中一義多詞或一詞多義的問題；對隱語義模型、概率隱語義模型的理解教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計利用隱語義模型和概率隱語義模型對矩陣進行降維教學內(nèi)容語義表示模型一詞一義假設是利用詞頻向量對文檔進行特征抽?。荒嬖~頻向量是考慮“平凡詞”對語義的“抹平”效果，逆詞頻向量可以看作歸一化；特征歸一化是重要避免特征語義漂移的策略，在信息增益比，SIFT等都利用該思想；一詞多義是通過共生性來觀測一詞多義；共生性可以用文檔-單詞矩陣來表示。因此，文檔可以由單詞來表示，單詞也可以用文檔來表示，對文檔和單詞維度的壓縮表示就是隱語義模型；隱語義模型可以看作為lowrank表示；矩陣奇異值分解的特征值與弗羅貝尼烏斯范數(shù)的值存在平方和關系；概率隱語義模型是典型的生成式模型；概率隱語義模型中的主題是隱變量，因此對概率隱語義模型的求解用期望最大化算法；教學過程講解生活中的詞匯如何用向量進行表示一詞多義與一義多詞的處理方式講解隱語義模型講解概率隱語義模型教學總結(jié)授課教師課程名稱授課地點授課時間第24次章節(jié)題目降維分析教學目的讓學生掌握非負矩陣分解。教學重點非負矩陣分解的原理和動機；非負矩陣分解的實現(xiàn)教學難點非負矩陣分解的實現(xiàn)；非負矩陣分解算法的收斂速度教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計用KL散度作為目標函數(shù)對非負矩陣進行分解教學內(nèi)容非負矩陣分解非負矩陣分解是讓分解的向量不僅是lowrank還是非負。非負性會導致分解出的矩陣具有一定可解釋性；矩陣分解為兩個lowrank=k子矩陣的乘積意味著原矩陣所蘊含的聚類或成組的規(guī)律等于k；非負矩陣分解的乘法更新法則等價于調(diào)整學習率強制分解后的矩陣為正；非負矩陣分解的梯度投影更新法則利用投影算子強制將解投影到非負約束上；梯度投影是帶約束問題近似化的快速求解算法；Lowrank約束意味著用極少的等式求解比等式數(shù)多的變量。教學過程講解非負矩陣分解中的不同的更新法則講解非負矩陣分解的梯度投影比較梯度投影算法和非負矩陣分解算法的運行時間和重構(gòu)誤差教學總結(jié)授課教師課程名稱授課地點授課時間第25次章節(jié)題目神經(jīng)網(wǎng)絡基礎教學目的掌握神經(jīng)網(wǎng)絡的基本組成理解多層神經(jīng)網(wǎng)絡的基本組成和本質(zhì)教學重點神經(jīng)元的特征神經(jīng)元如何組成神經(jīng)網(wǎng)絡激活函數(shù)如何作用教學難點多層前饋神經(jīng)網(wǎng)絡的結(jié)構(gòu)和本質(zhì)教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計不同激活函數(shù)的圖像和異同分析教學內(nèi)容神經(jīng)元基本模型單神經(jīng)元模型可抽象為感知機、邏輯斯回歸等模型；單神經(jīng)元模型是歐式空間中線性證據(jù)的累積和非線性變換的疊加；典型的非線性變換包括sigmoid函數(shù)，Tanh函數(shù)，ReLU函數(shù)；多層前饋神經(jīng)網(wǎng)絡單神經(jīng)元的堆疊組成多層前饋神經(jīng)網(wǎng)絡；從特征的非線性變換角度看，多層前饋神經(jīng)網(wǎng)絡的底層神經(jīng)元對特征進行激活函數(shù)為基礎的非線性變換，而次層的神經(jīng)元對非線性變換進行變換的組合和二次非線性變換。這種變換和組合迭代的進行多次復合運算最終獲得非線性能力；對隱藏層網(wǎng)絡結(jié)構(gòu)（神經(jīng)元的數(shù)量，神經(jīng)元之間的連接方式）的設計體現(xiàn)了神經(jīng)網(wǎng)絡對不同任務的理解。例如，降維分析要求神經(jīng)網(wǎng)絡呈現(xiàn)出漏斗形狀（隱藏層的神經(jīng)元數(shù)量會比輸入和輸出少），分類問題需要神經(jīng)元呈現(xiàn)紡錘形（隱藏層神經(jīng)元的數(shù)量比輸入更多而獲得更多）等；前饋神經(jīng)網(wǎng)絡本質(zhì)就是復合函數(shù)的多次嵌套過程。教學過程理解單個神經(jīng)元的結(jié)構(gòu)神經(jīng)元之間如何實現(xiàn)信息傳遞3、從神經(jīng)元到多層前饋神經(jīng)網(wǎng)絡的構(gòu)造原理教學總結(jié)授課教師課程名稱授課地點授課時間第26次章節(jié)題目神經(jīng)網(wǎng)絡基礎教學目的理解神經(jīng)網(wǎng)絡的反向傳播算法并會編程實現(xiàn)理解梯度下降法在反向傳播中的作用教學重點神經(jīng)網(wǎng)絡的反向傳播的原理神經(jīng)網(wǎng)絡中梯度的作用教學難點學習率大小和隨機梯度下降的高方差性是反向傳播算法仍然在非凹非凸函數(shù)上有效的關鍵原因教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計簡單反向傳播神經(jīng)網(wǎng)絡的實現(xiàn)教學內(nèi)容反向傳播算法對于第i層網(wǎng)絡參數(shù)梯度的求解與第i+1層網(wǎng)絡的加權(quán)誤差呈現(xiàn)出：i+1層的權(quán)重乘i+1層的梯度模式。最低層神經(jīng)網(wǎng)絡層的梯度與前面所有層的梯度呈現(xiàn)出乘積關系，這意味著數(shù)值上的向上或向下溢出問題，該數(shù)值問題用log似然中遇到過；梯度消失和梯度爆炸是3.知識點中如果梯度的數(shù)值不等于1，會造成梯度的數(shù)值不穩(wěn)定而梯度學習無法進行；梯度消失和梯度爆炸的根源是前饋神經(jīng)網(wǎng)絡的嵌套復合過程帶來的深度復合函數(shù)；梯度消失和梯度爆炸要求激活函數(shù)的梯度能控制在1附近的有效激活區(qū)間，具體區(qū)間大小應該由神經(jīng)網(wǎng)絡層數(shù)的決定；學習率大小和隨機梯度下降（SGD）天然具有的高方差性是反向傳播算法仍然在非凹非凸函數(shù)上有效的關鍵原因；大型神經(jīng)網(wǎng)絡仍然利用基于梯度下降的算法，梯度下降算法屬于誤差修正學習（error-correctionlearning），目前還有Hebbianlearning,competitivelearning兩種策略，但是后兩者策略在深度神經(jīng)網(wǎng)絡上目前還沒有成功的進展。教學過程通過對多層前饋神經(jīng)網(wǎng)絡的變換引出反向傳播神經(jīng)網(wǎng)絡2.實現(xiàn)基于梯度反向傳播的神經(jīng)網(wǎng)絡的訓練3.通過梯度消失和梯度爆炸現(xiàn)象的來解釋梯度的影響教學總結(jié)授課教師課程名稱授課地點授課時間第27次章節(jié)題目神經(jīng)網(wǎng)絡基礎教學目的神經(jīng)網(wǎng)絡中的初始化和不同激活函數(shù)教學重點權(quán)重參數(shù)的初始化不同激活函數(shù)的選擇教學難點不同初始化和激活函數(shù)的選擇教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計不同初始化之間的作用效果和異同分析教學內(nèi)容權(quán)重參數(shù)的初始化根據(jù)：神經(jīng)網(wǎng)絡每一層的輸入值都應落入激活函數(shù)的最大梯度范圍內(nèi)來分別對不同的激活函數(shù)進行分別討論獲得結(jié)論；Sigmoid激活函數(shù)的初始化為0均值方差與前一層網(wǎng)絡的輸入維度的導數(shù)；不同的激活函數(shù)應該用不同的初始化方法，典型的初始化方法如，Xavier,He初始化。教學過程1.理解初始化的意義和種類2.了解不同激活函數(shù)的特點和異同3.能根據(jù)不同的激活函數(shù)應該用不同的初始化方法教學總結(jié)授課教師課程名稱授課地點授課時間第28次章節(jié)題目神經(jīng)網(wǎng)絡基礎教學目的掌握批歸一化的動機本質(zhì)教學重點批歸一化的本質(zhì)作用教學難點深度神經(jīng)網(wǎng)絡訓練過程中采用批歸一化的原因教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計未使用和使用批歸一化的對比分析教學內(nèi)容批歸一化多層神經(jīng)網(wǎng)絡中，前一層是學習得到的特征需要經(jīng)過歸一化才能保證數(shù)據(jù)對齊；此外，歸一化能保證激活函數(shù)的梯度在最優(yōu)的激活區(qū)間；批歸一化作用于輸入特征的每一維度，也仍然遵循第2章歸一化的基本準則，但是將歸一化為了應對SGD梯度下降中數(shù)據(jù)不全的問題，利用參數(shù)化進行數(shù)據(jù)適應的動態(tài)調(diào)整；批歸一化本質(zhì)解決了特征在語義尺度上的原點（conceptdrift）和語義強度單位的歸一；理解深度神經(jīng)網(wǎng)絡訓練過程中采用批歸一化的原因；批歸一化不能過大也不能過小，過大1）無法獲得梯度的高方差，2）容易將有價值的樣本淹沒；過小都會：1）迭代收斂速度慢；2）？教學過程1.引出批歸一化的必要性2.理解批歸一化如何作用3.理解批歸一化的本質(zhì)教學總結(jié)授課教師課程名稱授課地點授課時間第29次章節(jié)題目神經(jīng)網(wǎng)絡基礎教學目的掌握神經(jīng)網(wǎng)絡的優(yōu)化理解Sqrt函數(shù)應用于自適應調(diào)整過程教學重點基于梯度的神經(jīng)網(wǎng)絡優(yōu)化教學難點凹凸函數(shù)的復雜組合會影響神經(jīng)網(wǎng)絡算法設計的學習率和梯度更新方法如何理解鞍點教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計不同凹凸函數(shù)的優(yōu)化分析教學內(nèi)容基于梯度的神經(jīng)網(wǎng)絡優(yōu)化神經(jīng)網(wǎng)絡是凹凸函數(shù)的復雜組合，神經(jīng)網(wǎng)絡局部最優(yōu)解的損失函數(shù)“地形地貌”會影響神經(jīng)網(wǎng)絡算法設計的學習率和梯度更新方法；理解“鞍點”是一種部分維度的局部最小值；理解“峽谷”類型的最小值、“扁平”類型的最小值典型的損失函數(shù)“地形地貌”；動量法假設鞍點可以利用梯度的“慣性”去避免陷入“部分”局部最小值，也可以將局部最小值理解為“噪聲”，動量法數(shù)學上是EMA的應用對這些噪聲進行平滑后進入局部更優(yōu)解，需要指出動量法不能逃脫所有的局部最小點；自適應學習率是對各個維度學習率不一致情況的求解；理解Sqrt函數(shù)巧妙應用于自適應調(diào)整過程；教學過程1.直觀展示凹凸函數(shù)的“地形地貌”2.展示鞍點，理解“峽谷”類型的最小值3.理解動量法的數(shù)學應用4.掌握各個維度學習率不一致情況的求解教學總結(jié)授課教師課程名稱授課地點授課時間第30次章節(jié)題目深度神經(jīng)網(wǎng)絡基礎教學目的掌握卷積神經(jīng)網(wǎng)絡的基本組成理解卷積神經(jīng)網(wǎng)絡算法并會編程實現(xiàn)教學重點卷積神經(jīng)網(wǎng)絡的工作原理教學難點卷積神經(jīng)網(wǎng)絡的優(yōu)化過程教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計CNN卷積函數(shù)的設計分析教學內(nèi)容卷積神經(jīng)網(wǎng)絡人腦處理信號呈現(xiàn)出階段性，由簡單到復雜的過程，而神經(jīng)元之間也存在由簡單細胞復合成復雜細胞的過程；卷積運算就是利用線性變換對輸入進行互相關性的進特征抽??；卷積核是待優(yōu)化的參數(shù)；卷積核在數(shù)學上等價于權(quán)重共享、局部連接的神經(jīng)網(wǎng)絡；池化層作用模擬了復雜細胞的功能；教學過程1.卷積神經(jīng)網(wǎng)絡的構(gòu)造原理2.卷積神經(jīng)網(wǎng)絡的訓練過程3.卷積神經(jīng)網(wǎng)絡優(yōu)化過程中參數(shù)歸一化原則和訓練算法教學總結(jié)授課教師課程名稱授課地點授課時間第31次章節(jié)題目深度神經(jīng)網(wǎng)絡基礎教學目的掌握卷積神經(jīng)網(wǎng)絡的基本組成理解卷積神經(jīng)網(wǎng)絡算法并會編程實現(xiàn)教學重點卷積神經(jīng)網(wǎng)絡的工作原理教學難點卷積神經(jīng)網(wǎng)絡的優(yōu)化過程教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計CNN卷積函數(shù)的設計設計分析教學內(nèi)容卷積神經(jīng)網(wǎng)絡1.Max池化實現(xiàn)了信號的平移不變性，但是max操作損失了信息，通常用于特征的快速降維；2.Average池化實現(xiàn)了信號的平均化，對噪聲進行平滑，并增強預測的穩(wěn)定性；3.感受野是一個神經(jīng)元所能感受到圖象的區(qū)域范圍；4.池化層實現(xiàn)特征的選擇和融合，多層卷積神經(jīng)網(wǎng)絡構(gòu)成了感受野，感受野內(nèi)能對尺度、平移，共生等關系通過網(wǎng)絡結(jié)構(gòu)的設計進行建模；5.YOLO是典型的利用多層神經(jīng)網(wǎng)絡應用；教學過程1.卷積神經(jīng)網(wǎng)絡的構(gòu)造原理2.卷積神經(jīng)網(wǎng)絡的訓練過程3.卷積神經(jīng)網(wǎng)絡優(yōu)化過程中參數(shù)歸一化原則和訓練算法教學總結(jié)授課教師課程名稱授課地點授課時間第32次章節(jié)題目深度神經(jīng)網(wǎng)絡模型教學目的掌握循環(huán)神經(jīng)網(wǎng)絡的基本組成理解循環(huán)神經(jīng)網(wǎng)絡算法并會編程實現(xiàn)教學重點循環(huán)神經(jīng)網(wǎng)絡的工作原理教學難點循環(huán)神經(jīng)網(wǎng)絡的優(yōu)化過程教學方法啟發(fā)式，案例教具多媒體，程序運行結(jié)果，黑板板書案例設計RNN循環(huán)神經(jīng)網(wǎng)絡的設計分析教學內(nèi)容循環(huán)神經(jīng)網(wǎng)絡循環(huán)神經(jīng)網(wǎng)絡對時間序列進行建模；循環(huán)神經(jīng)網(wǎng)絡可以用編碼層（encoder）對時序特征投影到多個時間序列步“和諧”的特征編碼空間，在特征編碼空間內(nèi)RNN建立相鄰時間步之間，一階markov關系，再對解碼階段建立將特征編碼空間轉(zhuǎn)換為輸出的解碼層（decoder）；RNN在時間步上的復合函數(shù)；這意味著序列越長，RNN神經(jīng)網(wǎng)絡越深；教學過程1.循環(huán)神經(jīng)網(wǎng)絡的構(gòu)造原理2.循環(huán)神經(jīng)網(wǎng)絡的訓練過程3.循環(huán)神經(jīng)網(wǎng)絡優(yōu)化過程中參數(shù)歸一化原則和訓練算法教學總結(jié)授課教師課程名稱授課地點授課時間第33次章節(jié)題目深度神經(jīng)網(wǎng)絡基礎教學目的掌握循環(huán)