《Python深度學(xué)習(xí)入門》課程標準(教學(xué)大綱)

PAGE《Python深度學(xué)習(xí)入門》課程標準(教學(xué)大綱)（一）基本信息適用對象：人工智能技術(shù)應(yīng)用專業(yè)、軟件工程專業(yè)課程代碼：250186課程類別：必修課程學(xué)分：4學(xué)時：60學(xué)時先修課程：Python程序設(shè)計語言、機器學(xué)習(xí)基礎(chǔ)制定人：程源（二）課程的性質(zhì)與定位本課程是專業(yè)課，屬于專業(yè)必修課。本課程包括36學(xué)時的理論教學(xué)和24學(xué)時的實踐教學(xué)，在校內(nèi)完成。本課程適用于人工智能技術(shù)應(yīng)用專業(yè)，讓學(xué)生在先修課程的基礎(chǔ)上，為學(xué)生進行人工智能工程與管理職業(yè)技能訓(xùn)練、畢業(yè)綜合實踐等后續(xù)課程及從事人工智能相關(guān)等崗位工作打下基礎(chǔ)。本課程與廣東奧普特科技有限公司和深圳匯控智能技術(shù)有限公司共同開發(fā)，面向合作企業(yè)的人工智能和機器人相關(guān)崗位，根據(jù)需要可以在廣東奧普特公司和深圳匯控智能技術(shù)有限公司等企業(yè)的校外實習(xí)基地開展課程相關(guān)的實踐。（三）課程目標1.總體目標《Python深度學(xué)習(xí)入門》是面向人工智能技術(shù)應(yīng)用專業(yè)的一門專業(yè)課，涉及機器學(xué)習(xí)基礎(chǔ)、深度學(xué)習(xí)基礎(chǔ)、利用深度學(xué)習(xí)框架實現(xiàn)深度模型以及產(chǎn)品環(huán)境中的模型部署等內(nèi)容。通過本課程的學(xué)習(xí)，學(xué)生能夠掌握利用深度學(xué)習(xí)框架實現(xiàn)深度學(xué)習(xí)模型的基礎(chǔ)知識。本課程主要目標在于幫助學(xué)生理解深度學(xué)習(xí)的基礎(chǔ)理論，掌握利用深度學(xué)習(xí)實現(xiàn)深度學(xué)習(xí)模型的基本方法，同時具備一定的產(chǎn)品環(huán)境中模型的部署能力。通過本課程的學(xué)習(xí)，使學(xué)生掌握深度學(xué)習(xí)的基本理論和實踐方法，同時通過工作任務(wù)式學(xué)習(xí)提升分析問題、歸納總結(jié)問題、解決實際復(fù)雜問題等方面關(guān)鍵能力，從而使學(xué)生形成積極參與、主動探索、注重團隊精神和責(zé)任意識等方面的職業(yè)素質(zhì)。實施課程思政。以人工智能案例等作為融入點，使學(xué)生了解行業(yè)最新發(fā)展動態(tài)，激發(fā)學(xué)生社會責(zé)任感；了解人工智能在政治、經(jīng)濟、軍事和社會穩(wěn)定等方面的重要性，通過實際案例進行分析，培養(yǎng)學(xué)生的愛國熱情。2.具體目標及要求（1）專業(yè)能力目標課程的教學(xué)要達到三個層次的目的：1.知識結(jié)構(gòu)。通過使用Python庫實現(xiàn)經(jīng)典的深度學(xué)習(xí)框架的過程逐步深度學(xué)習(xí)的本質(zhì)，使學(xué)生理解深度學(xué)習(xí)的基本概念和算法，掌握神經(jīng)網(wǎng)絡(luò)的基本概念和理論知識，深度學(xué)習(xí)中主要網(wǎng)絡(luò)的基本概念和相關(guān)算法。2.思維結(jié)構(gòu)。在教學(xué)過程中培養(yǎng)學(xué)生的計算思維和邏輯，使學(xué)生能夠用計算和邏輯思維去分析問題和解決問題，在學(xué)習(xí)職業(yè)技能的同時培養(yǎng)思維習(xí)慣。3.職業(yè)素養(yǎng)。通過課程的教學(xué)，使學(xué)生對操作系統(tǒng)的存在問題和發(fā)展趨勢形成自己的認識，能夠在工作實踐中更好地解決問題并把握機會。（2）關(guān)鍵能力目標深度學(xué)習(xí)傳授的關(guān)鍵能力主要包括以下幾個方面?：1.問題模型化能力?；2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力；3.數(shù)據(jù)預(yù)處理能力；4.特征理解和轉(zhuǎn)換能力；5.選擇適當算法的能力；?6.區(qū)分經(jīng)驗誤差與泛化誤差能力；7.團隊合作能力；?8.業(yè)務(wù)和技術(shù)結(jié)合能力。（3）課程思政要求1）通過分析人工智能發(fā)展歷史和現(xiàn)狀，了解行業(yè)發(fā)展動態(tài)，激發(fā)學(xué)習(xí)動力，培養(yǎng)社會責(zé)任感和愛國熱情。2）在人工智能領(lǐng)域，中國取得了很多矚目的成績，通過介紹我國在人工智能領(lǐng)域的成績，激發(fā)學(xué)生的民族自豪感，讓學(xué)生把國家富強、民族振興、人民幸福內(nèi)化為努力學(xué)習(xí)的動力。3）融入企業(yè)應(yīng)用實例，了解行業(yè)新技術(shù)，培養(yǎng)學(xué)生“工匠精神”，提高學(xué)生的信息安全意識和法律法規(guī)意識。（四）課程設(shè)計思路本課程旨在讓學(xué)生能夠使用深度學(xué)習(xí)，不僅從零開始講授深度學(xué)習(xí)的概念、背景和代碼，同時也介紹深度學(xué)習(xí)的應(yīng)用和部署。為使學(xué)生能深入理解深度學(xué)習(xí)模型的細節(jié)（這些的細節(jié)通常會被深度學(xué)習(xí)框架隱藏起來），本課程通過使用最基本的Python庫構(gòu)建深度學(xué)習(xí)的核心組件，并實現(xiàn)一個深度學(xué)習(xí)框架逐步向讀者呈現(xiàn)深度學(xué)習(xí)的本質(zhì)。學(xué)生一旦理解這些組件是如何工作的，就可以輕松地在隨后的教程中使用深度學(xué)習(xí)框架了。本課程分為6個模塊，由20個子學(xué)習(xí)情境組成。本課程所設(shè)計的每個項目均是一個完整的工作過程，實施校企雙方共同指導(dǎo)，實施理論與實踐一體化教學(xué)，讓學(xué)生做中學(xué)、學(xué)中做，提高綜合職業(yè)能力，養(yǎng)成良好的職業(yè)素養(yǎng)。（五）教學(xué)內(nèi)容1.學(xué)時分配模塊名稱子學(xué)習(xí)情境學(xué)時分配小記模塊1深度學(xué)習(xí)概述深度學(xué)習(xí)概述讓機器學(xué)會學(xué)習(xí)44深度學(xué)習(xí)之“深度”深度學(xué)習(xí)的數(shù)據(jù)表示為什么要用深度學(xué)習(xí)模塊2神經(jīng)網(wǎng)絡(luò)入門神經(jīng)元人工神經(jīng)元214激活函數(shù)多層神經(jīng)網(wǎng)絡(luò)分類問題與獨熱編碼2MNIST數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的輸出softmax函數(shù)神經(jīng)網(wǎng)絡(luò)的前向傳播各層間數(shù)據(jù)傳遞2多個樣本情況識別精度損失函數(shù)監(jiān)督學(xué)習(xí)2損失函數(shù)梯度下降法梯度下降2梯度的實現(xiàn)梯度下降法的實現(xiàn)學(xué)習(xí)算法的實現(xiàn)兩層神經(jīng)網(wǎng)絡(luò)模型4神經(jīng)網(wǎng)絡(luò)的訓(xùn)練基于測試數(shù)據(jù)的評價模塊3神經(jīng)網(wǎng)絡(luò)的反向傳播反向傳播及其實現(xiàn)反向傳播412ReLU層Sigmoid層Linear層Softmax-with-Loss層學(xué)習(xí)算法的實現(xiàn)構(gòu)建多層神經(jīng)網(wǎng)絡(luò)模型4隨機梯度下降法訓(xùn)練與預(yù)測構(gòu)建訓(xùn)練器4訓(xùn)練與推理模塊4改善神經(jīng)網(wǎng)絡(luò)優(yōu)化算法動量法26AdaGradRMSpropAdam算法更新方法比較改進訓(xùn)練器數(shù)值穩(wěn)定性和模型初始化梯度消失和梯度爆炸2抑制梯度異常初始化權(quán)重初始值的比較正則化與規(guī)范化過擬合與欠擬合權(quán)值衰減2Dropout正則化批量規(guī)范化改進模型模塊5卷積神經(jīng)網(wǎng)絡(luò)從全連接到卷積卷積運算414填充步幅三維數(shù)據(jù)的卷積運算卷積層的實現(xiàn)卷積計算4四維數(shù)組基于im2col的展開卷積層的實現(xiàn)匯聚層匯聚運算2匯聚層的實現(xiàn)LENET網(wǎng)絡(luò)構(gòu)建模型4模型訓(xùn)練預(yù)測模塊6深度學(xué)習(xí)實踐深度學(xué)習(xí)的工作流程定義任務(wù)210開發(fā)模型部署模型訓(xùn)練一個圖像分類模型創(chuàng)建圖像數(shù)據(jù)集4數(shù)據(jù)預(yù)處理構(gòu)建并訓(xùn)練模型文本分類準備文本數(shù)據(jù)4構(gòu)建網(wǎng)絡(luò)合計學(xué)時60教學(xué)設(shè)計模塊1課程思政要求子學(xué)習(xí)情境1深度學(xué)習(xí)概述深度學(xué)習(xí)概述通過本章的學(xué)習(xí)，使學(xué)生對深度學(xué)習(xí)的概念、發(fā)展歷程有個總體認識，本章既是課程開始的引論，也是課程結(jié)束的結(jié)論。了解中國人工智能面臨的國際形式與發(fā)展方向，增強學(xué)生社會責(zé)任感和愛國熱情。分析我國在人工智能領(lǐng)域的成就與貢獻，體會通過努力獲得的成就感。職業(yè)能力描述知識1.從數(shù)據(jù)中學(xué)習(xí)。2.深度神經(jīng)網(wǎng)絡(luò)：人工神經(jīng)元、神經(jīng)網(wǎng)絡(luò)。3.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。4.深度學(xué)習(xí)的數(shù)據(jù)表示。技能1.掌握標量、向量、矩陣與張量。2.理解從數(shù)據(jù)中學(xué)習(xí)，從錯誤中學(xué)習(xí)。3.理解深度學(xué)習(xí)的數(shù)據(jù)表示。4.理解神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程。關(guān)鍵能力1.問題模型化能力。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當算法的能力。?主要內(nèi)容與要求主要內(nèi)容：1.從數(shù)據(jù)中學(xué)習(xí)。2.深度神經(jīng)網(wǎng)絡(luò)：人工神經(jīng)元、神經(jīng)網(wǎng)絡(luò)。3.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。4.深度學(xué)習(xí)的數(shù)據(jù)表示。要求：1.掌握標量、向量、矩陣與張量。2.理解從數(shù)據(jù)中學(xué)習(xí)，從錯誤中學(xué)習(xí)。3.理解深度學(xué)習(xí)的數(shù)據(jù)表示。4.理解神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程。模塊2課程思政要求子學(xué)習(xí)情境1神經(jīng)元神經(jīng)網(wǎng)絡(luò)入門本章是全書的理論基礎(chǔ)知識，通過本章的學(xué)習(xí)，讓學(xué)生對深度學(xué)習(xí)全貌有一個全面、系統(tǒng)的理解。具體地講，神經(jīng)網(wǎng)絡(luò)的一個重要性質(zhì)是它可以自動地從數(shù)據(jù)中學(xué)習(xí)到合適的權(quán)重參數(shù)。本章中，我們會先介紹神經(jīng)網(wǎng)絡(luò)的概要，然后重點關(guān)注神經(jīng)網(wǎng)絡(luò)進行識別時的處理，將介紹如何從數(shù)據(jù)中學(xué)習(xí)權(quán)重參數(shù)。為了使神經(jīng)網(wǎng)絡(luò)能進行學(xué)習(xí)，本章導(dǎo)入損失函數(shù)這一指標。而學(xué)習(xí)的目的就是以該損失函數(shù)為基準，找出能使它的值達到最小的權(quán)重參數(shù)。并通過數(shù)值微分計算了神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)的梯度。數(shù)值微分簡單，容易實現(xiàn)，但缺點是計算上比較費時間。職業(yè)能力描述知識1.通過修改由簡單的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)中的連接，就能產(chǎn)生智能行為。2.一層線性函數(shù)接著一層激活函數(shù)構(gòu)成一個人工神經(jīng)元。3.神經(jīng)元中的激活函數(shù)使用平滑變化的sigmoid函數(shù)或ReLU函數(shù)。技能1.使用NumPy多維數(shù)組，高效地實現(xiàn)向量和矩陣運算。2.使用NumPy實現(xiàn)加權(quán)和。3.使用NumPy實現(xiàn)sigmoid函數(shù)。4.使用NumPy實現(xiàn)ReLU函數(shù)。關(guān)鍵能力1.問題模型化能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.通過修改由簡單的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)中的連接，就能產(chǎn)生智能行為。2.一層線性函數(shù)接著一層激活函數(shù)構(gòu)成一個人工神經(jīng)元。3.神經(jīng)元中的激活函數(shù)使用平滑變化的sigmoid函數(shù)或ReLU函數(shù)。要求：1.使用NumPy多維數(shù)組，高效地實現(xiàn)向量和矩陣運算。2.使用NumPy實現(xiàn)加權(quán)和。3.使用NumPy實現(xiàn)sigmoid函數(shù)。4.使用NumPy實現(xiàn)ReLU函數(shù)。子學(xué)習(xí)情境2多層神經(jīng)網(wǎng)絡(luò)職業(yè)能力描述知識1.機器學(xué)習(xí)的問題大體上可以分為回歸問題和分類問題。2.關(guān)于輸出層的激活函數(shù)，回歸問題中一般用恒等函數(shù)，分類問題中一般用softmax函數(shù)。3.分類問題中，輸出層的神經(jīng)元的數(shù)量設(shè)置為要分類的類別數(shù)。4.輸入數(shù)據(jù)的集合稱為批。通過以批為單位進行推理處理，能夠?qū)崿F(xiàn)高速的運算。5.解決分類問題常使用獨熱編碼。技能1.理解表示分類數(shù)據(jù)的獨熱編碼，能用Python實現(xiàn)獨熱編碼。2.了解MNIST數(shù)據(jù)集。3.理解分類問題中常用的softmax函數(shù)，使用NumPy實現(xiàn)softmax函數(shù)。關(guān)鍵能力1.問題模型化能力。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。主要內(nèi)容與要求主要內(nèi)容：1.分類問題與獨熱編碼。2.MNIST數(shù)據(jù)集。3.神經(jīng)網(wǎng)絡(luò)的輸出。4.softmax函數(shù)。要求：1.理解表示分類數(shù)據(jù)的獨熱編碼，能用Python實現(xiàn)獨熱編碼。2.了解MNIST數(shù)據(jù)集。3.理解分類問題中常用的softmax函數(shù)，使用NumPy實現(xiàn)softmax函數(shù)。子學(xué)習(xí)情境3神經(jīng)網(wǎng)絡(luò)的前向傳播職業(yè)能力描述知識1.各層間數(shù)據(jù)傳遞。2.多個樣本情況。3.識別精度。技能1.理解多層神經(jīng)網(wǎng)絡(luò)。2.使用NumPy實現(xiàn)神經(jīng)網(wǎng)絡(luò)的前向傳播。3.使用NumPy多維數(shù)組，高效地實現(xiàn)識別精度。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.各層間數(shù)據(jù)傳遞。2.多個樣本情況。3.識別精度。要求：1.理解多層神經(jīng)網(wǎng)絡(luò)。2.使用NumPy實現(xiàn)神經(jīng)網(wǎng)絡(luò)的前向傳播。3.使用NumPy多維數(shù)組，高效地實現(xiàn)識別精度。子學(xué)習(xí)情境4損失函數(shù)職業(yè)能力描述知識1.機器學(xué)習(xí)中使用的數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。2.神經(jīng)網(wǎng)絡(luò)用訓(xùn)練數(shù)據(jù)進行學(xué)習(xí)，并用測試數(shù)據(jù)評價學(xué)習(xí)到的模型的泛化能力。3.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)以損失函數(shù)為指標，更新權(quán)重參數(shù)，以使損失函數(shù)的值減小。4.對于分類問題，常常使用交叉熵誤差作為損失函數(shù)。技能1.理解為什么要設(shè)定損失函數(shù)。2.使用NumPy多維數(shù)組，高效地實現(xiàn)多個樣本情況下的損失函數(shù)。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當算法的。主要內(nèi)容與要求主要內(nèi)容：1.監(jiān)督學(xué)習(xí)。2.損失函數(shù)。3.交叉熵誤差損失函數(shù)及其實現(xiàn)。要求：1.理解為什么要設(shè)定損失函數(shù)。2.使用NumPy多維數(shù)組，高效地實現(xiàn)多個樣本情況下的損失函數(shù)。子學(xué)習(xí)情境5梯度下降法職業(yè)能力描述知識1.利用某個給定的微小值的差分求導(dǎo)數(shù)的過程，稱為數(shù)值微分。利用數(shù)值微分，可以計算損失函數(shù)相對于權(quán)重參數(shù)的梯度，進而實現(xiàn)學(xué)習(xí)算法。2.梯度下降法的實現(xiàn)步驟如下：步驟1（mini-batch），從訓(xùn)練數(shù)據(jù)中隨機選出一部分數(shù)據(jù)，這部分數(shù)據(jù)稱為mini-batch。目標是減小mini-batch的損失函數(shù)的值；步驟2（計算梯度），為了減小mini-batch的損失函數(shù)的值，需要求出各個權(quán)重參數(shù)的梯度。梯度表示損失函數(shù)的值減小最多的方向；步驟3（更新參數(shù)），將權(quán)重參數(shù)沿梯度方向進行微小更新；步驟4（重復(fù)），重復(fù)步驟1、步驟2、步驟3。技能1.理解數(shù)值微分，能用Python實現(xiàn)中心差分法。2.理解梯度下降法的實現(xiàn)步驟。3.能使用NumPy實現(xiàn)數(shù)值梯度計算。關(guān)鍵能力1.問題模型化能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.利用數(shù)值微分，可以計算損失函數(shù)相對于權(quán)重參數(shù)的梯度，進而實現(xiàn)學(xué)習(xí)算法。2.梯度下降法的實現(xiàn)步驟。要求：1.理解數(shù)值微分，能使用NumPy實現(xiàn)中心差分法。2.理解梯度下降法的實現(xiàn)步驟。3.能使用NumPy實現(xiàn)數(shù)值梯度計算。子學(xué)習(xí)情境6學(xué)習(xí)算法的實現(xiàn)職業(yè)能力描述知識1.兩層神經(jīng)網(wǎng)絡(luò)模型。2.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。3.基于測試數(shù)據(jù)的評價。技能1.能用Python實現(xiàn)兩層神經(jīng)網(wǎng)絡(luò)模型。2.能利用MNIST數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)。3.能夠利用測試數(shù)據(jù)評價神經(jīng)網(wǎng)絡(luò)的泛化能力。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.兩層神經(jīng)網(wǎng)絡(luò)模型。2.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。3.基于測試數(shù)據(jù)的評價。要求：1.能使用NumPy實現(xiàn)兩層神經(jīng)網(wǎng)絡(luò)模型。2.能利用MNIST數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)。3.能利用測試數(shù)據(jù)評價神經(jīng)網(wǎng)絡(luò)的泛化能力。模塊3課程思政要求子學(xué)習(xí)情境1反向傳播的實現(xiàn)神經(jīng)網(wǎng)絡(luò)的反向傳播本章介紹了神經(jīng)網(wǎng)絡(luò)中的誤差反向傳播法，并以層為單位實現(xiàn)了神經(jīng)網(wǎng)絡(luò)中的處理。這些層中實現(xiàn)了forward和backward方法，通過將數(shù)據(jù)正向和反向地傳播，可以高效地計算權(quán)重參數(shù)的梯度。通過使用層進行模塊化，神經(jīng)網(wǎng)絡(luò)中可以自由地組裝層，輕松構(gòu)建出自己喜歡的網(wǎng)絡(luò)。職業(yè)能力描述知識1.多層神經(jīng)網(wǎng)絡(luò)可以視為由多個點積（??????）、激活函數(shù)（????????????????可以是sigmoid、ReLU或softmax函數(shù)等）嵌套成的復(fù)合函數(shù)。2.基于復(fù)合函數(shù)求導(dǎo)的鏈式法則可以程式化的計算神經(jīng)網(wǎng)絡(luò)對權(quán)重的梯度，實現(xiàn)誤差的反向傳播。3.利用NumPy高效地實現(xiàn)ReLU層、Sigmoid層、Linear層、Softmax-with-Loss層等，這些層中實現(xiàn)了正向計算（forward）和反向計算（backward）方法。4.通過將數(shù)據(jù)正向和反向地傳播，可以高效地計算權(quán)重參數(shù)的梯度。技能能夠利用NumPy高效地實現(xiàn)ReLU層、Sigmoid層、Linear層和Softmax-with-Loss層。關(guān)鍵能力1.問題模型化能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.反向傳播。2.ReLU層及其NumPy實現(xiàn)。3.Sigmoid層及其NumPy實現(xiàn)。4.Linear層及其NumPy實現(xiàn)。5.Softmax-with-Loss層及其NumPy實現(xiàn)。要求：能夠利用NumPy高效地實現(xiàn)ReLU層、Sigmoid層、Linear層和Softmax-with-Loss層。子學(xué)習(xí)情境2學(xué)習(xí)算法的實現(xiàn)職業(yè)能力描述知識1.通過使用層進行模塊化，神經(jīng)網(wǎng)絡(luò)中可以自由地組裝層，輕松構(gòu)建出自己的網(wǎng)絡(luò)。2.對應(yīng)誤差反向傳播法的神經(jīng)網(wǎng)絡(luò)的實現(xiàn)。3.隨機梯度下降法。技能1.理解構(gòu)建多層神經(jīng)網(wǎng)絡(luò)模型SequentialNet。2.能使用NumPy實現(xiàn)隨機梯度下降法SGD。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當算法的能力?。主要內(nèi)容與要求主要內(nèi)容：1.對應(yīng)誤差反向傳播法的神經(jīng)網(wǎng)絡(luò)的實現(xiàn)。2.隨機梯度下降法的實現(xiàn)。要求：1.理解構(gòu)建多層神經(jīng)網(wǎng)絡(luò)模型SequentialNet。2.能使用NumPy實現(xiàn)隨機梯度下降法SGD。子學(xué)習(xí)情境3訓(xùn)練與預(yù)測職業(yè)能力描述知識1.神經(jīng)網(wǎng)絡(luò)中有合適的權(quán)重和偏置，調(diào)整權(quán)重和偏置以便擬合訓(xùn)練數(shù)據(jù)的過程稱為學(xué)習(xí)。2.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)分為下面4個步驟：步驟1（mini-batch），從訓(xùn)練數(shù)據(jù)中隨機選擇一部分數(shù)據(jù)；步驟2（計算梯度），計算損失函數(shù)關(guān)于各個權(quán)重參數(shù)的梯度；步驟3（更新參數(shù)），將權(quán)重參數(shù)沿梯度方向進行微小的更新；步驟4（重復(fù)），重復(fù)步驟1、步驟2、步驟3。3.根據(jù)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的4個步驟構(gòu)建訓(xùn)練器。4.利用Fashion-MNIST數(shù)據(jù)集進行訓(xùn)練與推理。技能1.理解構(gòu)建訓(xùn)練器的Python代碼。2.能夠利用SequentialNet構(gòu)建出自己的深度神經(jīng)網(wǎng)絡(luò)，并利用MNIST數(shù)據(jù)集進行訓(xùn)練與推理。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。5.選擇適當算法的能力。?6.區(qū)分經(jīng)驗誤差與泛化誤差能力。主要內(nèi)容與要求主要內(nèi)容：1.根據(jù)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的4個步驟構(gòu)建訓(xùn)練器。2.利用Fashion-MNIST數(shù)據(jù)集進行訓(xùn)練與推理。要求：1.理解構(gòu)建訓(xùn)練器的Python代碼。2.能夠利用SequentialNet構(gòu)建出自己的深度神經(jīng)網(wǎng)絡(luò)，并利用MNIST數(shù)據(jù)集進行訓(xùn)練與推理。模塊4課程思政要求子學(xué)習(xí)情境1優(yōu)化算法改善神經(jīng)網(wǎng)絡(luò)本章將介紹神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中的一些重要觀點，主題涉及尋找最優(yōu)權(quán)重參數(shù)的最優(yōu)化方法、權(quán)重參數(shù)的初始值等。為了應(yīng)對過擬合，本章還將介紹權(quán)值衰減、Dropout等正則化方法，并進行實現(xiàn)。最后將對近年來眾多研究中使用的批量規(guī)范化方法進行簡單的介紹。這些都是現(xiàn)代神經(jīng)網(wǎng)絡(luò)中不可或缺的技術(shù)。使用本章介紹的方法，可以高效地進行神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）的學(xué)習(xí)，提高識別精度。職業(yè)能力描述知識1.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的目的是找到使損失函數(shù)的值盡可能小的參數(shù)。這是尋找最優(yōu)參數(shù)的問題，解決這個問題的過程稱為最優(yōu)化（optimization）。2.除了SGD，參數(shù)更新方法還有Momentum、AdaGrad、RMSprop、Adam等方法。3.并不存在能在所有問題中都表現(xiàn)良好的方法。一般而言，與SGD相比，其他4種方法可以學(xué)習(xí)得更快，有時最終的識別精度也更高。技能1.理解動量法。2.理解AdaGrad。3.理解RMSprop。4.理解Adam算法。5.能夠利用Python和MNIST數(shù)據(jù)集比較更新方法。6.能夠改進訓(xùn)練器。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.參數(shù)更新的Momentum、AdaGrad、RMSprop、Adam等方法的實現(xiàn)。2.比較了參數(shù)更新的各種算法。與SGD相比，其他4種方法可以學(xué)習(xí)得更快，有時最終的識別精度也更高。要求：1.理解動量法。2.理解AdaGrad。3.理解RMSprop。4.理解Adam算法。5.能夠利用Python和MNIST數(shù)據(jù)集比較更新方法。6.能夠改進訓(xùn)練器。子學(xué)習(xí)情境2數(shù)值穩(wěn)定性和模型初始化職業(yè)能力描述知識1.梯度消失和梯度爆炸是指訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，導(dǎo)數(shù)或坡度有時會變得非常大，或者非常小，這加大了訓(xùn)練的難度。2.抑制梯度異常初始化。3.權(quán)重初始值的比較：隨機初始化、sigmoid的權(quán)重初始值、ReLU的權(quán)重初始值。技能1.理解梯度消失和梯度爆炸。2.理解抑制梯度異常初始化。3.能夠利用Python和MNIST數(shù)據(jù)集進行權(quán)重初始值的比較。關(guān)鍵能力1.問題模型化能力。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.梯度消失和梯度爆炸。2.抑制梯度異常初始化。3.權(quán)重初始值的比較。要求：1.理解梯度消失和梯度爆炸。2.理解抑制梯度異常初始化。3.能夠利用Python和MNIST數(shù)據(jù)集進行權(quán)重初始值的比較。子學(xué)習(xí)情境3正則化與規(guī)范化職業(yè)能力描述知識1.深度學(xué)習(xí)的根本問題是優(yōu)化和泛化之間的對立。優(yōu)化是指調(diào)節(jié)模型以在訓(xùn)練數(shù)據(jù)上得到最佳性能，而泛化是指訓(xùn)練好的模型在沒見過的數(shù)據(jù)上的性能好壞。2.發(fā)生過擬合的原因，主要有以下兩個：1）模型擁有大量參數(shù)、表現(xiàn)力強；2）訓(xùn)練數(shù)據(jù)少。3.抑制過擬合的正則化技術(shù)有權(quán)值衰減、Dropout等。

4.使用批量規(guī)范化（BatchNormalization）可以加速學(xué)習(xí)，并且對初始值變得健壯。5.Dropout層和規(guī)范化層中實現(xiàn)了forward和backward方法。6.改進模型：在SequentialNet神經(jīng)網(wǎng)絡(luò)模型上添加初始化、正則化和批量規(guī)范化方法。技能1.理解過擬合與欠擬合。2.理解權(quán)值衰減。3.理解Dropout正則化。4.理解批量規(guī)范化。5.能夠改進SequentialNet神經(jīng)網(wǎng)絡(luò)模型，并能利用Fashion-MNIST數(shù)據(jù)集進行訓(xùn)練和推理。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.發(fā)生過擬合的原因，主要是：1）模型擁有大量參數(shù)、表現(xiàn)力強。2）訓(xùn)練數(shù)據(jù)少。3.抑制過擬合的正則化技術(shù)：權(quán)值衰減、Dropout。4.批量規(guī)范化。5.Dropout層和規(guī)范化層中實現(xiàn)了forward和backward方法；6.改進模型：在SequentialNet神經(jīng)網(wǎng)絡(luò)模型上添加初始化、正則化和批量規(guī)范化方法。要求：1.理解過擬合與欠擬合。2.理解權(quán)值衰減。3.理解Dropout正則化。4.理解批量規(guī)范化。5.能夠改進SequentialNet神經(jīng)網(wǎng)絡(luò)模型，并能利用Fashion-MNIST數(shù)據(jù)集進行訓(xùn)練和推理。模塊5課程思政要求子學(xué)習(xí)情境1從全連接到卷積卷積神經(jīng)網(wǎng)絡(luò)本章的主題是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。CNN被用于圖像識別、語音識別等各種場合，在圖像識別的比賽中，基于深度學(xué)習(xí)的方法幾乎都以CNN為基礎(chǔ)。本章將詳細介紹CNN的結(jié)構(gòu)，并用Python實現(xiàn)其處理內(nèi)容。通過實際案例分析，提高學(xué)生綜合應(yīng)用能力，培養(yǎng)求真務(wù)實的工作態(tài)度。職業(yè)能力描述知識1.全連接層將3維數(shù)據(jù)拉平為1維數(shù)據(jù)，無法利用與形狀相關(guān)的信息。2.卷積層可以保持形狀不變，卷積層的輸入數(shù)據(jù)稱為輸入特征圖，輸出數(shù)據(jù)稱為輸出特征圖。3.卷積運算是將各個位置上濾波器的元素和輸入的對應(yīng)元素相乘，然后再求和，也稱為乘積累加運算。4.在進行卷積層的處理之前，有時要向輸入數(shù)據(jù)的周圍填入固定的數(shù)據(jù)，這稱為填充。5.應(yīng)用濾波器的位置間隔稱為步幅。6.三維數(shù)據(jù)的卷積運算。技能1.理解卷積運算。2.理解填充。3.理解步幅。4.理解三維數(shù)據(jù)的卷積運算。5.能夠根據(jù)輸入大小，濾波器大小，填充和步幅計算，輸出大小。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.卷積運算。2.填充。3.步幅。4.三維數(shù)據(jù)的卷積運算。要求：1.理解卷積運算。2.理解填充。3.理解步幅。4.理解三維數(shù)據(jù)的卷積運算。5.能夠根據(jù)輸入大小，濾波器大小，填充和步幅計算，輸出大小。子學(xué)習(xí)情境2卷積層的實現(xiàn)職業(yè)能力描述知識1.四維數(shù)組和基于im2col的展開。2.卷積層中實現(xiàn)了forward和backward方法。技能1.理解卷積計算。2.理解四維數(shù)組。3.理解基于im2col的展開。4.理解卷積層的Python實現(xiàn)。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.四維數(shù)組和基于im2col的展開。2.卷積層中實現(xiàn)了forward和backward方法。要求：1.理解卷積計算。2.理解四維數(shù)組。3.理解基于im2col的展開。4.理解卷積層的Python實現(xiàn)。子學(xué)習(xí)情境3匯聚層的實現(xiàn)職業(yè)能力描述知識1.大部分神經(jīng)網(wǎng)絡(luò)中會添加匯聚層（也稱池化層）和全連接層。2.匯聚是縮小高、寬方向上的空間的運算。3.匯聚只是從目標區(qū)域中取最大值（或者平均值），所以不存在要學(xué)習(xí)的參數(shù)；經(jīng)過匯聚運算，輸入數(shù)據(jù)和輸出數(shù)據(jù)的通道數(shù)不會發(fā)生變化；匯聚對微小的位置變化具有魯棒性（健壯）。4.匯聚層的實現(xiàn)中實現(xiàn)了forward和backward方法。技能1.掌握匯聚的計算。2.理解匯聚層的Python實現(xiàn)。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。5.選擇適當算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.大部分神經(jīng)網(wǎng)絡(luò)中會添加匯聚層（也稱池化層）和全連接層。2.匯聚是縮小高、寬方向上的空間的運算。3.匯聚只是從目標區(qū)域中取最大值（或者平均值），所以不存在要學(xué)習(xí)的參數(shù)；經(jīng)過匯聚運算，輸入數(shù)據(jù)和輸出數(shù)據(jù)的通道數(shù)不會發(fā)生變化；匯聚對微小的位置變化具有魯棒性（健壯）。4.匯聚層的實現(xiàn)中實現(xiàn)了forward和backward方法。要求：1.掌握匯聚的計算。2.理解匯聚層的Python實現(xiàn)。子學(xué)習(xí)情境4LeNet網(wǎng)絡(luò)職業(yè)能力描述知識1.全連接的神經(jīng)網(wǎng)絡(luò)中，Linear層后面跟著激活函數(shù)ReLU層，而卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成則是由一個或多個“Convolution-ReLU–Pooling”的組合，后面再跟著全連接層（FC）構(gòu)成。2.LeNet是最早發(fā)布的卷積神經(jīng)網(wǎng)絡(luò)之一。3.LeNet網(wǎng)絡(luò)的Python實現(xiàn)。技能1.掌握而卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成：由一個或多個“Convolution-ReLU–Pooling”的組合，后面再跟著全連接層（FC）。2.理解LeNet網(wǎng)絡(luò)的Python實現(xiàn)。3.能利用Fashion-MNIST數(shù)據(jù)集進行訓(xùn)練和推理。關(guān)鍵能力1.問題模型化能力。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當算法的能力。?6.區(qū)分經(jīng)驗誤差與泛化誤差能力。主要內(nèi)容與要求主要內(nèi)容：1.全連接的神經(jīng)網(wǎng)絡(luò)中，Linear層后面跟著激活函數(shù)ReLU層，而卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成則是由一個或多個“Convolution-ReLU–Pooling”的組合，后面再跟著全連接層（FC）構(gòu)成。2.LeNet網(wǎng)絡(luò)的Python實現(xiàn)。要求：1.掌握而卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成：由一個或多個“Convolution-ReLU–Pooling”的組合，后面再跟著全連接層（FC）。2.理解LeNet網(wǎng)絡(luò)的Python實現(xiàn)。3.能利用Fashion-MNIST數(shù)據(jù)集進行訓(xùn)練和推理。模塊6課程思政要求子學(xué)習(xí)情境1深度學(xué)習(xí)的工作流程深度學(xué)習(xí)實踐本章給出一份通用指南，可以用它來處理和解決任何機器學(xué)習(xí)問題。融入企業(yè)應(yīng)用實例，了解行業(yè)新技術(shù)，培養(yǎng)學(xué)生“工匠精神”。職業(yè)能力描述知識1.定義任務(wù)：了解問題所屬領(lǐng)域和客戶需求背后的業(yè)務(wù)邏輯；收集數(shù)據(jù)，理解數(shù)據(jù)的含義，并選擇衡量任務(wù)成功的指標。2.開發(fā)模型：準備數(shù)據(jù)，使其可以被深度學(xué)習(xí)模型處理。選擇模型評估方法，并確定一個簡單基準（模型應(yīng)能夠超越這個基準）。訓(xùn)練第一個具有泛化能力并且能夠過擬合的模型，然后對模型進行正則化并不斷調(diào)節(jié)，直到獲得最佳泛化性能。3.部署模型：將模型部署到Web服務(wù)器、移動應(yīng)用程序、網(wǎng)頁或嵌入式設(shè)備上，監(jiān)控模型在真實環(huán)境中的性能，并開始收集構(gòu)建下一代模型所需的數(shù)據(jù)。技能1.了解定義任務(wù)的主要過程。2.了解開發(fā)模型的主要過程3.了解部署模型的主要過程關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當算法的能力。?6.區(qū)分經(jīng)驗誤差與泛化誤差能力。7.團隊合作能力。?8.業(yè)務(wù)和技術(shù)結(jié)合能力。主要內(nèi)容與要求主要內(nèi)容：1.定義任務(wù)