《深度學(xué)習(xí)實戰(zhàn)》課程標(biāo)準(zhǔn)(教學(xué)大綱)

PAGE《深度學(xué)習(xí)實戰(zhàn)》課程標(biāo)準(zhǔn)(教學(xué)大綱)（一）基本信息適用對象：人工智能技術(shù)應(yīng)用專業(yè)、軟件工程專業(yè)、電子商務(wù)專業(yè)課程代碼：250184課程類別：必修課程學(xué)分：4學(xué)時：60學(xué)時先修課程：Python程序設(shè)計語言、機器學(xué)習(xí)基礎(chǔ)制定人：程源（二）課程的性質(zhì)與定位本課程是專業(yè)課，屬于專業(yè)必修課。本課程包括30學(xué)時的理論教學(xué)和30學(xué)時的實踐教學(xué)，在校內(nèi)完成。本課程適用于人工智能技術(shù)應(yīng)用專業(yè)、軟件工程專業(yè)、電子商務(wù)專業(yè)，讓學(xué)生在先修課程的基礎(chǔ)上，為學(xué)生進(jìn)行人工智能工程與管理職業(yè)技能訓(xùn)練、畢業(yè)綜合實踐等后續(xù)課程及從事人工智能相關(guān)等崗位工作打下基礎(chǔ)。（三）課程目標(biāo)1.總體目標(biāo)《深度學(xué)習(xí)實戰(zhàn)》是面向人工智能技術(shù)應(yīng)用專業(yè)的一門專業(yè)課，涉及機器學(xué)習(xí)基礎(chǔ)、深度學(xué)習(xí)基礎(chǔ)、利用深度學(xué)習(xí)框架實現(xiàn)深度模型以及產(chǎn)品環(huán)境中的模型部署等內(nèi)容。通過本課程的學(xué)習(xí)，學(xué)生能夠掌握利用深度學(xué)習(xí)框架實現(xiàn)深度學(xué)習(xí)模型的基礎(chǔ)知識。本課程主要目標(biāo)在于幫助學(xué)生理解深度學(xué)習(xí)的基礎(chǔ)理論，掌握利用深度學(xué)習(xí)實現(xiàn)深度學(xué)習(xí)模型的基本方法，同時具備一定的產(chǎn)品環(huán)境中模型的部署能力。通過本課程的學(xué)習(xí)，使學(xué)生掌握深度學(xué)習(xí)的基本理論和實踐方法，同時通過工作任務(wù)式學(xué)習(xí)提升分析問題、歸納總結(jié)問題、解決實際復(fù)雜問題等方面關(guān)鍵能力，從而使學(xué)生形成積極參與、主動探索、注重團隊精神和責(zé)任意識等方面的職業(yè)素質(zhì)。實施課程思政。以人工智能案例等作為融入點，使學(xué)生了解行業(yè)最新發(fā)展動態(tài)，激發(fā)學(xué)生社會責(zé)任感；了解人工智能在政治、經(jīng)濟、軍事和社會穩(wěn)定等方面的重要性，通過實際案例進(jìn)行分析，培養(yǎng)學(xué)生的愛國熱情。2.具體目標(biāo)及要求（1）專業(yè)能力目標(biāo)課程的教學(xué)要達(dá)到三個層次的目的：1.知識結(jié)構(gòu)。掌握深度學(xué)習(xí)基礎(chǔ)和深度學(xué)習(xí)框架相關(guān)的基礎(chǔ)知識和實踐技能，能運用TensorFlow或飛槳框架進(jìn)行程序設(shè)計開發(fā)。2.思維結(jié)構(gòu)。在教學(xué)過程中培養(yǎng)學(xué)生的計算思維和邏輯，使學(xué)生能夠用計算和邏輯思維去分析問題和解決問題，在學(xué)習(xí)職業(yè)技能的同時培養(yǎng)思維習(xí)慣。3.職業(yè)素養(yǎng)。通過課程的教學(xué)，使學(xué)生對操作系統(tǒng)的存在問題和發(fā)展趨勢形成自己的認(rèn)識，能夠在工作實踐中更好地解決問題并把握機會。（2）關(guān)鍵能力目標(biāo)課程傳授的關(guān)鍵能力主要包括以下幾個方面?：1.問題模型化能力?；2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力；3.數(shù)據(jù)預(yù)處理能力；4.特征理解和轉(zhuǎn)換能力；5.選擇適當(dāng)算法的能力；?6.區(qū)分經(jīng)驗誤差與泛化誤差能力；7.團隊合作能力；?8.業(yè)務(wù)和技術(shù)結(jié)合能力。（3）課程思政要求1）通過分析人工智能發(fā)展歷史和現(xiàn)狀，了解行業(yè)發(fā)展動態(tài)，激發(fā)學(xué)習(xí)動力，培養(yǎng)社會責(zé)任感和愛國熱情。2）在人工智能領(lǐng)域，中國取得了很多矚目的成績，通過介紹我國在人工智能領(lǐng)域的成績，激發(fā)學(xué)生的民族自豪感，讓學(xué)生把國家富強、民族振興、人民幸福內(nèi)化為努力學(xué)習(xí)的動力。3）融入企業(yè)應(yīng)用實例，了解行業(yè)新技術(shù)，培養(yǎng)學(xué)生“工匠精神”，提高學(xué)生的信息安全意識和法律法規(guī)意識。（四）課程設(shè)計思路本課程分為五個模塊，分別對應(yīng)于《Python深度學(xué)習(xí)入門與實戰(zhàn)》（程源等，電子工業(yè)出版社，2024）的第二部分的第7至11章，集中討論現(xiàn)代深度學(xué)習(xí)技術(shù)及其應(yīng)用，可以根據(jù)需要選擇部分章節(jié)講授。模塊一介紹了一系列構(gòu)建先進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型的高級技術(shù)。模塊二展示了深度學(xué)習(xí)在目標(biāo)識別中的應(yīng)用，重點介紹了YOLO算法及其應(yīng)用。模塊三展示了如何將循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力和Transformer編碼器和位置編碼用于中文文本分類。模塊四介紹Transformer架構(gòu)及其在機器翻譯和文本生成等任務(wù)種的應(yīng)用。模塊五介紹了使用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行視頻分析CNN-RNN架構(gòu)和基于Transformer的混合模型的視頻分類。（五）教學(xué)內(nèi)容1.學(xué)時分配模塊名稱子學(xué)習(xí)情境學(xué)時分配小記模塊1卷積神經(jīng)網(wǎng)絡(luò)進(jìn)階深度學(xué)習(xí)框架搭建自己的深度學(xué)習(xí)工作站212構(gòu)建經(jīng)典的卷積網(wǎng)絡(luò)構(gòu)建AlexNet網(wǎng)絡(luò)2使用數(shù)據(jù)增強來降低過擬合2構(gòu)建VGG網(wǎng)絡(luò)2構(gòu)建殘差網(wǎng)絡(luò)2特征提取使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取2模塊2目標(biāo)檢測目標(biāo)檢測的基本概念目標(biāo)定位212制作正樣本交并比先驗框非極大值抑制目標(biāo)檢測方法的性能評估YOLOv3算法基本框架4產(chǎn)生候選區(qū)域特征提取解碼預(yù)測結(jié)果損失函數(shù)訓(xùn)練自己的YOLOv3模型數(shù)據(jù)集的準(zhǔn)備6數(shù)據(jù)集的處理開始網(wǎng)絡(luò)訓(xùn)練訓(xùn)練結(jié)果預(yù)測模塊3中文文本分類詞嵌入什么是詞嵌入212利用詞嵌入循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)4理解LSTM層基于LSTM的中文文本分類注意力機制注意力提示2自注意力多頭注意力Transformer編碼器Transformer編碼器的實現(xiàn)2基于Transformer編碼器的中文文本分類位置編碼位置編碼的實現(xiàn)2基于位置編碼的中文文本分類模塊4超越文本分類序列到序列的學(xué)習(xí)編碼器-解碼器架構(gòu)212Transformer解碼器機器翻譯準(zhǔn)備語料4端到端Transformer利用Transformer模型翻譯句子文本生成如何生成序列數(shù)據(jù)采樣策略6實現(xiàn)文本生成可變溫度采樣的文本生成模塊5視頻動作識別視頻動作識別與數(shù)據(jù)集數(shù)據(jù)集簡介412數(shù)據(jù)集獲取及劃分?jǐn)?shù)據(jù)集預(yù)處理基于CNN-RNN架構(gòu)的視頻分類數(shù)據(jù)準(zhǔn)備4創(chuàng)建序列模型推斷基于Transformer的視頻分類數(shù)據(jù)準(zhǔn)備4構(gòu)建Transformer模型模型推斷合計學(xué)時60教學(xué)設(shè)計模塊1課程思政要求子學(xué)習(xí)情境1深度學(xué)習(xí)框架卷積神經(jīng)網(wǎng)絡(luò)進(jìn)階本章是全書的理論基礎(chǔ)知識，通過本章的學(xué)習(xí)，讓學(xué)生對深度學(xué)習(xí)全貌有一個全面、系統(tǒng)的理解。具體地講，神經(jīng)網(wǎng)絡(luò)的一個重要性質(zhì)是它可以自動地從數(shù)據(jù)中學(xué)習(xí)到合適的權(quán)重參數(shù)。本章中，我們會先介紹神經(jīng)網(wǎng)絡(luò)的概要，然后重點關(guān)注神經(jīng)網(wǎng)絡(luò)進(jìn)行識別時的處理，將介紹如何從數(shù)據(jù)中學(xué)習(xí)權(quán)重參數(shù)。為了使神經(jīng)網(wǎng)絡(luò)能進(jìn)行學(xué)習(xí)，本章導(dǎo)入損失函數(shù)這一指標(biāo)。而學(xué)習(xí)的目的就是以該損失函數(shù)為基準(zhǔn)，找出能使它的值達(dá)到最小的權(quán)重參數(shù)。并通過數(shù)值微分計算了神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)的梯度。數(shù)值微分簡單，容易實現(xiàn)，但缺點是計算上比較費時間。職業(yè)能力描述知識1.神經(jīng)網(wǎng)絡(luò)剖析。訓(xùn)練神經(jīng)網(wǎng)絡(luò)主要圍繞以下幾個方面展開：1）層：深度學(xué)習(xí)的基礎(chǔ)組件。2）模型：由層構(gòu)成的神經(jīng)網(wǎng)絡(luò)。3）損失函數(shù)、優(yōu)化器與監(jiān)控指標(biāo)：配置學(xué)習(xí)過程的關(guān)鍵。4）訓(xùn)練循環(huán)：執(zhí)行小批量梯度隨機下降。2.TensorFlow簡介。3.搭建自己的深度學(xué)習(xí)工作站：TensorFlow。技能1.理解神經(jīng)網(wǎng)絡(luò)的功工作流程。2.搭建自己的深度學(xué)習(xí)工作站。關(guān)鍵能力1.問題模型化能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.神經(jīng)網(wǎng)絡(luò)剖析。2.TensorFlow簡介。3.如何搭建自己的深度學(xué)習(xí)工作站。要求：1.理解神經(jīng)網(wǎng)絡(luò)的功工作流程。2.搭建自己的深度學(xué)習(xí)工作站。子學(xué)習(xí)情境2構(gòu)建經(jīng)典的卷積網(wǎng)絡(luò)職業(yè)能力描述知識1.AlexNet網(wǎng)絡(luò)。由5個卷積層、2個全連接隱藏層和1個全連接輸出層組成。2.數(shù)據(jù)增強?？梢詮默F(xiàn)有的訓(xùn)練樣本中生成更多的訓(xùn)練數(shù)據(jù)。3.VGG網(wǎng)絡(luò)。VGG網(wǎng)絡(luò)中首先提出了使用塊的想法。將這些塊堆疊起來，可以很容易地實現(xiàn)更為復(fù)雜的架構(gòu)。4.殘差網(wǎng)絡(luò)（ResNet）。殘差網(wǎng)絡(luò)的核心思想是每個附加層都應(yīng)該更容易地包含原始函數(shù)作為其元素之一。ResNet的基礎(chǔ)架構(gòu)–殘差塊。在殘差塊中，輸入可通過跨層數(shù)據(jù)線路更快地向前傳播。技能1.能用TensorFlow/Keras構(gòu)建AlexNet網(wǎng)絡(luò)。2.能使用數(shù)據(jù)增強來降低過擬合。3.能用TensorFlow/Keras構(gòu)建VGG網(wǎng)絡(luò)。4.能用TensorFlow/Keras構(gòu)建殘差網(wǎng)絡(luò)。關(guān)鍵能力1.問題模型化能力?；2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力；3.數(shù)據(jù)預(yù)處理能力；4.特征理解和轉(zhuǎn)換能力。主要內(nèi)容與要求主要內(nèi)容：1.AlexNet網(wǎng)絡(luò)。2.數(shù)據(jù)增強。3.VGG網(wǎng)絡(luò)。4.殘差網(wǎng)絡(luò)（ResNet）。要求：1.能用TensorFlow/Keras構(gòu)建AlexNet網(wǎng)絡(luò)。2.能使用數(shù)據(jù)增強來降低過擬合。3.能用TensorFlow/Keras構(gòu)建VGG網(wǎng)絡(luò)。4.能用TensorFlow/Keras構(gòu)建殘差網(wǎng)絡(luò)。子學(xué)習(xí)情境3使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取職業(yè)能力描述知識1.利用特征提取，可以很容易地將現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)復(fù)用于新的數(shù)據(jù)集。對于小型圖像數(shù)據(jù)集，這是一種很有用的方法。2.將從大型數(shù)據(jù)集（如ImageNet）學(xué)到的知識遷移到目標(biāo)數(shù)據(jù)集，這稱為遷移學(xué)習(xí)。技能1.能夠使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。2.能夠?qū)拇笮蛿?shù)據(jù)集（如ImageNet）學(xué)到的知識遷移到目標(biāo)數(shù)據(jù)集。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.利用特征提取，可以很容易地將現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)復(fù)用于新的數(shù)據(jù)集。2.遷移學(xué)習(xí)。要求：1.能夠使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。2.能夠?qū)拇笮蛿?shù)據(jù)集（如ImageNet）學(xué)到的知識遷移到目標(biāo)數(shù)據(jù)集。模塊2課程思政要求子學(xué)習(xí)情境1目標(biāo)檢測的基本概念目標(biāo)檢測在人工智能領(lǐng)域，我國取得了很多矚目的成績，通過介紹我國在人工智能領(lǐng)域尤其在自動駕駛、無人機偵測等目標(biāo)識別應(yīng)用的重要領(lǐng)域，取得的成績，激發(fā)學(xué)生的民族自豪感，讓學(xué)生把國家富強、民族振興、人民幸福內(nèi)化為努力學(xué)習(xí)的動力。職業(yè)能力描述知識1.目標(biāo)檢測是用矩形框把圖像中關(guān)注對象的邊界框選出來，確定它們在圖像中的具體位置。2.目標(biāo)定位。3.制作正樣本。3.交并比。4.先驗框。5.非極大值抑制。6.目標(biāo)檢測方法的性能評估。技能1.理解邊界框。2.理解制作正樣本。3.理解交并比。4.理解先驗框。5.理解非極大值抑制。6.理解目標(biāo)檢測方法的性能評估。關(guān)鍵能力1.問題模型化能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.目標(biāo)定位。2.制作正樣本。3.交并比。4.先驗框。5.非極大值抑制。6.目標(biāo)檢測方法的性能評估。要求：1.理解邊界框。2.理解制作正樣本。3.理解交并比。4.理解先驗框。5.理解非極大值抑制。6.理解目標(biāo)檢測方法的性能評估。子學(xué)習(xí)情境2YOLOv3算法職業(yè)能力描述知識1.基本框架。骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和檢測頭。2.產(chǎn)生候選區(qū)域：按一定的規(guī)則在圖像上生成一系列位置固定的先驗框，將這些先驗框看作是可能的候選區(qū)域。對先驗框是否包含目標(biāo)物體進(jìn)行預(yù)測，如果包含目標(biāo)物體，還需要預(yù)測所包含物體的類別，以及預(yù)測框相對于先驗框位置需要調(diào)整的幅度。3.特征提取。YOLOv3提取多特征層進(jìn)行目標(biāo)檢測，一共提取三個特征層，它們位于主干部分Darknet53的中間層，中下層，底層，三個特征層的形狀分別為(52,52,256)、(26,26,512)、(13,13,1024)。4.解碼預(yù)測結(jié)果。網(wǎng)絡(luò)我們可以獲得三個特征層的預(yù)測結(jié)果，但是這個預(yù)測結(jié)果并不對應(yīng)著最終的預(yù)測框在圖像上的位置，還需要解碼才可以完成。5.損失函數(shù)。YOLOv3的損失函數(shù)包括置信度損失、類別損失和回歸損失三部分。技能1.了解基本框架。2.了解產(chǎn)生候選區(qū)域。3.了解特征提取。4.了解解碼預(yù)測結(jié)果。5.了解損失函數(shù)。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力?。主要內(nèi)容與要求主要內(nèi)容：1.基本框架。2.產(chǎn)生候選區(qū)域。3.特征提取。4.解碼預(yù)測結(jié)果。5.損失函數(shù)。要求：1.了解基本框架。2.了解產(chǎn)生候選區(qū)域。3.了解特征提取。4.了解解碼預(yù)測結(jié)果。5.了解損失函數(shù)。子學(xué)習(xí)情境3訓(xùn)練自己的YOLOv3模型職業(yè)能力描述知識1.數(shù)據(jù)集的準(zhǔn)備。2.數(shù)據(jù)集的處理。3.開始網(wǎng)絡(luò)訓(xùn)練。4.訓(xùn)練結(jié)果預(yù)測。技能1.能根據(jù)需要識別的目標(biāo)準(zhǔn)備數(shù)據(jù)集。2.能使用LabelImg等工具標(biāo)注數(shù)據(jù)。3.能利用數(shù)據(jù)集自己的訓(xùn)練YOLOv3模型。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。5.選擇適當(dāng)算法的能力。?6.區(qū)分經(jīng)驗誤差與泛化誤差能力。主要內(nèi)容與要求主要內(nèi)容：1.數(shù)據(jù)集的準(zhǔn)備。2.數(shù)據(jù)集的處理。3.開始網(wǎng)絡(luò)訓(xùn)練。4.訓(xùn)練結(jié)果預(yù)測。要求：1.能根據(jù)需要識別的目標(biāo)準(zhǔn)備數(shù)據(jù)集。2.能使用LabelImg等工具標(biāo)注數(shù)據(jù)。3.能利用數(shù)據(jù)集自己的訓(xùn)練YOLOv3模型。模塊3課程思政要求子學(xué)習(xí)情境1詞嵌入 中文文本分類本章將介紹神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中的一些重要觀點，尤其是深度學(xué)習(xí)今年來取得的最新進(jìn)展，如注意力機制，Transformer等，使學(xué)生領(lǐng)略人工智能最新進(jìn)展，提高學(xué)習(xí)興趣。自2017年橫空出世，Transformer開始在大多數(shù)自然語言處理任務(wù)中超越RNN。Transformer由AshishVaswani等人的奠基性論文“AttentionIsAllYouNeed”引入。這篇論文表明，一種稱作神經(jīng)注意力的簡單機制可以用來構(gòu)建強大的序列模型。這一發(fā)現(xiàn)在自然語言處理領(lǐng)域引發(fā)了一場革命，并且還影響到其他領(lǐng)域。神經(jīng)注意力迅速成為深度學(xué)習(xí)最有影響力的思想之一。職業(yè)能力描述知識1.文本向量化的基本流程：標(biāo)準(zhǔn)化，將文本標(biāo)準(zhǔn)化，使其更容易處理，比如轉(zhuǎn)換為小寫字母或刪除標(biāo)點符號；詞元化，將文本拆分為詞元（token），比如字符、單詞或詞組；對數(shù)據(jù)中的所有詞元建立索引，將每個詞元轉(zhuǎn)換為一個數(shù)值向量。2.詞嵌入，就是用向量表示詞，輸入一個詞，輸出一個向量。詞嵌入的基本思路是：通過上下文找到這個詞的意義。3.獲取詞嵌入的兩種方法：在完成主任務(wù)的同時學(xué)習(xí)詞嵌入。在這種情況下，一開始是隨機的詞向量，然后對這些詞向量進(jìn)行學(xué)習(xí)，其學(xué)習(xí)方式與學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的權(quán)重相同。在不同于待解決問題的機器學(xué)習(xí)任務(wù)上預(yù)先算好詞嵌入。這種詞嵌入稱為預(yù)訓(xùn)練詞嵌入。技能1.理解詞嵌入。2.能用Keras的Embedding層學(xué)習(xí)一個新的嵌入空間。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.文本向量化的基本流程。2.詞嵌入。3.獲取詞嵌入的兩種方法。要求：1.理解詞嵌入。2.能用Keras的Embedding層學(xué)習(xí)一個新的嵌入空間。子學(xué)習(xí)情境2循環(huán)神經(jīng)網(wǎng)絡(luò)職業(yè)能力描述知識1.循環(huán)神經(jīng)網(wǎng)絡(luò)。2.長短期記憶（LSTM）層。3.基于LSTM的中文文本分類。技能1.理解循環(huán)神經(jīng)網(wǎng)絡(luò)。2.理解LSTM層。3.能夠利用LSTM進(jìn)行中文文本分類。關(guān)鍵能力1.問題模型化能力。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.循環(huán)神經(jīng)網(wǎng)絡(luò)。2.LSTM層。3.基于LSTM的中文文本分類。要求：1.理解循環(huán)神經(jīng)網(wǎng)絡(luò)。2.理解LSTM層。3.能夠利用LSTM進(jìn)行中文文本分類。子學(xué)習(xí)情境3注意力機制職業(yè)能力描述知識1.注意力機制：把注意力集中在要點上，而忽略其他不重要的因素。2.注意力提示。自主性注意力提示稱為查詢。可以通過設(shè)計注意力匯聚的方式，使得給定的查詢（自主性提示）與鍵（非自主性提示）進(jìn)行匹配，從而得出最匹配的值。3.自注意力。自注意力的目的是利用序列中相關(guān)詞元的表示來調(diào)節(jié)某個詞元的表示，從而生成上下文感知的詞元表示。4.多頭注意力：增強了模型關(guān)注不同位置的能力；給attention層帶來多個“表征子空間”。技能1.了解注意力提示。2.了解自注意力。3.了解多頭注意力。關(guān)鍵能力1.問題模型化能力?。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.注意力提示。2.自注意力。3.多頭注意力。要求：1.了解注意力提示。2.了解自注意力。3.了解多頭注意力。子學(xué)習(xí)情境4Transformer編碼器職業(yè)能力描述知識1.Transformer編碼器的實現(xiàn)。利用自注意力來構(gòu)建一個Transformer編碼器，它是Transformer架構(gòu)的一個基本組件。2.基于Transformer編碼器的中文文本分類。技能1.理解Transformer編碼器的實現(xiàn)。2.能夠利用Transformer編碼器進(jìn)行中文文本分類。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。?6.區(qū)分經(jīng)驗誤差與泛化誤差能力。主要內(nèi)容與要求主要內(nèi)容：1.Transformer編碼器的實現(xiàn)2.基于Transformer編碼器的中文文本分類。要求：1.理解Transformer編碼器的實現(xiàn)。2.能夠利用Transformer編碼器進(jìn)行中文文本分類。。子學(xué)習(xí)情境5位置編碼職業(yè)能力描述知識1.位置編碼的實現(xiàn)。為了使用序列的順序信息，位置編碼為模型提供關(guān)于單詞在句子中相對位置的信息。2.基于位置編碼的中文文本分類。技能1.理解位置編碼的實現(xiàn)。2.能夠利用位置編碼進(jìn)行中文文本分類。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。?6.區(qū)分經(jīng)驗誤差與泛化誤差能力。主要內(nèi)容與要求主要內(nèi)容：1.位置編碼的實現(xiàn)2.基于位置編碼的中文文本分類要求：1.理解位置編碼的實現(xiàn)。2.能夠利用位置編碼進(jìn)行中文文本分類。模塊4課程思政要求子學(xué)習(xí)情境1序列到序列的學(xué)習(xí)超越文本分類本章介紹2023年深度學(xué)習(xí)最新進(jìn)展chatGPT相關(guān)技術(shù)。2018年，Transformer架構(gòu)開始取代RNN，它不僅可用于有監(jiān)督的NLP任務(wù)，還可用于生成式序列模型，特別是語言模型。生成式Transformer最有名的例子應(yīng)該是GPT-3，由初創(chuàng)公司OpenAI在一個大得驚人的文本語料庫上訓(xùn)練得到。該語料庫包含大部分?jǐn)?shù)字圖書、維基百科和對整個互聯(lián)網(wǎng)進(jìn)行爬取的大部分內(nèi)容。GPT-3在2020年登上新聞頭條，因為它能夠在幾乎所有話題上生成看似合理的文本段落。職業(yè)能力描述知識1.編碼器-解碼器架構(gòu)：第一個組件是編碼器（encoder）：它接受一個長度可變的序列作為輸入，并將其轉(zhuǎn)換為具有固定形狀的編碼狀態(tài)；第二個組件是解碼器（decoder）：它將固定形狀的編碼狀態(tài)映射到長度可變的序列。2.Transformer解碼器。Transformer編碼器將編碼后的表示保存為序列格式，即由上下文感知的嵌入向量組成的序列；Transformer解碼器讀取目標(biāo)序列中第0～N個詞元，使用神經(jīng)注意力預(yù)測第N+1個詞元。3.Transformer解碼器的實現(xiàn)。技能1.理解編碼器-解碼器架構(gòu)。2.理解Transformer解碼器的實現(xiàn)。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.編碼器-解碼器架構(gòu)。2.Transformer解碼器。3.Transformer解碼器的實現(xiàn)。要求：1.理解編碼器-解碼器架構(gòu)。2.理解Transformer解碼器的實現(xiàn)。子學(xué)習(xí)情境2機器翻譯職業(yè)能力描述知識1.準(zhǔn)備語料。機器翻譯的數(shù)據(jù)集是由源語言和目標(biāo)語言的文本序列組成。2.端到端Transformer。將源序列和目標(biāo)序列映射到向后偏移一個時間步的目標(biāo)序列。3.利用Transformer模型翻譯句子。技能1.能夠收集并準(zhǔn)備機器翻譯語料。2.理解端到端Transformer的實現(xiàn)。3.利用Transformer模型翻譯句子。關(guān)鍵能力1.問題模型化能力?；2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力；4.特征理解和轉(zhuǎn)換能力；5.選擇適當(dāng)算法的能力。主要內(nèi)容與要求主要內(nèi)容：1.準(zhǔn)備語料。2.端到端Transformer3.利用Transformer模型翻譯句子。要求：1.能夠收集并準(zhǔn)備機器翻譯語料。2.理解端到端Transformer的實現(xiàn)。3.利用Transformer模型翻譯句子。子學(xué)習(xí)情境3文本生成職業(yè)能力描述知識1.Transformer架構(gòu)不僅可用于有監(jiān)督的NLP任務(wù)，還可用于生成式序列模型，特別是語言模型。2.如何生成序列數(shù)據(jù)。3.采樣策略。4.實現(xiàn)文本生成。5.可變溫度采樣的文本生成。技能1.收集用于訓(xùn)練的中文文本數(shù)據(jù)。2.理解基于Transformer的序列到序列模型的實現(xiàn)。3.理解基于Transformer的簡單語言模型。4.理解可變溫度采樣的文本生成模型。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。?6.區(qū)分經(jīng)驗誤差與泛化誤差能力。7.團隊合作能力。?8.業(yè)務(wù)和技術(shù)結(jié)合能力。主要內(nèi)容與要求主要內(nèi)容：1.如何生成序列數(shù)據(jù)。2.采樣策略。3.實現(xiàn)文本生成。4.可變溫度采樣的文本生成。要求：1.收集用于訓(xùn)練的中文文本數(shù)據(jù)。2.理解基于Transformer的序列到序列模型的實現(xiàn)。3.理解基于Transformer的簡單語言模型。4.理解可變溫度采樣的文本生成模型。模塊5課程思政要求子學(xué)習(xí)情境1視頻動作識別與數(shù)據(jù)集視頻動作識別融入企業(yè)應(yīng)用實例，了解行業(yè)新技術(shù)，培養(yǎng)學(xué)生“工匠精神”。職業(yè)能力描述知識1.數(shù)據(jù)集的構(gòu)建過程：定義一個動作列表，結(jié)合以前動作識別數(shù)據(jù)集的標(biāo)簽，并根據(jù)用例添加新的類別；將視頻標(biāo)題/字幕與動作列表進(jìn)行匹配；手動提供注釋來指示動作的起始和結(jié)束位置；最后通過去重復(fù)和過濾噪聲清理數(shù)據(jù)集。2.數(shù)據(jù)集獲取及劃分。3.數(shù)據(jù)集預(yù)處理。技能能夠從抖音、YouTube和電影等多種來源獲取視頻，并構(gòu)建視頻數(shù)據(jù)集。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)據(jù)預(yù)處理能力。4.特征理解和轉(zhuǎn)換能力。5.選擇適當(dāng)算法的能力。?6.區(qū)分經(jīng)驗誤差與泛化誤差能力。7.團隊合作能力。?8.業(yè)務(wù)和技術(shù)結(jié)合能力。主要內(nèi)容與要求主要內(nèi)容：1.構(gòu)建數(shù)據(jù)集。2.數(shù)據(jù)集獲取及劃分。3.數(shù)據(jù)集預(yù)處理。要求：能夠通過團隊協(xié)作，從抖音、YouTube和電影等多種來源獲取視頻，并構(gòu)建視頻數(shù)據(jù)集。子學(xué)習(xí)情境2基于CNN-RNN架構(gòu)的視頻分類職業(yè)能力描述知識1.CNN-RNN架構(gòu)。視頻由有序的幀序列組成。每個幀包含空間信息，這些幀的序列包含時間信息。使用卷積神經(jīng)網(wǎng)絡(luò)和由GRU層組成的循環(huán)神經(jīng)網(wǎng)絡(luò)來構(gòu)建視頻分類模型。這種混合架構(gòu)通常被稱為CNN-RNN架構(gòu)。2.數(shù)據(jù)準(zhǔn)備：捕獲視頻的幀；從視頻中提取幀，直到達(dá)到最大幀數(shù)；如果視頻的幀數(shù)小于最大幀數(shù)，用零填充視頻；用預(yù)先訓(xùn)練的網(wǎng)絡(luò)從幀中提取特征。3.創(chuàng)建序列模型。將數(shù)據(jù)提供給由GRU層組成的序列模型。GRU可以看作LSTM架構(gòu)的精簡版本。4.模型推斷。技能1.理解CNN-RNN架構(gòu)。2.能夠使用OpenCV的VideoCapture方法從視頻中讀取幀。3.能用預(yù)先訓(xùn)練的網(wǎng)絡(luò)，如InceptionV3模型，從幀中提取特征。4.能夠模型訓(xùn)練與并進(jìn)行推理。關(guān)鍵能力1.問題模型化能力?。2.復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力。3.數(shù)