《深度學(xué)習(xí)：基于PyTorch 》 課件匯總 第1-7章：深度學(xué)習(xí)簡介-序列模型

深度學(xué)習(xí)課程介紹課程介紹導(dǎo)論人工智能概述深度學(xué)習(xí)發(fā)展歷程神經(jīng)網(wǎng)絡(luò)的張量與數(shù)學(xué)基礎(chǔ)張量的操作與運算深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)的基本組件梯度下降與反向傳播算法過擬合現(xiàn)象及對應(yīng)策略神經(jīng)網(wǎng)絡(luò)的Pytorch實現(xiàn)線性回歸案例：顏值打分邏輯回歸案例：性別識別多分類回歸案例：Fashion-MNIST拓展：目標(biāo)定位、語義分割相關(guān)應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)卷積與池化操作LeNet-5用于手寫數(shù)字識別經(jīng)典CNN模型介紹AlexNet等四種經(jīng)典CNN模型批歸一化和數(shù)據(jù)增強(qiáng)技術(shù)遷移學(xué)習(xí)序列模型RNN與LSTM模型編碼-解碼結(jié)構(gòu)用于機(jī)器翻譯拓展：注意力機(jī)制深度生成模型（自學(xué)）自編碼器/變分自編碼器生成式對抗網(wǎng)絡(luò)拓展：AI輔助診斷應(yīng)用介紹使用教材分組與成績評定每組2-3人，平時作業(yè)+期末大作業(yè)匯報，均由小組完成，并由組長在課堂派進(jìn)行提交平時成績：40%小組作業(yè)課堂小測（成績按個人記）期末小組成績：20%命題作文（抽簽決定），完成小組匯報成績評定：匯報PPT、注釋清晰的代碼文檔期末考試成績：40%課程GPU使用方法詳細(xì)使用說明參考/doc/p/4237b451839bfa3f175e66800ca6e65a06ee3810?pub=1&dver=2.1.0每小組共用一個賬號課程GPU使用方法課程GPU使用方法課程GPU使用方法可通過命令行把需要的數(shù)據(jù)代碼copy過來修改運行進(jìn)入代碼/數(shù)據(jù)目錄查看文件結(jié)構(gòu)返回上級目錄進(jìn)入教師目錄查看文件夾結(jié)構(gòu)使用cp命令將文件復(fù)制到自己的文件夾：cp目標(biāo)文件目標(biāo)路徑Anaconda當(dāng)然，對于一些比較簡單的任務(wù)，建議也可以在個人電腦上完成，需要使用JupyterNotebook推薦安裝Anaconda，這是一個打包的集合，里面預(yù)裝了某個版本的Python、JupyterNotebook、眾多Packages、以及其他專業(yè)科學(xué)計算工具等。JupyterNotebookJupyterNotebook是一款基于網(wǎng)頁的用于交互計算的應(yīng)用程序，可應(yīng)用于全過程計算：開發(fā)、文檔編寫、運行代碼和展示結(jié)果。以網(wǎng)頁形式打開，可以在網(wǎng)頁中直接編寫和運行代碼，運行結(jié)果也會直接顯示出來。第一章：深度學(xué)習(xí)簡介主講人：周靜學(xué)習(xí)目標(biāo)人工智能的定義與發(fā)展歷史深度學(xué)習(xí)的概念與適用領(lǐng)域深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、人工智能、回歸分析的關(guān)系常用的深度學(xué)習(xí)框架深度學(xué)習(xí)、機(jī)器學(xué)習(xí)與人工智能機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與人工智能的關(guān)系人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)之間的關(guān)系可以用下圖說明。人工智能人工智能（ArtificialIntelligence）研究領(lǐng)域的確定：1956年達(dá)特茅斯會議人工智能（AI）的定義：讓機(jī)器的行為看起來就像是人所表現(xiàn)出的智能行為一樣（JohnMcCarthy）人工智能主要領(lǐng)域：感知：模擬人的感知能力，如語音信息處理、計算機(jī)視覺學(xué)習(xí)：模擬人的學(xué)習(xí)能力，如監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)認(rèn)知：模擬人的認(rèn)知能力，自然語言處理、推理、決策、規(guī)劃等人工智能的發(fā)展歷程萌芽期復(fù)蘇期快速發(fā)展期圖靈測試達(dá)特茅斯會議聊天機(jī)器人專家系統(tǒng)“深藍(lán)”獲勝神經(jīng)網(wǎng)絡(luò)興起AlphaGo獲勝低谷期計算性能不足問題復(fù)雜度提升數(shù)據(jù)量不足構(gòu)建算法使機(jī)器自動地從數(shù)據(jù)中學(xué)習(xí)人工智能的流派符號主義（Symbolism）代表人物：MarvinMinsky假設(shè)：信息可以通過符號表示；符號可以通過邏輯運算來操作連接主義（Connectionism）代表人物：FrankRosenblatt、GeoffreyHinton、吳恩達(dá)、李飛飛等認(rèn)為人的認(rèn)知過程是由大量簡單的神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)處理信息的過程，而不是符號運算過程。機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)（MachineLearning）是指如果一個程序可以在任務(wù)T上，隨著經(jīng)驗E的增加，效果P也可以隨之增加，則稱這個程序可以從經(jīng)驗中學(xué)習(xí)。這一定義由卡內(nèi)基梅隆大學(xué)（CarnegieMellonUniversity）的湯姆·邁克爾·米切爾（TomMichaelMitchell）教授在其1997年出版的《MachineLearning（機(jī)器學(xué)習(xí)）》一書中提出。通俗的說就是：從有限的觀測數(shù)據(jù)中學(xué)習(xí)出具有一般性的規(guī)律，并利用這些規(guī)律對未知數(shù)據(jù)進(jìn)行預(yù)測的方法。機(jī)器學(xué)習(xí)是人工智能的重要分支。機(jī)器學(xué)習(xí)的分類監(jiān)督學(xué)習(xí)（SupervisedLearning）是指從已標(biāo)注的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)判斷數(shù)據(jù)特征，并將其用于對未標(biāo)注數(shù)據(jù)的判斷的一種方法。無監(jiān)督學(xué)習(xí)（UnsupervisedLearning）不同于監(jiān)督學(xué)習(xí)，它的學(xué)習(xí)算法是從沒有標(biāo)注的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)的特征。什么樣的人容易信用卡逾期？“逾期用戶”機(jī)器學(xué)習(xí)從銀行信用卡數(shù)據(jù)庫中隨機(jī)選取用戶（訓(xùn)練數(shù)據(jù)），列出每個用戶的所有特征：如性別，年齡，是否有住房貸款，信用卡額度，存款等以及逾期狀態(tài)（輸出變量）：是否有逾期、逾期天數(shù)。設(shè)計一個學(xué)習(xí)算法來學(xué)習(xí)用戶的特征與輸出變量之間的相關(guān)性模型。下次再有用戶進(jìn)行信用卡申請時，可以根據(jù)用戶（測試數(shù)據(jù)）的特征，使用前面計算的模型來預(yù)測用戶未來的逾期情況。機(jī)器學(xué)習(xí)：構(gòu)建映射函數(shù)語音識別圖像識別圍棋機(jī)器翻譯“熊大”“早上好”“5-5”“我愛你”“Iloveyou”(落子位置)機(jī)器學(xué)習(xí)模型的步驟結(jié)果數(shù)據(jù)預(yù)處理特征提取特征轉(zhuǎn)換預(yù)測原始數(shù)據(jù)特征處理和預(yù)測一般是分開進(jìn)行的根據(jù)人的經(jīng)驗選取好的特征，特征工程很重要如何將輸入信息轉(zhuǎn)換成更有效的特征，以提高預(yù)測模型的準(zhǔn)確率表示學(xué)習(xí)表示學(xué)習(xí)（RepresentationLearning）：自動學(xué)習(xí)有效特征并提高機(jī)器學(xué)習(xí)模型的效能兩個核心問題：什么是好的表示？如何學(xué)習(xí)好的表示？好的表示應(yīng)具有的特征很強(qiáng)的表示能力可以包含更高層的語義信息更具一般性，容易遷移到其他任務(wù)中顏色局部表示（one-hot）分布式表示（RGB）琥珀色[1,0,0,0][1.00,0.75,0.00]天藍(lán)色[0,1,0,0][0.00,0.50,1.00]中國紅[0,0,1,0][0.67,0.22,0.12]咖啡色[0,0,0,1][0.44,0.31,0.22]深度學(xué)習(xí)需要構(gòu)建具有一定“深度”的模型，通過學(xué)習(xí)算法讓模型自動學(xué)習(xí)出好的特征，從而最終提升預(yù)測模型的準(zhǔn)確率。需要從底層特征開始，經(jīng)過多次非線性變換才能得到更高層語義的表示，而深層結(jié)構(gòu)可以增加特征的重復(fù)使用。深度學(xué)習(xí)多采取的是神經(jīng)網(wǎng)絡(luò)模型。結(jié)果底層特征中層特征高層特征預(yù)測原始數(shù)據(jù)深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的區(qū)別二者提取特征的方式不同：深度學(xué)習(xí)具備自動提取抽象特征的能力，機(jī)器學(xué)習(xí)大多是手動選取特征和構(gòu)造特征。機(jī)器學(xué)習(xí)特征提取深度學(xué)習(xí)特征提取深度學(xué)習(xí)與回歸分析回歸分析理論框架回歸分析是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法，可以用如下公式表示。Y=f(X,ε)其中各參數(shù)的含義如下：Y：因變量。X：所有可能影響的因素。Ε：噪聲項f：鏈接函數(shù)深度學(xué)習(xí)與回歸分析的關(guān)系深度學(xué)習(xí)就是一個高度復(fù)雜的非線性回歸模型，這是因為它完全符合上面所說的Y=f(X,ε)理論框架。舉例說明深度學(xué)習(xí)是如何被規(guī)范成回歸分析問題。通過人臉猜測年齡和性別圖像以像素的形式存儲，像素越多，圖像包含的信息越多，也就越清晰。這是一個1

024像素×1

024像素×3的原圖，說明這張圖像由3個1

048

576像素的矩陣組成，每個像素矩陣以1

024行1

024列的形式排列。

課堂思考深度學(xué)習(xí)發(fā)展歷程萌芽期普遍認(rèn)為人工智能誕生于1956年達(dá)特茅斯會議，但人工神經(jīng)網(wǎng)絡(luò)的誕生要更早。M-P模型，1943年，沃倫·麥卡洛克（WarrenMcCulloch）和沃爾特·皮茲（WalterPitts）生物神經(jīng)元人工神經(jīng)元：M-P模型萌芽期感知機(jī)（Perceptron），Rosenblatt,Frank.ThePerceptron--APerceivingandRecognizingAutomaton.TechnicalReport,Cornell1957MarvinMinskyandSeymourPapert.Perceptrons:AnIntroductiontoComputationalGeometry.MITPress1969.什么是異或問題？與門：兩個輸入均為1時輸出為1；與非門：兩個輸入均為1是輸出為0或門：只要有一個信號是1輸出就是1；異或門：僅當(dāng)有一個輸入為1時輸出才為1000100010111001101011110000101011111000101011110什么是異或問題？發(fā)展期多層感知機(jī)（MLP）反向傳播算法（Backpropagation,

BP）,DavidE.Rumelhart,GeoffreyHinton,RonaldJ.Willians.LearningRepresentationsbyBack-propagatingErrors.Nature,1986.低谷期人工神經(jīng)網(wǎng)絡(luò)并沒有沿著深度的方向繼續(xù)發(fā)展受限于當(dāng)時的計算能力缺乏大規(guī)模高質(zhì)量的訓(xùn)練數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)本身就是一個黑箱20世紀(jì)90年代末，支持向量機(jī)興起將數(shù)據(jù)維度提升，在高維空間中尋找將數(shù)據(jù)準(zhǔn)確劃分的方法在數(shù)據(jù)量不是很大時非常奏效發(fā)展期2006年，神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域領(lǐng)軍者Hinton，辛頓提出了神經(jīng)網(wǎng)絡(luò)DeepLearning算法，指出如果我們能夠?qū)⑸窠?jīng)網(wǎng)路的層數(shù)加深并精心設(shè)計網(wǎng)絡(luò)訓(xùn)練方式，那么這種深層次的神經(jīng)網(wǎng)絡(luò)就會具有超強(qiáng)的表達(dá)能力和學(xué)習(xí)能力。HintonGE,SalakhutdinovRR.Reducingthedimensionalityofdatawithneuralnetworks.Science.2006;313(5786):504-507.深度學(xué)習(xí)時代2010年，由華裔女科學(xué)家李飛飛打造的大規(guī)模圖像數(shù)據(jù)庫ImageNet已經(jīng)收錄了100多萬張圖像。2012年，辛頓和他的兩個學(xué)生AlexKrizhevsky和IlyaSutskever提出了AlexNet，在ImageNet競賽分類任務(wù)上首次將分類錯誤率從25%降到17%。2012年以后，深度學(xué)習(xí)開始在學(xué)術(shù)圈流行起來。2013年，谷歌的TomasMikolov提出了Word2Vec技術(shù)，為人工神經(jīng)網(wǎng)絡(luò)處理自然語言奠定了基礎(chǔ)。2016年，谷歌采取先進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)技術(shù)在機(jī)器翻譯上取得了接近人類的翻譯水平。2016年3月，AlphaGo橫空出世，預(yù)示著人工智能時代的到來。2022年12月，ChatGPT大語言模型被開發(fā)出來。CNN開山之作：LeNet-5卷積神經(jīng)網(wǎng)絡(luò)，ConvolutionalNeuralNetworks[LeCunet.al.1989,

1998]，Lecun,Y.,&Bottou,L..(1998).Gradient-basedlearningappliedtodocumentrecognition.

ProceedingsoftheIEEE,

86(11),2278-2324.階段性歷史總結(jié)微信公號：狗熊會北京大學(xué)林宙辰教授報告：機(jī)器學(xué)習(xí)簡史/v1/course/video/v_60686a45e4b09890f0e05cc8?app_id=appKfzfb4lZ6715&available=1&available_product=0&entry=2&entry_type=2001&payment_type=&product_id=&resource_id=v_60686a45e4b09890f0e05cc8&resource_type=3&scene=%E5%88%86%E4%BA%AB&share_type=5&share_user_id=u_5ec657074fc9a_yFVtC0wOLl&type=2深度學(xué)習(xí)的影響因素1、大數(shù)據(jù)深度學(xué)習(xí)的影響因素2、深度網(wǎng)絡(luò)架構(gòu)前饋神經(jīng)網(wǎng)絡(luò)（全連接網(wǎng)絡(luò)）卷積神經(jīng)網(wǎng)絡(luò)（CNN）深度學(xué)習(xí)的影響因素2、深度網(wǎng)絡(luò)架構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）更多網(wǎng)絡(luò)架構(gòu)（編碼-解編碼）深度學(xué)習(xí)的影響因素GPU：擅長大規(guī)模張量計算常見的深度學(xué)習(xí)框架深度學(xué)習(xí)為何如此成功特征學(xué)習(xí)（representationlearning）layer1、layer2學(xué)習(xí)到的特征基本上是顏色、邊緣等低層特征；layer3則開始稍微變得復(fù)雜，學(xué)習(xí)到的是紋理特征，比如上面的一些網(wǎng)格紋理；layer4學(xué)習(xí)到的則是比較有區(qū)別性的特征，比如狗頭；layer5學(xué)習(xí)到的則是完整的，具有辨別性關(guān)鍵特征。MDZeiler,&Fergus,R..(2013).VisualizingandUnderstandingConvolutionalNeuralNetworks.EuropeanConferenceonComputerVision.SpringerInternationalPublishing.深度學(xué)習(xí)為何如此成功遷移學(xué)習(xí)（transferlearning）前面已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取再將這個特征提取器與后面的網(wǎng)絡(luò)拼接從而解決一個完全不同的問題有了特征提取和遷移學(xué)習(xí)，可以實現(xiàn)端到端（endtoend）的學(xué)習(xí)，即輸入原始數(shù)據(jù)，深度神經(jīng)網(wǎng)絡(luò)輸出最終的結(jié)果。ImageNet數(shù)據(jù)集介紹/超過1400萬張手工標(biāo)注的圖片，包含2萬多個類別ILSVRC挑戰(zhàn)賽提供1000類分類圖片“深度”的發(fā)展AlexNet,8layers(ILSVRC2012)VGG,19layers(ILSVRC2014)GoogleNet,22layers(ILSVRC2014)ResNet,152layers(ILSVRC2015)ImageNet挑戰(zhàn)賽歷年結(jié)果Top5錯誤率：指最后概率向量最大的前5名中，只要出現(xiàn)了正確概率即為預(yù)測正確。否則預(yù)測錯誤。深度學(xué)習(xí)擅長的領(lǐng)域圖像處理圖像分類肺結(jié)節(jié)分類AI輔助診斷/zhoujing89/EMV-3D-CNNB站視頻：/video/BV1ch411w7zP/?vd_source=c119f4328157bf56167596e497833c71圖像處理目標(biāo)檢測路上行人或車輛的檢測港口起重機(jī)抓斗的象鼻頭和負(fù)載圖像處理自動售貨柜結(jié)賬動態(tài)識別：在柜頂和柜子上一共安裝兩枚攝像頭，拍攝交易過程的全部錄像從視頻中判斷商品，并結(jié)算費用對商品擺放沒有嚴(yán)格限制，SKU高難以辨認(rèn)時需要人工介入圖像處理圖像分割自動駕駛土地規(guī)劃醫(yī)學(xué)圖像分割自然語言處理機(jī)器翻譯自動作詩文言斷句機(jī)器寫對聯(lián)……語音識別基于梅爾普圖的方言分類南昌話四川話長沙話其他有趣的應(yīng)用看圖說話基于B站視頻的封面和標(biāo)題預(yù)測播放量基于淘寶商品的圖片和文字描述預(yù)測商品銷量黑白圖像上色風(fēng)格遷移……第二章：神經(jīng)網(wǎng)絡(luò)的張量與數(shù)學(xué)基礎(chǔ)學(xué)習(xí)目標(biāo)1．張量的定義與創(chuàng)建方式2、張量的操作3、張量的運算4、神經(jīng)網(wǎng)絡(luò)的導(dǎo)數(shù)與偏導(dǎo)數(shù)基礎(chǔ)5、鏈?zhǔn)角髮?dǎo)法則6、梯度下降法的含義與公式張量的定義張量是Pytorch管理數(shù)據(jù)的一種形式Pytorch產(chǎn)生的張量能夠在GPU中進(jìn)行加速運算張量分類零維張量（標(biāo)量或常數(shù)）一維張量二維張量三維或更高維張量張量的數(shù)據(jù)類型張量有不同的數(shù)據(jù)類型，通過.dtype方法可以獲取張量的類型張量的創(chuàng)建方式通過torch.tensor()函數(shù)創(chuàng)建張量torch.tensor()和torch.Tensor()的區(qū)別？張量的創(chuàng)建方式通過pytorch內(nèi)置的其他函數(shù)服從[0,1]均勻分布的張量服從標(biāo)準(zhǔn)正態(tài)分布的張量全0張量、全1張量、單位矩陣張量的創(chuàng)建方式通過已知張量創(chuàng)建形狀相同的張量張量的創(chuàng)建方式將Numpy數(shù)組轉(zhuǎn)換成張量應(yīng)用：圖像數(shù)據(jù)轉(zhuǎn)張量讀入一張圖像并轉(zhuǎn)換為tensor對象張量的操作獲取和改變張量的形狀張量的操作獲取和改變張量的形狀.view().reshape().resize()張量的操作張量的擴(kuò)增與降維.unsqueeze().squeeze()張量的操作提取張量的元素索引和切片張量的操作提取張量的元素內(nèi)置的其他函數(shù)張量的操作張量的拼接與拆分拼接torch.cat()torch.stack()張量的操作張量的拼接與拆分拆分torch.chunk()torch.split()張量的操作張量的運算單個張量的運算張量的操作張量的運算兩個張量的運算張量的操作張量的運算統(tǒng)計相關(guān)運算張量的操作張量的運算矩陣運算神經(jīng)網(wǎng)絡(luò)的導(dǎo)數(shù)基礎(chǔ)

神經(jīng)網(wǎng)絡(luò)的導(dǎo)數(shù)基礎(chǔ)

神經(jīng)網(wǎng)絡(luò)的偏導(dǎo)數(shù)基礎(chǔ)

矩陣微積分

矩陣微積分

矩陣微積分

泰勒展開式

梯度下降法的含義與公式

將函數(shù)圖像看做斜坡，P點處放一個球，球?qū)⒀刂疃傅钠旅妫≒Q方向）開始滾動該操作反復(fù)進(jìn)行若干次，球會沿著最短路徑到達(dá)圖像底部梯度下降法的含義與公式

向量內(nèi)積的形式表示梯度下降法的含義與公式

梯度下降法尋找最短路徑拓展：牛頓法（Newton-Raphsonmethod）

第三章：前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)常見激活函數(shù)及其優(yōu)缺點常見損失函數(shù)的設(shè)置梯度下降算法及其擴(kuò)展反向傳播算法原理過擬合及其常用處理方法前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)M-P神經(jīng)元模型M-P神經(jīng)元模型：首個模擬生物神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來的一個抽象和簡化了的數(shù)學(xué)模型。它由心理學(xué)家沃倫·麥卡洛克（WarrenMcCulloch）和數(shù)理邏輯學(xué)家沃爾特·皮茲（WalterPitts）在1943年提出并以二人的名字命名。該模型旨在模擬從多輸入到單輸出的信息處理單元。M-P模型的工作步驟：神經(jīng)元接受n個輸入信號。將輸入與權(quán)值參數(shù)進(jìn)行加權(quán)求和并經(jīng)過階躍函數(shù)激活。將激活結(jié)果作為結(jié)果輸出。人為設(shè)定參數(shù)值神經(jīng)元

激活函數(shù)激活函數(shù)就是指非線性變換。對線性組合的結(jié)果施加一個非線性變換，就為神經(jīng)網(wǎng)絡(luò)各層之間的連接方式提供了一種非線性的變換方式，而非線性變換打破了“線性組合的線性組合”這樣一種循環(huán)，多層神經(jīng)網(wǎng)絡(luò)相比于單層網(wǎng)絡(luò)有了更豐富的函數(shù)形式。 常用的激活函數(shù)：Sigmoid激活函數(shù)Tanh激活函數(shù)ReLu激活函數(shù)其他激活函數(shù)：leakyReLU、elu、cReLU、selu、ReLU6、softplus、softsign……Sigmoid激活函數(shù)值域有界，神經(jīng)元的輸出不會爆炸輸出非負(fù)，可以直接看做概率分布。連續(xù)可導(dǎo)，梯度可以顯式計算原函數(shù)導(dǎo)數(shù)無法實現(xiàn)神經(jīng)元的激活值為負(fù)有可能會發(fā)生梯度退化或消失對于復(fù)雜網(wǎng)絡(luò)求解梯度十分復(fù)雜Tanh激活函數(shù)繼承了Sigmoid函數(shù)一系列優(yōu)缺點區(qū)別在于Tanh函數(shù)更適合讓神經(jīng)元產(chǎn)生與輸入符號一致的非概率輸出原函數(shù)導(dǎo)數(shù)ReLU激活函數(shù)原函數(shù)導(dǎo)數(shù)導(dǎo)數(shù)簡單，計算和優(yōu)化將更高效不是兩端飽和函數(shù)，緩解梯度消失問題舍棄神經(jīng)元負(fù)信號，使神經(jīng)網(wǎng)絡(luò)具有稀疏的特點神經(jīng)元的輸入與輸出之間存在均值偏移有可能導(dǎo)致神經(jīng)元“死亡”的現(xiàn)象LeakyReLU緩解神經(jīng)元“死亡”現(xiàn)象四種激活函數(shù)示意圖前饋神經(jīng)網(wǎng)絡(luò)的構(gòu)成前饋神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的擬合能力，用具有有限多的隱藏層神經(jīng)元可以逼近任意的有限區(qū)間內(nèi)的曲線這被稱之為通用逼近定理UniversalApproximationTheorem

損失函數(shù)與梯度下降算法損失函數(shù)

梯度下降算法

小批量梯度下降算法

ImageNet14,197,122

images小批量梯度下降算法

小批量梯度下降算法

梯度下降算法的改進(jìn)梯度估計修正在MGD算法中，如果批量數(shù)比較小，損失會呈現(xiàn)震蕩的方式下降，說明每次迭代的梯度估計和整個訓(xùn)練集上的最優(yōu)梯度不一致，具有一定的隨機(jī)性，此時可以進(jìn)行梯度估計修正改進(jìn)算法：動量梯度下降、梯度加速法學(xué)習(xí)率調(diào)整學(xué)習(xí)率的設(shè)置也很重要，過大可能不會收斂，過小可能收斂太慢自適應(yīng)學(xué)習(xí)率調(diào)整算法：AdaGrad、AdaDelta、RMSprop綜合法Adam：動量法+RMSprop法的結(jié)合動量梯度下降算法

Nesterov梯度加速算法

AdaGrad算法

AdaGrad算法（續(xù)）優(yōu)點：可以進(jìn)行學(xué)習(xí)率的自適應(yīng)調(diào)整缺點：分母是所有歷史信息的求和，因此會隨著迭代變得越來越大，從而使得學(xué)習(xí)率衰減過快AdaDelta算法更新公式：解決AdaGrad中歷史梯度累積平方和單調(diào)遞增的問題AdaDelta不再使用全部歷史信息，而是使用某個固定窗寬內(nèi)的歷史梯度信息計算累計平方和。計算固定窗寬內(nèi)的梯度累積平方和需要存儲多個歷史梯度平方的信息，AdaDelta轉(zhuǎn)而使用指數(shù)加權(quán)的方式累積歷史信息AdaDelta作者指出此前梯度類算法參數(shù)的單位沒有保持一致，因此又更新了第二階段的AdaDelta算法，詳見教材公式

均方根加速（RMSprop）更新公式：與AdaDelta算法思路十分相似，同年提出（但未發(fā)表），與第一階段AdaDelta公式一致。

Adam算法更新公式：將動量法與RMSprop結(jié)合起來考慮的算法

各種算法的收斂過程推薦閱讀材料：/dl2017/html/lesson2-week2.html反向傳播算法：單個神經(jīng)元

反向傳播算法：單個神經(jīng)元反向傳播算法：單個神經(jīng)元

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程初始化參數(shù)。常用的初始化方法有常數(shù)初始化、正態(tài)分布類初始化、均勻分布類初始化等。切分batch數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)每一輪訓(xùn)練不是用全部數(shù)據(jù)，而是選取一定量的數(shù)據(jù)樣本作為輸入，這部分?jǐn)?shù)據(jù)樣本稱為一個batch。前向傳播建立損失函數(shù)反向傳播是否達(dá)到迭代次數(shù)，如果達(dá)到，則結(jié)束本輪訓(xùn)練，如果未達(dá)到，則繼續(xù)重復(fù)前面的步驟進(jìn)行新一輪迭代。神經(jīng)網(wǎng)絡(luò)的過擬合及處理方法過擬合

期望損失的極小值

過擬合欠擬合過擬合適度擬合過擬合（Overfitting）是指在模型訓(xùn)練過程中，模型對訓(xùn)練數(shù)據(jù)學(xué)習(xí)過度，將數(shù)據(jù)中包含的噪聲和誤差也學(xué)習(xí)了，使得模型在訓(xùn)練集上表現(xiàn)很好，而在測試集上表現(xiàn)很差的現(xiàn)象。偏差-方差分解

無法通過模型改變的理論下界

偏差-方差分解

偏差方差偏差：一個模型在不同訓(xùn)練集上的平均性能與最優(yōu)模型的差異，衡量模型的擬合能力。方差：一個模型在不同訓(xùn)練集上的差異，衡量一個模型是否容易過擬合。偏差-方差分解左上角：最理想的情況左下角：泛化能力很好，但擬合能力不足右上角：擬合能力很好，但泛化能力較差右下角：最差的情況訓(xùn)練誤差V.S.測試誤差判斷是否存在高偏差或高方差的關(guān)鍵：訓(xùn)練誤差V.S.測試誤差訓(xùn)練誤差5%20%20%1%測試誤差20%5%30%2%高方差高偏差高偏差&高方差低偏差&低方差高偏差：換一個更復(fù)雜的網(wǎng)絡(luò)或更先進(jìn)的算法、增加數(shù)據(jù)特征等高方差：降低模型復(fù)雜度、增加更多的數(shù)據(jù)集、集成模型等正則化方法

正則化方法權(quán)重衰減

Dropout方法Dropout方法由辛頓（Hinton）教授團(tuán)隊提出，它是指在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中，將某一層的單元（不包括輸出層的單元）數(shù)據(jù)隨機(jī)丟棄一部分。目的：簡化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，防止神經(jīng)網(wǎng)絡(luò)過擬合原理：對每一層的神經(jīng)元，設(shè)定一個失活（Drop）概率帶dropout的神經(jīng)網(wǎng)絡(luò)帶dropout的神經(jīng)網(wǎng)絡(luò)模型的分類效果推薦學(xué)習(xí)資料：/dl2017/html/lesson2-week1.html第四章：神經(jīng)網(wǎng)絡(luò)的Pytorch實現(xiàn)1.利用神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸任務(wù)的設(shè)計思路2.利用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類任務(wù)的設(shè)計思路3.線性回歸案例：顏值打分模型4.二分類案例：性別預(yù)測模型5.多分類案例：Fashion-MNIST數(shù)據(jù)集分類學(xué)習(xí)目標(biāo)線性回歸案例：顏值打分

線性回歸模型數(shù)據(jù)介紹：圖像來源：本案例使用的數(shù)據(jù)來自華南理工大學(xué)在2018年發(fā)布的SCUT-FBP5500-Database數(shù)據(jù)集及相關(guān)論文，該數(shù)據(jù)集包含共5500張彩色正面人臉圖片，其中2000張亞洲男性，2000張亞洲女性，750張高加索男性，750張高加索女性。因變量：研究組招募了60名志愿者給隨機(jī)展示的人臉照片進(jìn)行1-5打分（得分越高代表越好看）。為了演示本案例的顏值打分模型，我們將每張照片的得分取平均值作為該張照片的最終顏值得分。案例：顏值打分

案例：顏值打分定義Dataset類可以定義自己的數(shù)據(jù)類用于原始數(shù)據(jù)的讀取和預(yù)處理也可以繼承pytorch中的Dataset類提供一種方式去獲取數(shù)據(jù)及其對應(yīng)的真實Label

案例：顏值打分模板：一般在類中首先需要寫的是__init__方法，此方法用于對象實例化，提供類中需要使用的變量，其中self可以當(dāng)做類中的全局變量idx是index的簡稱，就是一個編號，用于對我們初始化中得到的文件名列表進(jìn)行索引訪問統(tǒng)計數(shù)據(jù)集中的數(shù)據(jù)數(shù)量

案例：顏值打分構(gòu)建dataset類用于讀?。簣D片數(shù)據(jù)：X顏值打分：Y

案例：顏值打分對圖片數(shù)據(jù)進(jìn)行必要的預(yù)處理，并劃分訓(xùn)練集和驗證集

案例：顏值打分盡管Dataset類可以通過迭代的方式讀取每一個數(shù)據(jù)，但是很難實現(xiàn)多線程讀?。醋x取batch數(shù)據(jù)）迭代次數(shù)（iteration）=樣本總數(shù)（epoch）/批尺寸（batchszie）DataLoader的使用用來處理模型輸入數(shù)據(jù)的一個工具類。組合了數(shù)據(jù)集（dataset）+采樣器(sampler)，并在數(shù)據(jù)集上提供單線程或多線程(num_workers)的可迭代對象。

案例：顏值打分在進(jìn)行后續(xù)建模前，首先要展示下讀取的數(shù)據(jù)是否正確，一般進(jìn)行可視化展示

案例：顏值打分構(gòu)建線性回歸模型Pytorch里編寫神經(jīng)網(wǎng)絡(luò)模型的組件：nn.Module模板如下：所有模型的構(gòu)建從nn.Module繼承建立一個計算圖，結(jié)構(gòu)可以復(fù)用多次案例：顏值打分輸出層形狀該層參數(shù)量案例：顏值打分開始模型訓(xùn)練首先定義驗證集的損失和評估指標(biāo)案例：顏值打分定義主函數(shù)：模型訓(xùn)練案例：顏值打分模型訓(xùn)練過程展示案例：顏值打分模型預(yù)測：給定一張照片，給出預(yù)測的顏值得分作業(yè)：美食評分模型作業(yè)：美食評分模型數(shù)據(jù)介紹：圖像來源：Flickr上收集用戶上傳的經(jīng)人工篩選后的196張食物圖像因變量：由5人小組對每張美食圖像進(jìn)行1～5評分，最后取平均分作為每張圖像的最終得分（其中1分代表圖像非常不吸引人，5分代表圖像非常吸引人）邏輯回歸模型的Pytorch實現(xiàn)

邏輯回歸模型

案例：性別識別自定義Dataset類此時的Y是二分類

案例：性別識別構(gòu)建邏輯回歸模型也可以采取Sigmoid函數(shù)案例：性別識別分類模型的評估指標(biāo)：Accuracy案例：性別識別模型預(yù)測

Softmax回歸模型數(shù)據(jù)集介紹：Fashion-MNIST數(shù)據(jù)集包含了10個類別的圖像，分別是：t-shirt（T恤），trouser（牛仔褲），pullover（套衫），dress（裙子），coat（外套），sandal（涼鞋），shirt（襯衫），sneaker（運動鞋），bag（包），ankleboot（短靴）。

案例：Fashion-MNIST數(shù)據(jù)集分類數(shù)據(jù)讀入

案例：Fashion-MNIST數(shù)據(jù)集分類案例：Fashion-MNIST數(shù)據(jù)集分類構(gòu)建多分類網(wǎng)絡(luò)案例：Fashion-MNIST數(shù)據(jù)集分類模型預(yù)測應(yīng)用第五章：卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)卷積的工作原理池化的工作原理LeNet-5模型用于手寫數(shù)字識別可視化卷積神經(jīng)網(wǎng)絡(luò)的中間過程學(xué)習(xí)目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)又稱卷積網(wǎng)絡(luò)（ConvolutionalNetwork），是在圖像處理和計算機(jī)視覺領(lǐng)域應(yīng)用較為廣泛的一種神經(jīng)網(wǎng)絡(luò)?；窘Y(jié)構(gòu)：輸入層卷積層：獲得更多圖像的抽象特征。池化層：減少網(wǎng)絡(luò)中參數(shù)。全連接層：為后續(xù)分類任務(wù)做準(zhǔn)備。輸出層卷積神經(jīng)網(wǎng)絡(luò)卷積與池化的通俗理解示例任務(wù)：分辨照片是否是熊大機(jī)械化過程：需要記錄熊大特征的照片，記為“卷積核”；用“卷積核”掃描身份證，尋找是否有某個位置出現(xiàn)熊大的特征；將卷積核與身份證上某個位置的圖像特征進(jìn)行相似度計算，這個計算就是“卷積”。

對卷積的理解熊大圖像是否出現(xiàn)在身份證上，只依賴于計算出的相似特征的最大值，即只需要有一個局部圖像與熊大照片非常相像，就可以認(rèn)為身份證上出現(xiàn)了熊大頭像。卷積核在圖像上不斷掃描的過程中，我們只關(guān)心卷積計算結(jié)果的最大值，這個最大化的操作，就是一種特殊的池化方法，被稱為最大值池化（Max-Pooling）。卷積就是計算某種局部的相似性，而池化就是將某種最突出的相似性選擇出來。對池化的理解卷積卷積（Convolutional）是一種特殊的線性運算，用來代替一般的矩陣乘法運算。卷積運算由以下兩個關(guān)鍵參數(shù)定義：卷積核的大小輸出特征圖的深度：由使用的卷積核的數(shù)量決定卷積計算示例圖卷積

卷積運算舉例1110001110001×1110011001100101010101×1×0×1×0×1×1×0×0×110101010原始圖像卷積核特征圖4

卷積運算舉例1110001110001×111001100110010101010110101010原始圖像卷積核特征圖43×1×0×1×0×1×1×0×0×1

卷積運算舉例1110001110001×111001100110010101010110101010原始圖像卷積核特征圖4342×1×0×1×0×1×1×0×0×1卷積核不斷地由左向右由上向下滑動，在滑動過程中與原始圖像的對應(yīng)區(qū)域做線性運算從而得到特征圖對應(yīng)位置的像素值，卷積核對原始圖像的掃描直到將原始圖像全部覆蓋為止。在本例中得到的最終結(jié)果如圖卷積運算舉例1110001110001×111001100110010101010×1×0×1×0×1×1×0×0×1110101010原始圖像卷積核特征圖443424323

填充與步長

填充與步長00001111×110101000011100000010000110000000000000000×1×0×1×0×1×1×0×0×11101010102231114341124331234112211填充后的圖像卷積核特征圖步長為2時的卷積核滑動填充與步長1110001110001×111001100110010101010110101010原始圖像卷積核特征圖44×1×0×1×0×1×1×0×0×11110001110001×111001100110010101010110101010原始圖像卷積核特征圖×1×0×1×0×1×1×0×0×1442在卷積過程中，各參數(shù)如下表所示，卷積的輸出結(jié)果大小計算：

示例輸入張量大小R行L列8行8列卷積核大小FR行FL列3行3列填充大小PR行PL列2行2列垂直方向移動步長SR3水平方向移動步長SL2輸出結(jié)果floor（R+PR+SR-FR/SR）行floor（L+PL+SL-FL/SL）列floor（8+2+3-3/3）=3行floor（8+2+2-3/2）=4列卷積結(jié)果的輸出

多通道卷積原理多通道卷積原理單個張量與多個卷積核的卷積卷積過程多通道卷積原理多個張量與多個卷積核的卷積卷積過程多通道卷積原理卷積神經(jīng)網(wǎng)絡(luò)動態(tài)展示圖每個卷積核只關(guān)注一個特征池化操作池化（Pooling）操作是對卷積得到的結(jié)果進(jìn)一步處理，它是將平面內(nèi)某一位置及其相鄰位置的特征值進(jìn)行統(tǒng)計匯總，并將匯總后的結(jié)果作為這一位置在該平面內(nèi)的值輸出，也叫下采樣操作。分類最大值池化平均值池化池化操作輸入張量大?。篐行W列池化窗口大?。篐H行WW列垂直方向和水平方向移動步長：SR、SL最大值池化輸出結(jié)果：ceil((H-HH+1)/SR)、ceil((W-WW+1)/SL)最大值池化計算過程（步長為2）：多通道張量的最大值池化計算過程（步長為2）多個張量的最大值池化卷積與池化的區(qū)別卷積核的權(quán)重是一個未知的參數(shù)；而池化不僅沒有未知參數(shù)需要估計，也不需要參數(shù)優(yōu)化的過程。因此，對計算機(jī)而言，池化是非常簡單的操作。不管輸入的像素矩陣有多少通道，只要進(jìn)行卷積運算，一個卷積核參與計算只會產(chǎn)生一個通道；而池化是分層運算，輸出的像素矩陣的通道取決于輸入像素矩陣的通道數(shù)。卷積與池化的區(qū)別LeNet-5用于手寫數(shù)據(jù)識別MNIST數(shù)據(jù)集介紹

MNIST數(shù)據(jù)集的導(dǎo)入通過Pytorch內(nèi)置函數(shù)導(dǎo)入MNIST數(shù)據(jù)集構(gòu)造數(shù)據(jù)讀取器并展示圖片LeNet-5介紹：由YannLeCun（楊立昆）于1998年提出的一種經(jīng)典的卷積網(wǎng)絡(luò)結(jié)構(gòu)。第一個成功應(yīng)用于數(shù)字識別問題的卷積神經(jīng)網(wǎng)絡(luò)。LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)：共7層輸入層卷積層池化層卷積層池化層全連接層輸出層LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)LeNet-5網(wǎng)絡(luò)構(gòu)建LeNet-5模型結(jié)構(gòu)與參數(shù)LeNet-5模型訓(xùn)練曲線LeNet-5模型訓(xùn)練過程可視化第一層卷積核的可視化展示LeNet-5模型訓(xùn)練過程可視化第一層卷積輸出的6個特征圖的可視化結(jié)果LeNet-5模型訓(xùn)練過程可視化第二層卷積核的可視化展示LeNet-5模型訓(xùn)練過程可視化第一層卷積輸出的6個特征圖的可視化結(jié)果第六章：經(jīng)典CNN模型介紹1.

AlexNet模型原理與實現(xiàn)2.VGG模型原理與實現(xiàn)3.InceptionV1模型原理與實現(xiàn)4.ResNet模型原理與實現(xiàn)5.批量歸一化（BN）原理與實現(xiàn)6.數(shù)據(jù)增強(qiáng)（DA）原理與實現(xiàn)7.遷移學(xué)習(xí)原理與實現(xiàn)學(xué)習(xí)目標(biāo)AlexNetAlexNet介紹：ImageNet競賽冠軍獲得者Hinton和他的學(xué)生KrizhevskyAlex于2012年設(shè)計。ImageNet競賽中第一個使用卷積神經(jīng)網(wǎng)絡(luò)的參賽者。AlexNet網(wǎng)絡(luò)結(jié)構(gòu)：8層卷積層池化層卷積層池化層卷積層卷積層卷積層池化層輸出層：三個全連接層AlexNet網(wǎng)絡(luò)結(jié)構(gòu)AlexNet網(wǎng)絡(luò)結(jié)構(gòu)AlexNet創(chuàng)新點：成功使用ReLU作為CNN的激活函數(shù)；使用Dropout隨機(jī)忽略一部分神經(jīng)元，避免模型過擬合；在CNN中使用重疊的最大值池化(步長小于卷積核)；提出局部響應(yīng)歸一化層（LocalResponseNormalization，LRN），后逐漸被BN（BatchNormalization）代替；使用CUDA加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，利用了GPU強(qiáng)大的計算能力；采用了數(shù)據(jù)增強(qiáng)（DataAugmentation）技術(shù)，達(dá)到增加樣本量的目的。AlexNet創(chuàng)新點局部響應(yīng)歸一化是對同層神經(jīng)元、鄰近特征映射進(jìn)行局部歸一化應(yīng)用在激活函數(shù)之后歸一化（Normalization）方法泛指把數(shù)據(jù)特征轉(zhuǎn)換為相同尺度的方法，比如把數(shù)據(jù)特征映射到[0,1]或[?1,1]區(qū)間內(nèi)，或者映射為服從均值為0、方差為1的標(biāo)準(zhǔn)正態(tài)分布．案例：CIFAR10數(shù)據(jù)集介紹

Cifar10數(shù)據(jù)的獲取AlexNet用于Cifar10的Pytorch代碼VGGVGG（VisualGeometryGroup,DepartmentofEngineeringScience,UniversityofOxford）牛津大學(xué)計算機(jī)視覺組和DeepMind公司共同研發(fā)的一種深度卷積神經(jīng)網(wǎng)絡(luò)VGG網(wǎng)絡(luò)結(jié)構(gòu)：6種從左到右深度越來越深加粗體表示新增的層所有網(wǎng)絡(luò)結(jié)構(gòu)都包含5組卷積操作，每組卷積包含一定數(shù)量的卷積層——可以看作一個五階段的卷積特征提取。獲得2014年ILSVRC分類項目第2名VGG網(wǎng)絡(luò)結(jié)構(gòu)輸入層：224×224×3的彩色圖像。第1組卷積層（2次卷積）：Conv2D(3×3，64),Stride(1),same,ReLU,Output:224×224×64。第1個池化層：MaxPooling2D(2×2),Stride(2),Output:112×112×64。第2組卷積層（2次卷積）：Conv2D(3×3，128),Stride(1),same,ReLU,Output:112×112×128。第2個池化層：MaxPooling2D(2×2),Stride(2),Output:。第3組卷積層（3次卷積）：Conv2D(3×3，256),Stride(1),same,ReLU,Output:56×56×256。第3個池化層：MaxPooling2D(2×2),Stride(2),Output:。第4組卷積層（3次卷積）：Conv2D(3×3，512),Stride(1),same,ReLU,Output:28×28×512。第4個池化層：MaxPooling2D(2×2),Stride(2),Output:。第5組卷積層（3次卷積）：Conv2D(3×3，512),Stride(1),same,ReLU,Output:。第5個池化層：MaxPooling2D(),Stride(2),Output:。輸出層：Flatten，Dense(4096)，Dense（4096），Dense（1000）。VGG網(wǎng)絡(luò)結(jié)構(gòu)VGG16網(wǎng)絡(luò)結(jié)構(gòu)：5組卷積組和3個全連接層VGG網(wǎng)絡(luò)結(jié)構(gòu)VGG模型的Pytorch實現(xiàn)VGG模型的Pytorch實現(xiàn)BatchNormalization技巧批量歸一化（BatchNormalization,

BN）方法是一種有效的逐層歸一化方法，可以對神經(jīng)網(wǎng)絡(luò)中任意的中間層進(jìn)行歸一化操作（Ioffeetal.,2015）.為了提高優(yōu)化效率，就要使得凈輸入??(??)的分布一致，比如都?xì)w一化到標(biāo)準(zhǔn)正態(tài)分布一般使用標(biāo)準(zhǔn)化將凈輸入??(??)的每一維都?xì)w一到標(biāo)準(zhǔn)正態(tài)分布??(??)的期望和方差通常用當(dāng)前小批量樣本集的均值和方差近似估計給定一個包含??個樣本的小批量樣本集合，第??層神經(jīng)元的凈輸入??(1,??)?,??(??,??)的均值和方差為BatchNormalization的核心思想對凈輸入??(??)的標(biāo)準(zhǔn)歸一化會使得其取值集中到0附近，如果使用Sigmoid型激活函數(shù)時，這個取值區(qū)間剛好是接近線性變換的區(qū)間，減弱了神經(jīng)網(wǎng)絡(luò)的非線性性質(zhì)．因此，為了使得歸一化不對網(wǎng)絡(luò)的表示能力造成負(fù)面影響，可以通過一個附加的縮放和平移變換改變?nèi)≈祬^(qū)間BatchNormalization的核心思想：BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShiftBatchNormalization的核心思想

BatchNormalization的核心思想案例：貓狗數(shù)據(jù)集訓(xùn)練核心任務(wù)：對貓和狗進(jìn)行分類其中訓(xùn)練集和驗證集進(jìn)行了規(guī)范化的格式存儲樣本量：15000張訓(xùn)練，10000張驗證，貓狗各50%讀入貓狗數(shù)據(jù)

帶有BN的寬模型這個模型中，卷積核的個數(shù)減少，但是模型的層數(shù)增加。每一層使用20個卷積核，進(jìn)行一個長度為7的循環(huán)，每一步要重復(fù)一個卷積和池化的基本操作，其中卷積層進(jìn)行規(guī)格大小為2×2的same卷積，池化層進(jìn)行規(guī)格大小為2×2的最大值池化。BN總結(jié)：BatchNormalization在很多情況下確實是幫助巨大的，但并不是對所有情況都有幫助。在什么情況下BatchNormalization能夠讓結(jié)果變好，在什么情況下沒有幫助是不清楚的，是值得我們思考和研究的。帶有BN的深度模型DataAugmentation技巧DataAugmentation被翻譯成“數(shù)據(jù)增強(qiáng)”，或者“數(shù)據(jù)增廣”。它通過對數(shù)據(jù)施加各種變換來達(dá)到增加樣本量的目的。數(shù)據(jù)增強(qiáng)是深度學(xué)習(xí)中除了BatchNormalization外另一個非常常用的技巧。DataAugmentation技巧人和計算機(jī)處理圖像不同。原來的圖像被拉伸、變換或旋轉(zhuǎn)，對計算機(jī)而言都是一個全新的矩陣。計算機(jī)對圖像數(shù)據(jù)用矩陣形式表達(dá)不充分。把一張圖像變成矩陣的過程中，是有信息損失的，而這些損失的信息很寶貴，有可能幫助我們把模型做得更好。DataAugmentation核心思想（1）RandomHorizontalFlip：允許水平方向的翻轉(zhuǎn)。（2）RandomCrop：隨機(jī)裁剪，參數(shù)size代表剪切后的圖片尺寸，參數(shù)padding代表裁剪前首先在圖片外補(bǔ)0。（3）RandomAffine：對坐標(biāo)進(jìn)行仿射變換，由五種基本變換構(gòu)成，分別為旋轉(zhuǎn)、平移、縮放、錯切和翻轉(zhuǎn)。Degrees：最大旋轉(zhuǎn)角度；Translate：最大平移區(qū)間，如(a,b)，a代表寬，b代表高；Scale：縮放比例區(qū)間，如(a,b)，則圖片在a,b間縮放；Shear：最大錯切角度，分為水平錯切和垂直錯切；若shear=a，則僅在x軸錯切，若shear=(a,b)，則a設(shè)置x軸角度，b設(shè)置y軸角度。Pytorch實現(xiàn)數(shù)據(jù)增強(qiáng)數(shù)據(jù)增強(qiáng)究竟增加了多少樣本？（1）每一條規(guī)則前都帶有Random，說明這種變換是隨機(jī)的（2）同一張圖片，在第1個Epoch和第2個Epoch經(jīng)過數(shù)據(jù)變換后的輸出是有區(qū)別的第1個epoch第2個epochInceptionInception介紹：由Google團(tuán)隊提出，因此也被稱為GoogleNet；該模型一共有4個版本，從V1到V4；通過增加網(wǎng)絡(luò)的寬度（通道數(shù)）來提升訓(xùn)練效果。InceptionV1網(wǎng)絡(luò)結(jié)構(gòu)InceptionV1模塊由多個Inception基礎(chǔ)模塊串聯(lián)而成。獲得了ILSVRC2014挑戰(zhàn)賽分類項目的冠軍InceptionV1基礎(chǔ)模塊Inception網(wǎng)絡(luò)結(jié)構(gòu)InceptionV1模塊創(chuàng)新點：1.InceptionV1使用多個不同尺寸的卷積核（直觀理解：疊加不同尺寸的卷積核，可以從細(xì)節(jié)上提取更豐富的特征）。Inception網(wǎng)絡(luò)結(jié)構(gòu)

Inception網(wǎng)絡(luò)結(jié)構(gòu)舉例說明：1*1的卷積核是如何起到減少參數(shù)的作用的？Inception網(wǎng)絡(luò)結(jié)構(gòu)InceptionV1完整的網(wǎng)絡(luò)結(jié)構(gòu)輸入層卷積層卷積層Inception3a層Inception3b層……Inception網(wǎng)絡(luò)結(jié)構(gòu)Pytorch構(gòu)建Inception基礎(chǔ)模塊Pytorch構(gòu)建Inception模型ResNet

ResNet網(wǎng)絡(luò)結(jié)構(gòu)殘差學(xué)習(xí)模塊的優(yōu)勢：簡化學(xué)習(xí)難度——傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)或者全連接網(wǎng)絡(luò)，在信息傳遞時，或多或少會存在信息丟失、損耗等問題，同時還會導(dǎo)致梯度消失或梯度爆炸，使得很深的網(wǎng)絡(luò)無法訓(xùn)練。ResNet中常用的殘差學(xué)習(xí)模塊：常見的ResNet有50層、101層和152層。常見ResNet學(xué)習(xí)模塊ResNet網(wǎng)絡(luò)結(jié)構(gòu)34層ResNet網(wǎng)絡(luò)結(jié)構(gòu)：conv1層conv2_x層conv3_x層conv4_x層conv5_x層全連接層ResNet網(wǎng)絡(luò)結(jié)構(gòu)FullyconnectedvsGlobalAveragePooling遷移學(xué)習(xí)深度學(xué)習(xí)的現(xiàn)實困難：經(jīng)典的網(wǎng)絡(luò)模型太多計算太昂貴，這里既包括硬件，也包括數(shù)據(jù)集深度學(xué)習(xí)的現(xiàn)實困難遷移學(xué)習(xí)（TransferLearning）是指將某個領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識或模式應(yīng)用到不同，但相關(guān)的領(lǐng)域或問題中。需要注意：輸入與輸出站在前人的肩膀上，用別人的模型、參數(shù)。分為預(yù)訓(xùn)練遷移和固定值遷移。預(yù)訓(xùn)練遷移：遷移過來的權(quán)重視為初始權(quán)重，訓(xùn)練過程中會被梯度下降算法更改固定值遷移：遷移過來的權(quán)重保持固定值不變，訓(xùn)練過程僅針對后面的全連接網(wǎng)絡(luò)遷移學(xué)習(xí)原理遷移學(xué)習(xí)實施流程多層CNN多層CNN多層CNN普通圖像衛(wèi)星遙感圖像衛(wèi)星遙感圖像預(yù)訓(xùn)練遷移固定值遷移物體分類夜光亮度貧困程度遷移學(xué)習(xí)用于貓狗數(shù)據(jù)分析第七章：序列模型1．Word2Vec的原理與應(yīng)用RNN與LSTM模型的工作原理如何訓(xùn)練一個RNN模型用于機(jī)器作詩如何訓(xùn)練一個LSTM模型用于樂曲生成編碼-解碼模型的原理如何訓(xùn)練一個端到端的機(jī)器翻譯模型學(xué)習(xí)目標(biāo)詞嵌入詞嵌入（WordEmbedding）詞嵌入（WordEmbedding）是深度學(xué)習(xí)中一種流行的用于表示文本數(shù)據(jù)的方法，即將文本轉(zhuǎn)換為數(shù)值的表示形式，一種常見的方式是轉(zhuǎn)換為one-hot形式0123456789010000000001010000000020010000000…8000000001090000000001對0-9數(shù)字重新編碼詞匯表征與語義相似性預(yù)測括號中的內(nèi)容Iwantabottleoforange（）可能的方法步驟：把每個單詞進(jìn)行one-hot編碼會形成一個超大的稀疏矩陣學(xué)習(xí)輸入到輸出的映射關(guān)系缺點：會產(chǎn)生維數(shù)災(zāi)難不能很好的獲取詞語與詞語之間的相似性

對詞語相似性的兩種理解兩個詞經(jīng)常在一起出現(xiàn)，例如：周末加班語義相關(guān)性——把這兩個詞的位置互換，相應(yīng)的句子仍然是自然語言詞語相似性本章更多關(guān)注的是語義相關(guān)性語義相關(guān)性的幾何理解首先，把一個個抽象的詞或句子映射到一個歐式空間中，因為歐式空間有距離的概念。需要建立一個映射關(guān)系，將詞或者短句，映射到帶有距離的高維歐式空間中。這樣的目標(biāo)稱為詞嵌入（WordEmbedding），即把一個個word（詞），embed（嵌入）高維的歐氏空間中。詞嵌入（WordEmbedding）舉例：詞嵌入的數(shù)學(xué)表達(dá)詞嵌入就是要通過大量的文本數(shù)據(jù)學(xué)習(xí)，找到每一個詞匯與高維空間的映射關(guān)系，表示該詞匯在抽象空間中的位置，即它的坐標(biāo)。三個詞：酒店，賓館，旅店所有的相對距離是保持不變的。這說明抽象空間中詞匯的位置不可識別。詞嵌入的理論原理詞嵌入經(jīng)典文獻(xiàn)由托馬斯·米克羅夫（TomasMikolov）等人在2013年ICLR大會上的一篇論文中提出根據(jù)上下文來預(yù)測中間詞的連續(xù)詞袋（continuousbag-of-words,CBOW）模型根據(jù)中間詞來預(yù)測上下文的跳字（skip-gram）模型詞嵌入的理論原理

詞嵌入的理論原理

案例數(shù)據(jù)來源：IMDB影評數(shù)據(jù)集，收集了25000條IMDB網(wǎng)站上的英文影評文本及評論的情感正負(fù)向標(biāo)簽數(shù)據(jù)讀入與展示詞嵌入的程序?qū)崿F(xiàn)分詞及結(jié)果展示詞嵌入的程序?qū)崿F(xiàn)詞嵌入函數(shù)——Word2Vec函數(shù)size：虛擬空間維度min_count：詞頻小于min_count的詞不被考慮維度越低，參數(shù)越少，越靈活維度越高，參數(shù)越高，需要的樣本量越大，計算時間越多詞嵌入的程序?qū)崿F(xiàn)詞語相似性結(jié)果演示——model.wv.similarity函數(shù)詞嵌入的程序?qū)崿F(xiàn)繪制星空圖進(jìn)行可視化：bad、director、zombie詞嵌入的程序?qū)崿F(xiàn)RNN模型與機(jī)器自動作詩詩，是一種藝術(shù)作詩講究“前言搭后語”機(jī)器作詩與回歸分析機(jī)器作詩其實就是一個回歸分析的概率問題。通過學(xué)習(xí)現(xiàn)有詩歌的搭配規(guī)律，機(jī)器也能作詩！機(jī)器作詩原理

機(jī)器作詩原理

RNN前期知識一個更為合理的建模方式對序列數(shù)據(jù)中的信息充分提取，將歷史信息傳遞下來RNN前期知識

RNN前期知識

循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是狀態(tài)空間模型在文本序列數(shù)據(jù)上的一種具體的實現(xiàn)方法。它的核心思想是不斷保留與傳遞歷史信息，而保留和傳遞的載體就是狀態(tài)。狀態(tài)能夠沉淀非常豐富的歷史信息，有助于整個序列合理精確地向前演進(jìn)。早期的相關(guān)RNN的文獻(xiàn)RNN模型

RNN模型

更為一般的RNN模型展示

數(shù)據(jù)讀入與展示讀入與展示數(shù)據(jù)讀入數(shù)據(jù)創(chuàng)建字符編碼字典讀入數(shù)據(jù)對詩歌進(jìn)行編碼，從原始數(shù)據(jù)到矩陣數(shù)據(jù)處理：從原始數(shù)據(jù)到矩陣數(shù)據(jù)處理：處理長短不一并對其X和Y這里需要注意的是數(shù)據(jù)，以“春眠不覺曉”這句詩為例，輸入是“春眠不覺”，預(yù)測的目標(biāo)是“眠不覺曉”:輸入“春”的時候，網(wǎng)絡(luò)預(yù)測的下一個字的目標(biāo)是“眠”。輸入“眠”的時候，網(wǎng)絡(luò)預(yù)測的下一個字的目標(biāo)是“不”。輸入“不”的時候，網(wǎng)絡(luò)預(yù)測的下一個字的目