《人工智能》全套PPT第6章 深度學(xué)習(xí)

1、第六章人工智能前沿6.1深度學(xué)習(xí)的形成過(guò)程6.2深度學(xué)習(xí)基本方法6.3深度學(xué)習(xí)中的正則化6.4深度學(xué)習(xí)中的優(yōu)化of3116.5深度學(xué)習(xí)的軟硬件實(shí)現(xiàn)習(xí)題6.1 深度學(xué)習(xí)形成過(guò)程第六章 深度學(xué)習(xí)的形成過(guò)程of312McCulloch-Pitts Model of Neuron 1943工作原理：模擬了人腦神經(jīng)元，采用線性加權(quán)求和的方式來(lái)模擬不同強(qiáng)弱的生物信號(hào)的傳遞。求和的結(jié)果經(jīng)過(guò)一個(gè)閾值函數(shù)（激活函數(shù)）得到0或1的輸出，對(duì)應(yīng)了人腦神經(jīng)元的興奮和抑制。特點(diǎn)：M-P模型雖然用數(shù)學(xué)的方式模擬出了神經(jīng)元的功能結(jié)構(gòu)，但卻缺少一個(gè)參數(shù)學(xué)習(xí)機(jī)制。of313特點(diǎn)：不同于M-P模型，感知器模型可以從樣例中學(xué)習(xí)，并采

2、用梯度下降法自動(dòng)更新參數(shù)。缺陷：感知機(jī)只能解決線性可分問(wèn)題，無(wú)法解決“異或”這種線性不可分問(wèn)題。1感知機(jī)6.1 深度學(xué)習(xí)形成過(guò)程第六章 深度學(xué)習(xí)的形成過(guò)程of314背景：1986年，適用于多層感知器（MLP）的反向傳播（BP）算法被提出。BP網(wǎng)絡(luò)實(shí)質(zhì)：使用BP算法進(jìn)行訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。缺陷：BP算法在1991年被指出存在“梯度消失”問(wèn)題。2BP神經(jīng)網(wǎng)絡(luò)6.1 深度學(xué)習(xí)形成過(guò)程第六章 深度學(xué)習(xí)的形成過(guò)程of3153深度神經(jīng)網(wǎng)絡(luò)6.1 深度學(xué)習(xí)形成過(guò)程第六章 深度學(xué)習(xí)的形成過(guò)程20世紀(jì)80年代末，“三駕馬車”驅(qū)動(dòng)“機(jī)器學(xué)習(xí)”發(fā)展。2006前后，SVM獨(dú)占鰲頭，2012年后是深度學(xué)習(xí)的天下。數(shù)

3、據(jù)算力算法基礎(chǔ)機(jī)器學(xué)習(xí)SVM人工神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)AlexNetZFNetVGGNetGoogLeNetResNet第六章人工智能前沿6.1深度學(xué)習(xí)的形成過(guò)程6.2深度學(xué)習(xí)基本方法6.3深度學(xué)習(xí)中的正則化6.4深度學(xué)習(xí)中的優(yōu)化of3166.5深度學(xué)習(xí)的軟硬件實(shí)現(xiàn)習(xí)題of3171正向?qū)W習(xí)神經(jīng)元結(jié)構(gòu)和計(jì)算方式其中 為輸入， x1,x2,x3為輸入，b為偏置(一個(gè)常量)，可以偏置將其視作一個(gè)權(quán)重為1的輸入， 為輸入的加權(quán)和， 為非線性的激活函數(shù)，用于將線性關(guān)系轉(zhuǎn)換為非線性關(guān)系。神經(jīng)元結(jié)構(gòu)示意圖神經(jīng)元計(jì)算公式6.2 深度學(xué)習(xí)基本方法第六章 深度學(xué)習(xí)的形成過(guò)程of3181正向?qū)W習(xí)多層前饋神經(jīng)網(wǎng)絡(luò)計(jì)算方式6

4、.2 深度學(xué)習(xí)基本方法第六章 深度學(xué)習(xí)的形成過(guò)程多層前饋?zhàn)跃W(wǎng)絡(luò)示意圖多層前饋網(wǎng)絡(luò)計(jì)算公式第一層第三層第二層of3192反向調(diào)整概覽6.2 深度學(xué)習(xí)基本方法第六章 深度學(xué)習(xí)的形成過(guò)程正向傳播，計(jì)算輸出，對(duì)比label，得到error，反向調(diào)整權(quán)值偏置，最小化error，error，最小時(shí)，權(quán)值最優(yōu)。of31102反向調(diào)整的優(yōu)化方法梯度下降6.2 深度學(xué)習(xí)基本方法第六章 深度學(xué)習(xí)的形成過(guò)程以一定步長(zhǎng)，沿著最陡峭的方向下降，直到到達(dá)最低點(diǎn)。更新公式：，其中 是學(xué)習(xí)率，用于控制步長(zhǎng)的大小。第六章人工智能前沿6.1深度學(xué)習(xí)的形成過(guò)程6.2深度學(xué)習(xí)基本方法6.3深度學(xué)習(xí)中的正則化6.4深度學(xué)習(xí)中的優(yōu)化of

5、31116.5深度學(xué)習(xí)的軟硬件實(shí)現(xiàn)習(xí)題of3112基礎(chǔ)概念6.3 深度學(xué)習(xí)中的正則化第六章 深度學(xué)習(xí)的形成過(guò)程擬合：模型剛好可以擬合數(shù)據(jù)，是訓(xùn)練的理想狀態(tài)。欠擬合：模型的擬合程度較低，沒有學(xué)習(xí)到數(shù)據(jù)間的通用規(guī)律。過(guò)擬合：指分類器過(guò)度嚴(yán)格的擬合了數(shù)據(jù)，反而使其失去了泛化（generalization）能力。of31136.3 深度學(xué)習(xí)中的正則化第六章 深度學(xué)習(xí)的形成過(guò)程懲罰項(xiàng)（正則項(xiàng)）：它通過(guò)在目標(biāo)函數(shù) （即損失函數(shù)）上添加一個(gè)參數(shù)范數(shù) 懲罰項(xiàng) ，來(lái)限制模型的學(xué)習(xí)能力。常見的正則化方法L0范數(shù)懲罰：L0為權(quán)值向量中非0元素的個(gè)數(shù)，可以很好的使權(quán)值向量實(shí)現(xiàn)參數(shù)稀疏（大部分元素為0）。L1范數(shù)懲罰：

6、L1為權(quán)值向量中各元素絕對(duì)值之和，可以將權(quán)值向量中某些元素的值推向0或限制的很小。L2范數(shù)懲罰：L2是指向量中各元素的平方和的平方根，也可以使得向量中的每個(gè)元素都很小，達(dá)到限制模型學(xué)習(xí)能力的目。1參數(shù)懲罰抑制過(guò)擬合of31146.3 深度學(xué)習(xí)中的正則化第六章 深度學(xué)習(xí)的形成過(guò)程為什么加大數(shù)據(jù)可以抑制過(guò)擬合？足夠大的數(shù)據(jù)量可將模型的參數(shù)空間進(jìn)一步縮小，更易找到最優(yōu)參數(shù)數(shù)據(jù)有限情況下，如何讓擴(kuò)充？對(duì)原始數(shù)據(jù)進(jìn)行一定程度的平移、拉伸、旋轉(zhuǎn)、扭曲等操作是否所有數(shù)據(jù)都可以如上擴(kuò)充？數(shù)據(jù)擴(kuò)充多用在分類算法中，一些高度對(duì)稱的對(duì)象“b”和“q”，“9”和“6”等并不適合上述所有的擴(kuò)充，進(jìn)行擴(kuò)充的時(shí)候需要特別注

7、意。2數(shù)據(jù)集擴(kuò)充增強(qiáng)抑制過(guò)擬合of31156.3 深度學(xué)習(xí)中的正則化第六章 深度學(xué)習(xí)的形成過(guò)程Dropout抑制過(guò)擬合原理：訓(xùn)練模型過(guò)程中，我們采用某些策略，丟棄神經(jīng)網(wǎng)絡(luò)中部分連接的神經(jīng)元，使得網(wǎng)絡(luò)稀疏。3Dropout（隨機(jī)失活）抑制過(guò)擬合第六章人工智能前沿6.1深度學(xué)習(xí)的形成過(guò)程6.2深度學(xué)習(xí)基本方法6.3深度學(xué)習(xí)中的正則化6.4深度學(xué)習(xí)中的優(yōu)化of31166.5深度學(xué)習(xí)的軟硬件實(shí)現(xiàn)習(xí)題of31171激活函數(shù)Sigmoid激活函數(shù)Sigmod函數(shù)作為激活函數(shù)，在輸入較小或較大的時(shí)候，函數(shù)會(huì)趨于平緩，梯度會(huì)趨近為0，容易出現(xiàn)梯度消失的現(xiàn)象。6.4 深度學(xué)習(xí)中的優(yōu)化第六章 深度學(xué)習(xí)的形成過(guò)程o

8、f31181激活函數(shù)分析Sigmoid梯度消失的原因根據(jù)鏈?zhǔn)角髮?dǎo)法則，對(duì) 進(jìn)行求偏導(dǎo)，可得如下結(jié)果6.4 深度學(xué)習(xí)中的優(yōu)化第六章 深度學(xué)習(xí)的形成過(guò)程of31191ReLU激活函數(shù)函數(shù)表達(dá)式：6.4 深度學(xué)習(xí)中的優(yōu)化第六章 深度學(xué)習(xí)的形成過(guò)程of31202批量歸一化原理：將輸入值減去其均值，再除以數(shù)據(jù)的標(biāo)準(zhǔn)差，可以一定程度上提升訓(xùn)練的速度，加快模型收斂。過(guò)程：對(duì)一個(gè)batch進(jìn)行歸一化（1）計(jì)算均值：（2）計(jì)算標(biāo)準(zhǔn)差：（3）歸一化后的數(shù)據(jù)：6.4 深度學(xué)習(xí)中的優(yōu)化第六章 深度學(xué)習(xí)的形成過(guò)程of31213梯度下降6.4 深度學(xué)習(xí)中的優(yōu)化第六章 深度學(xué)習(xí)的形成過(guò)程批量梯度下降（BGD）隨機(jī)梯度下降（

9、SGD）小批量梯度下降（MBGD）梯度下降使用所有的輸入數(shù)據(jù)進(jìn)行參數(shù)更新。使用一條的輸入數(shù)據(jù)進(jìn)行參數(shù)更新。使用一部分?jǐn)?shù)據(jù)用于參數(shù)的更新。of31224動(dòng)量(Momentum)法6.4 深度學(xué)習(xí)中的優(yōu)化第六章 深度學(xué)習(xí)的形成過(guò)程簡(jiǎn)介：模擬了物理中動(dòng)量的意義，將梯度下降看作“小球下山”，將梯度理解為力，推動(dòng)小球下降，小球的下降過(guò)程中具有速度，因此還具有動(dòng)量。優(yōu)點(diǎn)：主要解決了SGD中的鞍點(diǎn)問(wèn)題。of31235AdaGrad優(yōu)化算法6.4 深度學(xué)習(xí)中的優(yōu)化第六章 深度學(xué)習(xí)的形成過(guò)程優(yōu)點(diǎn)：可以自動(dòng)變更學(xué)習(xí)率。缺點(diǎn)：（1）依賴人工設(shè)置一個(gè)學(xué)習(xí)率；（2）后期梯度會(huì)被累積到比較大，學(xué)習(xí)率比較小，容易造成訓(xùn)練提

10、前結(jié)束。具體更新方式：注： 為小常數(shù)， 為基礎(chǔ)學(xué)習(xí)率， 為梯度； 為歷史梯度的累加值。of31246RMSProp優(yōu)化算法6.4 深度學(xué)習(xí)中的優(yōu)化第六章 深度學(xué)習(xí)的形成過(guò)程簡(jiǎn)介：在AdaGrad基礎(chǔ)上增加了一個(gè)衰減因子 優(yōu)點(diǎn)：解決AdaGrad學(xué)習(xí)率降低太快的問(wèn)題。具體更新方式：注： 為小常數(shù)， 為基礎(chǔ)學(xué)習(xí)率， 為梯度； 為歷史梯度的累加值。of31257Adam優(yōu)化算法6.4 深度學(xué)習(xí)中的優(yōu)化第六章 深度學(xué)習(xí)的形成過(guò)程簡(jiǎn)介：在是 “動(dòng)量算法”和“RMSProp算法”的結(jié)合。具體更新方式：（1）計(jì)算下降速度：（2）計(jì)算當(dāng)前學(xué)習(xí)率 ：（3）參數(shù)更新：參數(shù)剛開始更新時(shí)， 和 的值會(huì)接近0，所以兩者

11、還需除以衰減率的t次方。第六章人工智能前沿6.1深度學(xué)習(xí)的形成過(guò)程6.2深度學(xué)習(xí)基本方法6.3深度學(xué)習(xí)中的正則化6.4深度學(xué)習(xí)中的優(yōu)化of31266.5深度學(xué)習(xí)的軟硬件實(shí)現(xiàn)習(xí)題of31271軟件框架Caffe6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程優(yōu)點(diǎn)缺點(diǎn)Caffe多語(yǔ)言：基于C+/CUDA，也支持命令行、Python和Matlab接口。速度快：支持MKL、OpenBLAS、cuBLAS加速計(jì)算，也支持GPU加速。易上手：功能模塊化，例程多。社區(qū)資源豐富：有各種衍生項(xiàng)目，如Faster R-CNN系列、Caffe For Windows等。主要支持CNN：暫不支持RNN，更適合做

12、圖像處理相關(guān)任務(wù)。不夠靈活：自定義新的層時(shí)比較麻煩。of31282sorFlow6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程優(yōu)點(diǎn)缺點(diǎn)TensorFlow靈活性強(qiáng)：只要計(jì)算能表示為計(jì)算流圖，都可以使用TF。真正的可移植性：支持臺(tái)式機(jī)、服務(wù)器（CPU、GPU均可）、嵌入式設(shè)備。多語(yǔ)言支持：基于Python，也提供C+使用界面、Ipython交互界面?？梢暬ぞ撸篢ensorFlow提供一個(gè)強(qiáng)大的可視化工具，TensorBoard。豐富的封裝庫(kù)支持：TFlearn、TF-Slim、Keras等。學(xué)習(xí)成本高：代碼實(shí)現(xiàn)方式多樣，使用過(guò)于靈活，會(huì)增加使用者學(xué)習(xí)成本。of31293硬件支撐總覽6.

13、5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程CPU+GPU的異構(gòu)運(yùn)算ASIC（Application-Specific Integrated Circuit專用集成電路）硬件支撐FPGA(Field Programmable Gate Array可編程邏輯門陣列）of31303硬件支撐CPU+GPU的異構(gòu)運(yùn)算6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程背景：大部分的深度學(xué)習(xí)框架都支持CPU和GPU模式，也是目前最主流的硬件架構(gòu)。特點(diǎn)：CPU更擅長(zhǎng)少量數(shù)據(jù)的快速處理，GPU更適合密集高并行的計(jì)算。of31313硬件支撐FPGA6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程

14、簡(jiǎn)介：FPGA是一種集成了集成大量的數(shù)字電路基本門電路以及存儲(chǔ)器的芯片。特點(diǎn)：響應(yīng)速度很快，在實(shí)現(xiàn)特定機(jī)器學(xué)習(xí)的硬件架構(gòu)優(yōu)化上比GPU更有優(yōu)勢(shì)。of31323硬件支撐ASIC6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程簡(jiǎn)介：ASIC是一種為專門目的而設(shè)計(jì)的集成電路，其體積小、功耗低、性能優(yōu)，各方面都很優(yōu)秀。局限性：開發(fā)周期長(zhǎng)，風(fēng)險(xiǎn)大，若芯片設(shè)計(jì)出現(xiàn)問(wèn)題，成品就會(huì)全部報(bào)廢。of31334軟硬件結(jié)合方式深度學(xué)習(xí)一體機(jī)總覽6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程簡(jiǎn)介：南京云創(chuàng)大數(shù)據(jù)，專門為深度學(xué)習(xí)研發(fā)而準(zhǔn)備的軟硬一體的平臺(tái)?？蒲袑?shí)驗(yàn)環(huán)境數(shù)據(jù)硬件需求軟件需求提供GPU，滿足高性

15、能計(jì)算。提供了Caffe、TensorFlow，Keras、PyTorch鏡像，用于一鍵搭建深度學(xué)習(xí)環(huán)境。量多。種類多。性能需求各個(gè)用戶環(huán)境互相隔離。環(huán)境可保存為鏡像。of31344深度學(xué)習(xí)一體機(jī)硬件6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程簡(jiǎn)介：可用多個(gè)服務(wù)器搭建一個(gè)的集群，每臺(tái)服務(wù)器上最多可配置8塊GPU，以滿足科研需求。of31354深度學(xué)習(xí)一體機(jī)賬戶管理界面6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程of31364深度學(xué)習(xí)一體機(jī)資源監(jiān)控界面6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程of31374深度學(xué)習(xí)一體機(jī)深度學(xué)習(xí)環(huán)境創(chuàng)建界面6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程of31384深度學(xué)習(xí)一體機(jī)實(shí)例操作界面6.5 深度學(xué)習(xí)軟硬件實(shí)現(xiàn) 第六章 深度學(xué)習(xí)的形成過(guò)程第