《計(jì)算機(jī)視覺(jué)》教學(xué)課件-第08章1-神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)1

人工智能視覺(jué)課程

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)01引言02神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史03神經(jīng)網(wǎng)絡(luò)基本概念04深度學(xué)習(xí)基本概念05使用和訓(xùn)練神經(jīng)網(wǎng)絡(luò)引言2024/11/53圖像分類圖像分割目標(biāo)檢測(cè)我們已經(jīng)學(xué)過(guò)了很多傳統(tǒng)方法2024/11/54SVM自適應(yīng)閾值Otsu分水嶺KNNK-MeansSIFT深度學(xué)習(xí)方法2024/11/55自2012年以來(lái)，深度學(xué)習(xí)在各個(gè)方面的任務(wù)中，效果逐步超越了傳統(tǒng)算法人臉檢測(cè)人臉識(shí)別醫(yī)療圖像識(shí)別核磁共振成像和X射線檢測(cè)癌癥部分任務(wù)的準(zhǔn)確度超過(guò)了人類水平自動(dòng)駕駛成為可能......01引言02神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史03神經(jīng)網(wǎng)絡(luò)基本概念04深度學(xué)習(xí)基本概念05使用和訓(xùn)練神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)基礎(chǔ)2024/11/57神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/58前面我們講了計(jì)算機(jī)視覺(jué)簡(jiǎn)史跟神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史有部分重疊但顯然不完全一樣1943年心里學(xué)家WarrenMacCulloch和數(shù)學(xué)邏輯學(xué)家WalterPitts發(fā)表論文《神經(jīng)活動(dòng)中內(nèi)在思想的邏輯演算》提出了MP（W.S.McCulloch和W.Pitts）模型神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/59MP模型模仿神經(jīng)元的結(jié)構(gòu)和工作原理，構(gòu)建出一個(gè)基于神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型本質(zhì)上是一種“模擬人類大腦”的神經(jīng)元模型沒(méi)有訓(xùn)練的概念作為人工神經(jīng)網(wǎng)絡(luò)的起源，開(kāi)創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的新時(shí)代，也奠定了神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5101949年加拿大著名心理學(xué)家DonaldHebb在《行為的組織》中提出了一種基于無(wú)監(jiān)督學(xué)習(xí)的規(guī)則——Hebb學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/511Hebb學(xué)習(xí)規(guī)則模仿人類認(rèn)知世界的過(guò)程建立一種“網(wǎng)絡(luò)模型”該網(wǎng)絡(luò)模型針對(duì)訓(xùn)練集進(jìn)行大量的訓(xùn)練并提取訓(xùn)練集的統(tǒng)計(jì)特征然后按照樣本的相似程度進(jìn)行分類把相互之間聯(lián)系密切的樣本分為一類Hebb學(xué)習(xí)規(guī)則與“條件反射”機(jī)理一致為以后的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法奠定了基礎(chǔ)，具有重大的歷史意義神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/512巴普洛夫的條件反射實(shí)驗(yàn)2024/11/513Hebb的理論認(rèn)為在同一時(shí)間被激發(fā)的神經(jīng)元間的聯(lián)系會(huì)被強(qiáng)化比如，鈴聲響時(shí)一個(gè)神經(jīng)元被激發(fā)在同一時(shí)間食物的出現(xiàn)會(huì)激發(fā)附近的另一個(gè)神經(jīng)元那么這兩個(gè)神經(jīng)元間的聯(lián)系就會(huì)強(qiáng)化，從而記住這兩個(gè)事物之間存在著聯(lián)系相反，如果兩個(gè)神經(jīng)元總是不能同步激發(fā)，那么它們間的聯(lián)系將會(huì)越來(lái)越弱神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5141957年FrankRosenblatt感知機(jī)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5151969年MarvinMinsky和SeymourPapert共同編寫了一本書籍《Perceptrons》在書中他們證明了單層感知器無(wú)法解決線性不可分問(wèn)題（例如：異或問(wèn)題）并且認(rèn)為即使是多層感知機(jī)網(wǎng)絡(luò)也無(wú)法解決異或問(wèn)題（這一觀點(diǎn)不正確）對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了巨大消極影響直到80年代反向傳播算法的提出，才得以消除1987年《Perceptrons》被修訂新書名叫《Perceptrons-ExpandedEdition》神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5161982年著名物理學(xué)家JohnHopfield發(fā)明了Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/517Hopfield神經(jīng)網(wǎng)絡(luò)是一種結(jié)合存儲(chǔ)系統(tǒng)和二元系統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)可以模擬人類的記憶根據(jù)激活函數(shù)的選取不同，有連續(xù)型和離散型兩種類型，分別用于優(yōu)化計(jì)算和聯(lián)想記憶容易陷入局部最小值的缺陷，該算法并未在當(dāng)時(shí)引起很大的轟動(dòng)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5181986年深度學(xué)習(xí)之父GeoffreyHinton提出了一種適用于多層感知器的反向傳播算法Backpropation算法BP算法神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/519BP算法在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)正向傳播的基礎(chǔ)上，增加了誤差的反向傳播過(guò)程反向傳播過(guò)程不斷地調(diào)整神經(jīng)元之間的權(quán)值和閾值直到輸出的誤差達(dá)到減小到允許的范圍之內(nèi)，或達(dá)到預(yù)先設(shè)定的訓(xùn)練次數(shù)為止BP算法完美的解決了非線性分類問(wèn)題，讓人工神經(jīng)網(wǎng)絡(luò)再次的引起了人們廣泛的關(guān)注神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/520GeoffreyHinton的困境八十年代計(jì)算機(jī)的硬件水平有限當(dāng)神經(jīng)網(wǎng)絡(luò)的規(guī)模增大時(shí)，使用BP算法會(huì)出現(xiàn)“梯度消失”的問(wèn)題九十年代中期，以SVM為代表的其它淺層機(jī)器學(xué)習(xí)算法被提出，并在分類、回歸問(wèn)題上均取得了很好的效果神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5212006年GeoffreyHinton以及他的學(xué)生RuslanSalakhutdinov（蘋果首任AI總監(jiān)）正式提出了深度學(xué)習(xí)的概念他們?cè)凇禨cience》發(fā)表的一篇文章中詳細(xì)的給出了“梯度消失”問(wèn)題的解決方案通過(guò)無(wú)監(jiān)督學(xué)習(xí)逐層訓(xùn)練，再使用有監(jiān)督的反向傳播進(jìn)行調(diào)優(yōu)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5222009年ImageNet圖像分類、目標(biāo)檢測(cè)1400萬(wàn)+幅圖像21841個(gè)類別比賽（子集，100萬(wàn)+圖像）神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5232012年ImageNet比賽SuperVision,UniversityofTorontoGeoffreyHinton領(lǐng)導(dǎo)AlexNet神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/524神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/525ImageNet比賽里程碑2014年UniversityofMontrealGAN網(wǎng)絡(luò)生成器判別器神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5262014年Facebook人臉識(shí)別準(zhǔn)確率：97.25%達(dá)到人類水平神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/5272016-2017年Google的AlphaGo4:1的比分戰(zhàn)勝了國(guó)際頂尖圍棋高手李世石隨后戰(zhàn)勝了一眾高手AlphaGo升級(jí)版AlphaGoZero“從零開(kāi)始”、“無(wú)師自通”的學(xué)習(xí)模式以100:0的比分輕而易舉打敗了之前的AlphaGo神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史2024/11/52801引言02神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史03神經(jīng)網(wǎng)絡(luò)基本概念04深度學(xué)習(xí)基本概念05使用和訓(xùn)練神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)之前2024/11/530在講深度學(xué)習(xí)之前神經(jīng)網(wǎng)絡(luò)基本概念–生物神經(jīng)網(wǎng)絡(luò)2024/11/531生物神經(jīng)網(wǎng)絡(luò)一般指生物的大腦神經(jīng)元、細(xì)胞、觸點(diǎn)等組成的網(wǎng)絡(luò)用于產(chǎn)生生物的意識(shí)幫助生物進(jìn)行思考和行動(dòng)神經(jīng)網(wǎng)絡(luò)基本概念–人工神經(jīng)網(wǎng)絡(luò)2024/11/532人工神經(jīng)網(wǎng)絡(luò)ArtificialNeuralNetworks（ANNs）神經(jīng)網(wǎng)絡(luò)（NNs）連接模型（ConnectionModel）類神經(jīng)網(wǎng)絡(luò)一般都是一回事神經(jīng)網(wǎng)絡(luò)基本概念–人工神經(jīng)網(wǎng)絡(luò)2024/11/533人工神經(jīng)網(wǎng)絡(luò)是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征（類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)），進(jìn)行信息處理的數(shù)學(xué)模型這種網(wǎng)絡(luò)通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的層2024/11/534層輸入層隱藏層輸出層每層由并行的節(jié)點(diǎn)組成通常同一層不具有連接兩個(gè)相鄰層完全連接(每一層的每一個(gè)神經(jīng)元到另一層的每個(gè)神經(jīng)元)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的其他構(gòu)件2024/11/535節(jié)點(diǎn)類似于生物神經(jīng)網(wǎng)絡(luò)神經(jīng)元的概念位于層中神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的其他構(gòu)件2024/11/536權(quán)重表示每個(gè)神經(jīng)網(wǎng)絡(luò)層與其下方的層之間的關(guān)系下方的層可能是另一個(gè)神經(jīng)網(wǎng)絡(luò)層，也可能是其他類型的層神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的其他構(gòu)件2024/11/537偏差每個(gè)節(jié)點(diǎn)一個(gè)偏差神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的其他構(gòu)件2024/11/538激活函數(shù)對(duì)層中每個(gè)節(jié)點(diǎn)的輸出進(jìn)行轉(zhuǎn)換不同的層可能擁有不同的激活函數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–線性模型2024/11/539藍(lán)色圓圈輸入特征綠色圓圈各個(gè)輸入的加權(quán)和神經(jīng)網(wǎng)絡(luò)基本概念–線性模型2024/11/540藍(lán)色圓圈輸入特征添加了一個(gè)表示中間值的“隱藏層”隱藏層中的每個(gè)黃色節(jié)點(diǎn)均是藍(lán)色輸入節(jié)點(diǎn)值的加權(quán)和綠色圓圈黃色節(jié)點(diǎn)的加權(quán)和仍然是一個(gè)線性模型神經(jīng)網(wǎng)絡(luò)基本概念–線性模型2024/11/541藍(lán)色圓圈輸入特征添加了兩個(gè)表示中間值的“隱藏層”將輸出表示為輸入的函數(shù)并進(jìn)行簡(jiǎn)化時(shí)只是獲得輸入的另一個(gè)加權(quán)和仍然是一個(gè)線性模型無(wú)法解決非線性問(wèn)題神經(jīng)網(wǎng)絡(luò)基本概念–非線性問(wèn)題2024/11/542“非線性”意味著無(wú)法使用形式為“b+w1x1+w2x2”的模型準(zhǔn)確預(yù)測(cè)標(biāo)簽“決策面”不是直線一種解決方案：特征組合神經(jīng)網(wǎng)絡(luò)基本概念–非線性模型2024/11/543對(duì)非線性問(wèn)題進(jìn)行建?？梢灾苯右敕蔷€性函數(shù)用非線性函數(shù)將每個(gè)隱藏層節(jié)點(diǎn)像管道一樣連接起來(lái)在隱藏層1中的各個(gè)節(jié)點(diǎn)的值傳遞到下一層進(jìn)行加權(quán)求和之前，采用一個(gè)非線性函數(shù)對(duì)其進(jìn)行了轉(zhuǎn)換這種非線性函數(shù)稱為激活函數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/544神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/545所有數(shù)學(xué)函數(shù)均可作為激活函數(shù)假設(shè)σ表示我們的激活函數(shù)ReLU、S型函數(shù)等等網(wǎng)絡(luò)中節(jié)點(diǎn)的值為：σ(w*x+b)神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/546Sigmoid函數(shù)適用于網(wǎng)絡(luò)可能輸出多個(gè)正確答案的分類問(wèn)題多標(biāo)簽分類神經(jīng)網(wǎng)絡(luò)基本概念–Sigmoid函數(shù)2024/11/547Sigmoid函數(shù)是一個(gè)閾值函數(shù)不管x取什么值，對(duì)應(yīng)的Sigmoid函數(shù)值總是0<sigmoid(x)<1Sigmoid函數(shù)嚴(yán)格單調(diào)遞增而且其反函數(shù)也單調(diào)遞增Sigmoid函數(shù)連續(xù)Sigmoid函數(shù)光滑Sigmoid函數(shù)關(guān)于點(diǎn)(0,0.5)對(duì)稱Sigmoid函數(shù)的導(dǎo)數(shù)是以它本身為因變量的函數(shù)f(x)'=F(f(x))神經(jīng)網(wǎng)絡(luò)基本概念–Sigmoid函數(shù)2024/11/548對(duì)于二分類問(wèn)題y=b*1+θ1x1+θ2x2+...+θnxn

=θ0x0+θ1x1+θ2x2+...+θnxn

=θTxy∈{0,1}1表示正例0表示負(fù)例在線性函數(shù)θTx輸出預(yù)測(cè)實(shí)際值的基礎(chǔ)上，尋找一個(gè)假設(shè)函數(shù)hθ(x)=g(θTx)，將實(shí)際值映射到0，1之間神經(jīng)網(wǎng)絡(luò)基本概念–Sigmoid函數(shù)2024/11/549使用Sigmoid函數(shù)，則可以使用0.5作為決策邊界Sigmoid函數(shù)關(guān)于點(diǎn)(0,0.5)對(duì)稱hθ(x)=g(θTx)如果hθ(x)>=0.5，則預(yù)測(cè)y=1，即y屬于正例如果hθ(x)<0.5，則預(yù)測(cè)y=0，即y屬于負(fù)例神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/550Softmax函數(shù)適用于網(wǎng)絡(luò)只輸出一個(gè)正確答案的分類問(wèn)題多類別分類神經(jīng)網(wǎng)絡(luò)基本概念–梯度爆炸2024/11/551如果網(wǎng)絡(luò)中的權(quán)重過(guò)大，則較低層的梯度會(huì)涉及許多大項(xiàng)的乘積在這種情況下，梯度就會(huì)爆炸梯度過(guò)大導(dǎo)致難以收斂批標(biāo)準(zhǔn)化可以降低學(xué)習(xí)速率，因而有助于防止梯度爆炸基于反向傳播2024/11/552總結(jié)：從深層網(wǎng)絡(luò)角度來(lái)講，不同的層學(xué)習(xí)的速度差異很大，表現(xiàn)為網(wǎng)絡(luò)中靠近輸出的層學(xué)習(xí)的情況很好，靠近輸入的層學(xué)習(xí)的很慢，有時(shí)甚至訓(xùn)練了很久，前幾層的權(quán)值和剛開(kāi)始隨機(jī)初始化的值差不多。因此，梯度消失、爆炸，其根本原因在于反向傳播訓(xùn)練法則，本質(zhì)在于方法問(wèn)題，另外對(duì)于人來(lái)說(shuō)，在大腦的思考機(jī)制里是沒(méi)有反向傳播的。Hinton提出capsule的原因就是為了徹底拋棄目前基于反向傳播的深度學(xué)習(xí)算法，如果真能大范圍普及，那真是一個(gè)革命。神經(jīng)網(wǎng)絡(luò)基本概念–梯度消失2024/11/553深度學(xué)習(xí)中，較低層（更接近輸入）的梯度可能會(huì)變得非常小在深度網(wǎng)絡(luò)中，計(jì)算這些梯度時(shí)，可能涉及許多小項(xiàng)的乘積當(dāng)較低層的梯度逐漸消失到0時(shí)，這些層的訓(xùn)練速度會(huì)非常緩慢，甚至不再訓(xùn)練如果我們的網(wǎng)絡(luò)太過(guò)深入，信噪比隨著越來(lái)越深入模型而變差，那么學(xué)習(xí)速度可能會(huì)變得非常慢這種情況下，ReLU函數(shù)可能會(huì)有用一般來(lái)講，需要考慮盡量將模型的深度限制為最小的有效深度神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/554線性整流函數(shù)RectifiedLinearUnit（ReLU）max(0,x)計(jì)算速度快收斂速度快神經(jīng)網(wǎng)絡(luò)基本概念–ReLU單元消失2024/11/555一旦ReLU單元的加權(quán)和低于0它會(huì)輸出對(duì)網(wǎng)絡(luò)輸出沒(méi)有任何貢獻(xiàn)的0激活ReLU單元就可能會(huì)停滯而梯度在反向傳播算法期間將無(wú)法再?gòu)闹辛鬟^(guò)由于梯度的來(lái)源被切斷，ReLU的輸入可能無(wú)法作出足夠的改變來(lái)使加權(quán)和恢復(fù)到0以上降低學(xué)習(xí)速率有助于防止ReLU單元消失另外一個(gè)辦法就是使用LeakyReLU神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/556LeakyRectifiedLinearUnit（LeakyReLU）f(x)=max(0.01x,x)解決ReLU單元停滯的問(wèn)題神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/557雙曲正切函數(shù)HyperbolicTangent（Tanh）輸出值向下移動(dòng)，外觀上與sigmoid函數(shù)相似神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/558反向傳播算法是最常見(jiàn)的一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法借助這種算法，梯度下降法在多層神經(jīng)網(wǎng)絡(luò)中將成為可行方法反向傳播算法的前提事物必須是可微的，這樣我們才能夠進(jìn)行學(xué)習(xí)我們需要可微函數(shù)，從而能夠使用神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)各種函數(shù)中存在一兩個(gè)小的間斷點(diǎn)沒(méi)關(guān)系知識(shí)問(wèn)答2024/11/559右圖中的神經(jīng)網(wǎng)絡(luò)有幾個(gè)輸入節(jié)點(diǎn)、輸出節(jié)點(diǎn)、隱藏層？神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/560假設(shè)有如圖所示的神經(jīng)網(wǎng)絡(luò)一個(gè)輸入節(jié)點(diǎn)一個(gè)輸出節(jié)點(diǎn)兩個(gè)隱藏層（每個(gè)隱藏層分別有兩個(gè)節(jié)點(diǎn)）相鄰的層中，節(jié)點(diǎn)通過(guò)權(quán)重wij相關(guān)聯(lián)這些權(quán)重是神經(jīng)網(wǎng)絡(luò)的參數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/561每個(gè)節(jié)點(diǎn)都有一個(gè)總輸入x一個(gè)激活函數(shù)f(x)一個(gè)輸出y=f(x)f(x)必須是非線性函數(shù)，否則神經(jīng)網(wǎng)絡(luò)就只能學(xué)習(xí)線性模型比如Sigmoid函數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/562目標(biāo)根據(jù)數(shù)據(jù)自動(dòng)學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重以便讓所有輸入xinput的預(yù)測(cè)輸出youtput接近目標(biāo)ytarget為了衡量與該目標(biāo)的差距，使用一個(gè)誤差函數(shù)E也叫損失函數(shù)例如E(youtput,ytarget)=1/2(youtput?ytarget)2神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/563首先進(jìn)行正向傳播取一個(gè)輸入樣本(xinput,ytarget)并更新網(wǎng)絡(luò)的輸入層為保持一致性將輸入視為與其他任何節(jié)點(diǎn)相同但不具有激活函數(shù)以便讓其輸出與輸入相等即y1=xinput神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/564更新第一個(gè)隱藏層取上一層節(jié)點(diǎn)的輸出y使用權(quán)重來(lái)計(jì)算下一層節(jié)點(diǎn)的輸入x神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/565更新第一個(gè)隱藏層中節(jié)點(diǎn)的輸出使用激活函數(shù)f(x)y=f(x)使用上述兩個(gè)公式可以傳播到網(wǎng)絡(luò)的其余內(nèi)容并獲得網(wǎng)絡(luò)的最終輸出神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/566反向傳播算法會(huì)對(duì)特定樣本的預(yù)測(cè)輸出和理想輸出比較然后確定網(wǎng)絡(luò)每個(gè)權(quán)重的更新幅度基于梯度下降的思想需要計(jì)算誤差相對(duì)于每個(gè)權(quán)重（dE/dwij）的變化情況注意回顧導(dǎo)數(shù)、偏導(dǎo)數(shù)、梯度的知識(shí)點(diǎn)鏈?zhǔn)椒▌t（自行查資料）神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/567更新權(quán)重的方法α是一個(gè)常數(shù)，也就是學(xué)習(xí)速率（學(xué)習(xí)率）α是我們調(diào)參的熱門選項(xiàng)如果權(quán)重提高后誤差降低了（dE/dwij<0），則提高權(quán)重如果權(quán)重提高后誤差提高了（dE/dwij>0），則降低權(quán)重神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/568為了計(jì)算dE/dwij需要計(jì)算節(jié)點(diǎn)的總輸入，dE/dx需要計(jì)算節(jié)點(diǎn)的輸出，dE/dy即誤差隨上述兩項(xiàng)的變化情況神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/569終于可以開(kāi)始反向傳播了反向傳播的是誤差導(dǎo)數(shù)輸入樣本的預(yù)測(cè)輸出已知（已經(jīng)正向傳播過(guò)了）計(jì)算誤差隨該預(yù)測(cè)輸出的變化情況假設(shè)誤差函數(shù)為E=1/2(youtput-ytarget)2可以得到神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/570根據(jù)鏈?zhǔn)椒▌t計(jì)算dE/dxdE/dy剛才已求出神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/571得到相對(duì)于某節(jié)點(diǎn)總輸入的誤差導(dǎo)數(shù)之后可以計(jì)算相對(duì)于進(jìn)入該節(jié)點(diǎn)權(quán)重的誤差導(dǎo)數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/572根據(jù)鏈?zhǔn)椒▌t計(jì)算上一層的dE/dy形成了一個(gè)完整循環(huán)神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/573重復(fù)上述步驟直到完成整個(gè)網(wǎng)絡(luò)所有節(jié)點(diǎn)的計(jì)算神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的黑盒特性2024/11/574神經(jīng)網(wǎng)絡(luò)像是黑盒我們可以訓(xùn)練它們，得到結(jié)果，增強(qiáng)它們但實(shí)際的決定路徑大多數(shù)我們都是不可見(jiàn)的結(jié)束了嗎?2024/11/575神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的種類2024/11/576神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的種類2024/11/577神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/578感知機(jī)Perceptron最簡(jiǎn)單和最古老的神經(jīng)元模型接收一些輸入，把它們加起來(lái)，通過(guò)激活函數(shù)傳遞到輸出層神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/579前饋神經(jīng)網(wǎng)絡(luò)Feedforwardneuralnetworks，F(xiàn)F或FFNN起源于50年代所有節(jié)點(diǎn)都完全連接激活從輸入層流向輸出，無(wú)回環(huán)輸入和輸出之間有一層隱藏層往往使用反向傳播方法進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/580RBF神經(jīng)網(wǎng)絡(luò)激活函數(shù)是徑向基函數(shù)的FF前饋神經(jīng)網(wǎng)絡(luò)邏輯函數(shù)將某個(gè)任意值映射到[0,...1]范圍內(nèi)來(lái)，回答“是或否”問(wèn)題邏輯函數(shù)適用于分類決策系統(tǒng)，不適用于連續(xù)變量徑向基函數(shù)能顯示“我們距離目標(biāo)有多遠(yuǎn)”徑向基函數(shù)適用于函數(shù)逼近和機(jī)器控制（例如作為PID控制器的替代）神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/581深度前饋神經(jīng)網(wǎng)絡(luò)不止一個(gè)隱藏層在訓(xùn)練傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)時(shí)，我們只向上一層傳遞了少量的誤差信息堆疊更多的層次導(dǎo)致訓(xùn)練時(shí)間的指數(shù)增長(zhǎng)，使得深度前饋神經(jīng)網(wǎng)絡(luò)非常不實(shí)用00年代初開(kāi)發(fā)了一系列有效的訓(xùn)練深度前饋神經(jīng)網(wǎng)絡(luò)的方法現(xiàn)在它們構(gòu)成了現(xiàn)代機(jī)器學(xué)習(xí)系統(tǒng)的核心神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/582全連接層上層的任意一個(gè)節(jié)點(diǎn)，都和當(dāng)前層的所有節(jié)點(diǎn)連接全連接網(wǎng)絡(luò)所有層都是全連接層的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/583RNN遞歸神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)元這種類型的第一個(gè)網(wǎng)絡(luò)被稱為約旦網(wǎng)絡(luò)（JordanNetwork）每個(gè)隱含神經(jīng)元會(huì)收到它自己的在固定延遲（一次或多次迭代）后的輸出與普通的模糊神經(jīng)網(wǎng)絡(luò)非常相似區(qū)別在于如傳遞狀態(tài)到輸入節(jié)點(diǎn)、可變延遲等神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/584RNN遞歸神經(jīng)網(wǎng)絡(luò)用在上下文很重要的時(shí)候即過(guò)去的迭代結(jié)果和樣本產(chǎn)生的決策會(huì)對(duì)當(dāng)前產(chǎn)生影響最常見(jiàn)的上下文的例子是文本一個(gè)單詞只能在前面的單詞或句子的上下文中進(jìn)行分析神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/585長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)引入了一個(gè)存儲(chǔ)單元這個(gè)特殊的單元當(dāng)數(shù)據(jù)有時(shí)間間隔（或滯后）時(shí)可以處理數(shù)據(jù)遞歸神經(jīng)網(wǎng)絡(luò)可以通過(guò)“記住”前十個(gè)詞來(lái)處理文本LSTM可以通過(guò)“記住”許多幀之前發(fā)生的事情處理視頻幀廣泛用于寫作和語(yǔ)音識(shí)別神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/586長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)存儲(chǔ)單元實(shí)際上由一些元素組成，稱為門它們是遞歸性的，并控制信息如何被記住和遺忘神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/587長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)下圖中，“x”是門，擁有自己的權(quán)重，有時(shí)也有激活函數(shù)在每個(gè)樣本上，門決定是否傳遞數(shù)據(jù)，擦除記憶等輸入門決定上一個(gè)樣本有多少信息將保存在內(nèi)存中輸出門調(diào)節(jié)傳輸?shù)较乱粚拥臄?shù)據(jù)量遺忘門控制存儲(chǔ)記憶的損失率神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/588門控循環(huán)單元LSTM的一種變體沒(méi)有輸入門、輸出門、遺忘門只有更新門和復(fù)位門神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/589門控循環(huán)單元更新門確定從上一個(gè)狀態(tài)保留多少信息以及有多少來(lái)自上一層的信息得以保留復(fù)位門的功能很像LSTM的遺忘門，但位置略有不同復(fù)位門總是發(fā)出全部狀態(tài)在大多數(shù)情況下，它們與LSTM的功能非常相似最大的區(qū)別在于GRU稍快，運(yùn)行容易(但表達(dá)能力更差)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/590自動(dòng)編碼器無(wú)監(jiān)督學(xué)習(xí)反向傳播目標(biāo)值等于輸入值用于分類、聚類和特征壓縮神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/591自動(dòng)編碼器假設(shè)某個(gè)自編碼神經(jīng)網(wǎng)絡(luò)的輸入x是一張10×10圖像（共100個(gè)像素）的像素灰度值其隱藏層中有50個(gè)隱藏神經(jīng)元輸出也是100維迫使自編碼神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)輸入數(shù)據(jù)的壓縮表示（只有50個(gè)隱藏神經(jīng)元）它必須從50維的隱藏神經(jīng)元激活度向量中重構(gòu)出100維的像素灰度值輸入x神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/592變分自編碼器與一般自編碼器相比，它壓縮的是概率，而不是特征一般自編碼器只能回答當(dāng)“我們?nèi)绾螝w納數(shù)據(jù)？變分自編碼器回答了“兩件事情之間的聯(lián)系有多強(qiáng)大？我們應(yīng)該在兩件事情之間分配誤差還是它們完全獨(dú)立的？”的問(wèn)題神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/593降噪自動(dòng)編碼器自動(dòng)編碼器有時(shí)找不到最魯棒的特征，而只是適應(yīng)輸入數(shù)據(jù)（過(guò)擬合）DAE在輸入單元上增加了一些噪聲通過(guò)隨機(jī)位來(lái)改變數(shù)據(jù)，隨機(jī)切換輸入中的位等一個(gè)強(qiáng)制DAE從一個(gè)有點(diǎn)嘈雜的輸入重構(gòu)輸出，使其更加通用，強(qiáng)制選擇更常見(jiàn)的特征神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/594稀疏自編碼器有時(shí)候可以抽離出數(shù)據(jù)中一些隱藏分組樣式的自動(dòng)編碼的形式結(jié)構(gòu)和AE一樣隱藏單元的數(shù)量大于輸入或輸出單元的數(shù)量神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/595馬爾可夫鏈每一個(gè)端點(diǎn)都存在一種可能性搭建像“在單詞hello之后有0.0053％的概率會(huì)出現(xiàn)dear，有0.03551%的概率出現(xiàn)you”這樣的文本結(jié)構(gòu)可以被用作基于概率的分類（像貝葉斯過(guò)濾）、聚類（對(duì)某些類別而言）、有限狀態(tài)機(jī)不是典型的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/596霍普菲爾得網(wǎng)絡(luò)離散型、連續(xù)型對(duì)一套有限的樣本進(jìn)行訓(xùn)練它們用相同的樣本對(duì)已知樣本作出反應(yīng)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/597霍普菲爾得網(wǎng)絡(luò)在訓(xùn)練前，每一個(gè)樣本都作為輸入樣本在訓(xùn)練中作為隱藏樣本使用過(guò)之后被用作輸出樣本在HN試著重構(gòu)受訓(xùn)樣本的時(shí)候，他們可以用于給輸入值降噪和修復(fù)輸入如果給出一半圖片或數(shù)列用來(lái)學(xué)習(xí)，它們可以反饋全部樣本神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/598波爾滋曼機(jī)和HN類似有些單元被標(biāo)記為輸入同時(shí)也是隱藏單元在隱藏單元更新其狀態(tài)時(shí)，輸入單元就變成了輸出單元在訓(xùn)練時(shí)，BM和HN一個(gè)一個(gè)的更新單元，而非并行神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/599波爾滋曼機(jī)這是第一個(gè)成功保留模擬退火方法的網(wǎng)絡(luò)拓?fù)涠鄬盈B的波爾滋曼機(jī)可以用于深度信念網(wǎng)絡(luò)深度信念網(wǎng)絡(luò)可以用作特征檢測(cè)和抽取神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5100限制型波爾滋曼機(jī)在結(jié)構(gòu)上，限制型波爾滋曼機(jī)和BM很相似受限RBM被允許像前饋神經(jīng)網(wǎng)絡(luò)一樣用反向傳播來(lái)訓(xùn)練唯一的不同的是在反向傳播經(jīng)過(guò)數(shù)據(jù)之前RBM會(huì)經(jīng)過(guò)一次輸入層神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5101深度信念網(wǎng)絡(luò)實(shí)際上是許多波爾滋曼機(jī)（被變分自動(dòng)編碼器包圍）他們能被連在一起（在一個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練另一個(gè)的時(shí)候）并且可以用已經(jīng)學(xué)習(xí)過(guò)的樣式來(lái)生成數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5102深度卷積網(wǎng)絡(luò)具有卷積單元（或者池化層）和內(nèi)核卷積核用來(lái)處理輸入的數(shù)據(jù)池化層用來(lái)簡(jiǎn)化它們，來(lái)減少不必要的特征池化層大多數(shù)情況是用非線性方程，比如max神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5103深度卷積網(wǎng)絡(luò)它們?cè)趫D片的一小部分上運(yùn)行輸入窗口一個(gè)像素一個(gè)像素的沿著圖像滑動(dòng)然后數(shù)據(jù)流向卷積層卷積層形成一個(gè)漏斗（壓縮被識(shí)別的特征）深度前饋神經(jīng)網(wǎng)絡(luò)（全連接層）通常被接在卷積層的末端方便未來(lái)的數(shù)據(jù)處理神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5104深度卷積網(wǎng)絡(luò)DCN通常被用來(lái)做圖像識(shí)別從圖像識(shí)別來(lái)講，第一層識(shí)別梯度，第二層識(shí)別線，第三層識(shí)別形狀以此類推，直到特定的物體那一級(jí)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5105包含卷積層的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5106卷積層每一層的每張?zhí)卣鲌D都通過(guò)上一層的特征圖進(jìn)行卷積操作得到圖像卷積神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5107卷積層三維卷積第一個(gè)三維卷積核神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5108池化（pooling）壓縮特征圖的長(zhǎng)和寬，以減少網(wǎng)絡(luò)中參數(shù)的數(shù)量和計(jì)算量最大池化（max

pooling），平均池化（average

pooling）最大池化神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5109去卷積網(wǎng)絡(luò)將卷積網(wǎng)絡(luò)顛倒過(guò)來(lái)DN能在獲取貓的圖片之后生成向量例如（狗：0，蜥蜴：0，馬：0，貓：1）DCN能在得到這個(gè)向量之后，能畫出一只貓神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5110深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)是一個(gè)自動(dòng)編碼器DCN和DN并不是作為兩個(gè)分開(kāi)的網(wǎng)絡(luò)，而是承載網(wǎng)絡(luò)輸入和輸出的間隔區(qū)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5111深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)可以被用作圖像處理，并且可以處理他們以前沒(méi)有被訓(xùn)練過(guò)的圖像由于其抽象化的水平很高，可以用于將某個(gè)事物從一張圖片中移除、重畫，或者將一匹馬換成一個(gè)斑馬神經(jīng)網(wǎng)