多層神經(jīng)網(wǎng)絡(luò)MLP快速入門課件_第1頁
多層神經(jīng)網(wǎng)絡(luò)MLP快速入門課件_第2頁
多層神經(jīng)網(wǎng)絡(luò)MLP快速入門課件_第3頁
多層神經(jīng)網(wǎng)絡(luò)MLP快速入門課件_第4頁
多層神經(jīng)網(wǎng)絡(luò)MLP快速入門課件_第5頁
已閱讀5頁,還剩26頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

完整版課件1神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)交流報(bào)告完整版課件2目錄CONTENTE神經(jīng)元模型1感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)2應(yīng)用一:MLP分類器3應(yīng)用二:MLP的3D可視化4完整版課件3神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)(ann)是一種計(jì)算模型,啟發(fā)自人類大腦處理信息的生物神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)在語音識別、計(jì)算機(jī)視覺和自然語言理領(lǐng)域取得了一系列突破,讓機(jī)器學(xué)習(xí)研究和產(chǎn)業(yè)興奮了起來。神經(jīng)網(wǎng)絡(luò)(neuralnetworks)方面的研究很早就已經(jīng)出現(xiàn),今天“神經(jīng)網(wǎng)絡(luò)”已是一個(gè)相當(dāng)大的、多學(xué)科交叉的學(xué)科領(lǐng)域。神經(jīng)網(wǎng)絡(luò)中最基本的成分是神經(jīng)元(neuron)模型,一般稱作「節(jié)點(diǎn)」(node)或者「單元」(unit)。節(jié)點(diǎn)從其他節(jié)點(diǎn)接收輸入,或者從外部源接收輸入,然后計(jì)算輸出。每個(gè)輸入都輔有「權(quán)重」(weight,即w),權(quán)重取決于其他輸入的相對重要性。節(jié)點(diǎn)將函數(shù)f(定義如下)應(yīng)用到加權(quán)后的輸入總和,如圖1所示:完整版課件4神經(jīng)元模型還有配有權(quán)重b(稱為「偏置(bias)」或者「閾值(threshold)」)的輸入1。完整版課件5神經(jīng)元模型函數(shù)f是非線性的,叫做激活函數(shù)。激活函數(shù)的作用是將非線性引入神經(jīng)元的輸出。因?yàn)榇蠖鄶?shù)現(xiàn)實(shí)世界的數(shù)據(jù)都是非線性的,我們希望神經(jīng)元能夠?qū)W習(xí)非線性的函數(shù)表示,所以這種應(yīng)用至關(guān)重要。每個(gè)(非線性)激活函數(shù)都接收一個(gè)數(shù)字,并進(jìn)行特定、固定的數(shù)學(xué)計(jì)算。在實(shí)踐中,可能會碰到幾種激活函數(shù):Sigmoid(S型激活函數(shù)):輸入一個(gè)實(shí)值,輸出一個(gè)0至1間的值σ(x)=1/(1+exp(?x))tanh(雙曲正切函數(shù)):輸入一個(gè)實(shí)值,輸出一個(gè)[-1,1]間的值tanh(x)=2σ(2x)?1ReLU:ReLU代表修正線性單元。輸出一個(gè)實(shí)值,并設(shè)定0的閾值(函數(shù)會將負(fù)值變?yōu)榱悖ゝ(x)=max(0,x)完整版課件6神經(jīng)元模型將上述情形抽象,就是一直沿用至今的“M-P”神經(jīng)元模型。在這個(gè)模型中,神經(jīng)元收到來自n個(gè)其他神經(jīng)元傳遞來的輸入信號,這些輸入信號通過帶權(quán)重(w)連接進(jìn)行傳遞,神經(jīng)元接收到的輸入值將與神經(jīng)元的閾值進(jìn)行比較,然后通過“激活函數(shù)”得到神經(jīng)元的輸出。完整版課件7感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)是最先發(fā)明也是最簡單的人工神經(jīng)網(wǎng)絡(luò)。它包含了安排在多個(gè)層中的多個(gè)神經(jīng)元(節(jié)點(diǎn))。相鄰層的節(jié)點(diǎn)有連接或者邊(edge)。所有的連接都配有權(quán)重。完整版課件8感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)一個(gè)前饋神經(jīng)網(wǎng)絡(luò)可以包含三種節(jié)點(diǎn):1.輸入節(jié)點(diǎn):輸入節(jié)點(diǎn)從外部世界提供信息,總稱為「輸入層」。在輸入節(jié)點(diǎn)中,不進(jìn)行任何的計(jì)算——僅向隱藏節(jié)點(diǎn)傳遞信息。2.隱藏節(jié)點(diǎn):隱藏節(jié)點(diǎn)和外部世界沒有直接聯(lián)系(由此得名)。這些節(jié)點(diǎn)進(jìn)行計(jì)算,并將信息從輸入節(jié)點(diǎn)傳遞到輸出節(jié)點(diǎn)。隱藏節(jié)點(diǎn)總稱為「隱藏層」。盡管一個(gè)前饋神經(jīng)網(wǎng)絡(luò)只有一個(gè)輸入層和一個(gè)輸出層,但網(wǎng)絡(luò)里可以沒有也可以有多個(gè)隱藏層。3.輸出節(jié)點(diǎn):輸出節(jié)點(diǎn)總稱為「輸出層」,負(fù)責(zé)計(jì)算,并從網(wǎng)絡(luò)向外部世界傳遞信息。在前饋網(wǎng)絡(luò)中,信息只單向移動——從輸入層開始前向移動,然后通過隱藏層(如果有的話),再到輸出層。在網(wǎng)絡(luò)中沒有循環(huán)或回路(前饋神經(jīng)網(wǎng)絡(luò)的這個(gè)屬性和遞歸神經(jīng)網(wǎng)絡(luò)不同,后者的節(jié)點(diǎn)連接構(gòu)成循環(huán))。完整版課件9感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)多層感知器(MultiLayerPerceptron,即MLP)包括至少一個(gè)隱藏層(除了一個(gè)輸入層和一個(gè)輸出層以外)。單層感知器只能學(xué)習(xí)線性函數(shù),而多層感知器也可以學(xué)習(xí)非線性函數(shù)。完整版課件10感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練我們的多層感知器BP算法(backpropagation),反向傳播誤差算法,是幾種訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的方法之一。這是一種監(jiān)督學(xué)習(xí)方法,即通過標(biāo)記的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)(有監(jiān)督者來引導(dǎo)學(xué)習(xí))。由前向傳播和后向傳播構(gòu)成。簡單說來,BackProp就像「從錯(cuò)誤中學(xué)習(xí)」。監(jiān)督者在人工神經(jīng)網(wǎng)絡(luò)犯錯(cuò)誤時(shí)進(jìn)行糾正。學(xué)習(xí)的目的是為分配正確的權(quán)重。通過輸入向量,這些權(quán)重可以決定輸出向量。前向傳播:最初,所有的邊權(quán)重(edgeweight)都是隨機(jī)分配的。對于所有訓(xùn)練數(shù)據(jù)集中的輸入,人工神經(jīng)網(wǎng)絡(luò)都被激活,并且觀察其輸出。后向傳播:這些輸出會和我們已知的、期望的輸出進(jìn)行比較,誤差會「傳播」回上一層。該誤差會被標(biāo)注,權(quán)重也會被相應(yīng)的「調(diào)整」。該流程重復(fù),直到輸出誤差低于制定的標(biāo)準(zhǔn)。完整版課件11感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)上述算法結(jié)束后,我們就得到了一個(gè)學(xué)習(xí)過的人工神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)被認(rèn)為是可以接受「新」輸入的。該人工神經(jīng)網(wǎng)絡(luò)可以說從幾個(gè)樣本(標(biāo)注數(shù)據(jù))和其錯(cuò)誤(誤差傳播)中得到了學(xué)習(xí)。然后我們看一個(gè)案例。完整版課件12感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)我們通常在感知器的輸出層中使用Softmax函數(shù)作為激活函數(shù),以保證輸出的是概率并且相加等于1。Softmax函數(shù)接收一個(gè)隨機(jī)實(shí)值的分?jǐn)?shù)向量,轉(zhuǎn)化成多個(gè)介于0和1之間、并且總和為1的多個(gè)向量值。所以,在這個(gè)例子中:概率(Pass)+概率(Fail)=1完整版課件13感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)完整版課件14感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)如果我們現(xiàn)在再次向網(wǎng)絡(luò)輸入同樣的樣本,網(wǎng)絡(luò)應(yīng)該比之前有更好的表現(xiàn),因?yàn)闉榱俗钚』`差,已經(jīng)調(diào)整了權(quán)重。如圖7所示,和之前的[0.6,-0.4]相比,輸出節(jié)點(diǎn)的誤差已經(jīng)減少到了[0.2,-0.2]。這意味著我們的網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)了如何正確對第一個(gè)訓(xùn)練樣本進(jìn)行分類。完整版課件15應(yīng)用一:MLP分類器完整版課件16應(yīng)用一:MLP分類器完整版課件17應(yīng)用一:MLP分類器完整版課件18應(yīng)用一:MLP分類器完整版課件19應(yīng)用一:MLP分類器完整版課件20應(yīng)用一:MLP分類器完整版課件21應(yīng)用一:MLP分類器完整版課件22應(yīng)用一:MLP分類器完整版課件23應(yīng)用一:MLP分類器完整版課件24應(yīng)用二:MLP的3D可視化AdamHarley創(chuàng)造了一個(gè)多層感知器的3D可視化(http://scs.ryerson.ca/~aharley/vis/fc/),并已經(jīng)開始使用MNIST數(shù)據(jù)庫手寫的數(shù)字進(jìn)行訓(xùn)練。此網(wǎng)絡(luò)從一個(gè)28x28的手寫數(shù)字圖像接受784個(gè)數(shù)字像素值作為輸入(在輸入層有對應(yīng)的784個(gè)節(jié)點(diǎn))。網(wǎng)絡(luò)的第一個(gè)隱藏層有300個(gè)節(jié)點(diǎn),第二個(gè)隱藏層有100個(gè)節(jié)點(diǎn),輸出層有10個(gè)節(jié)點(diǎn)(對應(yīng)10個(gè)數(shù)字)。雖然這個(gè)網(wǎng)絡(luò)跟我們剛才討論的相比大了很多(使用了更多的隱藏層和節(jié)點(diǎn)),所有前向傳播和反向傳播步驟的計(jì)算(對于每個(gè)節(jié)點(diǎn)而言)方式都是一樣的。完整版課件25應(yīng)用二:MLP的3D可視化完整版課件26應(yīng)用二:MLP的3D

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論