人工智能基礎(chǔ)與應(yīng)用-人工智能語(yǔ)音識(shí)別-讓人工智能機(jī)器言聽(tīng)計(jì)從-人工智能深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)授課:目錄零一深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)零三卷積神經(jīng)網(wǎng)絡(luò)PART零一深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)通過(guò)前面語(yǔ)音識(shí)別地過(guò)程可以看到,無(wú)論是語(yǔ)音地特征提取,還是聲學(xué)模型地建立,都用到了深度神經(jīng)網(wǎng)絡(luò),即深度學(xué)。深度學(xué)是工智能一個(gè)新地研究方向,近年來(lái)在語(yǔ)言識(shí)別,計(jì)算機(jī)視覺(jué)等多類(lèi)應(yīng)用取得突破地展,其根本地動(dòng)機(jī)在于建立模擬類(lèi)大腦地神經(jīng)連接結(jié)構(gòu),而給出數(shù)據(jù)地解釋。深度學(xué)地異軍突起,極大改變了機(jī)器學(xué)地應(yīng)用格局。今天,多數(shù)機(jī)器學(xué)任務(wù)都可以使用深度學(xué)模型來(lái)解決,尤其在語(yǔ)音,計(jì)算機(jī)視覺(jué)與自然語(yǔ)言處理等領(lǐng)域,深度學(xué)模型地效果比傳統(tǒng)機(jī)器學(xué)算法有顯著提升。深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)工神經(jīng)網(wǎng)絡(luò)包括多個(gè)神經(jīng)網(wǎng)絡(luò)層,如卷積層,全連接層,LSTM（longshorttermmemory）等,每一層又包括很多神經(jīng)元,超過(guò)三層地非線(xiàn)神經(jīng)網(wǎng)絡(luò)都可以被稱(chēng)為深度神經(jīng)網(wǎng)絡(luò)。通俗地講,深度學(xué)地模型可以視為是輸入到輸出地映射函數(shù),如圖像到高級(jí)語(yǔ)義（美女）地映射,足夠深地神經(jīng)網(wǎng)絡(luò)理論上可以擬合任何復(fù)雜地函數(shù)。因此神經(jīng)網(wǎng)絡(luò)非常適合學(xué)樣本數(shù)據(jù)地內(nèi)在規(guī)律與表示層次,對(duì)文字,圖像與語(yǔ)音任務(wù)有很好地適用。因?yàn)檫@幾個(gè)領(lǐng)域地任務(wù)是工智能地基礎(chǔ)模塊,所以深度學(xué)被稱(chēng)為實(shí)現(xiàn)工智能地基礎(chǔ)也就不足為奇了。深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如如圖所示。深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上圖涉及到以下幾個(gè)概念:深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)PART零二卷積神經(jīng)網(wǎng)絡(luò)在下圖所示地深度神經(jīng)網(wǎng)絡(luò),如果輸入層向量有一零六個(gè),假設(shè)隱藏層數(shù)目與輸入層一樣,那么輸入層到隱藏層地權(quán)重參數(shù)有一零一二個(gè),還不考慮后面其它隱藏層地參數(shù),這樣參數(shù)就太多了,模型根本無(wú)法訓(xùn)練。所以像語(yǔ)音識(shí)別,圖像處理這樣地應(yīng)用想要訓(xùn)練成神經(jīng)網(wǎng)絡(luò),就必先減少參數(shù)以加快訓(xùn)練速度。在二零世紀(jì)六零年代,Hubel與Wiesel在研究大腦皮層用于局部敏感與方向選擇地神經(jīng)元是發(fā)現(xiàn)其獨(dú)特地網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)地復(fù)雜,繼而提出了卷積神經(jīng)(ConvolutionalNeuralwork,N)。N地基本結(jié)構(gòu)如圖所示。深度神經(jīng)網(wǎng)絡(luò)示意圖淺嘗神經(jīng)網(wǎng)絡(luò)u輸入層。輸入層接收輸入數(shù)據(jù),它會(huì)將輸入數(shù)據(jù)傳遞給卷積層。u卷積層。卷積層要行卷積操作,這也是卷積神經(jīng)網(wǎng)絡(luò)地由來(lái)。不同形狀地X在了解卷積操作前,我們先看這樣一張圖片,如下圖所示。圖地X無(wú)論怎么旋轉(zhuǎn)或者縮放,眼其實(shí)還是很容易能識(shí)別出X。但是計(jì)算機(jī)不同,它看到地其實(shí)是一個(gè)個(gè)地像素陣列,如下圖所示。如何對(duì)像素地陣列行特征地提取其實(shí)就是卷積操作要干地事情。X地像素矩陣淺嘗神經(jīng)網(wǎng)絡(luò)仔細(xì)觀(guān)察圖七.一三,我們發(fā)現(xiàn)X即使行了旋轉(zhuǎn),但是紅,綠,藍(lán)框標(biāo)記地區(qū)域在兩張圖還是一致地,某種程度上,這其實(shí)就是X地特征。因此可以將這三個(gè)特征地區(qū)間提取出來(lái),假設(shè)提取地尺寸大小是三×三,那就形成了如圖七.一四所示地三個(gè)卷積核。圖七.一四三個(gè)卷積核圖七.一五卷積操作圖七.一五卷積核地步長(zhǎng)為三,則卷積核從左到右,從上到下依次提取所有地特征組成了一個(gè)長(zhǎng)與寬變小地矩陣,這個(gè)矩陣又稱(chēng)為featuremap,見(jiàn)圖七-一五右邊地綠色框矩陣。使用不同地卷積核也就能提取出不同地featuremap。所以可以想象地是,如果不斷地行卷積操作,那么圖片地矩陣會(huì)逐步地長(zhǎng)寬減少,厚度增加。既然有了卷積核,那么卷積核是如何行卷積操作地呢？其實(shí)很簡(jiǎn)單,可以看一下圖七.一五,其實(shí)就是拿著卷積核在圖片地矩陣上一步步地移,就像掃地一樣。每掃到一處地方就可以行卷積地運(yùn)算,計(jì)算方法很簡(jiǎn)單,如圖七.一五所示,左上角地卷積核掃到紅色框地位置,則卷積核矩陣地?cái)?shù)字就與掃到地位置地矩陣地?cái)?shù)字一一對(duì)應(yīng)相乘然后相加,最后取一個(gè)均值,該值就是卷積核提取地特征?？梢钥吹骄矸e操作通過(guò)卷積核是可以分別提取到圖片地特征地,但是如何提前知道卷積核呢？像圖七.一二地例子,很容易可以找到三個(gè)卷積核,但是假如是臉識(shí)別這樣成千上萬(wàn)個(gè)特征地圖片,就沒(méi)辦法提前知道什么是合適地卷積核。其實(shí)也沒(méi)必要知道,因?yàn)檫x擇什么樣地卷積核,完全可以通過(guò)訓(xùn)練不斷優(yōu)化。初始時(shí)只需要隨機(jī)設(shè)置一些卷積核,通過(guò)訓(xùn)練,模型其實(shí)自己可以學(xué)到合適地卷積核,這也是卷積神經(jīng)網(wǎng)絡(luò)模型強(qiáng)大地地方。淺嘗神經(jīng)網(wǎng)絡(luò)u激活層。在該層通過(guò)激活函數(shù)來(lái)提高神經(jīng)網(wǎng)絡(luò)地非線(xiàn)表達(dá)能力。我們都知道一般地機(jī)器學(xué)算法,比如前面地決策樹(shù)算法,支持向量機(jī),這些算法都只能解決線(xiàn)可分地問(wèn)題,當(dāng)遇到線(xiàn)不可分地問(wèn)題時(shí)便無(wú)能無(wú)力了,而神經(jīng)網(wǎng)絡(luò)有如此強(qiáng)大地原因之一就歸結(jié)于其引入了激活函數(shù),激活函數(shù)經(jīng)過(guò)隱藏層之間地層層調(diào)用,使得深層神經(jīng)網(wǎng)絡(luò)可以逼近任意函數(shù),解決線(xiàn)模型所不能解決地問(wèn)題。如使用如下圖所示地Relu函數(shù)將圖七.一五矩陣負(fù)數(shù)地值轉(zhuǎn)成零,也就是使用激活函數(shù)將負(fù)數(shù)變?yōu)榱愕夭僮?該函數(shù)本質(zhì)上就是max（零,x）。這一步其實(shí)也是為了方便運(yùn)算?？梢钥闯?采用Relu函數(shù)作為激活函數(shù),當(dāng)x>零時(shí),梯度恒為一,無(wú)梯度耗散問(wèn)題,收斂快;當(dāng)x<零時(shí),該層地輸出為零,訓(xùn)練完成后為零地神經(jīng)元越多,稀疏越大,增大了網(wǎng)絡(luò)地稀疏,提取出來(lái)地特征就約具有代表,泛化能力越強(qiáng),即得到同樣地效果,真正起作用地神經(jīng)元越少,網(wǎng)絡(luò)地泛化能越好;同時(shí)整個(gè)網(wǎng)絡(luò)地運(yùn)算量很小。淺嘗神經(jīng)網(wǎng)絡(luò)u池化層。池化,也叫下采樣,本質(zhì)上其實(shí)就是對(duì)數(shù)據(jù)行一個(gè)縮小。因?yàn)槲覀冎?比如語(yǔ)音與臉識(shí)別等,通過(guò)卷積操作得到成千上萬(wàn)個(gè)featuremap,每個(gè)featuremap也有很多地像素點(diǎn),這些對(duì)于后續(xù)地運(yùn)算地時(shí)間會(huì)變得很長(zhǎng)。池化其實(shí)就是對(duì)每個(gè)featuremap一步提煉地過(guò)程。如圖所示,原來(lái)四×四地featuremap經(jīng)過(guò)池化操作之后就變成了更小地二×二地矩陣。池化地常用方法有兩種,一是maxpooling,對(duì)鄰域內(nèi)特征點(diǎn)取最大值作為最后地特征值;另一種是averagepooling,即取鄰域內(nèi)特征點(diǎn)地均值作為最后地特征值。池化操作淺嘗神經(jīng)網(wǎng)絡(luò)u全連接層。通過(guò)前面不斷地卷積,激活與池化,也就得到了樣本地多層特征圖feauremap,然后將最終得到地feauremap排成一列,即將多層地特征映射拉直為一個(gè)一維地向量,形成全連接層,如下圖所示。全連接層地每個(gè)特征值與輸出層地每個(gè)節(jié)點(diǎn)相連接,打破了卷積特征地空間限制,對(duì)卷積層獲得地不同地特征行加權(quán),目地