神經(jīng)網(wǎng)絡(luò)聲音信號(hào)分類

目錄一、問題的提出二、程序流程三、實(shí)驗(yàn)結(jié)果四、參數(shù)選擇對(duì)結(jié)果的影響五、神經(jīng)網(wǎng)絡(luò)的容錯(cuò)能力六、并行訓(xùn)練的嘗試七、增加隱含層的嘗試八、總結(jié)現(xiàn)在是1頁(yè)\一共有23頁(yè)\編輯于星期三一、問題的提出本任務(wù)選取了民歌、古箏、搖滾和流行四類不同音樂，每段音樂都用倒譜系數(shù)法提取5OO組24維語(yǔ)音特征信號(hào)，用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)這四類音樂音的有效分類。基于BP神經(jīng)網(wǎng)絡(luò)的語(yǔ)音特征信號(hào)分類算法建模包括BP神經(jīng)網(wǎng)絡(luò)構(gòu)建,BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練和BP神經(jīng)網(wǎng)絡(luò)分類三步，算法流程如圖所示。現(xiàn)在是2頁(yè)\一共有23頁(yè)\編輯于星期三二、程序流程·神經(jīng)網(wǎng)絡(luò)選擇24輸入，1個(gè)隱含層，隱含層中含有25個(gè)節(jié)點(diǎn)和有4個(gè)節(jié)點(diǎn)的輸出層?！ぜせ詈瘮?shù)選擇為：其中a=1，b=1·步長(zhǎng)η=0.1，動(dòng)量常數(shù)α=0.01·樣本數(shù)量：500個(gè)·訓(xùn)練回合數(shù)：100次現(xiàn)在是3頁(yè)\一共有23頁(yè)\編輯于星期三二、程序流程為了方便編程和計(jì)算，將神經(jīng)網(wǎng)絡(luò)中的計(jì)算寫成向量運(yùn)算：現(xiàn)在是4頁(yè)\一共有23頁(yè)\編輯于星期三三、實(shí)驗(yàn)結(jié)果（1）首先我們看一下訓(xùn)練中權(quán)值的變化串行訓(xùn)練時(shí)，每輸入一個(gè)樣本，都會(huì)改變一次網(wǎng)絡(luò)的權(quán)值。對(duì)每次隱含層和輸出層的權(quán)值的變化量中每個(gè)元素求平方和。即可看出每次權(quán)值更新時(shí)權(quán)值變化的大小。按理來說，隨著訓(xùn)練的進(jìn)行，權(quán)值的變化率應(yīng)該越來越小，最終趨近于0?，F(xiàn)在是5頁(yè)\一共有23頁(yè)\編輯于星期三三、實(shí)驗(yàn)結(jié)果（1）這個(gè)結(jié)果有點(diǎn)怪。每次權(quán)值的變化并沒有按想象中的那樣下降并趨近于0。但是訓(xùn)練后得到的神經(jīng)網(wǎng)絡(luò)是正確的。我對(duì)書中給的程序進(jìn)行了這種嘗試，得到的權(quán)值也類似，沒有明顯下降。據(jù)我分析，權(quán)值的絕對(duì)變化率并不能反映出網(wǎng)絡(luò)是否趨于穩(wěn)定。有可能權(quán)值變化率很大，但其造成的影響很小。那下面考察一下權(quán)值的相對(duì)變化率，即以變化率除以權(quán)值的大小?，F(xiàn)在是6頁(yè)\一共有23頁(yè)\編輯于星期三三、實(shí)驗(yàn)結(jié)果（1）可見隱含層的權(quán)值變化還是很理想的，但輸出層同樣沒趨于0。也許是樣本之間差異太大，輸出的函數(shù)不連續(xù)，所以系統(tǒng)實(shí)在無法找到合適的權(quán)值，滿足每種樣本的需求?；蛘呤怯捎诖杏?xùn)練的局限性造成的。現(xiàn)在是7頁(yè)\一共有23頁(yè)\編輯于星期三三、實(shí)驗(yàn)結(jié)果（2）現(xiàn)在我們來看一下輸出誤差的變化。我們期望每回合的訓(xùn)練，輸出誤差的大小 應(yīng)該逐步減小，直到接近于一個(gè)平穩(wěn)的值。這個(gè)結(jié)果還是比較正確的。增加訓(xùn)練回合的次數(shù)，可以降低誤差，最終在一個(gè)比較小的值附近浮動(dòng)?，F(xiàn)在是8頁(yè)\一共有23頁(yè)\編輯于星期三三、實(shí)驗(yàn)結(jié)果（3）下面考察一下分類的正確率：進(jìn)行了200次訓(xùn)練和測(cè)試，每次對(duì)500個(gè)樣本進(jìn)行訓(xùn)練，并對(duì)2000個(gè)樣本進(jìn)行測(cè)試。得到每次平均正確分類個(gè)數(shù)為：1695.6個(gè)，標(biāo)準(zhǔn)差為58.9個(gè)。可得正確檢測(cè)率為（84±3）%對(duì)書上的程序進(jìn)行測(cè)試，得到正確檢測(cè)率為（85±4）%可見，我的結(jié)果是正確的。樣本來源1234分類正確率0.8800.9760.6380.876現(xiàn)在是9頁(yè)\一共有23頁(yè)\編輯于星期三四、參數(shù)選擇對(duì)結(jié)果的影響在這次神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)中用到了很多參數(shù)，它們幾乎都會(huì)對(duì)網(wǎng)絡(luò)的學(xué)習(xí)和工作造成極大的影響。下面主要研究隱含層節(jié)點(diǎn)數(shù)N、步長(zhǎng)η、動(dòng)量常數(shù)α、激勵(lì)函數(shù)參數(shù)[a,b]，對(duì)網(wǎng)絡(luò)的影響。現(xiàn)在是10頁(yè)\一共有23頁(yè)\編輯于星期三從表格中看出，N=5時(shí)，網(wǎng)絡(luò)的運(yùn)行結(jié)果就幾乎可以滿足要求。隨節(jié)點(diǎn)數(shù)增加，效果也沒有特別明顯的改善。所以，隱含層選擇5個(gè)節(jié)點(diǎn)就夠了。四、參數(shù)選擇對(duì)結(jié)果的影響（1）在不改變其他條件的情況下，更改隱含層的節(jié)點(diǎn)數(shù)N，考察訓(xùn)練樣本的正確檢測(cè)概率和全部樣本的正確檢測(cè)概率（每組重復(fù)5次）：N3581420253550100訓(xùn)練樣本正確檢測(cè)率（%）73±189±189±189±187±187±187±286±179±3全部樣本正確檢測(cè)率（%）71±183±483±782±784±483±584±285±477±6現(xiàn)在是11頁(yè)\一共有23頁(yè)\編輯于星期三四、參數(shù)選擇對(duì)結(jié)果的影響（2）不同步長(zhǎng)與動(dòng)量常數(shù)對(duì)輸出誤差收斂的影響：步長(zhǎng)分別選取為[0.01,0.1,0.5,0.9],動(dòng)量常數(shù)分別選取為：[0,0.01,0.1,0.5]。從圖中可見，當(dāng)步長(zhǎng)增大時(shí)，輸出誤差下降變快。但當(dāng)步長(zhǎng)太大時(shí)，輸出會(huì)出現(xiàn)錯(cuò)誤。這應(yīng)該是由于算法發(fā)散所造成的。動(dòng)量常數(shù)增大有時(shí)候也會(huì)增快誤差的下降，但取值過大時(shí)候也會(huì)造成輸出結(jié)果的錯(cuò)誤?？梢姦翆?duì)算法的穩(wěn)定性也有影響。實(shí)驗(yàn)結(jié)果表明，在這個(gè)網(wǎng)絡(luò)中，選擇η=0.1的時(shí)候比較合適?，F(xiàn)在是12頁(yè)\一共有23頁(yè)\編輯于星期三四、參數(shù)選擇對(duì)結(jié)果的影響（3）激活函數(shù)f=a·tanh(b·x)不同參數(shù)[a,b]對(duì)輸出誤差影響：分別令a、b=[0.6,1,1.5,2]。從圖中，可以看出函數(shù)參數(shù)對(duì)輸出會(huì)產(chǎn)生很大的影響，盡管其影響的效果不是很有規(guī)律。由于網(wǎng)絡(luò)比較復(fù)雜，激活函數(shù)也是非線性的。所以其參數(shù)造成的影響不是很容易解釋?？傮w來說，當(dāng)b值比較大的時(shí)候，網(wǎng)絡(luò)的輸出結(jié)果將完全錯(cuò)誤；當(dāng)b值比較小時(shí)，網(wǎng)絡(luò)可以正常工作，雖然誤差下降的速度很慢。這應(yīng)該是由于b較大時(shí)，激活函數(shù)導(dǎo)數(shù)的衰減很快造成網(wǎng)絡(luò)節(jié)點(diǎn)達(dá)到飽和。實(shí)驗(yàn)的結(jié)果表明，取參數(shù)a=1，b=1或1.5的時(shí)候，效果最好現(xiàn)在是13頁(yè)\一共有23頁(yè)\編輯于星期三四、參數(shù)選擇對(duì)結(jié)果的影響（3）選擇激活函數(shù)為f=1/(1+exp(-x))的時(shí)候，步長(zhǎng)分別選取為[0.01,0.1,0.5,0.9],動(dòng)量常數(shù)分別選取為[0,0.01,0.1,0.5]，的輸出誤差結(jié)果：可見，選擇了不同的激活函數(shù)，對(duì)網(wǎng)絡(luò)訓(xùn)練的影響很大。在這個(gè)訓(xùn)練中對(duì)于步長(zhǎng)和動(dòng)量系數(shù)的選取遠(yuǎn)比之前的雙曲正切函數(shù)隨意。而且，當(dāng)參數(shù)選擇合適時(shí)，收斂速度也比雙曲正切函數(shù)的網(wǎng)絡(luò)快一些。從圖中看出，當(dāng)步長(zhǎng)選擇更大的時(shí)候，訓(xùn)練收斂速度更快。而動(dòng)量常數(shù)選擇較大的時(shí)候，訓(xùn)練的收斂速度也會(huì)更快?，F(xiàn)在是14頁(yè)\一共有23頁(yè)\編輯于星期三五、神經(jīng)網(wǎng)絡(luò)的容錯(cuò)能力將神經(jīng)網(wǎng)絡(luò)的一些隱含層損壞，即使其輸出為0。檢驗(yàn)網(wǎng)絡(luò)的正確檢測(cè)率變化。在損壞一定數(shù)量的神經(jīng)元后，網(wǎng)絡(luò)的正確檢測(cè)率不會(huì)太劇烈的下降，說明其容錯(cuò)能力很強(qiáng)。但若有太多神經(jīng)元同時(shí)損壞，則神經(jīng)網(wǎng)絡(luò)還是無法使用的損壞神經(jīng)元個(gè)數(shù)012345678正確檢測(cè)率（%）87.487.476.876.976.876.857.157.157.1現(xiàn)在是15頁(yè)\一共有23頁(yè)\編輯于星期三六、并行訓(xùn)練的嘗試嘗試了一下并行訓(xùn)練，具體做法是每次輸入的樣本得到一個(gè)權(quán)值改變量，每回合結(jié)束后，將這些改變量取平均值去更新權(quán)值。分別檢驗(yàn)其權(quán)值的改變量、輸出誤差以及參數(shù)對(duì)其性能的影響。（在不加說明的情況下，參數(shù)均與串行訓(xùn)練的參數(shù)相同）現(xiàn)在是16頁(yè)\一共有23頁(yè)\編輯于星期三六、并行訓(xùn)練的嘗試（1）可見，在并行訓(xùn)練中，權(quán)值的變化總體減小并最終趨近于0。這點(diǎn)看起來要強(qiáng)于串行訓(xùn)練。首先我們看一下訓(xùn)練中權(quán)值的變化：并行訓(xùn)練時(shí)，每回合，都會(huì)改變一次網(wǎng)絡(luò)的權(quán)值。網(wǎng)絡(luò)權(quán)值變化程度的定義同串行訓(xùn)練時(shí)一樣?，F(xiàn)在是17頁(yè)\一共有23頁(yè)\編輯于星期三六、并行訓(xùn)練的嘗試（2）圖中看出，輸出誤差收斂很慢，并且，其最終收斂到的誤差強(qiáng)度也遠(yuǎn)高于同等參數(shù)下，串行訓(xùn)練得到的誤差值。這可能是由于訓(xùn)練陷入了局部最小值。在這個(gè)參數(shù)下，檢測(cè)的正確率也不高，只有（81.2±0.2）%。不過，比串行訓(xùn)練好的是，對(duì)于每次訓(xùn)練，網(wǎng)絡(luò)的性能差異不大，所以用起來可能會(huì)更保險(xiǎn)一些?，F(xiàn)在是18頁(yè)\一共有23頁(yè)\編輯于星期三六、并行訓(xùn)練的嘗試（3）不同步長(zhǎng)與動(dòng)量常數(shù)對(duì)輸出誤差收斂的影響：步長(zhǎng)分別選取為[0.01,0.1,0.5,0.9],動(dòng)量常數(shù)分別選取為：[0,0.01,0.1,0.5]。從圖中可看出，步長(zhǎng)選擇較大時(shí)，誤差收斂較快。而且大部分情況下，動(dòng)量常數(shù)較大時(shí)誤差收斂更快。但是在步長(zhǎng)和動(dòng)量常數(shù)都很大時(shí)，輸出會(huì)出現(xiàn)錯(cuò)誤。另外，相比于串行訓(xùn)練，它在同樣的條件下，雖然訓(xùn)練最終逼近的誤差比較大，但誤差發(fā)散的情況少一些?；静粫?huì)因?yàn)椴介L(zhǎng)和動(dòng)量常數(shù)選取不當(dāng)而使訓(xùn)練出現(xiàn)錯(cuò)誤。現(xiàn)在是19頁(yè)\一共有23頁(yè)\編輯于星期三七、增加隱含層的嘗試實(shí)驗(yàn)中，將隱含層增加到了兩層（24×8×8×4）和三層（24×8×8×7×4），進(jìn)行測(cè)試。下面分別給出1、2、3層隱含層，進(jìn)行100、300、1000次迭代得到的輸出誤差曲線。以及正確檢測(cè)的概率。從結(jié)果中可看到，對(duì)于隱含層只有一層的情況，誤差隨迭代次數(shù)增加，剛開始下降的很快，但是最終的誤差維持在較高的高度。兩層隱含層和三層隱含層最終迭代得到的輸出誤差幾乎一樣，迭代次數(shù)很多時(shí)，正確檢測(cè)概率也相同。但三層隱含層的網(wǎng)絡(luò)誤差隨迭代次數(shù)下降的很慢，迭代次數(shù)少時(shí)正確檢測(cè)概率不高，而且同樣迭代次數(shù)，其訓(xùn)練時(shí)間更長(zhǎng)。所以選擇有兩個(gè)隱含層的網(wǎng)絡(luò)比較合適。正確檢測(cè)概率（%）一層二層三層100次85±387±385±31000次88±191±191±1現(xiàn)在是20頁(yè)\一共有23頁(yè)\編輯于星期三八、總結(jié)這次用BP神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)分類的實(shí)驗(yàn)，總體上是成功的。實(shí)驗(yàn)中，我搭建了神經(jīng)網(wǎng)絡(luò)，并通過改變參數(shù)來檢驗(yàn)其效果。得以下結(jié)論：1、訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)的性能并不固定，會(huì)在一定范圍內(nèi)波動(dòng)。2、訓(xùn)練時(shí)候的步長(zhǎng)、動(dòng)量常數(shù)和激活函數(shù)對(duì)訓(xùn)練的影響非常大。尤其是若激活函數(shù)沒選好，會(huì)嚴(yán)重增加訓(xùn)練的難度。3、即使輸入數(shù)據(jù)維數(shù)很多，網(wǎng)絡(luò)每層的節(jié)點(diǎn)數(shù)并不一定要取太多。4、神經(jīng)網(wǎng)絡(luò)的容錯(cuò)性很好，在破壞一定數(shù)量的神經(jīng)元后，網(wǎng)絡(luò)還可以正常工作。5、并行計(jì)算時(shí)，網(wǎng)絡(luò)訓(xùn)練很慢，并且容易陷入局部最小值。性能不太好，但是更穩(wěn)定。6、神經(jīng)網(wǎng)絡(luò)的隱含層層數(shù)并不是越多越好，有時(shí)候增加一層會(huì)明顯改善網(wǎng)絡(luò)的性能，但是繼續(xù)增加反而可能破壞其性能。現(xiàn)在是21頁(yè)\一共有23頁(yè)\編輯于星期三八、總結(jié)此外