基于BP神經(jīng)網(wǎng)絡(luò)的鋁合金變質(zhì)研究

1、摘 要爐前對(duì)鋁合金變質(zhì)效果的預(yù)測(cè)，是提高鑄件質(zhì)量，降低廢品率，實(shí)現(xiàn)生產(chǎn)監(jiān)控的重要環(huán)節(jié)。本文主要介紹人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network,ANN）在鑄造鋁合金變質(zhì)效果預(yù)測(cè)的應(yīng)用研究工作，主要研究基于反向傳播（Back Propagation）BP神經(jīng)網(wǎng)絡(luò)在課題中的應(yīng)用。論文在進(jìn)行基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的鋁合金變質(zhì)效果研究過程中，主要進(jìn)行以下工作：介紹和分析國(guó)內(nèi)外對(duì)鋁合金變質(zhì)效果的研究現(xiàn)狀；簡(jiǎn)要說明鋁合金變質(zhì)的熱分析理論；人工神經(jīng)網(wǎng)絡(luò)（ANN）概述；BP網(wǎng)絡(luò)介紹和算法選擇；決定神經(jīng)網(wǎng)絡(luò)的輸入、輸出變量以及網(wǎng)絡(luò)訓(xùn)練樣本、測(cè)試樣本的選取和數(shù)據(jù)歸一化處理；比較兩種BP網(wǎng)絡(luò)

2、改進(jìn)算法對(duì)網(wǎng)絡(luò)訓(xùn)練結(jié)果的影響，然后選擇最優(yōu)值；檢驗(yàn)新的預(yù)測(cè)模型對(duì)于測(cè)試數(shù)據(jù)的應(yīng)用效果；提出預(yù)測(cè)模型的實(shí)際應(yīng)用存在的問題和后續(xù)的研究工作的見解。關(guān)鍵詞：鋁合金變質(zhì)；人工神經(jīng)網(wǎng)絡(luò)；BP算法AbstractThe prediction of the aluminum alloy modification effect before furnace is an important link to improve casting quality and reduce scrap rate in production monitoring.This paper presents my work chief

3、ly on the research of the prediction of casting alumin-um alloy modification effect based on Artificial Neural Network, and I largely do my researchon the application of Back-Propagation neural network in this task.This paper mainly introduced the work as the following in the the prediction of casti

4、ng aluminum alloy modification effect based on Artificial Neural Network: to introduce and to a-nalysis domestic and foreign research status of aluminum alloy modification level; to briefly describe the thermal analysis theory of aluminum alloy modification; to briefly introduce AN-N; to introduce p

5、opular Back-Propagation network and to choose the learning algorithm; to decide the input variables of the artificial neural network, to decide the training simples and to normalize the data; to compare the training results of two BP networks with different improv-ed BP algorithm and to choose the b

6、est; to test the new module with the testing samples; to put forward the problems existing in the practical application of the model and the improvem-ent to further study. Keywords: aluminum alloy modification; artificial neural network; BP algorithm目 錄摘 要IAbstractII1 緒論1 1.1 課題的研究意義1 1.2 課題研究背景和現(xiàn)狀1

7、 1.3 課題主要內(nèi)容12 鋁合金變質(zhì)檢測(cè)方法綜述3 2.1 鋁合金變質(zhì)的傳統(tǒng)測(cè)量方法3 2.1.1 斷口觀察法3 2.1.2 電導(dǎo)率法3 2.1.3 金相法4 2.1.4 熱分析法4 2.2 鋁合金變質(zhì)檢測(cè)技術(shù)的新進(jìn)展53 人工神經(jīng)網(wǎng)絡(luò)介紹7 3.1 人工神經(jīng)網(wǎng)絡(luò)綜述7 3.1.1 人工神經(jīng)網(wǎng)絡(luò)基本模型7 3.1.2 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)9 3.1.3 人工神經(jīng)網(wǎng)絡(luò)的特征10 3.1.4 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展10 3.2 BP神經(jīng)網(wǎng)絡(luò)12 3.2.1 BP神經(jīng)網(wǎng)絡(luò)基本思想12 3.2.2 BP網(wǎng)絡(luò)的學(xué)習(xí)過程12 3.2.3 BP神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用及特點(diǎn)14 3.2.4 BP網(wǎng)絡(luò)的局限性及改進(jìn)措施1

8、54 基于BP網(wǎng)絡(luò)的鋁合金變質(zhì)效果研究19 4.1 MATLAB及BP神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)19 4.1.1 MATLAB簡(jiǎn)介19 4.1.2 BP神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)20 4.2 應(yīng)用 BP網(wǎng)絡(luò)對(duì)鋁合金變質(zhì)效果預(yù)測(cè)建模的一般步驟21 4.3 鋁合金變質(zhì)效果預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)模型的分析22 4.4 鋁合金變質(zhì)效果預(yù)測(cè)的BP網(wǎng)絡(luò)建模及仿真23結(jié) 論29致 謝30參考文獻(xiàn)31附錄A 英文原文32附錄B 漢語(yǔ)翻譯38附錄C MATLAB仿真程序431 緒論1.1 課題的研究意義在金屬材料中，鋁及其合金以其密度小、塑性高、導(dǎo)電導(dǎo)熱性好、耐蝕性好、資源豐富，容易加工等優(yōu)點(diǎn)，已廣泛應(yīng)用于各行各業(yè)及日常生活的各個(gè)方面。

9、在鑄造鋁合金生產(chǎn)中，常采用加入微量元素（稱做變質(zhì)劑）進(jìn)行變質(zhì)處理的方法，來改善并細(xì)化組織，消除鑄造缺陷，提高合金性能1。爐前對(duì)鋁合金變質(zhì)效果的預(yù)測(cè)，是提高鑄件質(zhì)量，降低廢品率，實(shí)現(xiàn)生產(chǎn)監(jiān)控的重要環(huán)節(jié)2,3。為此，有必要探索得到一種精度高、穩(wěn)定性好、能實(shí)現(xiàn)快速在線檢測(cè)鋁合金變質(zhì)效果的方法。1.2 課題研究背景和現(xiàn)狀目前，對(duì)于鋁合金變質(zhì)效果的檢測(cè)方法有斷口觀察法、電導(dǎo)率法、金相法以及熱分析法等。斷口觀察法、金相法主觀隨意性大，而電導(dǎo)率法工藝復(fù)雜，速度慢，不適宜在線檢測(cè)。針對(duì)金相法中操作者的主觀性及觀察區(qū)域的有限性等局限性因素，H.Jiang、M.Djurdjevic等人提出了圖像分析法，這種圖像分

10、析法實(shí)現(xiàn)了合金變質(zhì)效果定量評(píng)估，精確度極高，并且M.Djurdjevic將它作為后熱分析判據(jù)的檢驗(yàn)標(biāo)準(zhǔn)。然而，其測(cè)量過程復(fù)雜、周期長(zhǎng)，不能在惡劣環(huán)境下工作，所以不能實(shí)現(xiàn)熔體變質(zhì)質(zhì)量的在線檢測(cè)。熱分析法由于精度高、穩(wěn)定性好，適于在線檢測(cè)，因此在鑄造中的應(yīng)用越來越廣泛。目前國(guó)內(nèi)外對(duì)熱分析判據(jù)研究有兩種動(dòng)向，一種是綜合溫度特性參數(shù)、時(shí)間參數(shù)和固相分?jǐn)?shù)判據(jù)，包括探求計(jì)算熱分析零曲線和計(jì)算凝固潛熱的新方法；另一種是基于熱分析技術(shù)，引進(jìn)先進(jìn)的計(jì)算機(jī)算法4-6。但不論哪種發(fā)展動(dòng)向都依賴于建立準(zhǔn)確的凝固冷卻曲線。人工神經(jīng)網(wǎng)絡(luò)由于高度容錯(cuò)、自我學(xué)習(xí)、強(qiáng)適應(yīng)性等獨(dú)特優(yōu)勢(shì)，與成熟的熱分析技術(shù)結(jié)合，在鋁合金變質(zhì)效果評(píng)

11、估上具有廣闊的應(yīng)用前景。1.3 課題主要內(nèi)容設(shè)計(jì)主要基于MATLAB軟件中神經(jīng)網(wǎng)絡(luò)工具箱的鋁合金變質(zhì)效果預(yù)測(cè)研究。在獲得鋁合金變質(zhì)處理凝固冷卻曲線的3個(gè)特征值（共晶平臺(tái)溫度TE、共晶平臺(tái)溫差TE、共晶平臺(tái)持續(xù)時(shí)間te）與變質(zhì)等級(jí)數(shù)據(jù)的基礎(chǔ)上，根據(jù)MATLAB軟件的特性，建立人工神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)爐前鋁合金變質(zhì)效果的檢測(cè)。本文一共分為四章：第一章主要介紹了本課題的相關(guān)背景、研究現(xiàn)況等；第二章是對(duì)爐前鋁合金變質(zhì)檢測(cè)的傳統(tǒng)方法的綜述，重點(diǎn)介紹鋁合金變質(zhì)熱分析理論；第三章主要是對(duì)人工神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)介以及對(duì)本文用到的BP算法的介紹；第四章詳細(xì)寫了基于BP神經(jīng)網(wǎng)絡(luò)的鋁合金變質(zhì)效果的研究的過程。2 鋁合金變質(zhì)檢測(cè)

12、方法綜述由于爐前鋁合金變質(zhì)效果的檢測(cè)對(duì)提高鑄件質(zhì)量、降低廢品率、實(shí)現(xiàn)生產(chǎn)監(jiān)控的重要性，人們希望得到一種精度高、穩(wěn)定性好、能實(shí)現(xiàn)快速在線檢測(cè)鋁合金變質(zhì)效果的方法。目前，對(duì)于鋁合金變質(zhì)效果的檢測(cè)方法有斷口觀察法、電導(dǎo)率法、金相法以及熱分析法等。前三種方法均由于檢測(cè)精度不高、操作較復(fù)雜或測(cè)量過程時(shí)間長(zhǎng)等因素，不適合實(shí)現(xiàn)爐前鋁合金變質(zhì)快速、精確檢測(cè)。熱分析法通過熱分析裝置測(cè)定鋁合金試樣的凝固冷卻曲線，曲線上的特征值及其他凝固特性可以很好地反映變質(zhì)前后的變化，進(jìn)而對(duì)合金變質(zhì)程度作出判別。而且，隨著電子計(jì)算機(jī)技術(shù)的發(fā)展，熱分析法在鋁合金鑄造生產(chǎn)中得到了較為廣泛的應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)由于高度容錯(cuò)、自我學(xué)習(xí)、強(qiáng)

13、適應(yīng)性等獨(dú)特優(yōu)勢(shì)，與成熟的熱分析技術(shù)結(jié)合，在鋁合金變質(zhì)效果評(píng)估上具有廣闊的應(yīng)用前景4。本文研究的就是通過測(cè)得鋁合金變質(zhì)試樣的凝固冷卻曲線上的特征值，應(yīng)用人工神經(jīng)網(wǎng)絡(luò)（ANN）對(duì)鋁合金試樣變質(zhì)效果進(jìn)行預(yù)測(cè)。2.1 鋁合金變質(zhì)的傳統(tǒng)測(cè)量方法2.1.1 斷口觀察法斷口觀察法是最為傳統(tǒng)的一種方法，將液態(tài)鋁合金澆鑄成三角試樣或棒狀試樣，待試樣凝固冷卻后再剖開，觀察斷口形貌。若斷口呈白色、平整、組織細(xì)密、無明顯硅亮點(diǎn)，有時(shí)還可見分布均勻的細(xì)小硅亮點(diǎn)，則說明變質(zhì)良好4。該方法對(duì)鋁合金變質(zhì)程度不能定量分析，且主觀隨意性大，將被逐漸淘汰。2.1.2 電導(dǎo)率法硅的導(dǎo)電能力遠(yuǎn)小于鋁。鋁硅合金在變質(zhì)前，共晶硅以片狀或

14、者針狀存在，初生-Al相較少，對(duì)電子流有很強(qiáng)的阻礙作用；而在變質(zhì)后，初生-Al相隨變質(zhì)程度提高數(shù)量增多，共晶硅呈短小的纖維狀分布，電子能順利通過，導(dǎo)電能力大大增強(qiáng)。因此，通過測(cè)試變質(zhì)前后電導(dǎo)率的變化可得出其變質(zhì)效果。但是電導(dǎo)率法的工藝復(fù)雜、速度慢，不適宜在線檢測(cè)。此外，電導(dǎo)率法對(duì)氣孔、夾雜和鋁合金試樣尺寸敏感，不適用于含Mg量較高的合金4。2.1.3 金相法美國(guó)鑄造協(xié)會(huì)根據(jù)亞共晶鋁硅合金微觀組織圖中共晶硅的大小將變質(zhì)水平劃分為 6個(gè)等級(jí)：56級(jí)表示變質(zhì)充分，24級(jí)表示部分變質(zhì)，1級(jí)表示未變質(zhì)。金相法就是將待評(píng)估的鋁合金制備成標(biāo)準(zhǔn)金相試樣，觀察其顯微組織再與上述種圖像比較，然后歸類得出變質(zhì)水平。

15、這種方法的最大缺點(diǎn)是操作者的主觀性及觀察區(qū)域的有限性，這些因素將影響評(píng)估質(zhì)量。針對(duì)以上局限性因素，H.Jiang、M.Djurdjevic等人提出了圖像分析法，這種圖像分析法實(shí)現(xiàn)了合金變質(zhì)效果定量評(píng)估，精確度極高，并且M.Djurdjevic將它作為后熱分析判據(jù)的檢驗(yàn)標(biāo)準(zhǔn)4-6。然而，其測(cè)量過程復(fù)雜、周期長(zhǎng)，不能在惡劣環(huán)境下工作，所以不能實(shí)現(xiàn)鋁合金熔體變質(zhì)程度的在線檢測(cè)。2.1.4 熱分析法熱分析技術(shù)在鑄造中有著廣泛的用途，已發(fā)展成系統(tǒng)性的分析方法，是研究材料的一種有力工具。熱分析是通過測(cè)定物質(zhì)溫度的變化所引起的物性變化來確定物質(zhì)狀態(tài)變化的一種測(cè)試分析方法。熱分析的測(cè)試原理是：合金在冷卻過程中

16、發(fā)生的任何一種變化(凝固及固態(tài)相變)，都伴隨有熱量的釋放或吸收，從而使合金試樣溫度變化的連續(xù)性受到破壞，顯示出特征值，即在加熱或冷卻線上形成“拐點(diǎn)”或“平臺(tái)”。因此，根據(jù)冷卻(或加熱)曲線就可確定合金轉(zhuǎn)變溫度和轉(zhuǎn)變特點(diǎn)并測(cè)定其成分、組織和性能特征7。下圖2.1所示為鋁合金變質(zhì)前后的凝固冷卻曲線。圖2.1 鋁合金變質(zhì)前后的凝固冷卻曲線鋁合金變質(zhì)處理后，熱分析曲線上共晶平臺(tái)會(huì)下降，變質(zhì)理論的解釋為：鋁硅合金未變質(zhì)時(shí)，共晶硅呈板片狀，具有111慣習(xí)面，當(dāng)生長(zhǎng)速度較慢時(shí)，具有擇優(yōu)生長(zhǎng)方向，有少量的孿晶作為內(nèi)缺陷存在。當(dāng)共晶硅按孿晶凹槽機(jī)制(TPRE)生長(zhǎng)時(shí)，TK1K（動(dòng)力學(xué)過冷度），而按固有的臺(tái)階機(jī)制

17、生長(zhǎng)時(shí)，TK10-2K。實(shí)際上，在變質(zhì)前，共晶硅是靠硅原子在固有臺(tái)階上堆積長(zhǎng)大。當(dāng)合金中加入鈉鹽(Na)或鍶(Sr)變質(zhì)后，鈉或鍶可以吸附在共晶硅的固有臺(tái)階上，當(dāng)達(dá)到一定濃度時(shí)，臺(tái)階的生長(zhǎng)被阻止，系統(tǒng)將進(jìn)一步過冷，并產(chǎn)生大量孿晶，共晶硅改變?yōu)橐詫\晶凹槽機(jī)制生長(zhǎng)。在冷卻曲線上表現(xiàn)為共晶平臺(tái)溫度的下降2。另一種觀點(diǎn)認(rèn)為：Al-Si合金經(jīng)過鈉鹽變質(zhì)處理后，變質(zhì)劑中的鈉提高了熔體中鋁的化學(xué)位，導(dǎo)致鋁提前形核，然后硅在初生的基體上形核而開始共晶生長(zhǎng)，形成纖維狀。共晶平臺(tái)下降。 變質(zhì)劑的加入量不夠時(shí)，鈉或鍶未達(dá)到一定濃度時(shí)，過冷度的改變不明顯，在冷卻曲線上表明為平臺(tái)溫度下降較少。所以常用變質(zhì)前后共晶平臺(tái)的

18、溫度差TE作為鋁合金變質(zhì)效果的判據(jù)。經(jīng)過大量試驗(yàn)檢測(cè)，認(rèn)為當(dāng)TE =57（變質(zhì)前共晶平臺(tái)溫度減變質(zhì)后共晶平臺(tái)溫度的差），變質(zhì)合格。另外一個(gè)判斷鋁合金變質(zhì)效果所用的是共晶平臺(tái)持續(xù)的時(shí)間te，毛有武等人認(rèn)為變質(zhì)效果越好，te越長(zhǎng)。而劉云等人研究發(fā)現(xiàn)變質(zhì)良好的試樣的冷卻曲線共晶平臺(tái)持續(xù)時(shí)間反而比未變質(zhì)和變質(zhì)不足的要短2。綜上述可知，單用鋁合金試樣的凝固冷卻曲線上的時(shí)間參數(shù)對(duì)于檢測(cè)合金的變質(zhì)效果具有不穩(wěn)定性。為此，劉云等人用微機(jī)輔助微分熱分析法，記錄分析了Al-10%Sr 變質(zhì)劑處理ZL104合金的冷卻曲線及其微分曲線，確定了變質(zhì)效果與冷卻曲線特征值，即未變質(zhì)合金與變質(zhì)合金共晶溫度之差TE、一次微分曲

19、線共晶階段結(jié)束峰值S、共晶生長(zhǎng)時(shí)間te之間的關(guān)系2。在本文中，基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的鋁合金變質(zhì)效果研究采用鋁合金試樣的凝固冷卻曲線上的固相線段的三個(gè)特征值(共晶平臺(tái)溫度TE、共晶平臺(tái)溫差TE、共晶平臺(tái)持續(xù)時(shí)間te)對(duì)合金變質(zhì)效果進(jìn)行綜合判斷。2.2 鋁合金變質(zhì)檢測(cè)技術(shù)的新進(jìn)展近年來，隨著人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)理論和鋁合金變質(zhì)熱分析技術(shù)的日益成熟，將兩者結(jié)合起來，在鋁合金變質(zhì)效果評(píng)估上具有廣闊的應(yīng)用前景。下面簡(jiǎn)要說明基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的鋁合金變質(zhì)效果預(yù)測(cè)方法。由于人工神經(jīng)網(wǎng)絡(luò)（ANN）具有高度非線性泛化和并行處理能力，不依賴于人工的經(jīng)驗(yàn)，通過學(xué)習(xí)獲得系統(tǒng)輸入和輸出之間的子函數(shù)連接關(guān)系。此

20、外，它具有信息記憶、自主學(xué)習(xí)、知識(shí)推理和優(yōu)化計(jì)算的特點(diǎn)。神經(jīng)網(wǎng)絡(luò)不是首先確定一個(gè)子函數(shù)形式，而是通過訓(xùn)練歷史數(shù)據(jù)，得出鋁合金試樣的凝固冷卻曲線上的特征值與其變質(zhì)效果之間的關(guān)系。用于預(yù)測(cè)的人工神經(jīng)網(wǎng)絡(luò)主要有反向傳播(Back Propagation)BP網(wǎng)絡(luò)、徑向基函數(shù)(Radical Basis Function)RBF網(wǎng)絡(luò)、動(dòng)態(tài)反饋（Diagonal Recurrent Neural Network)DRNN網(wǎng)絡(luò)等。本文主要研究基于反向傳播（Back Propagation）BP神經(jīng)網(wǎng)絡(luò)在鋁合金變質(zhì)效果預(yù)測(cè)中的應(yīng)用。接下來的兩章將對(duì)其進(jìn)行詳細(xì)介紹。3 人工神經(jīng)網(wǎng)絡(luò)介紹人工神經(jīng)網(wǎng)絡(luò)（Artif

21、icial Neural Networks，ANN），一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的8。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過歷史的輸入-輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)推算輸出結(jié)果。ANN特有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對(duì)于直覺，如模式、語(yǔ)音識(shí)別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識(shí)別、智能控制、組合優(yōu)化、預(yù)測(cè)等領(lǐng)域得到成功應(yīng)用。3.1 人工神經(jīng)網(wǎng)絡(luò)綜述3.1.1 人工神經(jīng)網(wǎng)絡(luò)基本

22、模型來自其他神經(jīng)元軸突神經(jīng)末梢神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，人腦大約由1012個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)。神經(jīng)元是大腦處理信息的基本單元，以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹的枝干。它主要由細(xì)胞體、樹突、軸突和突觸(Synapse)組成。如圖3.1所示。神經(jīng)末梢突觸細(xì)胞體軸突樹突細(xì)胞核 圖3.1 生物神經(jīng)元從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)9。歸納一下生物神經(jīng)元傳遞信息的過程：生物

23、神經(jīng)元是一個(gè)多輸入、單輸出單元。對(duì)于這樣一種多輸入、單輸出的基本單元可以進(jìn)一步從生物化學(xué)、電生物學(xué)、數(shù)學(xué)等方面給出描述其功能的模型。從信息處理觀點(diǎn)考察，為神經(jīng)元構(gòu)造了各種形式的數(shù)學(xué)模型。下面介紹常用的人工神經(jīng)元模型，如圖3.2所示9。. 圖3.2 人工神經(jīng)元模型當(dāng)神經(jīng)元有多個(gè)輸入(=1，2,m)和單個(gè)輸出時(shí)，輸入和輸出的關(guān)系可表示為： (3.1)式中神經(jīng)元的凈輸入； 閾值； 從神經(jīng)元到神經(jīng)元的連接權(quán)值； 神經(jīng)元的激勵(lì)函數(shù)。這里重點(diǎn)討論一下激活函數(shù)，因?yàn)樗巧窠?jīng)網(wǎng)絡(luò)及神經(jīng)元的核心10。激活函數(shù)的基本作用是：（1）控制輸入對(duì)輸出的激活作用；（2）對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；（3）將可能無限域的輸入變

24、換成指定的有限范圍內(nèi)的輸出。下面是幾種常見的激活函數(shù)：1、閾值型這種函數(shù)將任意輸入轉(zhuǎn)化成0或1的輸出，函數(shù)為單位階躍函數(shù)。該函數(shù)的輸入、輸出關(guān)系如下： (3.2)2、線性型線性激活函數(shù)使網(wǎng)絡(luò)的輸出等于加權(quán)凈輸入與閾值之和，其數(shù)學(xué)關(guān)系為： (3.3)3、Sigmoid型Sigmoid型激活函數(shù)將任意輸入值壓縮到（-1,1）的范圍內(nèi)，常有正切sigmoid函數(shù)和對(duì)數(shù)sigmoid函數(shù)，這兩個(gè)函數(shù)方程表示如下： (3.4) (3.5)本文中使用到的BP網(wǎng)絡(luò)隱含層的各神經(jīng)元激活函數(shù)均采用Sigmoid型。3.1.2 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

25、及學(xué)習(xí)方法。Y3Y1輸入輸出X1X2X3Y2. . .Y1Y2輸出層隱含層輸入層X1X2X3Y3 .經(jīng)過多年的發(fā)展，目前的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)有40多種。這些模型按照網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可以分為兩類：前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。 圖3.3 前向神經(jīng)網(wǎng)絡(luò) 圖3.4 反饋神經(jīng)網(wǎng)絡(luò)在前向神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元分層排列，組成輸入層、隱含層和輸出層。每一層的神經(jīng)元只接受前一級(jí)的神經(jīng)元的輸入，并輸出到下一級(jí)，網(wǎng)絡(luò)中不存在反饋，可以用一個(gè)有向無環(huán)路圖表示，如圖3.3所示。這種網(wǎng)絡(luò)實(shí)現(xiàn)信號(hào)從輸入空間到輸出空間的變換，它的信息處理能力來自于簡(jiǎn)單非線性函數(shù)的多次復(fù)合。前向網(wǎng)絡(luò)的結(jié)構(gòu)簡(jiǎn)單，且易于實(shí)現(xiàn)。在反饋神經(jīng)網(wǎng)絡(luò)中，輸出信號(hào)通過與輸入連

26、接而返回到輸入端，從而形成一個(gè)回路，如圖3.4所示。這種神經(jīng)網(wǎng)絡(luò)的信息處理是狀態(tài)的變換，可以用動(dòng)力學(xué)系統(tǒng)理論處理。該反饋動(dòng)力學(xué)系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系9。在前向神經(jīng)網(wǎng)絡(luò)中，有單層感知器、自適應(yīng)線性網(wǎng)絡(luò)和BP網(wǎng)絡(luò)。在反饋網(wǎng)絡(luò)中，有離散型和連續(xù)型hopfield網(wǎng)絡(luò)。在實(shí)際的應(yīng)用中，BP網(wǎng)絡(luò)應(yīng)用最為普遍，本文中將采用的也是這種網(wǎng)絡(luò)模型。3.1.3 人工神經(jīng)網(wǎng)絡(luò)的特征人工神經(jīng)網(wǎng)絡(luò)（ANN）模擬生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為，因而有其固有的特征：（1）高度的并行性人工神經(jīng)網(wǎng)絡(luò)是由許多相同的簡(jiǎn)單處理單元并聯(lián)組合而成，雖然每個(gè)單元的功能簡(jiǎn)單，但大量簡(jiǎn)單處理單元的并行活動(dòng)，使其具有強(qiáng)大的信息處理與存儲(chǔ)

27、能力。（2）高度的非線性全局作用人工神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元接受大量其他神經(jīng)元的輸入，并通過并行網(wǎng)絡(luò)產(chǎn)生輸出，影響其他神經(jīng)元。網(wǎng)絡(luò)之間的這種相互制約和相互影響，實(shí)現(xiàn)了從輸入狀態(tài)到輸出狀態(tài)空間的非線性映射。從全局的觀點(diǎn)看，網(wǎng)絡(luò)整體性能不是網(wǎng)絡(luò)局部性能的簡(jiǎn)單迭加，而表現(xiàn)出某種集體性的行為。（3）良好的容錯(cuò)性與聯(lián)想記憶功能人工神經(jīng)網(wǎng)絡(luò)通過自身的網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)崿F(xiàn)對(duì)信息的記憶。而所記憶的信息是存儲(chǔ)在神經(jīng)元之間的權(quán)值中。從單個(gè)權(quán)值中看不出所儲(chǔ)存的信息內(nèi)容，因而是分布式的存儲(chǔ)方式。這使得網(wǎng)絡(luò)具有良好的容錯(cuò)性，并能進(jìn)行聚類分析、特征值提取、缺損、復(fù)原等模式信息處理工作；又宜于模式分類、模式聯(lián)想等識(shí)別工作。（4）

28、強(qiáng)大的自適應(yīng)、自學(xué)習(xí)功能人工神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練和學(xué)習(xí)來獲得網(wǎng)絡(luò)的權(quán)值與結(jié)構(gòu)，呈現(xiàn)出很強(qiáng)的學(xué)習(xí)能力和對(duì)環(huán)境的自適應(yīng)能力。3.1.4 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展神經(jīng)網(wǎng)絡(luò)的研究始于20世紀(jì)40年代，半個(gè)世紀(jì)以來，它經(jīng)歷了一條由興起到衰退，又由衰退到興盛的曲折發(fā)展歷程，這一過程大致可以分為以下階段9,10：1、起步階段自1943年M-P模型開始，至20世紀(jì)60年代為止，這一段時(shí)間可以稱為神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論發(fā)展的初期階段。這個(gè)時(shí)期的主要特點(diǎn)是多種網(wǎng)絡(luò)的模型的產(chǎn)生與學(xué)習(xí)算法的確定。具體說明如下：1943年，心理學(xué)家W. S. McCulloch和數(shù)學(xué)家W. Paitts在研究生物神經(jīng)元的基礎(chǔ)上提出了“MP模型”，

29、雖然該模型過于簡(jiǎn)單，且只能完成一些簡(jiǎn)單的邏輯運(yùn)算，但它的出現(xiàn)開創(chuàng)了神經(jīng)網(wǎng)絡(luò)研究的先河，并為以后的研究提供了依據(jù)。1949年，心理學(xué)家D. O. Hebb發(fā)表了論著行為自組織，首先提出了一種調(diào)整神經(jīng)網(wǎng)絡(luò)連接權(quán)值的規(guī)則著名的Hebb學(xué)習(xí)律。直到現(xiàn)在，Hebb學(xué)習(xí)律仍然是神經(jīng)網(wǎng)絡(luò)中一個(gè)極為重要的學(xué)習(xí)規(guī)則。1957年，F(xiàn). Rosenblant提出了著名的感知器（Perceptron）模型，這是第一個(gè)真正的人工神經(jīng)網(wǎng)絡(luò)。這個(gè)模型由簡(jiǎn)單的閾值神經(jīng)元構(gòu)成，初步具備了諸如并行處理、分布存儲(chǔ)和學(xué)習(xí)等神經(jīng)網(wǎng)絡(luò)的一些基本特性，從而確立了從系統(tǒng)角度研究神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。 1960年，B. Widrow和M. E. H

30、off提出惡浪自適應(yīng)線性單元（Adaline）網(wǎng)絡(luò)，不僅在計(jì)算機(jī)上對(duì)該網(wǎng)絡(luò)進(jìn)行了模擬，而且還做成了硬件。同時(shí)，他們還提出了B. Widrow學(xué)習(xí)算法，改進(jìn)了網(wǎng)絡(luò)公值的學(xué)習(xí)速度和精度，后來這個(gè)算法被稱為L(zhǎng)MS算法，即數(shù)學(xué)上的最速下降法，這種算法在以后的BP神經(jīng)網(wǎng)絡(luò)及其他信號(hào)處理系統(tǒng)中得到了廣泛的應(yīng)用。2、低潮階段到了20世紀(jì)60年代，人們發(fā)現(xiàn)感知器存在一些缺陷，例如，它不能解決異或問題，因而研究工作趨向低潮。不過仍有不少學(xué)者繼續(xù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行研究。Grossberg 提出了至今為止最復(fù)雜的基于自適應(yīng)共振理論的ART神經(jīng)網(wǎng)絡(luò)；Kohenen 提出了自組織映射的SOM模型；Fukushima 提出了

31、神經(jīng)認(rèn)知網(wǎng)絡(luò)理論；Anderson提出了BSB模型；Webos 提出了BP理論等。這些都是在20世紀(jì)70年代和20世紀(jì)80年代初進(jìn)行的工作。3、快速發(fā)展階段進(jìn)入20世紀(jì)80年代，神經(jīng)網(wǎng)絡(luò)研究取得了突破性進(jìn)展。這個(gè)時(shí)期最具有標(biāo)志性的人物是美國(guó)加州工學(xué)院的物理學(xué)家Hopfield。他于1982年和1984年在美國(guó)科學(xué)院院刊上發(fā)表了兩篇文章，提出了模擬人腦的神經(jīng)網(wǎng)絡(luò)模型，即最著名的Hopfield模型。該模型通過引入能量函數(shù)，實(shí)現(xiàn)了問題優(yōu)化求解，成功地解決了旅行商路徑優(yōu)化問題（TSP)。20世紀(jì)80年代后期到90年代初，神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論形成了發(fā)展的熱點(diǎn)，多種模型、算法和應(yīng)用被提出，其中包括BP網(wǎng)絡(luò)，

32、使得研究者們完成了很多有意義的工作。4、發(fā)展高潮階段20世紀(jì)80年代中期以來，神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究取得了很大的成績(jī)，涉及面非常廣泛。伴隨神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計(jì)算機(jī)的出現(xiàn)，神經(jīng)網(wǎng)絡(luò)逐漸在模式識(shí)別與圖像處理（語(yǔ)音、指紋、故障診斷和圖像壓縮等）、控制與優(yōu)化、預(yù)測(cè)與管理（市場(chǎng)預(yù)測(cè)、風(fēng)險(xiǎn)分析）、通信等領(lǐng)域得到了成功的應(yīng)用。3.2 BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最為廣泛和成功的神經(jīng)網(wǎng)絡(luò)之一，本研究中將用到BP神經(jīng)網(wǎng)絡(luò)對(duì)鋁合金變質(zhì)效果進(jìn)行仿真預(yù)測(cè)，在這里詳細(xì)介紹該網(wǎng)絡(luò)。3.2.1 BP神經(jīng)網(wǎng)絡(luò)基本思想BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱含層和輸出層組成，其結(jié)

33、構(gòu)如圖3.3所示。該網(wǎng)絡(luò)是一種基于“逆推”學(xué)習(xí)算法的多層神經(jīng)網(wǎng)絡(luò)。其基本思想是，學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)隱含層逐層處理后傳向輸出層。若輸出層的實(shí)際輸出得不到期望輸出（教師信號(hào)），則轉(zhuǎn)向誤差的反向傳播階段。誤差的反向傳播是將輸出誤差以某種形式通過隱含層向輸入逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程是周而復(fù)始地進(jìn)行。權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或進(jìn)行到

34、預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止10。3.2.2 BP網(wǎng)絡(luò)的學(xué)習(xí)過程重述一下BP網(wǎng)絡(luò)的學(xué)習(xí)過程如下：正向傳播是輸入信號(hào)從輸入層經(jīng)隱含層傳向輸出層，若輸出層得到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播。為了明確起見，現(xiàn)以圖3.5所示的典型3層BP網(wǎng)絡(luò)為例進(jìn)行BP網(wǎng)絡(luò)的學(xué)習(xí)算法推導(dǎo)9。如圖3.5所示，輸入層神經(jīng)元的輸入為，隱含層神經(jīng)元的輸入為，隱含層神經(jīng)元的輸出為，輸出層神經(jīng)元的輸出為，為從輸入層神經(jīng)元到隱含層神經(jīng)元的連接權(quán)值，為從隱含層神經(jīng)元到輸出層神經(jīng)元的連接權(quán)值，隱含層神經(jīng)元采用對(duì)數(shù)sigmoid函數(shù)，輸出層神經(jīng)元采用線性激活函數(shù)。 圖3.5 典型3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP網(wǎng)絡(luò)的學(xué)習(xí)算法如下：（

35、1）前向傳播：計(jì)算網(wǎng)絡(luò)的輸出隱含層神經(jīng)元的輸入為所有輸入的加權(quán)之和，即 (3.6) 隱含層神經(jīng)元的輸出，采用S函數(shù)激發(fā)，得 (3.7)則 (3.8) 輸出層神經(jīng)元的輸出為 (3.9) 網(wǎng)絡(luò)第個(gè)輸出與相應(yīng)理想輸出的誤差為 (3.10) 第個(gè)學(xué)習(xí)樣本的誤差性能指標(biāo)函數(shù)為 (3.11) 式中網(wǎng)絡(luò)輸出層的神經(jīng)元個(gè)數(shù)。（2）反向傳播：采用梯度下降法，調(diào)整各層間的權(quán)值輸出層及隱含層的連接權(quán)值學(xué)習(xí)算法為 (3.12)式中學(xué)習(xí)速率，。 時(shí)刻網(wǎng)絡(luò)的權(quán)值為 (3.13)隱含層及輸入層連接權(quán)值學(xué)習(xí)算法為 (3.14)式中。時(shí)刻網(wǎng)絡(luò)的權(quán)值為 (3.15)網(wǎng)絡(luò)的學(xué)習(xí)過程通過這種正向計(jì)算輸出、反向傳播誤差的多次迭代過程，

36、系統(tǒng)誤差將隨著迭代的次數(shù)增加而減少，過程將收斂到一組穩(wěn)定的權(quán)。BP網(wǎng)絡(luò)的學(xué)習(xí)算法的具體步驟歸納如下11： 從訓(xùn)練樣本集中取出某一樣本，把它的輸入信息輸入到網(wǎng)絡(luò)中； 由網(wǎng)絡(luò)正向計(jì)算出各層節(jié)點(diǎn)的輸出； 計(jì)算網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的誤差； 從輸出層起始反向計(jì)算到第一個(gè)隱含層，按一定原則向減少誤差方向調(diào)整網(wǎng)絡(luò)的各個(gè)連接權(quán)值。 對(duì)訓(xùn)練樣本集中的每一個(gè)樣本重復(fù)以上步驟，直到對(duì)整個(gè)訓(xùn)練樣本集的誤差達(dá)到要求為止。通過網(wǎng)絡(luò)訓(xùn)練，達(dá)到要求后，網(wǎng)絡(luò)各節(jié)點(diǎn)間互連權(quán)值就完全確定，則稱BP網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)好。此時(shí)，便可對(duì)未知樣本進(jìn)行識(shí)別預(yù)測(cè)。3.2.3 BP神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用及特點(diǎn)目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中。絕大部分

37、的神經(jīng)網(wǎng)絡(luò)模型都采用BP神經(jīng)網(wǎng)絡(luò)及其變化形式。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的精華。BP網(wǎng)絡(luò)主要用于以下四方面8。（1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)以逼近一個(gè)函數(shù)。（2）模式識(shí)別：用一個(gè)待定的輸出向量將它與輸入向量聯(lián)系起來。（3）分類：把輸入向量所定義的合適方式進(jìn)行分類。（4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲(chǔ)。 BP網(wǎng)絡(luò)的特點(diǎn)：（1）輸入和輸出是并行的模擬量；（2）網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法；（3）權(quán)因子是通過學(xué)習(xí)信號(hào)調(diào)節(jié)的，這樣學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明；（4）隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生

38、大的影響。在本次研究中，主要研究應(yīng)用BP神經(jīng)網(wǎng)絡(luò)對(duì)變質(zhì)鋁合金的變質(zhì)效果進(jìn)行預(yù)測(cè)，該過程類似于模式識(shí)別，其基本思想是：根據(jù)標(biāo)準(zhǔn)的變質(zhì)鋁合金凝固冷卻曲線上的特征參數(shù)與其相對(duì)應(yīng)的變質(zhì)效果的輸入-輸出模式，采用BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，以標(biāo)準(zhǔn)的模式作為學(xué)習(xí)樣本進(jìn)行訓(xùn)練，通過學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。當(dāng)訓(xùn)練滿足要求后，得到的神經(jīng)網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識(shí)別的知識(shí)庫(kù)，最后利用神經(jīng)網(wǎng)絡(luò)并行推理算法對(duì)實(shí)際的變質(zhì)鋁合金的輸入模式進(jìn)行識(shí)別。3.2.4 BP網(wǎng)絡(luò)的局限性及改進(jìn)措施1、BP網(wǎng)絡(luò)的限制與不足雖然反向傳播法得到廣泛的應(yīng)用，但它也存在自身的限制與不足，其主要表現(xiàn)在于它的訓(xùn)練過程的不確定性上。具體的表現(xiàn)如下10：（1

39、）需要較長(zhǎng)的訓(xùn)練時(shí)間對(duì)于一些復(fù)雜的問題，標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)可能要進(jìn)行幾小時(shí)甚至更長(zhǎng)的時(shí)間訓(xùn)練。這主要是由于學(xué)習(xí)效率太低造成的，可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率加以改進(jìn)。（2）完全不能訓(xùn)練這主要表現(xiàn)為網(wǎng)絡(luò)對(duì)輸入的麻痹現(xiàn)象上。在網(wǎng)絡(luò)的訓(xùn)練過程中，當(dāng)其權(quán)值調(diào)得過大，可能使得所有的或大部分神經(jīng)元的加權(quán)總和（“凈輸入”，）偏大，這使得激活函數(shù)的輸入工作在S型函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，從而使得對(duì)網(wǎng)絡(luò)權(quán)值的調(diào)節(jié)過程幾乎停頓下來。通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這也會(huì)增加網(wǎng)絡(luò)的訓(xùn)練時(shí)間。（3）局部極小值 BP算法可以是網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不

40、能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部極小解。這是因?yàn)锽P算法采用的是梯度下降法，訓(xùn)練是從某一起點(diǎn)沿誤差函數(shù)的斜面逐漸達(dá)到誤差的最小值。對(duì)于復(fù)雜的網(wǎng)絡(luò)，其誤差函數(shù)為多維空間的曲面，就像一個(gè)碗，其碗底是最小值點(diǎn)。但是這個(gè)碗的表面是凹凸不平的，因而在對(duì)其訓(xùn)練過程中，可能陷入某一小谷區(qū)，而這一小谷區(qū)產(chǎn)生的是一個(gè)局部極小值。由此點(diǎn)向各方向變化均使誤差增加，以致于使訓(xùn)練無法逃出這一局部極小值。2、BP算法的改進(jìn)措施 針對(duì)BP網(wǎng)絡(luò)算法的缺陷，目前國(guó)內(nèi)外不少學(xué)者提出了許多改進(jìn)算法，下面就介紹幾種典型的改進(jìn)算法10。（1）增加動(dòng)量項(xiàng) 標(biāo)準(zhǔn)的BP算法在調(diào)整權(quán)值時(shí)，只按時(shí)刻誤差的梯度下降方向調(diào)整，而

41、沒有考慮t時(shí)刻以前的梯度方向，從而常使訓(xùn)練過程發(fā)生振蕩，收斂緩慢。為了提高訓(xùn)練速度，可以在權(quán)值調(diào)整公式中加一動(dòng)量項(xiàng)： (3.16)其中，W為某層權(quán)值矩陣，O為某層輸出向量，稱為動(dòng)量系數(shù)（），定義動(dòng)量項(xiàng)反映了以前積累的調(diào)整經(jīng)驗(yàn)。當(dāng)誤差梯度出現(xiàn)局部極小時(shí)，雖然，但，使其跳出局部極小區(qū)域，加快迭代收斂速度。目前，大多數(shù)BP算法中都增加了動(dòng)量項(xiàng)，以至于有動(dòng)量項(xiàng)的BP算法成為一種新的標(biāo)準(zhǔn)算法。（2）可變學(xué)習(xí)速度的反向傳播算法（Variable Learning rate Back Propagation，VLBP）可變學(xué)習(xí)速度的VLBP算法有許多不同的方法來改變學(xué)習(xí)速度。這是介紹一種非常直觀的批處理過程

42、，它的學(xué)習(xí)速度是根據(jù)算法的性能改變的?？勺儗W(xué)習(xí)速度反向傳播VLBP算法的規(guī)則如下：a. 如果平方誤差（在整個(gè)訓(xùn)練集上）在權(quán)值更新后增加了，且超過了某個(gè)設(shè)置的百分?jǐn)?shù)（典型值為1%5%），則權(quán)值更新被取消，學(xué)習(xí)速度被乘以一個(gè)因子（01），并且動(dòng)量系數(shù)（如果有的話）被設(shè)置為0。b. 如果平方誤差在權(quán)值更新后減少，則權(quán)值更新被接受，而且學(xué)習(xí)速度將乘以一個(gè)因子。如果被設(shè)置為0，則恢復(fù)到以前的值。c. 如果平方誤差的增長(zhǎng)小于，則權(quán)值更新被接受，但學(xué)習(xí)速度保持不變。如果過去被設(shè)置為0，則恢復(fù)到以前的值。（3）學(xué)習(xí)速率的自適應(yīng)調(diào)節(jié)上面給出的可變學(xué)習(xí)速度VLBP算法需要設(shè)置多個(gè)參數(shù)，算法的性能對(duì)這些參數(shù)的改變往

43、往十分敏感，另外，處理起來也比較麻煩。這里給出一個(gè)乘法的學(xué)習(xí)速率的自調(diào)節(jié)算法。學(xué)習(xí)速率的調(diào)整只與網(wǎng)絡(luò)總誤差有關(guān)。學(xué)習(xí)速率也稱步長(zhǎng)，在標(biāo)準(zhǔn)BP中是一個(gè)常數(shù)，但在實(shí)際計(jì)算中，很難給出一個(gè)從始至終都很合適的最佳學(xué)習(xí)速率。從誤差曲面可以看出，在平坦區(qū)內(nèi)太小會(huì)使訓(xùn)練次數(shù)增加，這時(shí)希望值大一些；而在誤差變化劇烈的區(qū)域，太大會(huì)因調(diào)整過量而路過較窄的“凹坑”處，使訓(xùn)練出現(xiàn)振蕩而使得迭代次數(shù)增加。為了加速收斂過程，最好是能自適應(yīng)調(diào)整學(xué)習(xí)速率，使其該大則大，該小則小。比如可以根據(jù)網(wǎng)絡(luò)總誤差來調(diào)整：在網(wǎng)絡(luò)經(jīng)過批次可預(yù)付調(diào)整后，若，則本次調(diào)整無效，且： (3.17)若，則調(diào)整有效，且： (3.18)（4）引入陡度因子

44、防止飽和誤差曲面上存在著平坦區(qū)，其可權(quán)值調(diào)整緩慢的原因在于S型激活函數(shù)具有飽和特性。如果在調(diào)整進(jìn)入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入“”，使其輸出退出激活函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實(shí)現(xiàn)這一思路的具體做法是在激活函數(shù)中引進(jìn)一個(gè)陡度因子： (3.19)當(dāng)而仍較大時(shí)，進(jìn)入平坦區(qū)，此時(shí)令；當(dāng)退出平坦區(qū)后，再令=1，使激活函數(shù)恢復(fù)原狀。不可否認(rèn)，利用人工神經(jīng)網(wǎng)絡(luò)對(duì)鋁合金變質(zhì)效果進(jìn)行預(yù)測(cè)也存在一些局限性和不足，但是這可以通過設(shè)置適當(dāng)參數(shù)或者改進(jìn)算法來彌補(bǔ)。到目前為止還沒有一個(gè)公認(rèn)的最有效的神經(jīng)網(wǎng)絡(luò)方法用于鋁合金變質(zhì)處理效果的預(yù)測(cè)。但是用人工神經(jīng)網(wǎng)絡(luò)方法對(duì)鋁合金變質(zhì)效果預(yù)測(cè)

45、有以下優(yōu)點(diǎn)：第一，精度較高；第二，建模相對(duì)容易；第三，數(shù)據(jù)組織容易。因此，ANN用于鋁合金變質(zhì)預(yù)測(cè)比其他方法有其自身的優(yōu)越性。按ANN的輸人數(shù)據(jù)的不同組織方式可以構(gòu)成滿足不同要求的鋁合金變質(zhì)預(yù)測(cè)系統(tǒng)。4 基于BP網(wǎng)絡(luò)的鋁合金變質(zhì)效果研究國(guó)內(nèi)外對(duì)于鋁合金變質(zhì)檢測(cè)方法研究的文獻(xiàn)很多，其中人工神經(jīng)網(wǎng)絡(luò)是一種很有前途的測(cè)量方法，其主要優(yōu)點(diǎn)在于可以對(duì)大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)，逼近任意非線性函數(shù)。而在這眾多的神經(jīng)網(wǎng)絡(luò)技術(shù)中，BP神經(jīng)網(wǎng)絡(luò)是現(xiàn)在應(yīng)用最成熟的一種神經(jīng)網(wǎng)絡(luò)算法，本研究提出了基于ANN的鋁合金變質(zhì)效果預(yù)測(cè)模型。通過對(duì)影響鋁合金變質(zhì)效果的信息變量進(jìn)行分析和處理，選定BP神經(jīng)網(wǎng)絡(luò)的輸入和輸出，確定BP網(wǎng)絡(luò)的

46、結(jié)構(gòu)，并利用MATLAB對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真運(yùn)算，從而得到最終的鋁合金變質(zhì)效果預(yù)測(cè)值。4.1 MATLAB及BP神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)4.1.1 MATLAB簡(jiǎn)介MATLAB是一種功能十分強(qiáng)大，運(yùn)算效率很高的數(shù)字工具軟件，全稱是Matrix Laboratory（矩陣實(shí)驗(yàn)室）。起初它是一種專門用于矩陣運(yùn)算的軟件，經(jīng)過多年的發(fā)展，MATLAB已經(jīng)發(fā)展成為一種功能強(qiáng)大的軟件，幾乎可以解決科學(xué)計(jì)算中的任何問題12。1、MATLAB的初步知識(shí)起初，MATLAB是專門用于矩陣計(jì)算的一種數(shù)學(xué)軟件，但伴隨著MATLAB的逐步市場(chǎng)化，它的功能也越來越大，從MATLAB 4.1開始，MATLAB開始擁有自己的符號(hào)運(yùn)算

47、功能，從而是MATLAB可以替代其他一些專用的符號(hào)計(jì)算軟件。 在MATLAB環(huán)境下，用戶可以集成地進(jìn)行程序設(shè)計(jì)、數(shù)值計(jì)算、圖形繪制、輸入輸出、文件管理等多項(xiàng)操作。MATLAB已經(jīng)成為對(duì)數(shù)值線性代數(shù)以及其他一些高等應(yīng)用數(shù)學(xué)課程進(jìn)行輔助教學(xué)的有益工具。在工程技術(shù)界，MATLAB也被用來解決一些實(shí)際課題和數(shù)學(xué)模型問題。典型的應(yīng)用包括數(shù)值計(jì)算、算法預(yù)設(shè)計(jì)與驗(yàn)證，以及一些特殊的矩陣計(jì)算應(yīng)用，比如自動(dòng)控制理論、統(tǒng)計(jì)和數(shù)字信號(hào)處理（時(shí)間序列拆分）等。2、MATLAB的優(yōu)點(diǎn)與其他的高級(jí)語(yǔ)言相比，MATLAB有著許多非常明顯的優(yōu)點(diǎn)，比如說容易學(xué)會(huì)掌握；可以由較多種操作系統(tǒng)支持；豐富的內(nèi)部函數(shù)和工具箱；強(qiáng)大的圖形

48、和符號(hào)功能；可以自動(dòng)選擇算法；與其他軟件和語(yǔ)言有良好的對(duì)接性等。3、MATLAB神經(jīng)網(wǎng)絡(luò)工具箱神經(jīng)網(wǎng)絡(luò)工具箱是在MATLAB環(huán)境下開發(fā)出來的許多工具箱之一，它是以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，用MATLAB語(yǔ)言構(gòu)造出典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，如S型、線性、競(jìng)爭(zhēng)層、飽和線性等激活函數(shù)，使設(shè)計(jì)者對(duì)所選定網(wǎng)絡(luò)輸出的計(jì)算變成對(duì)激活函數(shù)的調(diào)用。另外，根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值的規(guī)則，加上網(wǎng)絡(luò)的訓(xùn)練過程，用MATLAB語(yǔ)言編寫出各種網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練的子程序，網(wǎng)絡(luò)的設(shè)計(jì)者則可以根據(jù)自己的需要去調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)訓(xùn)練程序，使自己能夠從繁瑣的編程中解脫出來，集中精力去思考問題和解決問題,從而提高效率和解題質(zhì)量

49、。神經(jīng)網(wǎng)絡(luò)工具箱幾乎包括了所有現(xiàn)有神經(jīng)網(wǎng)絡(luò)的最新成果。對(duì)于各種網(wǎng)絡(luò)模型，神經(jīng)網(wǎng)絡(luò)工具箱集成了許多種學(xué)習(xí)算法，為用戶提供了極大的方便。此外，神經(jīng)網(wǎng)絡(luò)工具箱還給出了大量的示例程序，為用戶輕松地使用工具箱提供了生動(dòng)實(shí)用的范例12,13。4.1.2 BP神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)MATLAB 7.11神經(jīng)網(wǎng)絡(luò)工具箱中包含了許多用于BP網(wǎng)絡(luò)分析與設(shè)計(jì)的函數(shù)，BP網(wǎng)絡(luò)的幾個(gè)重要函數(shù)如表4.1所示8。表4.1 BP網(wǎng)絡(luò)的重要函數(shù) 函數(shù)名 功 能 newff() 生成一個(gè)前饋BP網(wǎng)絡(luò) traingd() 梯度下降BP訓(xùn)練函數(shù)（標(biāo)準(zhǔn)算法） train() BP網(wǎng)絡(luò)訓(xùn)練函數(shù) sim() BP網(wǎng)絡(luò)仿真函數(shù) （1）newff

50、該函數(shù)用于創(chuàng)建一個(gè)BP網(wǎng)絡(luò)。其調(diào)用格式如下。net=newff(PR, S1 S2.SN1, TF1 TF2.TFN1, BTF, BLF, PF)其中，net：函數(shù)返回值，創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)。輸入?yún)?shù)說明如下。PR：網(wǎng)絡(luò)輸入向量取值范圍矩陣；S1 S2.SN1：網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；TF1 TF2.TFN1：網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為tansig；BTF：網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為trainlm；BLF：網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為learngdm；PF：網(wǎng)絡(luò)性能，默認(rèn)為mse。（2）traingd該函數(shù)為梯度下降BP算法函數(shù)，為一種標(biāo)準(zhǔn)的BP學(xué)習(xí)算法。（3）train神經(jīng)網(wǎng)

51、絡(luò)訓(xùn)練函數(shù)，調(diào)用其他訓(xùn)練函數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。該函數(shù)的常用調(diào)用格式為：net, tr=train(NET, P, T)其中，net：函數(shù)返回值，訓(xùn)練好的的BP神經(jīng)網(wǎng)絡(luò)；tr：函數(shù)返回值，訓(xùn)練記錄(包括步數(shù)和性能)。輸入?yún)?shù)說明如下。NET：待訓(xùn)練的BP網(wǎng)絡(luò)；P：訓(xùn)練樣本的輸入向量；T：訓(xùn)練樣本的輸出向量。函數(shù)中的參數(shù)P、T采用矩陣形式，具體說明如下：P：RQ矩陣，其中R為訓(xùn)練樣本的輸入數(shù)，Q為訓(xùn)練樣本數(shù)；T：S2Q矩陣，S2為網(wǎng)絡(luò)中隱含層神經(jīng)元個(gè)數(shù)。（4）Sim利用該函數(shù)可對(duì)訓(xùn)練好的BP網(wǎng)絡(luò)進(jìn)行仿真，其調(diào)用格式為：Y=sim(net, X)，式中Y為網(wǎng)絡(luò)的仿真輸出向量，X為測(cè)試樣本的輸入向量。4.2 應(yīng)用 BP網(wǎng)絡(luò)對(duì)鋁合金變質(zhì)效果預(yù)測(cè)建模的一般步驟由于鋁合金變質(zhì)機(jī)理與原因非常復(fù)雜，鋁合金變質(zhì)效果與其凝固冷卻曲線上的特征參數(shù)之間存在復(fù)雜的非線性關(guān)系，這種關(guān)系難以用一個(gè)精確的數(shù)學(xué)模型。而人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)功能，且在信息記憶、自主學(xué)習(xí)、知識(shí)推理、優(yōu)化計(jì)算等方面有明顯的優(yōu)勢(shì)，因此神經(jīng)網(wǎng)絡(luò)模型更能真實(shí)反映鋁合金變質(zhì)的變化。BP網(wǎng)絡(luò)是目前應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)，用于鋁合金變質(zhì)效果預(yù)測(cè)建模的步驟可歸納如下：1、確定BP網(wǎng)絡(luò)結(jié)構(gòu)；2、根據(jù)