bp神經(jīng)網(wǎng)絡(luò)算法 嚴(yán)選參考

BP神經(jīng)網(wǎng)絡(luò)算法摘 要人工神經(jīng)網(wǎng)絡(luò)，是由大量處理單元（神經(jīng)元）組成的非線性大規(guī)模自適應(yīng)動(dòng)力系統(tǒng)。它具有自組織，自適應(yīng)和自學(xué)習(xí)能力，以及具有非線性、非局域性，非定常性和非凸性等特點(diǎn)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理，記憶信息的方式設(shè)計(jì)一種新的機(jī)器使之具有人腦那樣的信息處理能力。作為人工智能的重要組成部分，人工神經(jīng)網(wǎng)絡(luò)有較大的應(yīng)用潛力。本文闡述了神經(jīng)網(wǎng)絡(luò)的發(fā)展、現(xiàn)狀及其原理，介紹了神經(jīng)網(wǎng)絡(luò)在航空航天業(yè)、國防工業(yè)、制造業(yè)等諸多方面的應(yīng)用。BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用較多的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它能以任意精度逼近任意非線性函數(shù)，而且具有良好的逼近性能，并且結(jié)構(gòu)簡(jiǎn)單，是一種性能優(yōu)良的神經(jīng)網(wǎng)絡(luò)。本文闡述了BP神經(jīng)網(wǎng)絡(luò)的基本原理，詳細(xì)分析了標(biāo)準(zhǔn)BP算法、動(dòng)量BP算法以及學(xué)習(xí)率可變的BP算法等幾種流行的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法,詳細(xì)的介紹了這幾種算法的優(yōu)缺點(diǎn)，并給出了各種算法的仿真程序，通過仿真結(jié)果對(duì)各種算法進(jìn)行比較后有針對(duì)性的提出了BP算法的一種改進(jìn)變梯度BP算法。對(duì)于改進(jìn)的BP算法，本文不僅從理論方面對(duì)其進(jìn)行了深入的分析，還介紹了該算法的詳細(xì)思路和具體過程，將算法訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)運(yùn)用到函數(shù)逼近中去。仿真結(jié)果表明，這種改進(jìn)方案確實(shí)能夠改善算法在訓(xùn)練過程中的收斂特性，而且提高收斂速度，取得令人滿意的逼近效果。關(guān)鍵詞: 人工智能；BP神經(jīng)網(wǎng)絡(luò)；變梯度法；改進(jìn)Abstract Artificial neural network, by the large number of processing units (neurons) composed of large-scale adaptive nonlinear dynamic systems. It is self-organization, adaptive and self-learning ability, as well as non-linear, non-local, non-steady and non-convex and so on. It is in modern neuroscience research on the basis of the results, trying to simulate the brain network processing, memory about the means to design a new machine so that it is the human brain, as the information processing capability.As an important component of artificial intelligence, artificial neural networks have greater potential applications. This paper describes the development of a neural network, the status quo and its principles, introduced a neural network in the aerospace industry, defense industry, manufacturing and many other aspects of the application. BP neural network is more of a neural network structure. Approaching it with any precision arbitrary nonlinear function, but also has a good approximation performance, and simple structure, is a good performance of neural networks.In this paper, BP neural network the basic principles, detailed analysis of the standard BP algorithm, momentum BP algorithm and the variable rate of learning, such as BP algorithm several popular BP neural network learning algorithm, described in detail the advantages and disadvantages of these different algorithms And gives a variety of algorithm simulation program, through the simulation results of the various algorithms to compare targeted after BP made an improved algorithm - BP change gradient algorithm. BP to improve the algorithm, the paper not only from the theoretical aspects of their in-depth analysis, also described the algorithm is detailed ideas and specific process, method of training to use BP neural network to function approximation. The simulation results show that this improvement programme is to improve the training algorithm in the process of convergence characteristics, and improve the convergence rate, a satisfactory approximation.Keywords: Artificial intelligence; BP neural network; change gradient method; improve目 錄第一章 緒論11.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史11.2人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用3第二章 人工神經(jīng)網(wǎng)絡(luò)的基本原理及模型72.1神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本原理72.1.1人工神經(jīng)元模式72.1.2連接權(quán)值72.1.3神經(jīng)網(wǎng)絡(luò)狀態(tài)82.1.4神經(jīng)網(wǎng)絡(luò)的輸出82.2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)82.3神經(jīng)網(wǎng)絡(luò)的特點(diǎn)102.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式112.5幾種典型的神經(jīng)網(wǎng)絡(luò)11第三章 BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)及其仿真研究153.1 BP算法的數(shù)學(xué)描述153.2 BP網(wǎng)絡(luò)學(xué)習(xí)算法183.2.1標(biāo)準(zhǔn)BP算法183.2.2動(dòng)量BP算法203.2.3學(xué)習(xí)率可變的BP算法213.3 BP算法的缺陷223.4 BP算法的一種改進(jìn)變梯度BP算法233.4.1共軛梯度法233.4.2改進(jìn)共軛梯度法243.5 BP網(wǎng)絡(luò)應(yīng)用實(shí)例263.5.1一般BP算法及其改進(jìn)算法訓(xùn)練過程的不同263.5.2 BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近27結(jié)束語28參考文獻(xiàn)29致 謝30附 錄318參考8第一章 緒論1.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史 早在20世紀(jì)初，人們就已經(jīng)發(fā)現(xiàn)人腦的工作方式與現(xiàn)在的計(jì)算機(jī)是不同的。人腦是由極大量基本單元（稱之為神經(jīng)元）經(jīng)過復(fù)雜的相互連接而成的一種高度復(fù)雜的、非線性的、并行處理的信息處理系統(tǒng)。 人工神經(jīng)網(wǎng)絡(luò)（artificial neural network,ANN），是借鑒人腦的結(jié)構(gòu)和特點(diǎn)，通過大量簡(jiǎn)單處理單元（神經(jīng)元或節(jié)點(diǎn)）互連組成的大規(guī)模并行分布式信息處理和非線性動(dòng)力學(xué)系統(tǒng)。它具有巨量并行性、結(jié)構(gòu)可變性、高度非線性、自學(xué)習(xí)性和自組織性等特點(diǎn)。因此，它能解決常規(guī)信息處理方法難以解決或無法解決的問題，尤其是那些屬于思維（形象思維）、推理及意識(shí)方面的問題。 從人腦的生理結(jié)構(gòu)出發(fā)來研究人的智能行為，模擬人腦信息處理的過程，即人工神經(jīng)網(wǎng)絡(luò)的研究，自20世紀(jì)40年代以來，它的發(fā)展經(jīng)歷了一條由興起、蕭條和興盛三個(gè)階段構(gòu)成的曲折道路123。 早在1943年精神病學(xué)家和神經(jīng)解剖學(xué)家McCulloch與數(shù)學(xué)家Pitts在數(shù)學(xué)生物物理學(xué)會(huì)刊Bulletin of Mathematical Biophysics上發(fā)表文章，總結(jié)了生物神經(jīng)元的一些基本生理特征，提出了形式神經(jīng)元的數(shù)學(xué)描述與結(jié)構(gòu)，即MP模型。他們的神經(jīng)元模型假定遵循一種所謂“有或無”（all-or-none）規(guī)則。如果如此簡(jiǎn)單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置突觸連接并且同步操作，McCulloch和Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計(jì)算任何可計(jì)算函數(shù)。這是一個(gè)有重大意義的結(jié)果，有了它就標(biāo)志著神經(jīng)網(wǎng)絡(luò)和人工智能學(xué)科的誕生。 1949年生理學(xué)家D.O.Hebb出版了The Organization of Behavior(行為組織學(xué))一書。該書第一次鮮明提出了神經(jīng)元連接強(qiáng)度的Hebb規(guī)則。他認(rèn)為學(xué)習(xí)過程是在突觸上發(fā)生的，突觸的聯(lián)系強(qiáng)度隨其前后神經(jīng)元的活動(dòng)而變化。根據(jù)這一假設(shè)提出的學(xué)習(xí)規(guī)則為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)，使神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個(gè)重要的發(fā)展階段。 1954年Minsky在Princeton大學(xué)撰寫了“神經(jīng)網(wǎng)絡(luò)”的博士論文，題目是Theory of Neural-Analog Reinforcement Systems and Its Application tothe Brain-Model Problem。1961年Minsky發(fā)表了早期關(guān)于人工智能（AI）的優(yōu)秀論文“Steps Toward Artificial Intelligence”，論文的后半部包含了當(dāng)今神經(jīng)網(wǎng)絡(luò)的大部分內(nèi)容。1967年Minsky出版了Computation：Finite andInfinite Machines一書，它是第一本以書的形式擴(kuò)展了McCulloch和Pitts1943年的結(jié)果，并把他們置于自動(dòng)機(jī)理論和計(jì)算理論的背景中。 1958年，計(jì)算機(jī)科學(xué)家Rosenblatt提出感知機(jī)（Perceptron），首次把神經(jīng)網(wǎng)絡(luò)理論付諸工程實(shí)現(xiàn)。這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生物學(xué)的知識(shí)，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機(jī)連接，這是符合動(dòng)物學(xué)習(xí)的自然環(huán)境。當(dāng)時(shí)，人們對(duì)神經(jīng)網(wǎng)絡(luò)的研究過于樂觀，認(rèn)為只要將這種神經(jīng)元互連成一個(gè)網(wǎng)絡(luò)，就可以解決人腦思維的模型問題。但是，隨之而來的Minsky和Papert（1969）所著的Perceptron一書，利用數(shù)學(xué)證明單層感知器所能計(jì)算的根本局限，提出感知器的處理能力有限，甚至連XOR這樣的問題也不能解決，并在多層感知器的總結(jié)章中，論述了單層感知器的所有局限性在多層感知器中是不可能被全部克服的。當(dāng)時(shí)人工智能的以功能模擬為目標(biāo)的另一分支出現(xiàn)了轉(zhuǎn)機(jī)，產(chǎn)生了以知識(shí)信息處理為基礎(chǔ)的知識(shí)工程（Knowledge Engineering），給人工智能從實(shí)驗(yàn)室走向?qū)嵱脦砹讼ＭＭ瑫r(shí)，微電子技術(shù)的發(fā)展，使傳統(tǒng)的計(jì)算機(jī)的處理能力有很大提高，數(shù)字計(jì)算機(jī)的發(fā)展使當(dāng)時(shí)科學(xué)界普遍認(rèn)為它能解決一切問題，包括模式識(shí)別、機(jī)器人控制等。因而不必去尋找新的計(jì)算理論與實(shí)現(xiàn)方法。而且，當(dāng)時(shí)的工藝水平還未能達(dá)到制作實(shí)用的具有足夠規(guī)模的神經(jīng)網(wǎng)絡(luò)，用分離的電子管即使是晶體管所制作的神經(jīng)網(wǎng)絡(luò)也只能作示教星的表演。這些因素的共同作用，促使人們降低了對(duì)神經(jīng)網(wǎng)絡(luò)研究的熱情，從而使神經(jīng)網(wǎng)絡(luò)進(jìn)入蕭條時(shí)期。但在其間，一些人工神經(jīng)網(wǎng)絡(luò)的先驅(qū)仍然致力于這一研究，美國波士頓大學(xué)的Grossberg提出了自適應(yīng)共諧振理論（ART網(wǎng)），芬蘭的Kohonen提出了自組織映射（SOM），Amari致力于神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)理論的研究，這些都為神經(jīng)網(wǎng)絡(luò)的進(jìn)一步研究與發(fā)展奠定了基礎(chǔ)。 1982年，美國加州工學(xué)院Hopfield提出Hopfield神經(jīng)網(wǎng)絡(luò)模型，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑，有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。1985年，Hinton和Sejnowsky等人提出了Boltzmann模型，首次采用了多層網(wǎng)絡(luò)的學(xué)習(xí)算法，在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù)，保證整個(gè)系統(tǒng)趨于全局穩(wěn)定點(diǎn)。1986年Remelhart和McClelland等人提出了并行分布處理的理論，同時(shí)，Werbos和Parker獨(dú)立發(fā)展了多層網(wǎng)絡(luò)的BP算法，這是目前最普遍的網(wǎng)絡(luò)，廣泛用于實(shí)際問題求解。 神經(jīng)網(wǎng)絡(luò)的發(fā)展已到了一個(gè)新時(shí)期，它涉及的范圍正在不斷擴(kuò)大，其應(yīng)用滲透到各個(gè)領(lǐng)域。在連接主義模式下，進(jìn)化與學(xué)習(xí)結(jié)合的思想正在迅速發(fā)展，神經(jīng)計(jì)算、進(jìn)化計(jì)算正成為其發(fā)展的一個(gè)重要方向。1994年廖曉昕對(duì)細(xì)胞神經(jīng)網(wǎng)絡(luò)建立了新的數(shù)學(xué)理論與基礎(chǔ)，得出了一系列結(jié)果，如平衡態(tài)的全局穩(wěn)定性、區(qū)域穩(wěn)定性、周期解的存在性和吸引性等，使該領(lǐng)域取得了新的進(jìn)展。P.Werbos通過混沌、獨(dú)立子系統(tǒng)的數(shù)學(xué)技術(shù)來理解人的認(rèn)知過程，建立新的神經(jīng)信息處理模型和框架。日本學(xué)者Amari.S將微分流形和信息集合應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，探索系統(tǒng)化的新的神經(jīng)信息處理理論基礎(chǔ)，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了條嶄新的途徑。神經(jīng)網(wǎng)絡(luò)理論有極強(qiáng)的數(shù)學(xué)性質(zhì)和生物學(xué)特征，尤其是在神經(jīng)科學(xué)、心理學(xué)和認(rèn)識(shí)科學(xué)等方面提出了一些重大問題，是向神經(jīng)網(wǎng)絡(luò)理論研究的新挑戰(zhàn)，也是它發(fā)展的機(jī)會(huì)。21世紀(jì)神經(jīng)網(wǎng)絡(luò)理論日益變得更加外向，不斷產(chǎn)生具有重要意義的概念和方法，推進(jìn)神經(jīng)網(wǎng)絡(luò)向更高階段發(fā)展。 如今，神經(jīng)網(wǎng)絡(luò)的應(yīng)用，已滲透到模式識(shí)別、圖像處理、非線性優(yōu)化、語音處理、自然語言理解、自動(dòng)目標(biāo)識(shí)別、機(jī)器人、專家系統(tǒng)等各個(gè)領(lǐng)域，并取得了令人矚目的成果。神經(jīng)網(wǎng)絡(luò)理論也已成為涉及神經(jīng)生理科學(xué)、認(rèn)識(shí)科學(xué)、數(shù)理科學(xué)、心理學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)、光學(xué)、生物電子學(xué)等多學(xué)科的新興的、綜合性的前沿學(xué)科。 從眾多應(yīng)用研究領(lǐng)域取得的豐碩成果來看，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展具有強(qiáng)大的生命力。當(dāng)前存在的問題是智能水平還不高，許多應(yīng)用方面的要求還不能得到很好的滿足；網(wǎng)絡(luò)分析與綜合的一些理論性問題（如穩(wěn)定性、收斂性的分析，網(wǎng)絡(luò)的結(jié)構(gòu)綜合等）還未得到很好的解決。隨著人們對(duì)大腦信息處理機(jī)理認(rèn)知的深化，以及人工神經(jīng)網(wǎng)絡(luò)智能水平的提高，人工神經(jīng)網(wǎng)絡(luò)必將在科學(xué)技術(shù)領(lǐng)域發(fā)揮更大的作用。1.2人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域極其廣泛，1988年DARPA神經(jīng)網(wǎng)絡(luò)研究報(bào)告列舉了不同領(lǐng)域神經(jīng)網(wǎng)絡(luò)的應(yīng)用實(shí)例，見表11。從表中可以看出，神經(jīng)網(wǎng)絡(luò)在人工智能、自動(dòng)控制、計(jì)算機(jī)科學(xué)、信息處理、機(jī)器人、模式識(shí)別等方面都有重要的應(yīng)用實(shí)例。隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，其用途日益廣泛，應(yīng)用領(lǐng)域也在不斷拓展，已在各工程領(lǐng)域中得到廣泛的應(yīng)用4。表11 神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例應(yīng)用領(lǐng)域應(yīng)用實(shí)例航空航天業(yè)高性能飛機(jī)自動(dòng)駕駛儀、飛行航線模擬、飛行器控制系統(tǒng)、自動(dòng)駕駛儀增強(qiáng)器、飛機(jī)構(gòu)件模擬、飛機(jī)構(gòu)件故障檢測(cè)等汽車業(yè)汽車自動(dòng)駕駛系統(tǒng)、保單行為分析銀行業(yè)支票和其他文檔讀取、信用卡申請(qǐng)書評(píng)估信用卡行為檢查用于辨認(rèn)與遺失的信用卡相關(guān)的不尋常的信用卡行為國防工業(yè)武器制導(dǎo)、目標(biāo)跟蹤與識(shí)別、臉部識(shí)別、新型傳感器、聲納、雷達(dá)、圖像處理與數(shù)據(jù)壓縮、特征提取與噪聲抑制、信號(hào)/圖像識(shí)別電子業(yè)編碼序列預(yù)測(cè)、集成電路芯片版圖設(shè)計(jì)、過程控制芯片故障檢測(cè)、機(jī)器人視覺、語音合成非線性建模娛樂業(yè)動(dòng)畫、特效、市場(chǎng)預(yù)測(cè)金融業(yè)房地產(chǎn)估價(jià)、貸款指導(dǎo)、抵押審查、集團(tuán)債務(wù)評(píng)估、信用曲線分析、有價(jià)證券交易程序、集團(tuán)財(cái)政分析、貨幣價(jià)格預(yù)測(cè)工業(yè)預(yù)測(cè)熔爐產(chǎn)生的氣體和其他工業(yè)過程，以取代復(fù)雜而昂貴的儀器設(shè)備保險(xiǎn)業(yè)政策應(yīng)用評(píng)估，產(chǎn)出最優(yōu)化制造業(yè)制造業(yè)過程控制、產(chǎn)品設(shè)計(jì)與分析、過程與機(jī)器診斷、實(shí)時(shí)微粒識(shí)別、可視化質(zhì)量檢測(cè)系統(tǒng)、焊接質(zhì)量分析、紙質(zhì)預(yù)測(cè)、計(jì)算機(jī)芯片質(zhì)量分析、化學(xué)產(chǎn)品設(shè)計(jì)分析、機(jī)器保養(yǎng)分析、工程投標(biāo)、經(jīng)營與管理、化學(xué)處理系統(tǒng)的動(dòng)態(tài)建模等醫(yī)藥乳腺癌細(xì)胞分析，EEG和ECG分析，假體設(shè)計(jì)，移植時(shí)間最優(yōu)化，降低醫(yī)療費(fèi)用支出，提高醫(yī)療質(zhì)量石油天然氣勘探機(jī)器人技術(shù)行走路線控制、鏟車機(jī)器人、操縱控制器、視覺系統(tǒng)等語音語音識(shí)別、語音壓縮、元音分類、文本-語音合成等有價(jià)證券市場(chǎng)分析、自動(dòng)債券評(píng)級(jí)、股票交易咨詢系統(tǒng)等電信業(yè)圖像與數(shù)據(jù)壓縮、自動(dòng)信息服務(wù)、實(shí)時(shí)語言翻譯、用戶付費(fèi)處理系統(tǒng)等交通卡車剎車診斷系統(tǒng)、車輛調(diào)度、行程安排系統(tǒng)等神經(jīng)網(wǎng)絡(luò)比較擅長(zhǎng)的應(yīng)用領(lǐng)域如下：（1） 模式識(shí)別神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練可有效的提取信號(hào)、語言、圖像、雷達(dá)、聲納等感知模式的特征，并能解決現(xiàn)有啟發(fā)模式識(shí)別系統(tǒng)不能很好解決的不變量測(cè)量、自適應(yīng)、抽象或概括等問題。這方面的主要應(yīng)用有：圖形、符號(hào)、手寫體及語音識(shí)別，雷達(dá)及聲納等目標(biāo)識(shí)別，藥物構(gòu)效關(guān)系等化學(xué)模式信息辨認(rèn)，機(jī)器人視覺、聽覺，各種最近相鄰模式聚類及識(shí)別分類，遙感、醫(yī)學(xué)圖像分析，計(jì)算機(jī)視覺、計(jì)算機(jī)輸入裝置等。神經(jīng)網(wǎng)絡(luò)可應(yīng)用于模式識(shí)別的各個(gè)環(huán)節(jié)：特征提聚、聚類分析、邊緣檢測(cè)、信號(hào)增強(qiáng)、噪音抑制、數(shù)據(jù)壓縮以及各種變換、分類判決等。模式識(shí)別是人工神經(jīng)網(wǎng)絡(luò)特別適宜求解的一類問題，神經(jīng)網(wǎng)絡(luò)模式識(shí)別技術(shù)在各領(lǐng)域中的廣泛應(yīng)用是神經(jīng)網(wǎng)絡(luò)技術(shù)發(fā)展的一個(gè)重要側(cè)面。（2） 人工智能專家系統(tǒng)是人工智能領(lǐng)域研究時(shí)間最長(zhǎng)，應(yīng)用最成功的技術(shù)，但人們?cè)趹?yīng)用專家系統(tǒng)解決諸如語音識(shí)別、圖像處理和機(jī)器人控制等這類似于人腦的形象思維的問題時(shí)，卻遇到很大的困難。神經(jīng)網(wǎng)絡(luò)的問世為人工智能開辟了一條嶄新的途徑，成為人工智能研究領(lǐng)域中的后起之秀，它具有的自學(xué)習(xí)能力是傳統(tǒng)專家系統(tǒng)望塵莫及的。神經(jīng)網(wǎng)絡(luò)技術(shù)能對(duì)不完整信息進(jìn)行補(bǔ)全，根據(jù)已學(xué)會(huì)的知識(shí)和處理問題的經(jīng)驗(yàn)對(duì)復(fù)雜問題作出合理的判斷決策，給出較滿意的解答，或?qū)ξ磥磉^程作出有效的預(yù)測(cè)和估計(jì)，從而使之在人工智能領(lǐng)域獲得廣泛的應(yīng)用。這個(gè)方面的主要應(yīng)用有：自然語言處理、市場(chǎng)分析、預(yù)測(cè)估值、系統(tǒng)診斷、事故檢查、密碼破譯、語言翻譯、邏輯推理、知識(shí)表達(dá)、智能機(jī)器人、模糊評(píng)判等。（3） 控制工程神經(jīng)網(wǎng)絡(luò)在諸如機(jī)器人運(yùn)動(dòng)控制、工業(yè)生產(chǎn)中的過程控制等復(fù)雜控制問題方面有獨(dú)到之處。較之基于傳統(tǒng)數(shù)學(xué)計(jì)算機(jī)的離散控制方式，神經(jīng)網(wǎng)絡(luò)更適宜于組成快速實(shí)施自適應(yīng)控制系統(tǒng)。這方面的主要應(yīng)用有：多變量自適應(yīng)控制、變結(jié)構(gòu)優(yōu)化控制、并行分布控制、智能及魯棒控制等。（4） 優(yōu)化計(jì)算和聯(lián)想控制由于并行、分布式的計(jì)算結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)在求解諸如組合優(yōu)化（NP完備問題）、費(fèi)心性優(yōu)化等一系列問題上表現(xiàn)出高速的集體計(jì)算能力。在VLSI自動(dòng)排版、高速通信開關(guān)控制、航班分配、貨物調(diào)度、路徑選擇、組合編碼、排序、系統(tǒng)規(guī)劃、交通管理以及圖論中各類問題的計(jì)算等方面得到了成功應(yīng)用。聯(lián)想記憶的作用是用一個(gè)不完整的模糊的信息聯(lián)想出儲(chǔ)存在記憶中的某個(gè)完整、清晰的模式來。如何提高模式儲(chǔ)存量和聯(lián)想質(zhì)量仍是神經(jīng)網(wǎng)絡(luò)的熱點(diǎn)之一。目前在這方面的應(yīng)用又內(nèi)容尋址器、人臉識(shí)別器、知識(shí)數(shù)據(jù)庫等。（5） 信號(hào)處理神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)和自適應(yīng)能力使其成為對(duì)各類信號(hào)進(jìn)行多用途加工處理的一種天然工具，主要用于解決信號(hào)處理中的自適應(yīng)和非線性問題。包括自適應(yīng)均衡、自適應(yīng)濾波、回?fù)艿窒?、自適應(yīng)波束形成、自適應(yīng)編碼等自適應(yīng)問題和各種非線性問題，如非線性區(qū)域的模式分類、系統(tǒng)辨識(shí)和高維非線性系統(tǒng)的檢測(cè)、估計(jì)等問題，還可對(duì)病態(tài)問題進(jìn)行求解。神經(jīng)網(wǎng)絡(luò)在弱信號(hào)檢測(cè)、通信、自適應(yīng)濾波等方面的應(yīng)用尤其引人注目，并已在許多行業(yè)得到應(yīng)用。雖然神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域內(nèi)都有成功的應(yīng)用實(shí)例，但神經(jīng)網(wǎng)絡(luò)也不是盡善盡美的。目前，神經(jīng)網(wǎng)絡(luò)的理論研究和實(shí)際用途都在進(jìn)一步探索之中，相信隨著人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)一步深入，其應(yīng)用領(lǐng)域會(huì)更廣，用途會(huì)更大。第二章 人工神經(jīng)網(wǎng)絡(luò)的基本原理及模型2.1神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本原理3562.1.1人工神經(jīng)元模式神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單處理單元組成，通過可變權(quán)值連接而成的并行分布式圖21神經(jīng)元的一般描述系統(tǒng)。神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它是一個(gè)多輸入-單輸出的非線性器件，其結(jié)構(gòu)如圖21所示。圖中，xi為輸入信號(hào)，wij表示從第i個(gè)神經(jīng)元到第j個(gè)神經(jīng)元的連接權(quán)值，j為第j個(gè)神經(jīng)元的閾值。設(shè)sj為外部輸入信號(hào)，yj為輸出信號(hào)，在上述模型中第j個(gè)神經(jīng)元的變換可描述為 （21）這里采用的非線性函數(shù)f(x)可以是階躍函數(shù)、分段函數(shù)及Sigmoid型函數(shù)。2.1.2連接權(quán)值人工神經(jīng)網(wǎng)絡(luò)的處理單元間相互連接，所有的連接構(gòu)成一有向圖。每一連接對(duì)應(yīng)于一個(gè)實(shí)數(shù)，稱為連接權(quán)值，或稱為權(quán)重。權(quán)值的集合可看作是長(zhǎng)期記憶。我們可以用權(quán)矩陣W來表示網(wǎng)絡(luò)中的連接模式，W中的元素是wij。連接權(quán)值的類型一般分為激發(fā)和抑制形式，正的權(quán)值表示激發(fā)連接，相反，負(fù)的權(quán)值表示抑制連接。連接權(quán)值的連接方式是人工神經(jīng)網(wǎng)絡(luò)的特征描述。2.1.3神經(jīng)網(wǎng)絡(luò)狀態(tài)在時(shí)刻t，每一個(gè)神經(jīng)元都有一個(gè)實(shí)數(shù)值，稱之為神經(jīng)元狀態(tài)，也叫做神經(jīng)元的激勵(lì)值，用xi表示神經(jīng)元uj的狀態(tài)，用X(t)表示神經(jīng)網(wǎng)絡(luò)的狀態(tài)空間。在各種不同的神經(jīng)網(wǎng)絡(luò)類型中，狀態(tài)空間可以作各種不同的假設(shè)。狀態(tài)空間可能是續(xù)的，也可能是離散的；可能是有界的，也可能是無界的；可能在一個(gè)實(shí)數(shù)區(qū)間上取值，也可能取有限值；最常見的情形是取二值，即0和1兩種狀態(tài)，或-1和1兩種狀態(tài)，亦或是取連續(xù)實(shí)數(shù)值。2.1.4神經(jīng)網(wǎng)絡(luò)的輸出對(duì)于每一個(gè)神經(jīng)元，都有一個(gè)輸出，并通過連接權(quán)值將輸出傳送給其相連的處理單元，輸出信號(hào)直接依賴于處理單元的狀態(tài)或激勵(lì)值。這種依賴性通過輸出變換函數(shù)fj對(duì)于處理單元uj的作用來表示。假如我們用zj(t)來定義t時(shí)刻神經(jīng)元的ui輸出那么zj(t)=fj(xj(t) （22）或?qū)懗上蛄康男问?Z(t)=f(X(t) （23）這里，Z(t)是神經(jīng)網(wǎng)絡(luò)的輸出向量，f定義為狀態(tài)向量與每一個(gè)分量的對(duì)應(yīng)函數(shù)。一般是在區(qū)間（0，1）上的有界函數(shù)。人工神經(jīng)網(wǎng)絡(luò)模型，按它的網(wǎng)絡(luò)性能分類，可以分成確定性的、隨機(jī)性的、連續(xù)型的和離散型的網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)模型就存在離散和連續(xù)兩類。確定性是相對(duì)于隨機(jī)性而言，當(dāng)網(wǎng)絡(luò)狀態(tài)按概率分布變化就呈現(xiàn)了隨機(jī)性。Boltzmann機(jī)就是這種類型的人工神經(jīng)網(wǎng)絡(luò)模型，該神經(jīng)元取0和1兩種狀態(tài)，每個(gè)神經(jīng)元狀態(tài)的轉(zhuǎn)換是一隨機(jī)函數(shù)。2.2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)除單元特性外，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也是NN的一個(gè)重要特性，按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)分類，人工神經(jīng)網(wǎng)絡(luò)可分成3類26： （1）相互連接的網(wǎng)絡(luò)相互連接的網(wǎng)絡(luò)中任意神經(jīng)元之間都可能有連接，信息在神經(jīng)元之間可以反復(fù)傳遞，造成網(wǎng)絡(luò)狀態(tài)的不斷變化。系統(tǒng)整體從某一初始狀態(tài)開始，經(jīng)過不斷的變化過程，最后進(jìn)入某一平衡狀態(tài)、周期振蕩或其他狀態(tài)。（2）分層前饋型網(wǎng)絡(luò)分層前饋網(wǎng)絡(luò)的神經(jīng)元分層排列，并將其分為輸入層、隱含層和輸出層。各神經(jīng)元接受前一層的輸入，并輸出給下一層，沒有反饋（如圖221所示）。節(jié)點(diǎn)分為兩類，即輸入單元和計(jì)算單元，每一計(jì)算單元可有任意多個(gè)輸入，但只有一個(gè)輸出（它可以耦合到任意多個(gè)其他節(jié)點(diǎn)作為其輸入）。前饋型網(wǎng)絡(luò)可分為不同的層，每一層的神經(jīng)元只接收前一層神經(jīng)元的輸入，輸入層接收外界的輸入模式。輸入模式經(jīng)過各層神經(jīng)元的響應(yīng)處理變?yōu)檩敵鰧拥妮敵?。最常用的前饋神?jīng)網(wǎng)絡(luò)就是BP神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network）和RBF徑向基函數(shù)網(wǎng)絡(luò)(Radial Basis Function Neural Network)。 圖221具有一個(gè)隱層的前饋型網(wǎng)絡(luò)（3）反饋分層網(wǎng)絡(luò)如圖222所示，該網(wǎng)絡(luò)是在分層前饋網(wǎng)絡(luò)基礎(chǔ)上，將網(wǎng)絡(luò)的輸出反饋到網(wǎng)絡(luò)的輸入，反饋可以將全部輸出反饋，也可以將部分輸出反饋。所有節(jié)點(diǎn)都是計(jì)算單元，同時(shí)也可接受輸入，并向外界輸出。最典型的反饋神經(jīng)網(wǎng)絡(luò)就是Hopfield神經(jīng)網(wǎng)絡(luò)。ANN的工作過程主要分為兩個(gè)階段，一個(gè)階段是學(xué)習(xí)期，此時(shí)各計(jì)算單元狀態(tài)不變，各連線上的權(quán)值通過學(xué)習(xí)來修改。第二階段是工作期，此時(shí)連接權(quán)值固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài)。圖222單層全連接反饋型網(wǎng)絡(luò)從作用效果來看，前饋型網(wǎng)絡(luò)主要是函數(shù)映射，可用于模式識(shí)別和函數(shù)逼近。按對(duì)能量函數(shù)的所有極小點(diǎn)的利用情況，可將反饋型網(wǎng)絡(luò)分為兩類：一類是能量函數(shù)的所有極小點(diǎn)都起作用，主要用作各種聯(lián)想存儲(chǔ)器；另一類只利用全局極小點(diǎn)，它主要用于求解優(yōu)化問題。2.3神經(jīng)網(wǎng)絡(luò)的特點(diǎn)神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn)是：（1） 分布式儲(chǔ)存信息。其信息的儲(chǔ)存分布在不同的位置，神經(jīng)網(wǎng)絡(luò)是用大量神經(jīng)元之間的連接及對(duì)各連接權(quán)值的分布來表示特定的信息，從而使網(wǎng)絡(luò)在局部網(wǎng)絡(luò)受損或輸入信號(hào)因各種原因發(fā)生部分畸變時(shí)，仍然能夠保證網(wǎng)絡(luò)的正確輸出，提高網(wǎng)絡(luò)的容錯(cuò)性和魯棒性。（2） 并行協(xié)同處理信息。神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都可根據(jù)接收到的信息進(jìn)行獨(dú)立的運(yùn)算和處理，并輸出結(jié)果，同一層中的各個(gè)神經(jīng)元的輸出結(jié)果可被同時(shí)計(jì)算出來，然后傳輸給下一層做進(jìn)一步處理，這體現(xiàn)了神經(jīng)網(wǎng)絡(luò)并行運(yùn)算的特點(diǎn)，這一特點(diǎn)使網(wǎng)絡(luò)具有非常強(qiáng)的實(shí)時(shí)性。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為是極其豐富多彩的。（3） 信息處理與儲(chǔ)存合二為一。神經(jīng)網(wǎng)絡(luò)的每個(gè)神經(jīng)元都兼有信息處理和儲(chǔ)存功能，神經(jīng)元之間連接強(qiáng)度的變化，既反應(yīng)了對(duì)信息的記憶，同時(shí)又與神經(jīng)元對(duì)激勵(lì)的響應(yīng)以其反映了對(duì)信息的處理。（4） 對(duì)信息的處理具有自組織、自學(xué)習(xí)的特點(diǎn)，便于聯(lián)想、綜合和推廣。神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接強(qiáng)度用權(quán)值大小來表示，這些神經(jīng)元之間的連接強(qiáng)度會(huì)不斷增加，從而提高神經(jīng)元對(duì)這些樣本特征的反應(yīng)靈敏度。2.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 一個(gè)神經(jīng)網(wǎng)絡(luò)僅僅具有拓?fù)浣Y(jié)構(gòu)還不能具有任何智能特性。必須有一套完整的學(xué)習(xí)、工作規(guī)則與之配合。人工神經(jīng)網(wǎng)絡(luò)的工作過程可分為以下兩個(gè)階段：第一個(gè)階段是學(xué)習(xí)期，此時(shí)各計(jì)算單元狀態(tài)不變，各連線上的權(quán)值通過學(xué)習(xí)來修改；第二階段是工作期，此時(shí)各連接權(quán)固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài)。神經(jīng)網(wǎng)絡(luò)中信息處理、傳遞是由網(wǎng)絡(luò)結(jié)構(gòu)的連接權(quán)實(shí)現(xiàn)的，而連接權(quán)值的大小則是通過在一定拓?fù)浣Y(jié)構(gòu)固定的條件下，遵循一定的原則，按照一定的方式，應(yīng)用一定的學(xué)習(xí)算法訓(xùn)練得到的。通過向環(huán)境學(xué)習(xí)獲取知識(shí)并改進(jìn)自身性能是神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)。在一般情況下，性能的改善是按某種預(yù)定的度量通過調(diào)節(jié)自身參數(shù)（如權(quán)值）隨時(shí)間逐步達(dá)到的。對(duì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究是神經(jīng)網(wǎng)絡(luò)研究中最核心的部分。對(duì)于不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，人們都研究出許多的學(xué)習(xí)算法和它們相對(duì)應(yīng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程一般來說就是對(duì)神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的過程，數(shù)據(jù)網(wǎng)絡(luò)能夠根據(jù)樣本模式逐漸調(diào)整權(quán)值，使得神經(jīng)網(wǎng)絡(luò)具有卓越的學(xué)習(xí)、記憶和處理信息的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有兩大類567：有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)。對(duì)于有導(dǎo)師學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)的輸出和希望的輸出進(jìn)行比較，然后根據(jù)兩者之間的差的函數(shù)（如差的平方和）來調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使其函數(shù)達(dá)到最小。對(duì)于無導(dǎo)師學(xué)習(xí)，當(dāng)輸入的樣本模式進(jìn)入神經(jīng)網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照預(yù)先設(shè)定的規(guī)則（如競(jìng)爭(zhēng)規(guī)則）自動(dòng)調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中最著名的是針對(duì)BP網(wǎng)絡(luò)的誤差反向傳播學(xué)習(xí)算法，也就是梯度算法。它屬于有導(dǎo)師學(xué)習(xí)，其原理就是從誤差平方和對(duì)網(wǎng)絡(luò)權(quán)值的梯度方向來修改網(wǎng)絡(luò)的權(quán)值，從而使BP網(wǎng)絡(luò)較快達(dá)到所希望的學(xué)習(xí)效果。當(dāng)然，BP網(wǎng)絡(luò)的梯度算法還存在一些問題，如易陷入局部極小點(diǎn)和收斂速度慢等。因此，人們對(duì)梯度算法的改進(jìn)方案研究也成為熱點(diǎn)問題。2.5幾種典型的神經(jīng)網(wǎng)絡(luò)神經(jīng)元的激活函數(shù)不同、拓?fù)浣Y(jié)構(gòu)不同、網(wǎng)絡(luò)的學(xué)習(xí)算法、構(gòu)成神經(jīng)網(wǎng)絡(luò)的方式不同，則神經(jīng)網(wǎng)絡(luò)對(duì)信息處理的方法和能力亦不同。下面介紹幾種典型的神經(jīng)網(wǎng)絡(luò)。（1）多層前向神經(jīng)網(wǎng)絡(luò)（Multilayer Feedforward NN or MFNN）多層前向神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用較多的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它是由輸入層、若干隱含層、輸出層構(gòu)成。各層神經(jīng)元之間無連接。神經(jīng)元以不同的非減函數(shù)，如Sigmoid函數(shù)、反正切函數(shù)、雙曲函數(shù)等為激活函數(shù)。多層前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖25所示。多層前向神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種多輸入、多輸出的非線性映射。Cybenko(1988,1989),Funahashi(1989),HechetNiesen(1989),Carroll&Dickinson(1989)等學(xué)者均對(duì)MFNN具有對(duì)人以連續(xù)函數(shù)的逼近能力予以系統(tǒng)的證明。其結(jié)論是，在一個(gè)相當(dāng)寬的范圍內(nèi)，MFNN具有以任意精度逼近任意非線性連續(xù)函數(shù)的能力。在Funahashi(1989)的證明中，隱節(jié)點(diǎn)函數(shù)限定為有界單調(diào)遞增連續(xù)函數(shù)。Hornik等人(1989)和陳天平發(fā)現(xiàn)，有界性是必要的，單調(diào)遞增的限制條件并非必要。對(duì)網(wǎng)絡(luò)的泛化機(jī)制和改進(jìn)措施進(jìn)行了系統(tǒng)的分析，指出最簡(jiǎn)單拓?fù)浣Y(jié)構(gòu)不僅有利于硬件的實(shí)現(xiàn)，也有利于網(wǎng)絡(luò)泛化功能的改善，證明了MFNN僅用一個(gè)隱含層就可以逼近任意連續(xù)的非線性函數(shù)。MFNN這一特點(diǎn)使其在信號(hào)處理、非線性油畫及系統(tǒng)辨識(shí)、非線性控制等領(lǐng)域具有廣泛的應(yīng)用前景。輸出層輸入層隱含層圖25前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖（2）徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function Neural Network,RBFNN）徑向基函數(shù)網(wǎng)絡(luò)RBFNN是一種特殊的神經(jīng)網(wǎng)絡(luò)，它是由Moody和Darken（1988，1989）基于大腦皮層中存在局部、重疊的感受域這一特性提出的。RBFNN網(wǎng)絡(luò)與MFNN網(wǎng)絡(luò)結(jié)構(gòu)上十分相似。RBFNN實(shí)際上可以看作只有一個(gè)隱層的MFNN，其主要區(qū)別是RBFNN的激活函數(shù)為徑向基函數(shù)。但輸出的RBFNN網(wǎng)絡(luò)模型為 （24） 其中，wi為第i個(gè)隱節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間的連接權(quán)，ci為第i個(gè)隱節(jié)點(diǎn)的中心，為感受域（敏感域）。同MFNN一樣，理論上RBF網(wǎng)絡(luò)也具有廣泛的非線性適應(yīng)能力。（3）Hopfield神經(jīng)網(wǎng)絡(luò)（Hopfield Neural Network,HNN）Hopfield神經(jīng)網(wǎng)絡(luò)是美國物理學(xué)家J.J.Hopfield于1982年首先提出的。它主要用于模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機(jī)理。Hopfield神經(jīng)網(wǎng)絡(luò)是一種全連接型的神經(jīng)網(wǎng)絡(luò)。對(duì)于每一個(gè)神經(jīng)元來說，自己的輸出信號(hào)通過其它神經(jīng)元又反饋到自己，所以Hopfield神經(jīng)網(wǎng)絡(luò)是一種反饋型神經(jīng)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)有離散型（DHNN）和連續(xù)型（CHNN）兩種。Hopfield神經(jīng)網(wǎng)絡(luò)狀態(tài)的演變過程是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，可以用一組非線性差分方程（對(duì)于DHNN）或微分方程（對(duì)于CHNN）來描述。系統(tǒng)的穩(wěn)定性可用所謂的“能量函數(shù)”（即李雅普諾夫獲哈密頓函數(shù)）進(jìn)行分析。在滿足一定條件下，某種“能量函數(shù)”的能量在網(wǎng)絡(luò)運(yùn)行過程中不斷減小，最后趨于穩(wěn)定的平衡狀態(tài)。目前，人工神經(jīng)網(wǎng)絡(luò)常利用漸進(jìn)穩(wěn)定點(diǎn)來解決某些問題。例如，如果把系統(tǒng)的穩(wěn)定點(diǎn)視為一個(gè)記憶的話，那么從初態(tài)朝這個(gè)穩(wěn)定點(diǎn)的演變過程就是尋找該記憶的過程。初態(tài)可以認(rèn)為是給定的有關(guān)該記憶的部分信息。這就是聯(lián)想記憶的過程。如果把系統(tǒng)的穩(wěn)定點(diǎn)視為一個(gè)能量函數(shù)的極小點(diǎn)，而把能量函數(shù)視為一個(gè)求解該優(yōu)化問題的過程。由此可見，Hopfield網(wǎng)絡(luò)的演變過程是一種計(jì)算聯(lián)想記憶或求解優(yōu)化問題的過程。實(shí)際上它的解并不需要真的去計(jì)算，而只要構(gòu)成這種反饋神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)卦O(shè)計(jì)其連接權(quán)和輸入就可以達(dá)到這個(gè)目的。（4）小波網(wǎng)絡(luò)（Wavelet Neural Network）由Zhang等人最先提出的小波網(wǎng)絡(luò)（Wavelet Neural Network），是以近年來出現(xiàn)的小波分析為理論依據(jù)，是小波變換的一種實(shí)現(xiàn)方式。小波網(wǎng)絡(luò)實(shí)際上是一種局部基函數(shù)網(wǎng)絡(luò)，結(jié)構(gòu)與RBF網(wǎng)絡(luò)相類似，所不同的是它的基函數(shù)是由小波函數(shù)按分辨尺度伸縮與空間位置平移構(gòu)成。所謂小波函數(shù)，就是由基函數(shù)經(jīng)平移、伸縮形成的一簇函數(shù)，表示為 （25）其中，a,b分別表示伸縮、平移系數(shù)。其輸出 （26）其中，X=x1,.xi,.為輸入向量，ai，bi為第i輸入所對(duì)應(yīng)的伸縮、平移參數(shù)。第三章 BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)及其仿真研究隨著控制領(lǐng)域中不斷出現(xiàn)新的控制思路和手段，人工神經(jīng)網(wǎng)絡(luò)作為一種新型的信息獲取、描述和處理方式，正在引起過程控制屆的注意。神經(jīng)網(wǎng)絡(luò)具有能夠逼近任意非線性函數(shù)關(guān)系的能力和比較方便的學(xué)習(xí)手段，因此，它可以用來作為一種復(fù)雜工業(yè)過程建模的新型方法7。本文針對(duì)常用BP算法收斂速度慢，易陷入局部極小等缺點(diǎn)，對(duì)以往BP算法的各種改進(jìn)進(jìn)行了深入的分析和探討。同時(shí)，借鑒Fletcher-Reeves線性搜索方法8，探討了基于Fletcher-Reeves方法的改進(jìn)共軛梯度法。并對(duì)各種算法進(jìn)行仿真和比較，實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)共軛梯度方法可以有效提高網(wǎng)絡(luò)的收斂速度，同時(shí)避免網(wǎng)絡(luò)陷入局部極小點(diǎn)，達(dá)到全局最優(yōu)。3.1 BP算法的數(shù)學(xué)描述1986年Rumelhart，Hinton和Williams完整而簡(jiǎn)明地提出一種ANN的誤差反向傳播訓(xùn)練算法（簡(jiǎn)稱BP算法），系統(tǒng)地解決了多層網(wǎng)絡(luò)中隱含單元連接權(quán)的學(xué)習(xí)問題，由此算法構(gòu)成的網(wǎng)絡(luò)我們稱為BP網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是前向反饋網(wǎng)絡(luò)的一種，也是當(dāng)前應(yīng)用最為廣泛的一種網(wǎng)絡(luò)。誤差反傳算法的主要思想是把學(xué)習(xí)過程分為兩個(gè)階段：第一階段（正向傳播過程），給出輸入信息通過輸入層經(jīng)隱含層處理并計(jì)算每個(gè)單元的實(shí)際輸出值；第二階段（反向過程），若在輸出層未能得到期望的輸出值，則逐層遞歸地計(jì)算實(shí)際輸出與期望輸出之差值（即誤差），以便根據(jù)此差值調(diào)節(jié)權(quán)值，具體來說，就是可對(duì)每一權(quán)重計(jì)算出接收單元的誤差值與發(fā)送單元的激活值的積?；贐P算法的多層前饋型網(wǎng)絡(luò)的結(jié)構(gòu)如圖31所示。這種網(wǎng)絡(luò)不僅有輸入層節(jié)點(diǎn)，輸出層節(jié)點(diǎn)，而且有一層或多層隱含節(jié)點(diǎn)。對(duì)于輸入信息，首先向前傳播到隱含層的節(jié)點(diǎn)上，經(jīng)過各單元的激活函數(shù)（又稱作用函數(shù)、轉(zhuǎn)換函數(shù)）運(yùn)算后，把隱含節(jié)點(diǎn)的輸出信息傳播到輸出節(jié)點(diǎn)，最后給出輸出結(jié)果。網(wǎng)絡(luò)的學(xué)習(xí)過程由正向和反向傳播兩部分組成。在正向傳播過程中，每一層的神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元網(wǎng)絡(luò)。如果輸出層不能得到期望輸出，就是實(shí)際輸出值與期望輸出值之間有誤差，那么轉(zhuǎn)向反向傳播過程，將誤差信號(hào)沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播去進(jìn)行計(jì)算，再經(jīng)過正向傳播過程，這兩個(gè)過程的反復(fù)運(yùn)用，使得誤差信號(hào)最小。實(shí)際上，誤差達(dá)到人們所希望的要求時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)過程就結(jié)束。誤差反傳（學(xué)習(xí)算法）期望輸出向量（導(dǎo)師信號(hào)）+隱 藏 層信 號(hào) 流圖31基于BP算法的多層前饋型網(wǎng)絡(luò)的結(jié)構(gòu)BP算法是在導(dǎo)師指導(dǎo)下，適合于多層神經(jīng)元網(wǎng)絡(luò)的一種學(xué)習(xí)，它是建立在梯度下降法的基礎(chǔ)上的。理論證明，含有一個(gè)隱含層的BP網(wǎng)絡(luò)可以實(shí)現(xiàn)以任意精度近似任何連續(xù)非線性函數(shù)9。設(shè)含有共L層和n個(gè)節(jié)點(diǎn)的一個(gè)任意網(wǎng)絡(luò)，每層單元只接受前一層的輸出信息并輸出給下一層各單元，各節(jié)點(diǎn)（有時(shí)稱為單元）的特性為Sigmoid型（它是連續(xù)可微的，不同于感知器中的線性閾值函數(shù)，因?yàn)樗遣贿B續(xù)的）。為簡(jiǎn)單起見，認(rèn)為網(wǎng)絡(luò)只有一個(gè)輸出y。設(shè)給定N個(gè)樣本(xk,yk)(k=1,2,.,N)，任一節(jié)點(diǎn)i的輸出為i，對(duì)某一個(gè)輸入為xk，網(wǎng)絡(luò)的輸出為yk，節(jié)點(diǎn)i的輸出為ik，現(xiàn)在研究第l層的第j個(gè)單元，當(dāng)輸入第k 個(gè)樣本時(shí)，節(jié)點(diǎn)j的輸入為 （31） （32）其中表示l-1層，輸入第k個(gè)樣本時(shí)，第j個(gè)單元節(jié)點(diǎn)的輸出。 采用的誤差函數(shù)為 （33）其中為單元j的實(shí)際輸出?？傉`差為 （34） 定義 于是 （35）下面分兩種情況來討論： （1）若節(jié)點(diǎn)j為輸出單元，則 （36） （2）若節(jié)點(diǎn)j不是輸出單元，則 （37）式中是送到下一層(l+1)層的輸入，計(jì)算要從(l+1)層算回來。在(l+1)層第m個(gè)單元時(shí) （38）將式（38）代入式（37）中，則得 （39） 總結(jié)上述結(jié)果，有 （310） 因此，反向傳播算法的步驟可概括如下：（1）選定權(quán)系數(shù)初值；（2）重復(fù)下述過程，直到誤差指標(biāo)滿足精度要求，即： ：精度 對(duì)k=1到N 正向過程計(jì)算：計(jì)算每層單元的，和,k=2，.，N。 反向過程：對(duì)各層（l=L-1到2），對(duì)每層各單元，計(jì)算。 修正權(quán)值 （311） （3）結(jié)束。這里，訓(xùn)練樣本的呈現(xiàn)順序從一個(gè)回合到另一個(gè)回合必須是隨機(jī)的。動(dòng)量和學(xué)習(xí)率參數(shù)隨著訓(xùn)練迭代次數(shù)的增加而調(diào)整（通常是減少的）。3.2 BP網(wǎng)絡(luò)學(xué)習(xí)算法標(biāo)準(zhǔn)的BP算法是基于梯度下降法，通過計(jì)算目標(biāo)函數(shù)對(duì)網(wǎng)絡(luò)權(quán)值和閾值進(jìn)行修正的。改進(jìn)算法大多是在標(biāo)準(zhǔn)梯度下降法的基礎(chǔ)上發(fā)展起來的，它們只用到目標(biāo)函數(shù)對(duì)權(quán)值和閾值的一階導(dǎo)數(shù)（梯度）信息。3.2.1標(biāo)準(zhǔn)BP算法在標(biāo)準(zhǔn)BP算法中，設(shè)k為迭代次數(shù)，則每一層權(quán)值和閾值的修正按下式進(jìn)行 （312）式中：x(k)為第k次迭代各層次之間的連接權(quán)向量或閾值向量。 為第k 次迭代的神經(jīng)網(wǎng)絡(luò)輸出誤差對(duì)各權(quán)值或閾值的梯度向量。負(fù)號(hào)表示梯度的反方向，即梯度的速度下降方向。 為學(xué)習(xí)速率，在訓(xùn)練時(shí)是一個(gè)常數(shù)。在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，其默認(rèn)值是0.01，可以通過改變訓(xùn)練參數(shù)進(jìn)行設(shè)置。 Ek為第k次迭代的網(wǎng)絡(luò)輸出的總誤差性能函數(shù)，在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，BP網(wǎng)絡(luò)誤差性能函數(shù)的默認(rèn)值為均方誤差MSE（mean square error），以二層BP網(wǎng)絡(luò)為例，只有一個(gè)輸入樣本時(shí)，有 (313) (314)下面我們用一個(gè)具體實(shí)例來說明例31已知某系統(tǒng)輸出y與輸入x的部分對(duì)應(yīng)關(guān)系如表31所示。設(shè)計(jì)一BP神經(jīng)網(wǎng)絡(luò)，完成y=f(x)的曲線擬合。表31 函數(shù)y=f(x)的部分對(duì)應(yīng)關(guān)系x -1 -0.9 -0.8 -0.7 -0.6 -0.5 -0.4 -0.3 -0.2 -0.1y -0.832-0.423 -0.024 0.344 1.282 3.456 4.02 3.232 2.102 1.504x 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9y 0.248 1.242 2.344 3.262 2.052 3.456 4.02 3.232 2.102 1.504以隱層節(jié)點(diǎn)數(shù)為15的單輸入和單輸出兩層BP網(wǎng)絡(luò)來實(shí)現(xiàn)其曲線擬和，其仿真圖如下圖321 標(biāo)準(zhǔn)BP算法的誤差性能曲線仿真結(jié)果從仿真結(jié)果可以看出，權(quán)值和閾值的修正是在所有樣本輸入后，計(jì)算總的誤差后進(jìn)行的，這樣標(biāo)準(zhǔn)BP算法的收斂速度比較慢。3.2.2動(dòng)量BP算法 它的實(shí)質(zhì)就是改變學(xué)習(xí)率來提高網(wǎng)絡(luò)性能，其網(wǎng)絡(luò)連接權(quán)的迭代關(guān)系式由傳統(tǒng)BP算法 變?yōu)?（315） 其中，動(dòng)量項(xiàng)。為動(dòng)量因子，。動(dòng)量項(xiàng)的作用在于記憶上一時(shí)刻的連接權(quán)的變化方向（即變化量的值），這樣就可以用較大的學(xué)習(xí)速率系數(shù)以提高學(xué)習(xí)速度。附加動(dòng)量項(xiàng)利用其“慣性效應(yīng)”來抑制網(wǎng)絡(luò)訓(xùn)練中可能出現(xiàn)的振蕩，起到了緩沖平滑的作用。此外，附加動(dòng)量項(xiàng)還有利于脫離平坦區(qū)。如果網(wǎng)絡(luò)的訓(xùn)練已進(jìn)入了誤差曲面的平坦區(qū)域，那么誤差將變化很小，于是近似于，而平均的將變?yōu)?（316）為了便于比較我們就以例31為例，用動(dòng)量BP算法進(jìn)行仿真，其結(jié)果如圖322所示：由仿真結(jié)果可知，與傳統(tǒng)BP算法的連接權(quán)修正量關(guān)系式（314）比較，可見添加附加動(dòng)量項(xiàng)后，式中的系數(shù)增大為，從而有利于加快脫離飽和區(qū)。 圖322 動(dòng)量BP算法的誤差性能曲線仿真結(jié)果3.2.3學(xué)習(xí)率可變的BP算法910該方法被認(rèn)為是一種最簡(jiǎn)單最有效的方法。在BP算法中，連接權(quán)的調(diào)整決定于學(xué)習(xí)速率和梯度，但是，在基本BP算法中，學(xué)習(xí)速率是不變的。實(shí)際上學(xué)習(xí)速率對(duì)收斂速度的影響也很大，通過對(duì)它的在線調(diào)整，可以大大提高收斂速度。 學(xué)習(xí)速率的調(diào)整原則上是使它在每一步保持盡可能大的值，而又不致使學(xué)習(xí)過程失去穩(wěn)定性。學(xué)習(xí)速率可以根據(jù)誤差變化的信息和誤差函數(shù)對(duì)連接權(quán)梯度變化的信息進(jìn)行啟發(fā)式調(diào)整，也可以根據(jù)誤差函數(shù)對(duì)學(xué)習(xí)速率的梯度直接進(jìn)行調(diào)整。對(duì)于批處理可以根據(jù)總誤差變化的信息進(jìn)行啟發(fā)式調(diào)整，其規(guī)則是：（1）若總誤差E減小，則學(xué)習(xí)率增加。