bp神經(jīng)網(wǎng)絡(luò)算法 嚴(yán)選參考

BP神經(jīng)網(wǎng)絡(luò)算法摘 要人工神經(jīng)網(wǎng)絡(luò)，是由大量處理單元（神經(jīng)元）組成的非線性大規(guī)模自適應(yīng)動力系統(tǒng)。它具有自組織，自適應(yīng)和自學(xué)習(xí)能力，以及具有非線性、非局域性，非定常性和非凸性等特點。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理，記憶信息的方式設(shè)計一種新的機器使之具有人腦那樣的信息處理能力。作為人工智能的重要組成部分，人工神經(jīng)網(wǎng)絡(luò)有較大的應(yīng)用潛力。本文闡述了神經(jīng)網(wǎng)絡(luò)的發(fā)展、現(xiàn)狀及其原理，介紹了神經(jīng)網(wǎng)絡(luò)在航空航天業(yè)、國防工業(yè)、制造業(yè)等諸多方面的應(yīng)用。BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用較多的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它能以任意精度逼近任意非線性函數(shù)，而且具有良好的逼近性能，并且結(jié)構(gòu)簡單，是一種性能優(yōu)良的神經(jīng)網(wǎng)絡(luò)。本文闡述了BP神經(jīng)網(wǎng)絡(luò)的基本原理，詳細(xì)分析了標(biāo)準(zhǔn)BP算法、動量BP算法以及學(xué)習(xí)率可變的BP算法等幾種流行的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法,詳細(xì)的介紹了這幾種算法的優(yōu)缺點，并給出了各種算法的仿真程序，通過仿真結(jié)果對各種算法進(jìn)行比較后有針對性的提出了BP算法的一種改進(jìn)變梯度BP算法。對于改進(jìn)的BP算法，本文不僅從理論方面對其進(jìn)行了深入的分析，還介紹了該算法的詳細(xì)思路和具體過程，將算法訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)運用到函數(shù)逼近中去。仿真結(jié)果表明，這種改進(jìn)方案確實能夠改善算法在訓(xùn)練過程中的收斂特性，而且提高收斂速度，取得令人滿意的逼近效果。關(guān)鍵詞: 人工智能；BP神經(jīng)網(wǎng)絡(luò)；變梯度法；改進(jìn)Abstract Artificial neural network, by the large number of processing units (neurons) composed of large-scale adaptive nonlinear dynamic systems. It is self-organization, adaptive and self-learning ability, as well as non-linear, non-local, non-steady and non-convex and so on. It is in modern neuroscience research on the basis of the results, trying to simulate the brain network processing, memory about the means to design a new machine so that it is the human brain, as the information processing capability.As an important component of artificial intelligence, artificial neural networks have greater potential applications. This paper describes the development of a neural network, the status quo and its principles, introduced a neural network in the aerospace industry, defense industry, manufacturing and many other aspects of the application. BP neural network is more of a neural network structure. Approaching it with any precision arbitrary nonlinear function, but also has a good approximation performance, and simple structure, is a good performance of neural networks.In this paper, BP neural network the basic principles, detailed analysis of the standard BP algorithm, momentum BP algorithm and the variable rate of learning, such as BP algorithm several popular BP neural network learning algorithm, described in detail the advantages and disadvantages of these different algorithms And gives a variety of algorithm simulation program, through the simulation results of the various algorithms to compare targeted after BP made an improved algorithm - BP change gradient algorithm. BP to improve the algorithm, the paper not only from the theoretical aspects of their in-depth analysis, also described the algorithm is detailed ideas and specific process, method of training to use BP neural network to function approximation. The simulation results show that this improvement programme is to improve the training algorithm in the process of convergence characteristics, and improve the convergence rate, a satisfactory approximation.Keywords: Artificial intelligence; BP neural network; change gradient method; improve目 錄第一章 緒論11.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史11.2人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用3第二章 人工神經(jīng)網(wǎng)絡(luò)的基本原理及模型72.1神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本原理72.1.1人工神經(jīng)元模式72.1.2連接權(quán)值72.1.3神經(jīng)網(wǎng)絡(luò)狀態(tài)82.1.4神經(jīng)網(wǎng)絡(luò)的輸出82.2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)82.3神經(jīng)網(wǎng)絡(luò)的特點102.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式112.5幾種典型的神經(jīng)網(wǎng)絡(luò)11第三章 BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)及其仿真研究153.1 BP算法的數(shù)學(xué)描述153.2 BP網(wǎng)絡(luò)學(xué)習(xí)算法183.2.1標(biāo)準(zhǔn)BP算法183.2.2動量BP算法203.2.3學(xué)習(xí)率可變的BP算法213.3 BP算法的缺陷223.4 BP算法的一種改進(jìn)變梯度BP算法233.4.1共軛梯度法233.4.2改進(jìn)共軛梯度法243.5 BP網(wǎng)絡(luò)應(yīng)用實例263.5.1一般BP算法及其改進(jìn)算法訓(xùn)練過程的不同263.5.2 BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近27結(jié)束語28參考文獻(xiàn)29致 謝30附 錄318參考8第一章 緒論1.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史 早在20世紀(jì)初，人們就已經(jīng)發(fā)現(xiàn)人腦的工作方式與現(xiàn)在的計算機是不同的。人腦是由極大量基本單元（稱之為神經(jīng)元）經(jīng)過復(fù)雜的相互連接而成的一種高度復(fù)雜的、非線性的、并行處理的信息處理系統(tǒng)。 人工神經(jīng)網(wǎng)絡(luò)（artificial neural network,ANN），是借鑒人腦的結(jié)構(gòu)和特點，通過大量簡單處理單元（神經(jīng)元或節(jié)點）互連組成的大規(guī)模并行分布式信息處理和非線性動力學(xué)系統(tǒng)。它具有巨量并行性、結(jié)構(gòu)可變性、高度非線性、自學(xué)習(xí)性和自組織性等特點。因此，它能解決常規(guī)信息處理方法難以解決或無法解決的問題，尤其是那些屬于思維（形象思維）、推理及意識方面的問題。 從人腦的生理結(jié)構(gòu)出發(fā)來研究人的智能行為，模擬人腦信息處理的過程，即人工神經(jīng)網(wǎng)絡(luò)的研究，自20世紀(jì)40年代以來，它的發(fā)展經(jīng)歷了一條由興起、蕭條和興盛三個階段構(gòu)成的曲折道路123。 早在1943年精神病學(xué)家和神經(jīng)解剖學(xué)家McCulloch與數(shù)學(xué)家Pitts在數(shù)學(xué)生物物理學(xué)會刊Bulletin of Mathematical Biophysics上發(fā)表文章，總結(jié)了生物神經(jīng)元的一些基本生理特征，提出了形式神經(jīng)元的數(shù)學(xué)描述與結(jié)構(gòu)，即MP模型。他們的神經(jīng)元模型假定遵循一種所謂“有或無”（all-or-none）規(guī)則。如果如此簡單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置突觸連接并且同步操作，McCulloch和Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計算任何可計算函數(shù)。這是一個有重大意義的結(jié)果，有了它就標(biāo)志著神經(jīng)網(wǎng)絡(luò)和人工智能學(xué)科的誕生。 1949年生理學(xué)家D.O.Hebb出版了The Organization of Behavior(行為組織學(xué))一書。該書第一次鮮明提出了神經(jīng)元連接強度的Hebb規(guī)則。他認(rèn)為學(xué)習(xí)過程是在突觸上發(fā)生的，突觸的聯(lián)系強度隨其前后神經(jīng)元的活動而變化。根據(jù)這一假設(shè)提出的學(xué)習(xí)規(guī)則為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)，使神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個重要的發(fā)展階段。 1954年Minsky在Princeton大學(xué)撰寫了“神經(jīng)網(wǎng)絡(luò)”的博士論文，題目是Theory of Neural-Analog Reinforcement Systems and Its Application tothe Brain-Model Problem。1961年Minsky發(fā)表了早期關(guān)于人工智能（AI）的優(yōu)秀論文“Steps Toward Artificial Intelligence”，論文的后半部包含了當(dāng)今神經(jīng)網(wǎng)絡(luò)的大部分內(nèi)容。1967年Minsky出版了Computation：Finite andInfinite Machines一書，它是第一本以書的形式擴展了McCulloch和Pitts1943年的結(jié)果，并把他們置于自動機理論和計算理論的背景中。 1958年，計算機科學(xué)家Rosenblatt提出感知機（Perceptron），首次把神經(jīng)網(wǎng)絡(luò)理論付諸工程實現(xiàn)。這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生物學(xué)的知識，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機連接，這是符合動物學(xué)習(xí)的自然環(huán)境。當(dāng)時，人們對神經(jīng)網(wǎng)絡(luò)的研究過于樂觀，認(rèn)為只要將這種神經(jīng)元互連成一個網(wǎng)絡(luò)，就可以解決人腦思維的模型問題。但是，隨之而來的Minsky和Papert（1969）所著的Perceptron一書，利用數(shù)學(xué)證明單層感知器所能計算的根本局限，提出感知器的處理能力有限，甚至連XOR這樣的問題也不能解決，并在多層感知器的總結(jié)章中，論述了單層感知器的所有局限性在多層感知器中是不可能被全部克服的。當(dāng)時人工智能的以功能模擬為目標(biāo)的另一分支出現(xiàn)了轉(zhuǎn)機，產(chǎn)生了以知識信息處理為基礎(chǔ)的知識工程（Knowledge Engineering），給人工智能從實驗室走向?qū)嵱脦砹讼ＭＭ瑫r，微電子技術(shù)的發(fā)展，使傳統(tǒng)的計算機的處理能力有很大提高，數(shù)字計算機的發(fā)展使當(dāng)時科學(xué)界普遍認(rèn)為它能解決一切問題，包括模式識別、機器人控制等。因而不必去尋找新的計算理論與實現(xiàn)方法。而且，當(dāng)時的工藝水平還未能達(dá)到制作實用的具有足夠規(guī)模的神經(jīng)網(wǎng)絡(luò)，用分離的電子管即使是晶體管所制作的神經(jīng)網(wǎng)絡(luò)也只能作示教星的表演。這些因素的共同作用，促使人們降低了對神經(jīng)網(wǎng)絡(luò)研究的熱情，從而使神經(jīng)網(wǎng)絡(luò)進(jìn)入蕭條時期。但在其間，一些人工神經(jīng)網(wǎng)絡(luò)的先驅(qū)仍然致力于這一研究，美國波士頓大學(xué)的Grossberg提出了自適應(yīng)共諧振理論（ART網(wǎng)），芬蘭的Kohonen提出了自組織映射（SOM），Amari致力于神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)理論的研究，這些都為神經(jīng)網(wǎng)絡(luò)的進(jìn)一步研究與發(fā)展奠定了基礎(chǔ)。 1982年，美國加州工學(xué)院Hopfield提出Hopfield神經(jīng)網(wǎng)絡(luò)模型，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計算的新途徑，有力地推動了神經(jīng)網(wǎng)絡(luò)的發(fā)展。1985年，Hinton和Sejnowsky等人提出了Boltzmann模型，首次采用了多層網(wǎng)絡(luò)的學(xué)習(xí)算法，在學(xué)習(xí)中采用統(tǒng)計熱力學(xué)模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點。1986年Remelhart和McClelland等人提出了并行分布處理的理論，同時，Werbos和Parker獨立發(fā)展了多層網(wǎng)絡(luò)的BP算法，這是目前最普遍的網(wǎng)絡(luò)，廣泛用于實際問題求解。 神經(jīng)網(wǎng)絡(luò)的發(fā)展已到了一個新時期，它涉及的范圍正在不斷擴大，其應(yīng)用滲透到各個領(lǐng)域。在連接主義模式下，進(jìn)化與學(xué)習(xí)結(jié)合的思想正在迅速發(fā)展，神經(jīng)計算、進(jìn)化計算正成為其發(fā)展的一個重要方向。1994年廖曉昕對細(xì)胞神經(jīng)網(wǎng)絡(luò)建立了新的數(shù)學(xué)理論與基礎(chǔ)，得出了一系列結(jié)果，如平衡態(tài)的全局穩(wěn)定性、區(qū)域穩(wěn)定性、周期解的存在性和吸引性等，使該領(lǐng)域取得了新的進(jìn)展。P.Werbos通過混沌、獨立子系統(tǒng)的數(shù)學(xué)技術(shù)來理解人的認(rèn)知過程，建立新的神經(jīng)信息處理模型和框架。日本學(xué)者Amari.S將微分流形和信息集合應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，探索系統(tǒng)化的新的神經(jīng)信息處理理論基礎(chǔ)，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了條嶄新的途徑。神經(jīng)網(wǎng)絡(luò)理論有極強的數(shù)學(xué)性質(zhì)和生物學(xué)特征，尤其是在神經(jīng)科學(xué)、心理學(xué)和認(rèn)識科學(xué)等方面提出了一些重大問題，是向神經(jīng)網(wǎng)絡(luò)理論研究的新挑戰(zhàn)，也是它發(fā)展的機會。21世紀(jì)神經(jīng)網(wǎng)絡(luò)理論日益變得更加外向，不斷產(chǎn)生具有重要意義的概念和方法，推進(jìn)神經(jīng)網(wǎng)絡(luò)向更高階段發(fā)展。 如今，神經(jīng)網(wǎng)絡(luò)的應(yīng)用，已滲透到模式識別、圖像處理、非線性優(yōu)化、語音處理、自然語言理解、自動目標(biāo)識別、機器人、專家系統(tǒng)等各個領(lǐng)域，并取得了令人矚目的成果。神經(jīng)網(wǎng)絡(luò)理論也已成為涉及神經(jīng)生理科學(xué)、認(rèn)識科學(xué)、數(shù)理科學(xué)、心理學(xué)、信息科學(xué)、計算機科學(xué)、微電子學(xué)、光學(xué)、生物電子學(xué)等多學(xué)科的新興的、綜合性的前沿學(xué)科。 從眾多應(yīng)用研究領(lǐng)域取得的豐碩成果來看，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展具有強大的生命力。當(dāng)前存在的問題是智能水平還不高，許多應(yīng)用方面的要求還不能得到很好的滿足；網(wǎng)絡(luò)分析與綜合的一些理論性問題（如穩(wěn)定性、收斂性的分析，網(wǎng)絡(luò)的結(jié)構(gòu)綜合等）還未得到很好的解決。隨著人們對大腦信息處理機理認(rèn)知的深化，以及人工神經(jīng)網(wǎng)絡(luò)智能水平的提高，人工神經(jīng)網(wǎng)絡(luò)必將在科學(xué)技術(shù)領(lǐng)域發(fā)揮更大的作用。1.2人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域極其廣泛，1988年DARPA神經(jīng)網(wǎng)絡(luò)研究報告列舉了不同領(lǐng)域神經(jīng)網(wǎng)絡(luò)的應(yīng)用實例，見表11。從表中可以看出，神經(jīng)網(wǎng)絡(luò)在人工智能、自動控制、計算機科學(xué)、信息處理、機器人、模式識別等方面都有重要的應(yīng)用實例。隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，其用途日益廣泛，應(yīng)用領(lǐng)域也在不斷拓展，已在各工程領(lǐng)域中得到廣泛的應(yīng)用4。表11 神經(jīng)網(wǎng)絡(luò)應(yīng)用實例應(yīng)用領(lǐng)域應(yīng)用實例航空航天業(yè)高性能飛機自動駕駛儀、飛行航線模擬、飛行器控制系統(tǒng)、自動駕駛儀增強器、飛機構(gòu)件模擬、飛機構(gòu)件故障檢測等汽車業(yè)汽車自動駕駛系統(tǒng)、保單行為分析銀行業(yè)支票和其他文檔讀取、信用卡申請書評估信用卡行為檢查用于辨認(rèn)與遺失的信用卡相關(guān)的不尋常的信用卡行為國防工業(yè)武器制導(dǎo)、目標(biāo)跟蹤與識別、臉部識別、新型傳感器、聲納、雷達(dá)、圖像處理與數(shù)據(jù)壓縮、特征提取與噪聲抑制、信號/圖像識別電子業(yè)編碼序列預(yù)測、集成電路芯片版圖設(shè)計、過程控制芯片故障檢測、機器人視覺、語音合成非線性建模娛樂業(yè)動畫、特效、市場預(yù)測金融業(yè)房地產(chǎn)估價、貸款指導(dǎo)、抵押審查、集團(tuán)債務(wù)評估、信用曲線分析、有價證券交易程序、集團(tuán)財政分析、貨幣價格預(yù)測工業(yè)預(yù)測熔爐產(chǎn)生的氣體和其他工業(yè)過程，以取代復(fù)雜而昂貴的儀器設(shè)備保險業(yè)政策應(yīng)用評估，產(chǎn)出最優(yōu)化制造業(yè)制造業(yè)過程控制、產(chǎn)品設(shè)計與分析、過程與機器診斷、實時微粒識別、可視化質(zhì)量檢測系統(tǒng)、焊接質(zhì)量分析、紙質(zhì)預(yù)測、計算機芯片質(zhì)量分析、化學(xué)產(chǎn)品設(shè)計分析、機器保養(yǎng)分析、工程投標(biāo)、經(jīng)營與管理、化學(xué)處理系統(tǒng)的動態(tài)建模等醫(yī)藥乳腺癌細(xì)胞分析，EEG和ECG分析，假體設(shè)計，移植時間最優(yōu)化，降低醫(yī)療費用支出，提高醫(yī)療質(zhì)量石油天然氣勘探機器人技術(shù)行走路線控制、鏟車機器人、操縱控制器、視覺系統(tǒng)等語音語音識別、語音壓縮、元音分類、文本-語音合成等有價證券市場分析、自動債券評級、股票交易咨詢系統(tǒng)等電信業(yè)圖像與數(shù)據(jù)壓縮、自動信息服務(wù)、實時語言翻譯、用戶付費處理系統(tǒng)等交通卡車剎車診斷系統(tǒng)、車輛調(diào)度、行程安排系統(tǒng)等神經(jīng)網(wǎng)絡(luò)比較擅長的應(yīng)用領(lǐng)域如下：（1） 模式識別神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練可有效的提取信號、語言、圖像、雷達(dá)、聲納等感知模式的特征，并能解決現(xiàn)有啟發(fā)模式識別系統(tǒng)不能很好解決的不變量測量、自適應(yīng)、抽象或概括等問題。這方面的主要應(yīng)用有：圖形、符號、手寫體及語音識別，雷達(dá)及聲納等目標(biāo)識別，藥物構(gòu)效關(guān)系等化學(xué)模式信息辨認(rèn)，機器人視覺、聽覺，各種最近相鄰模式聚類及識別分類，遙感、醫(yī)學(xué)圖像分析，計算機視覺、計算機輸入裝置等。神經(jīng)網(wǎng)絡(luò)可應(yīng)用于模式識別的各個環(huán)節(jié)：特征提聚、聚類分析、邊緣檢測、信號增強、噪音抑制、數(shù)據(jù)壓縮以及各種變換、分類判決等。模式識別是人工神經(jīng)網(wǎng)絡(luò)特別適宜求解的一類問題，神經(jīng)網(wǎng)絡(luò)模式識別技術(shù)在各領(lǐng)域中的廣泛應(yīng)用是神經(jīng)網(wǎng)絡(luò)技術(shù)發(fā)展的一個重要側(cè)面。（2） 人工智能專家系統(tǒng)是人工智能領(lǐng)域研究時間最長，應(yīng)用最成功的技術(shù)，但人們在應(yīng)用專家系統(tǒng)解決諸如語音識別、圖像處理和機器人控制等這類似于人腦的形象思維的問題時，卻遇到很大的困難。神經(jīng)網(wǎng)絡(luò)的問世為人工智能開辟了一條嶄新的途徑，成為人工智能研究領(lǐng)域中的后起之秀，它具有的自學(xué)習(xí)能力是傳統(tǒng)專家系統(tǒng)望塵莫及的。神經(jīng)網(wǎng)絡(luò)技術(shù)能對不完整信息進(jìn)行補全，根據(jù)已學(xué)會的知識和處理問題的經(jīng)驗對復(fù)雜問題作出合理的判斷決策，給出較滿意的解答，或?qū)ξ磥磉^程作出有效的預(yù)測和估計，從而使之在人工智能領(lǐng)域獲得廣泛的應(yīng)用。這個方面的主要應(yīng)用有：自然語言處理、市場分析、預(yù)測估值、系統(tǒng)診斷、事故檢查、密碼破譯、語言翻譯、邏輯推理、知識表達(dá)、智能機器人、模糊評判等。（3） 控制工程神經(jīng)網(wǎng)絡(luò)在諸如機器人運動控制、工業(yè)生產(chǎn)中的過程控制等復(fù)雜控制問題方面有獨到之處。較之基于傳統(tǒng)數(shù)學(xué)計算機的離散控制方式，神經(jīng)網(wǎng)絡(luò)更適宜于組成快速實施自適應(yīng)控制系統(tǒng)。這方面的主要應(yīng)用有：多變量自適應(yīng)控制、變結(jié)構(gòu)優(yōu)化控制、并行分布控制、智能及魯棒控制等。（4） 優(yōu)化計算和聯(lián)想控制由于并行、分布式的計算結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)在求解諸如組合優(yōu)化（NP完備問題）、費心性優(yōu)化等一系列問題上表現(xiàn)出高速的集體計算能力。在VLSI自動排版、高速通信開關(guān)控制、航班分配、貨物調(diào)度、路徑選擇、組合編碼、排序、系統(tǒng)規(guī)劃、交通管理以及圖論中各類問題的計算等方面得到了成功應(yīng)用。聯(lián)想記憶的作用是用一個不完整的模糊的信息聯(lián)想出儲存在記憶中的某個完整、清晰的模式來。如何提高模式儲存量和聯(lián)想質(zhì)量仍是神經(jīng)網(wǎng)絡(luò)的熱點之一。目前在這方面的應(yīng)用又內(nèi)容尋址器、人臉識別器、知識數(shù)據(jù)庫等。（5） 信號處理神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)和自適應(yīng)能力使其成為對各類信號進(jìn)行多用途加工處理的一種天然工具，主要用于解決信號處理中的自適應(yīng)和非線性問題。包括自適應(yīng)均衡、自適應(yīng)濾波、回?fù)艿窒?、自適應(yīng)波束形成、自適應(yīng)編碼等自適應(yīng)問題和各種非線性問題，如非線性區(qū)域的模式分類、系統(tǒng)辨識和高維非線性系統(tǒng)的檢測、估計等問題，還可對病態(tài)問題進(jìn)行求解。神經(jīng)網(wǎng)絡(luò)在弱信號檢測、通信、自適應(yīng)濾波等方面的應(yīng)用尤其引人注目，并已在許多行業(yè)得到應(yīng)用。雖然神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域內(nèi)都有成功的應(yīng)用實例，但神經(jīng)網(wǎng)絡(luò)也不是盡善盡美的。目前，神經(jīng)網(wǎng)絡(luò)的理論研究和實際用途都在進(jìn)一步探索之中，相信隨著人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)一步深入，其應(yīng)用領(lǐng)域會更廣，用途會更大。第二章 人工神經(jīng)網(wǎng)絡(luò)的基本原理及模型2.1神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本原理3562.1.1人工神經(jīng)元模式神經(jīng)網(wǎng)絡(luò)是由大量簡單處理單元組成，通過可變權(quán)值連接而成的并行分布式圖21神經(jīng)元的一般描述系統(tǒng)。神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它是一個多輸入-單輸出的非線性器件，其結(jié)構(gòu)如圖21所示。圖中，xi為輸入信號，wij表示從第i個神經(jīng)元到第j個神經(jīng)元的連接權(quán)值，j為第j個神經(jīng)元的閾值。設(shè)sj為外部輸入信號，yj為輸出信號，在上述模型中第j個神經(jīng)元的變換可描述為 （21）這里采用的非線性函數(shù)f(x)可以是階躍函數(shù)、分段函數(shù)及Sigmoid型函數(shù)。2.1.2連接權(quán)值人工神經(jīng)網(wǎng)絡(luò)的處理單元間相互連接，所有的連接構(gòu)成一有向圖。每一連接對應(yīng)于一個實數(shù)，稱為連接權(quán)值，或稱為權(quán)重。權(quán)值的集合可看作是長期記憶。我們可以用權(quán)矩陣W來表示網(wǎng)絡(luò)中的連接模式，W中的元素是wij。連接權(quán)值的類型一般分為激發(fā)和抑制形式，正的權(quán)值表示激發(fā)連接，相反，負(fù)的權(quán)值表示抑制連接。連接權(quán)值的連接方式是人工神經(jīng)網(wǎng)絡(luò)的特征描述。2.1.3神經(jīng)網(wǎng)絡(luò)狀態(tài)在時刻t，每一個神經(jīng)元都有一個實數(shù)值，稱之為神經(jīng)元狀態(tài)，也叫做神經(jīng)元的激勵值，用xi表示神經(jīng)元uj的狀態(tài)，用X(t)表示神經(jīng)網(wǎng)絡(luò)的狀態(tài)空間。在各種不同的神經(jīng)網(wǎng)絡(luò)類型中，狀態(tài)空間可以作各種不同的假設(shè)。狀態(tài)空間可能是續(xù)的，也可能是離散的；可能是有界的，也可能是無界的；可能在一個實數(shù)區(qū)間上取值，也可能取有限值；最常見的情形是取二值，即0和1兩種狀態(tài)，或-1和1兩種狀態(tài)，亦或是取連續(xù)實數(shù)值。2.1.4神經(jīng)網(wǎng)絡(luò)的輸出對于每一個神經(jīng)元，都有一個輸出，并通過連接權(quán)值將輸出傳送給其相連的處理單元，輸出信號直接依賴于處理單元的狀態(tài)或激勵值。這種依賴性通過輸出變換函數(shù)fj對于處理單元uj的作用來表示。假如我們用zj(t)來定義t時刻神經(jīng)元的ui輸出那么zj(t)=fj(xj(t) （22）或?qū)懗上蛄康男问?Z(t)=f(X(t) （23）這里，Z(t)是神經(jīng)網(wǎng)絡(luò)的輸出向量，f定義為狀態(tài)向量與每一個分量的對應(yīng)函數(shù)。一般是在區(qū)間（0，1）上的有界函數(shù)。人工神經(jīng)網(wǎng)絡(luò)模型，按它的網(wǎng)絡(luò)性能分類，可以分成確定性的、隨機性的、連續(xù)型的和離散型的網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)模型就存在離散和連續(xù)兩類。確定性是相對于隨機性而言，當(dāng)網(wǎng)絡(luò)狀態(tài)按概率分布變化就呈現(xiàn)了隨機性。Boltzmann機就是這種類型的人工神經(jīng)網(wǎng)絡(luò)模型，該神經(jīng)元取0和1兩種狀態(tài)，每個神經(jīng)元狀態(tài)的轉(zhuǎn)換是一隨機函數(shù)。2.2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)除單元特性外，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也是NN的一個重要特性，按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)分類，人工神經(jīng)網(wǎng)絡(luò)可分成3類26： （1）相互連接的網(wǎng)絡(luò)相互連接的網(wǎng)絡(luò)中任意神經(jīng)元之間都可能有連接，信息在神經(jīng)元之間可以反復(fù)傳遞，造成網(wǎng)絡(luò)狀態(tài)的不斷變化。系統(tǒng)整體從某一初始狀態(tài)開始，經(jīng)過不斷的變化過程，最后進(jìn)入某一平衡狀態(tài)、周期振蕩或其他狀態(tài)。（2）分層前饋型網(wǎng)絡(luò)分層前饋網(wǎng)絡(luò)的神經(jīng)元分層排列，并將其分為輸入層、隱含層和輸出層。各神經(jīng)元接受前一層的輸入，并輸出給下一層，沒有反饋（如圖221所示）。節(jié)點分為兩類，即輸入單元和計算單元，每一計算單元可有任意多個輸入，但只有一個輸出（它可以耦合到任意多個其他節(jié)點作為其輸入）。前饋型網(wǎng)絡(luò)可分為不同的層，每一層的神經(jīng)元只接收前一層神經(jīng)元的輸入，輸入層接收外界的輸入模式。輸入模式經(jīng)過各層神經(jīng)元的響應(yīng)處理變?yōu)檩敵鰧拥妮敵觥Ｗ畛Ｓ玫那梆伾窠?jīng)網(wǎng)絡(luò)就是BP神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network）和RBF徑向基函數(shù)網(wǎng)絡(luò)(Radial Basis Function Neural Network)。 圖221具有一個隱層的前饋型網(wǎng)絡(luò)（3）反饋分層網(wǎng)絡(luò)如圖222所示，該網(wǎng)絡(luò)是在分層前饋網(wǎng)絡(luò)基礎(chǔ)上，將網(wǎng)絡(luò)的輸出反饋到網(wǎng)絡(luò)的輸入，反饋可以將全部輸出反饋，也可以將部分輸出反饋。所有節(jié)點都是計算單元，同時也可接受輸入，并向外界輸出。最典型的反饋神經(jīng)網(wǎng)絡(luò)就是Hopfield神經(jīng)網(wǎng)絡(luò)。ANN的工作過程主要分為兩個階段，一個階段是學(xué)習(xí)期，此時各計算單元狀態(tài)不變，各連線上的權(quán)值通過學(xué)習(xí)來修改。第二階段是工作期，此時連接權(quán)值固定，計算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài)。圖222單層全連接反饋型網(wǎng)絡(luò)從作用效果來看，前饋型網(wǎng)絡(luò)主要是函數(shù)映射，可用于模式識別和函數(shù)逼近。按對能量函數(shù)的所有極小點的利用情況，可將反饋型網(wǎng)絡(luò)分為兩類：一類是能量函數(shù)的所有極小點都起作用，主要用作各種聯(lián)想存儲器；另一類只利用全局極小點，它主要用于求解優(yōu)化問題。2.3神經(jīng)網(wǎng)絡(luò)的特點神經(jīng)網(wǎng)絡(luò)的主要特點是：（1） 分布式儲存信息。其信息的儲存分布在不同的位置，神經(jīng)網(wǎng)絡(luò)是用大量神經(jīng)元之間的連接及對各連接權(quán)值的分布來表示特定的信息，從而使網(wǎng)絡(luò)在局部網(wǎng)絡(luò)受損或輸入信號因各種原因發(fā)生部分畸變時，仍然能夠保證網(wǎng)絡(luò)的正確輸出，提高網(wǎng)絡(luò)的容錯性和魯棒性。（2） 并行協(xié)同處理信息。神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元都可根據(jù)接收到的信息進(jìn)行獨立的運算和處理，并輸出結(jié)果，同一層中的各個神經(jīng)元的輸出結(jié)果可被同時計算出來，然后傳輸給下一層做進(jìn)一步處理，這體現(xiàn)了神經(jīng)網(wǎng)絡(luò)并行運算的特點，這一特點使網(wǎng)絡(luò)具有非常強的實時性。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實現(xiàn)的行為是極其豐富多彩的。（3） 信息處理與儲存合二為一。神經(jīng)網(wǎng)絡(luò)的每個神經(jīng)元都兼有信息處理和儲存功能，神經(jīng)元之間連接強度的變化，既反應(yīng)了對信息的記憶，同時又與神經(jīng)元對激勵的響應(yīng)以其反映了對信息的處理。（4） 對信息的處理具有自組織、自學(xué)習(xí)的特點，便于聯(lián)想、綜合和推廣。神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接強度用權(quán)值大小來表示，這些神經(jīng)元之間的連接強度會不斷增加，從而提高神經(jīng)元對這些樣本特征的反應(yīng)靈敏度。2.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 一個神經(jīng)網(wǎng)絡(luò)僅僅具有拓?fù)浣Y(jié)構(gòu)還不能具有任何智能特性。必須有一套完整的學(xué)習(xí)、工作規(guī)則與之配合。人工神經(jīng)網(wǎng)絡(luò)的工作過程可分為以下兩個階段：第一個階段是學(xué)習(xí)期，此時各計算單元狀態(tài)不變，各連線上的權(quán)值通過學(xué)習(xí)來修改；第二階段是工作期，此時各連接權(quán)固定，計算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài)。神經(jīng)網(wǎng)絡(luò)中信息處理、傳遞是由網(wǎng)絡(luò)結(jié)構(gòu)的連接權(quán)實現(xiàn)的，而連接權(quán)值的大小則是通過在一定拓?fù)浣Y(jié)構(gòu)固定的條件下，遵循一定的原則，按照一定的方式，應(yīng)用一定的學(xué)習(xí)算法訓(xùn)練得到的。通過向環(huán)境學(xué)習(xí)獲取知識并改進(jìn)自身性能是神經(jīng)網(wǎng)絡(luò)的一個重要特點。在一般情況下，性能的改善是按某種預(yù)定的度量通過調(diào)節(jié)自身參數(shù)（如權(quán)值）隨時間逐步達(dá)到的。對神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究是神經(jīng)網(wǎng)絡(luò)研究中最核心的部分。對于不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，人們都研究出許多的學(xué)習(xí)算法和它們相對應(yīng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程一般來說就是對神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的過程，數(shù)據(jù)網(wǎng)絡(luò)能夠根據(jù)樣本模式逐漸調(diào)整權(quán)值，使得神經(jīng)網(wǎng)絡(luò)具有卓越的學(xué)習(xí)、記憶和處理信息的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有兩大類567：有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)。對于有導(dǎo)師學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)的輸出和希望的輸出進(jìn)行比較，然后根據(jù)兩者之間的差的函數(shù)（如差的平方和）來調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使其函數(shù)達(dá)到最小。對于無導(dǎo)師學(xué)習(xí)，當(dāng)輸入的樣本模式進(jìn)入神經(jīng)網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中最著名的是針對BP網(wǎng)絡(luò)的誤差反向傳播學(xué)習(xí)算法，也就是梯度算法。它屬于有導(dǎo)師學(xué)習(xí)，其原理就是從誤差平方和對網(wǎng)絡(luò)權(quán)值的梯度方向來修改網(wǎng)絡(luò)的權(quán)值，從而使BP網(wǎng)絡(luò)較快達(dá)到所希望的學(xué)習(xí)效果。當(dāng)然，BP網(wǎng)絡(luò)的梯度算法還存在一些問題，如易陷入局部極小點和收斂速度慢等。因此，人們對梯度算法的改進(jìn)方案研究也成為熱點問題。2.5幾種典型的神經(jīng)網(wǎng)絡(luò)神經(jīng)元的激活函數(shù)不同、拓?fù)浣Y(jié)構(gòu)不同、網(wǎng)絡(luò)的學(xué)習(xí)算法、構(gòu)成神經(jīng)網(wǎng)絡(luò)的方式不同，則神經(jīng)網(wǎng)絡(luò)對信息處理的方法和能力亦不同。下面介紹幾種典型的神經(jīng)網(wǎng)絡(luò)。（1）多層前向神經(jīng)網(wǎng)絡(luò)（Multilayer Feedforward NN or MFNN）多層前向神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用較多的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它是由輸入層、若干隱含層、輸出層構(gòu)成。各層神經(jīng)元之間無連接。神經(jīng)元以不同的非減函數(shù)，如Sigmoid函數(shù)、反正切函數(shù)、雙曲函數(shù)等為激活函數(shù)。多層前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖25所示。多層前向神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種多輸入、多輸出的非線性映射。Cybenko(1988,1989),Funahashi(1989),HechetNiesen(1989),Carroll&Dickinson(1989)等學(xué)者均對MFNN具有對人以連續(xù)函數(shù)的逼近能力予以系統(tǒng)的證明。其結(jié)論是，在一個相當(dāng)寬的范圍內(nèi)，MFNN具有以任意精度逼近任意非線性連續(xù)函數(shù)的能力。在Funahashi(1989)的證明中，隱節(jié)點函數(shù)限定為有界單調(diào)遞增連續(xù)函數(shù)。Hornik等人(1989)和陳天平發(fā)現(xiàn)，有界性是必要的，單調(diào)遞增的限制條件并非必要。對網(wǎng)絡(luò)的泛化機制和改進(jìn)措施進(jìn)行了系統(tǒng)的分析，指出最簡單拓?fù)浣Y(jié)構(gòu)不僅有利于硬件的實現(xiàn)，也有利于網(wǎng)絡(luò)泛化功能的改善，證明了MFNN僅用一個隱含層就可以逼近任意連續(xù)的非線性函數(shù)。MFNN這一特點使其在信號處理、非線性油畫及系統(tǒng)辨識、非線性控制等領(lǐng)域具有廣泛的應(yīng)用前景。輸出層輸入層隱含層圖25前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖（2）徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function Neural Network,RBFNN）徑向基函數(shù)網(wǎng)絡(luò)RBFNN是一種特殊的神經(jīng)網(wǎng)絡(luò)，它是由Moody和Darken（1988，1989）基于大腦皮層中存在局部、重疊的感受域這一特性提出的。RBFNN網(wǎng)絡(luò)與MFNN網(wǎng)絡(luò)結(jié)構(gòu)上十分相似。RBFNN實際上可以看作只有一個隱層的MFNN，其主要區(qū)別是RBFNN的激活函數(shù)為徑向基函數(shù)。但輸出的RBFNN網(wǎng)絡(luò)模型為 （24） 其中，wi為第i個隱節(jié)點與輸出節(jié)點之間的連接權(quán)，ci為第i個隱節(jié)點的中心，為感受域（敏感域）。同MFNN一樣，理論上RBF網(wǎng)絡(luò)也具有廣泛的非線性適應(yīng)能力。（3）Hopfield神經(jīng)網(wǎng)絡(luò)（Hopfield Neural Network,HNN）Hopfield神經(jīng)網(wǎng)絡(luò)是美國物理學(xué)家J.J.Hopfield于1982年首先提出的。它主要用于模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機理。Hopfield神經(jīng)網(wǎng)絡(luò)是一種全連接型的神經(jīng)網(wǎng)絡(luò)。對于每一個神經(jīng)元來說，自己的輸出信號通過其它神經(jīng)元又反饋到自己，所以Hopfield神經(jīng)網(wǎng)絡(luò)是一種反饋型神經(jīng)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)有離散型（DHNN）和連續(xù)型（CHNN）兩種。Hopfield神經(jīng)網(wǎng)絡(luò)狀態(tài)的演變過程是一個非線性動力學(xué)系統(tǒng)，可以用一組非線性差分方程（對于DHNN）或微分方程（對于CHNN）來描述。系統(tǒng)的穩(wěn)定性可用所謂的“能量函數(shù)”（即李雅普諾夫獲哈密頓函數(shù)）進(jìn)行分析。在滿足一定條件下，某種“能量函數(shù)”的能量在網(wǎng)絡(luò)運行過程中不斷減小，最后趨于穩(wěn)定的平衡狀態(tài)。目前，人工神經(jīng)網(wǎng)絡(luò)常利用漸進(jìn)穩(wěn)定點來解決某些問題。例如，如果把系統(tǒng)的穩(wěn)定點視為一個記憶的話，那么從初態(tài)朝這個穩(wěn)定點的演變過程就是尋找該記憶的過程。初態(tài)可以認(rèn)為是給定的有關(guān)該記憶的部分信息。這就是聯(lián)想記憶的過程。如果把系統(tǒng)的穩(wěn)定點視為一個能量函數(shù)的極小點，而把能量函數(shù)視為一個求解該優(yōu)化問題的過程。由此可見，Hopfield網(wǎng)絡(luò)的演變過程是一種計算聯(lián)想記憶或求解優(yōu)化問題的過程。實際上它的解并不需要真的去計算，而只要構(gòu)成這種反饋神經(jīng)網(wǎng)絡(luò)，適當(dāng)?shù)卦O(shè)計其連接權(quán)和輸入就可以達(dá)到這個目的。（4）小波網(wǎng)絡(luò)（Wavelet Neural Network）由Zhang等人最先提出的小波網(wǎng)絡(luò)（Wavelet Neural Network），是以近年來出現(xiàn)的小波分析為理論依據(jù)，是小波變換的一種實現(xiàn)方式。小波網(wǎng)絡(luò)實際上是一種局部基函數(shù)網(wǎng)絡(luò)，結(jié)構(gòu)與RBF網(wǎng)絡(luò)相類似，所不同的是它的基函數(shù)是由小波函數(shù)按分辨尺度伸縮與空間位置平移構(gòu)成。所謂小波函數(shù)，就是由基函數(shù)經(jīng)平移、伸縮形成的一簇函數(shù)，表示為 （25）其中，a,b分別表示伸縮、平移系數(shù)。其輸出 （26）其中，X=x1,.xi,.為輸入向量，ai，bi為第i輸入所對應(yīng)的伸縮、平移參數(shù)。第三章 BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)及其仿真研究隨著控制領(lǐng)域中不斷出現(xiàn)新的控制思路和手段，人工神經(jīng)網(wǎng)絡(luò)作為一種新型的信息獲取、描述和處理方式，正在引起過程控制屆的注意。神經(jīng)網(wǎng)絡(luò)具有能夠逼近任意非線性函數(shù)關(guān)系的能力和比較方便的學(xué)習(xí)手段，因此，它可以用來作為一種復(fù)雜工業(yè)過程建模的新型方法7。本文針對常用BP算法收斂速度慢，易陷入局部極小等缺點，對以往BP算法的各種改進(jìn)進(jìn)行了深入的分析和探討。同時，借鑒Fletcher-Reeves線性搜索方法8，探討了基于Fletcher-Reeves方法的改進(jìn)共軛梯度法。并對各種算法進(jìn)行仿真和比較，實驗結(jié)果表明，本文提出的改進(jìn)共軛梯度方法可以有效提高網(wǎng)絡(luò)的收斂速度，同時避免網(wǎng)絡(luò)陷入局部極小點，達(dá)到全局最優(yōu)。3.1 BP算法的數(shù)學(xué)描述1986年Rumelhart，Hinton和Williams完整而簡明地提出一種ANN的誤差反向傳播訓(xùn)練算法（簡稱BP算法），系統(tǒng)地解決了多層網(wǎng)絡(luò)中隱含單元連接權(quán)的學(xué)習(xí)問題，由此算法構(gòu)成的網(wǎng)絡(luò)我們稱為BP網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是前向反饋網(wǎng)絡(luò)的一種，也是當(dāng)前應(yīng)用最為廣泛的一種網(wǎng)絡(luò)。誤差反傳算法的主要思想是把學(xué)習(xí)過程分為兩個階段：第一階段（正向傳播過程），給出輸入信息通過輸入層經(jīng)隱含層處理并計算每個單元的實際輸出值；第二階段（反向過程），若在輸出層未能得到期望的輸出值，則逐層遞歸地計算實際輸出與期望輸出之差值（即誤差），以便根據(jù)此差值調(diào)節(jié)權(quán)值，具體來說，就是可對每一權(quán)重計算出接收單元的誤差值與發(fā)送單元的激活值的積?；贐P算法的多層前饋型網(wǎng)絡(luò)的結(jié)構(gòu)如圖31所示。這種網(wǎng)絡(luò)不僅有輸入層節(jié)點，輸出層節(jié)點，而且有一層或多層隱含節(jié)點。對于輸入信息，首先向前傳播到隱含層的節(jié)點上，經(jīng)過各單元的激活函數(shù)（又稱作用函數(shù)、轉(zhuǎn)換函數(shù)）運算后，把隱含節(jié)點的輸出信息傳播到輸出節(jié)點，最后給出輸出結(jié)果。網(wǎng)絡(luò)的學(xué)習(xí)過程由正向和反向傳播兩部分組成。在正向傳播過程中，每一層的神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元網(wǎng)絡(luò)。如果輸出層不能得到期望輸出，就是實際輸出值與期望輸出值之間有誤差，那么轉(zhuǎn)向反向傳播過程，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播去進(jìn)行計算，再經(jīng)過正向傳播過程，這兩個過程的反復(fù)運用，使得誤差信號最小。實際上，誤差達(dá)到人們所希望的要求時，網(wǎng)絡(luò)的學(xué)習(xí)過程就結(jié)束。誤差反傳（學(xué)習(xí)算法）期望輸出向量（導(dǎo)師信號）+隱 藏 層信 號 流圖31基于BP算法的多層前饋型網(wǎng)絡(luò)的結(jié)構(gòu)BP算法是在導(dǎo)師指導(dǎo)下，適合于多層神經(jīng)元網(wǎng)絡(luò)的一種學(xué)習(xí)，它是建立在梯度下降法的基礎(chǔ)上的。理論證明，含有一個隱含層的BP網(wǎng)絡(luò)可以實現(xiàn)以任意精度近似任何連續(xù)非線性函數(shù)9。設(shè)含有共L層和n個節(jié)點的一個任意網(wǎng)絡(luò)，每層單元只接受前一層的輸出信息并輸出給下一層各單元，各節(jié)點（有時稱為單元）的特性為Sigmoid型（它是連續(xù)可微的，不同于感知器中的線性閾值函數(shù)，因為它是不連續(xù)的）。為簡單起見，認(rèn)為網(wǎng)絡(luò)只有一個輸出y。設(shè)給定N個樣本(xk,yk)(k=1,2,.,N)，任一節(jié)點i的輸出為i，對某一個輸入為xk，網(wǎng)絡(luò)的輸出為yk，節(jié)點i的輸出為ik，現(xiàn)在研究第l層的第j個單元，當(dāng)輸入第k 個樣本時，節(jié)點j的輸入為 （31） （32）其中表示l-1層，輸入第k個樣本時，第j個單元節(jié)點的輸出。 采用的誤差函數(shù)為 （33）其中為單元j的實際輸出。總誤差為 （34） 定義 于是 （35）下面分兩種情況來討論： （1）若節(jié)點j為輸出單元，則 （36） （2）若節(jié)點j不是輸出單元，則 （37）式中是送到下一層(l+1)層的輸入，計算要從(l+1)層算回來。在(l+1)層第m個單元時 （38）將式（38）代入式（37）中，則得 （39） 總結(jié)上述結(jié)果，有 （310） 因此，反向傳播算法的步驟可概括如下：（1）選定權(quán)系數(shù)初值；（2）重復(fù)下述過程，直到誤差指標(biāo)滿足精度要求，即： ：精度 對k=1到N 正向過程計算：計算每層單元的，和,k=2，.，N。 反向過程：對各層（l=L-1到2），對每層各單元，計算。 修正權(quán)值 （311） （3）結(jié)束。這里，訓(xùn)練樣本的呈現(xiàn)順序從一個回合到另一個回合必須是隨機的。動量和學(xué)習(xí)率參數(shù)隨著訓(xùn)練迭代次數(shù)的增加而調(diào)整（通常是減少的）。3.2 BP網(wǎng)絡(luò)學(xué)習(xí)算法標(biāo)準(zhǔn)的BP算法是基于梯度下降法，通過計算目標(biāo)函數(shù)對網(wǎng)絡(luò)權(quán)值和閾值進(jìn)行修正的。改進(jìn)算法大多是在標(biāo)準(zhǔn)梯度下降法的基礎(chǔ)上發(fā)展起來的，它們只用到目標(biāo)函數(shù)對權(quán)值和閾值的一階導(dǎo)數(shù)（梯度）信息。3.2.1標(biāo)準(zhǔn)BP算法在標(biāo)準(zhǔn)BP算法中，設(shè)k為迭代次數(shù)，則每一層權(quán)值和閾值的修正按下式進(jìn)行 （312）式中：x(k)為第k次迭代各層次之間的連接權(quán)向量或閾值向量。 為第k 次迭代的神經(jīng)網(wǎng)絡(luò)輸出誤差對各權(quán)值或閾值的梯度向量。負(fù)號表示梯度的反方向，即梯度的速度下降方向。 為學(xué)習(xí)速率，在訓(xùn)練時是一個常數(shù)。在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，其默認(rèn)值是0.01，可以通過改變訓(xùn)練參數(shù)進(jìn)行設(shè)置。 Ek為第k次迭代的網(wǎng)絡(luò)輸出的總誤差性能函數(shù)，在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，BP網(wǎng)絡(luò)誤差性能函數(shù)的默認(rèn)值為均方誤差MSE（mean square error），以二層BP網(wǎng)絡(luò)為例，只有一個輸入樣本時，有 (313) (314)下面我們用一個具體實例來說明例31已知某系統(tǒng)輸出y與輸入x的部分對應(yīng)關(guān)系如表31所示。設(shè)計一BP神經(jīng)網(wǎng)絡(luò)，完成y=f(x)的曲線擬合。表31 函數(shù)y=f(x)的部分對應(yīng)關(guān)系x -1 -0.9 -0.8 -0.7 -0.6 -0.5 -0.4 -0.3 -0.2 -0.1y -0.832-0.423 -0.024 0.344 1.282 3.456 4.02 3.232 2.102 1.504x 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9y 0.248 1.242 2.344 3.262 2.052 3.456 4.02 3.232 2.102 1.504以隱層節(jié)點數(shù)為15的單輸入和單輸出兩層BP網(wǎng)絡(luò)來實現(xiàn)其曲線擬和，其仿真圖如下圖321 標(biāo)準(zhǔn)BP算法的誤差性能曲線仿真結(jié)果從仿真結(jié)果可以看出，權(quán)值和閾值的修正是在所有樣本輸入后，計算總的誤差后進(jìn)行的，這樣標(biāo)準(zhǔn)BP算法的收斂速度比較慢。3.2.2動量BP算法 它的實質(zhì)就是改變學(xué)習(xí)率來提高網(wǎng)絡(luò)性能，其網(wǎng)絡(luò)連接權(quán)的迭代關(guān)系式由傳統(tǒng)BP算法 變?yōu)?（315） 其中，動量項。為動量因子，。動量項的作用在于記憶上一時刻的連接權(quán)的變化方向（即變化量的值），這樣就可以用較大的學(xué)習(xí)速率系數(shù)以提高學(xué)習(xí)速度。附加動量項利用其“慣性效應(yīng)”來抑制網(wǎng)絡(luò)訓(xùn)練中可能出現(xiàn)的振蕩，起到了緩沖平滑的作用。此外，附加動量項還有利于脫離平坦區(qū)。如果網(wǎng)絡(luò)的訓(xùn)練已進(jìn)入了誤差曲面的平坦區(qū)域，那么誤差將變化很小，于是近似于，而平均的將變?yōu)?（316）為了便于比較我們就以例31為例，用動量BP算法進(jìn)行仿真，其結(jié)果如圖322所示：由仿真結(jié)果可知，與傳統(tǒng)BP算法的連接權(quán)修正量關(guān)系式（314）比較，可見添加附加動量項后，式中的系數(shù)增大為，從而有利于加快脫離飽和區(qū)。 圖322 動量BP算法的誤差性能曲線仿真結(jié)果3.2.3學(xué)習(xí)率可變的BP算法910該方法被認(rèn)為是一種最簡單最有效的方法。在BP算法中，連接權(quán)的調(diào)整決定于學(xué)習(xí)速率和梯度，但是，在基本BP算法中，學(xué)習(xí)速率是不變的。實際上學(xué)習(xí)速率對收斂速度的影響也很大，通過對它的在線調(diào)整，可以大大提高收斂速度。 學(xué)習(xí)速率的調(diào)整原則上是使它在每一步保持盡可能大的值，而又不致使學(xué)習(xí)過程失去穩(wěn)定性。學(xué)習(xí)速率可以根據(jù)誤差變化的信息和誤差函數(shù)對連接權(quán)梯度變化的信息進(jìn)行啟發(fā)式調(diào)整，也可以根據(jù)誤差函數(shù)對學(xué)習(xí)速率的梯度直接進(jìn)行調(diào)整。對于批處理可以根據(jù)總誤差變化的信息進(jìn)行啟發(fā)式調(diào)整，其規(guī)則是：（1）若總誤差E減小，則學(xué)習(xí)率增加。