[CAD圖紙全套]基于C語言的BP神經(jīng)網(wǎng)絡(luò)預(yù)測程序開發(fā)設(shè)計(jì)

本科學(xué)生畢業(yè)設(shè)計(jì) 基于 C 語言的 系部名稱： 汽車與交通工程學(xué)院 專業(yè)班級： 車輛 07 11班 學(xué)生姓名： 高小林 指導(dǎo)教師： 王悅新 職 稱： 實(shí)驗(yàn)師 黑 龍 江 工 程 學(xué) 院 二 一一年六月 s P 07011龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) I 摘 要 人工神經(jīng)網(wǎng)絡(luò)理論是新近發(fā)展起來的交叉學(xué)科，采用物理器件或計(jì)算機(jī)軟硬件模擬生物體中神經(jīng)細(xì)胞的某些結(jié)構(gòu)與功能，進(jìn)而將其應(yīng)用于工程領(lǐng)域，尤其適合高度復(fù)雜的非線性動力學(xué)系統(tǒng)仿真。人工神經(jīng)網(wǎng)絡(luò)已經(jīng)在組合優(yōu)化、模式識別、圖象處理、自動控制、信號處理、機(jī)器人和人工智能等領(lǐng)域得到廣泛應(yīng)用，尤其在工程領(lǐng)域逐漸受到廣泛重視。人工神經(jīng)網(wǎng)絡(luò)用于非線性動力學(xué)系統(tǒng)研究，近來在汽車動力學(xué)建模與仿真領(lǐng)域也引起了極大關(guān)注。 許多工業(yè)生產(chǎn)過程存在時滯和大時間常數(shù) , 控制難度較大 , 傳統(tǒng)的控制策略對此類控 制問題很難取得滿意的效果。為了解決這類問題 , 預(yù)測控制應(yīng)運(yùn)而生。預(yù)測控制是一種基于模型的控制策略。反向傳播 (神經(jīng)網(wǎng)絡(luò)是當(dāng)前應(yīng)用最為廣泛的一種神經(jīng)網(wǎng)絡(luò) , 它結(jié)構(gòu)簡單 , 工作狀態(tài)穩(wěn)定 , 并且已有大量提高網(wǎng)絡(luò)訓(xùn)練速度的改進(jìn)算法。 關(guān)鍵字 ： 經(jīng)網(wǎng)絡(luò)；應(yīng)用； C 語言 ；汽車保有量；預(yù)測 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) is or of in of in in to be ly in in on is to In to of at is a is it is in a of to BP C 龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 目 錄 摘要 . I . 1 章 緒論 . 1 工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史 . 1 工神經(jīng)網(wǎng)絡(luò)的特性 . 2 經(jīng)網(wǎng)絡(luò) . 3 第 2 章 神經(jīng)網(wǎng)絡(luò)預(yù)測基本原理 . 5 物神經(jīng)元模型 . 5 工神經(jīng)元模型 . 6 工神經(jīng)網(wǎng)絡(luò)模型 . 10 工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) . 11 章小結(jié) . 12 第 3 章 經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)學(xué)模型 . 13 P 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) . 13 P 神經(jīng)元 . 14 P 網(wǎng)絡(luò) . 15 向傳播 . 15 向傳播 . 16 章小結(jié) . 18 第 4 章 絡(luò)的自學(xué)習(xí)與預(yù)測編程 . 19 P 網(wǎng)絡(luò)的學(xué)習(xí)與預(yù)測神經(jīng)編程 . 19 入模式順傳播 . 19 出誤差的逆?zhèn)鞑?. 21 環(huán)記憶訓(xùn)練 . 24 習(xí)結(jié)果的判別 . 27 數(shù)據(jù)的預(yù)測程序編寫 . 32 章小結(jié) . 36 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 第五章 經(jīng)網(wǎng)絡(luò)在汽車保有量預(yù)測中的應(yīng)用 . 37 車保有量預(yù)測的意義 . 37 于 經(jīng)網(wǎng)絡(luò)的汽車保有量預(yù)測模型 . 37 車保有量主要影響因素 分析 . 37 車保有量預(yù)測模型 . 37 例分析 . 38 章小結(jié) . 43 結(jié)論 . 44 參考文獻(xiàn) . 45 致謝 . 46 附錄 . 47 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 1 買文檔送全套 紙，扣扣 414951605 緒 論 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史 人工神經(jīng)網(wǎng)絡(luò)早期的研究工作應(yīng)追溯至本世 紀(jì) 40 年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史。 1943 年，心理學(xué)家 W數(shù)理邏輯學(xué)家 W分析、總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出神經(jīng)元的數(shù)學(xué)模型。此模型沿用至今，并且直接影響著這一領(lǐng)域研究的進(jìn)展。因而，他們兩人可稱為人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)。 1945 年馮 諾依曼領(lǐng)導(dǎo)的設(shè)計(jì)小組試制成功存儲程序式電子計(jì)算機(jī)，標(biāo)志著電子計(jì)算機(jī)時代的開始。 1948 年，他在研究工作中比較了人腦結(jié)構(gòu)與存儲程序式計(jì)算機(jī)的根本區(qū)別，提出了 以簡單神經(jīng)元構(gòu)成的再生自動機(jī)網(wǎng)絡(luò)結(jié)構(gòu)。但是，由于指令存儲式計(jì)算機(jī)技術(shù)的發(fā)展非常迅速，迫使他放棄了神經(jīng)網(wǎng)絡(luò)研究的新途徑，繼續(xù)投身于指令存儲式計(jì)算機(jī)技術(shù)的研究，并在此領(lǐng)域作出了巨大貢獻(xiàn)。雖然，馮 諾依曼的名字是與普通計(jì)算機(jī)聯(lián)系在一起的，但他也是人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)之一。 50 年代末， F計(jì)制作了 “感知機(jī) ”，它是一種多層的神經(jīng)網(wǎng)絡(luò)。這項(xiàng)工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實(shí)踐。當(dāng)時，世界上許多實(shí)驗(yàn)室仿效制作感知機(jī)，分別應(yīng)用于文字識別、聲音識別、聲納信號識別以及學(xué)習(xí)記憶問題的 研究。然而，這次人工神經(jīng)網(wǎng)絡(luò)的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因?yàn)楫?dāng)時數(shù)字計(jì)算機(jī)的發(fā)展處于全盛時期，許多人誤以為數(shù)字計(jì)算機(jī)可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機(jī)的工作得不到重視；其次，當(dāng)時的電子技術(shù)工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經(jīng)網(wǎng)絡(luò)體積龐大，價(jià)格昂貴，要制作在規(guī)模上與真實(shí)的神經(jīng)網(wǎng)絡(luò)相似是完全不可能的；另外，在 1968 年一本名為感知機(jī)的著作中指出線性感知機(jī)功能是有限的，它不能解決如異或這樣的基本問題，而且多層網(wǎng)絡(luò)還不能找 到有效的計(jì)算方法，這些論點(diǎn)促使大批研究人員對于人工神經(jīng)網(wǎng)絡(luò)的前景失去信心。 60 年代末期，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。 另外，在 60 年代初期， 出了自適應(yīng)線性元件網(wǎng)絡(luò)，這是一種連續(xù)黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 2 取值的線性加權(quán)求和閾值網(wǎng)絡(luò)。后來，在此基礎(chǔ)上發(fā)展了非線性多層自適應(yīng)網(wǎng)絡(luò)。當(dāng)時，這些工作雖未標(biāo)出神經(jīng)網(wǎng)絡(luò)的名稱，而實(shí)際上就是一種人工神經(jīng)網(wǎng)絡(luò)模型。 隨著人們對感知機(jī)興趣的衰退，神經(jīng)網(wǎng)絡(luò)的研究沉寂了相當(dāng)長的時間。 80年代初期，模擬與數(shù)字混合的 超大規(guī)模集成電路 制作技術(shù)提高到新的水平，完全付諸實(shí)用化，此外，數(shù)字計(jì)算機(jī)的發(fā)展在若干應(yīng)用領(lǐng)域遇到困難。這一背景預(yù)示，向人工神經(jīng)網(wǎng)絡(luò)尋求出路的時機(jī)已經(jīng)成熟。 美國 的物理學(xué)家 1982 年和 1984 年在美國科學(xué)院院刊上發(fā)表了兩篇關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的論文，引起了巨大的反響。人們重新認(rèn)識到神經(jīng)網(wǎng)絡(luò)的威力以及付 諸應(yīng)用的現(xiàn)實(shí)性。隨即，一大批學(xué)者和研究人員圍繞著 出的方法展開了進(jìn)一步的工作，形成了 80 年代中期以來人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。 人工神經(jīng)網(wǎng)絡(luò)的特性 思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。 邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過程；它先將信息化成概念，并用符號表示，然后，根據(jù)符號運(yùn)算按串行模式進(jìn)行邏輯推理；這一過程可以寫成串行的指令，讓計(jì)算機(jī)執(zhí)行。然而，直觀性的思維是將分布式存儲的信息綜合起來，結(jié)果是忽然間產(chǎn)生想 法或解決問題的辦法。這種思維方式的根本之點(diǎn)在于以下兩點(diǎn) : 1 信息是通過神經(jīng)元上的興奮模式分布儲在網(wǎng)絡(luò)上 ; 2 信息處理是通過神經(jīng)元之間同時相互作用的動態(tài)過程來完成的。 人工神經(jīng)網(wǎng)絡(luò)具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過程中改變突觸權(quán)重值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識，以致超過設(shè)計(jì)者原有的知識水平。通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱有導(dǎo)師的學(xué)習(xí)，這時利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿；另一種是無監(jiān)督學(xué) 習(xí)或稱無導(dǎo)師學(xué)習(xí)，這時，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境 （即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。 神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)。目前，主要的研究工作集中在以下幾個方面： 1 生物原型研究。從生理學(xué)、心理學(xué)、解剖學(xué)、腦科學(xué)、病理學(xué)等生物科學(xué)方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 3 2 建立理論模型。根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型。其中包括概念模型、知識模型、物理化學(xué)模型 、數(shù)學(xué)模型等。 3 網(wǎng)絡(luò)模型 與算法研究。在理論模型研究的基礎(chǔ)上構(gòu)作具體的 神經(jīng)網(wǎng)絡(luò)模型 ，以實(shí)現(xiàn)計(jì)算機(jī)饃擬或準(zhǔn)備制作硬件，包括 網(wǎng)絡(luò)學(xué)習(xí) 算法的研究。這方面的工作也稱為技術(shù)模型研究。 4 人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)。在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng)，例如，完成某種信號處理或 模式識別 的功能、構(gòu)作專家系統(tǒng)、制成機(jī)器人等等。 縱觀當(dāng)代新興科學(xué)技術(shù)的發(fā)展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學(xué)技術(shù)領(lǐng)域的進(jìn)程中歷經(jīng)了崎嶇不平的道路。我們也會看到，探索人腦功能和神 經(jīng)網(wǎng)絡(luò)的研究將伴隨著重重困難的克服而日新月異。 經(jīng)網(wǎng)絡(luò) 在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長一段時間里沒有找到隱層的連接權(quán)值調(diào)整問題的有效算法。直到誤差 反向傳播算法 （ 法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的 多層前饋神 經(jīng)網(wǎng)絡(luò) 權(quán)重調(diào)整問題。 經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實(shí)際輸出與期望輸出不符時，進(jìn)入誤差的反向傳播階段。誤差通過 輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 首先，由于學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度慢，需要較長的訓(xùn)練時間。對于一些復(fù)雜問題， 法需要的訓(xùn)練時間可能非常長，這主要是由于學(xué)習(xí)速率太小造成的，可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率加以改進(jìn)。 其次， 法可以使權(quán)值收斂到某個值，但并不保證其為 誤差平面的全局最小值，這是因?yàn)椴捎锰荻认陆捣赡墚a(chǎn)生一個局部最小值。對于這個問題，可以采用附加動量法來解決。 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 4 再次，網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導(dǎo)，一般是根據(jù)經(jīng)驗(yàn)或者通過反復(fù)實(shí)驗(yàn)確定。因此，網(wǎng)絡(luò)往往存在很大的冗余性，在一定程度上也增加了網(wǎng)絡(luò)學(xué)習(xí)的負(fù)擔(dān)。 最后，網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性。也就是說，如果增加了學(xué)習(xí)樣本，訓(xùn)練好的網(wǎng)絡(luò)就需要從頭開始訓(xùn)練，對于以前的權(quán)值和閾值是沒有記憶的。 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 5 第 2章 神經(jīng)網(wǎng)絡(luò)預(yù)測基本 原理 物神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)是參照生物神經(jīng)網(wǎng)絡(luò)發(fā)展起來的，為了學(xué)習(xí)和研究人工神經(jīng)網(wǎng)絡(luò)，了解生物神經(jīng)網(wǎng)絡(luò)的基本原理是很必要的。人腦神經(jīng)系統(tǒng)的基本單元是神經(jīng)細(xì)胞，即生物神經(jīng)元。人腦神經(jīng)系統(tǒng)約由 1110個神經(jīng)元構(gòu)成，每個神經(jīng)元與約 410個其他神經(jīng)元連接。神經(jīng)細(xì)胞與人體中其他細(xì)胞的關(guān)鍵區(qū)別在于，神經(jīng)網(wǎng)絡(luò)具有產(chǎn)生、處理和傳遞信號的能力。一個神經(jīng)元的構(gòu)造如圖 示，主要包括細(xì)胞體、樹突和軸突。 圖 物神經(jīng)元示意圖 細(xì)胞體是由細(xì)胞核、細(xì)胞質(zhì)、細(xì)胞膜等組成。在高等動物的神經(jīng)細(xì)胞，除了特殊的無 “軸突 ”神經(jīng)元外，一般每個神經(jīng)元從細(xì)胞體伸出一根粗細(xì)均勻、表面光滑的突起，長度從幾微米到 1m 左右，稱為軸突，它的功能是傳出從細(xì)胞體來的神經(jīng)信息。從細(xì)胞體延伸出像樹枝一樣向四處分散開來的許多突起，稱之為樹突，黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 6 其作用是感受其他神經(jīng)元的傳遞信號。軸突末端有許多細(xì)的分枝，稱之為神經(jīng)末梢，每一根神經(jīng)末梢可以與其他神經(jīng)元連接，其連接的末端稱之為突觸。神經(jīng)元之間的連接是靠突觸實(shí)現(xiàn)的，主要有：軸突與樹突、軸突與細(xì)胞體、軸突與軸突、樹突與樹突等連接形式。 神經(jīng)細(xì)胞單元的信息是寬度和幅度都相同的脈沖串，若某個神經(jīng)細(xì)胞興奮，其軸突輸出的脈沖串的頻率就高；若某個神經(jīng)細(xì)胞抑制，其軸突輸出的脈沖串的頻率就低，甚至無脈沖發(fā)出。根據(jù)突觸對下一個神經(jīng)細(xì)胞的功能活動的影響，突觸又可分為興奮性的和抑制性的兩種。興奮性的突觸可能引起下一個神經(jīng)細(xì)胞興奮，抑制性的突觸使下一個神經(jīng)細(xì)胞抑制。 神經(jīng)細(xì)胞的細(xì)胞膜將細(xì)胞體內(nèi)外分開，從而使細(xì)胞體內(nèi)外有不同的電位，一般內(nèi)部電位比外部低，其內(nèi)外電位差稱之為膜電位。突觸使神經(jīng)細(xì)胞的膜電位發(fā)生變化，且電位的變化是可以累加的，該 神經(jīng)細(xì)胞膜電位是它所有突觸產(chǎn)生的電位總和，當(dāng)該神經(jīng)細(xì)胞的膜電位升高到超過一個閾值時，會產(chǎn)生一個脈沖，從而總和的膜電位直接影響該神經(jīng)細(xì)胞興奮發(fā)放的脈沖數(shù)。突觸傳遞信息需要一定的延遲，對溫血動物，延遲時間為 般每個神經(jīng)細(xì)胞的軸突大約連接 100 1000 個其他神經(jīng)細(xì)胞。神經(jīng)細(xì)胞的信息就這樣從一個神經(jīng)細(xì)胞傳到另一個神經(jīng)細(xì)胞，且這種傳播是正向的，不允許逆向傳播。 工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過程，反映人腦某些特性的一種計(jì)算結(jié)構(gòu)。它不是人 腦神經(jīng)系統(tǒng)的真實(shí)描寫，而只是它的某種抽象、簡化和模擬。根據(jù)前面對生物神經(jīng)網(wǎng)絡(luò)的介紹可知，神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為 “處理單元 ”，有時從網(wǎng)絡(luò)的觀點(diǎn)出發(fā)常把它稱為 “節(jié)點(diǎn) ”。人工神經(jīng)元是對生物神經(jīng)元的一種形式化描述，它對生物神經(jīng)元的信息處理過程進(jìn)行抽象，并用數(shù)學(xué)語言予以描述；對生物神經(jīng)元的結(jié)構(gòu)和功能進(jìn)行模擬，并用模型圖予以表達(dá)。 目前人們提出的神經(jīng)元模型己有很多，其中最早提出且影響最大的，是 1943年心理學(xué)和數(shù)學(xué)家在分析總結(jié)神 經(jīng)元基本特性的基礎(chǔ)上首先提出的 型。該模型經(jīng)過不斷改進(jìn)后，形成目前廣泛應(yīng)用的神經(jīng)元模型形式。關(guān)于神經(jīng)元的信息處理機(jī)制，該模型在簡化的基礎(chǔ)上提出以下 6 點(diǎn)假定進(jìn)行描述： 1 每個神經(jīng)元都是一個多輸入單輸出的信息處理單元； 2 神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型； 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 7 3 神經(jīng)元具有空間整合特性和閡值特性； 4 神經(jīng)元輸入與輸出間有固定的時滯，主要取決于突觸延擱； 5 忽略時間整合作用和不應(yīng)期； 6 神經(jīng)元本身是非時變的，即其突觸時延和突觸強(qiáng)度均為常數(shù)。 顯然，上述假定是對生物神經(jīng)元信息處理過程的簡化和概括，它清晰地述 了生物神經(jīng)元信息處理的點(diǎn)，而且便于進(jìn)行形式化表上述假定，可用圖 的神元模型示意圖進(jìn)行圖解表示。 圖 經(jīng)元模型示意圖 圖 明，如生物神經(jīng)元有許多激勵輸入一樣，人工神經(jīng)元也應(yīng)該有許多的輸入信號 (圖中每個輸入的大小用確定數(shù)值 示 )，它們同時輸人神經(jīng)元 k。生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強(qiáng)度，其對輸入的影響是使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要?；締卧纳窠?jīng)元模型包括三 個基本要素：一組求和函數(shù) (對應(yīng)于生物神經(jīng)元的突觸 )連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表示啟動，為負(fù)表示抑制；一個求和單元 用于求取各輸入信號的加權(quán)和 (線性組合 )；一個非線性啟動函數(shù) 起非線性映射作用并將神經(jīng)元輸出幅度限制在一定范圍內(nèi) (一般限制在 (0， l)或 (+l)之間 )。此外還有一個閾值 k(或偏置 )，見圖 圖 本神經(jīng)元模型 以上作用可分別以數(shù)學(xué)表達(dá)式表達(dá)出來： 1, , )pk i j j k k k k w x v u y v （ .(f k龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 8 式中： 1 2 px x x， ， . ， 為輸入信號， k 1 k 2 k pw w w， ， . ，為神經(jīng)元 k 的權(quán)值，線性組合結(jié)果， k 為閾值， f(.)為啟動函數(shù)，為神經(jīng)元 k 的輸出。若把輸入的維數(shù)增加一維，增加一個新的連接，輸入為 x。 = +1)，權(quán)值為 0 k (或- k )，則可把閾值 k 包括進(jìn)去。例如 0, ( )pk k j j k w x y v 啟動函數(shù) f ()可以有以下幾種形式： 閾值型變換函數(shù) (圖 單極性函數(shù)用下式定義： 1 ( 0 )()0 ( 0 ) 具有這一作用方式的神經(jīng)元稱為閾值型神經(jīng) 元，是神經(jīng)元模型中最簡單的一種，經(jīng)典的 型就屬于這一類。 圖 值型變換函數(shù) （ 2）非線性變換函數(shù) 非線性變換函數(shù)為實(shí)數(shù)域 R 到 0， l閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。最常用的非線性變換函數(shù)是單極性的 數(shù)曲線，簡稱 圖 其特點(diǎn)是函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)的，因而在處理上十分方便。單極性 S 型函數(shù)定義如下： 1() 1 e 1 1 0 F(x) F(x) x x （ （ 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 9 有時也常采用雙極性 S 型函數(shù)等形式 21( ) 111 （ 3）非線性變換函數(shù) 該函數(shù)的特點(diǎn)是神經(jīng)元的輸入與輸出在一定區(qū)間內(nèi)滿足線性關(guān)系。由于具有分段線性的特點(diǎn)，因而在實(shí)現(xiàn)上比較簡單。這類函數(shù)也稱為偽線性函數(shù)，單極性分段線性變換函數(shù)的表達(dá)式如下： 式中， c 為線段的斜率，如圖 圖 型變換函數(shù) 圖 段線性變換函數(shù) （ 4）概率型變換函數(shù) 采用概率型變換函數(shù)的神經(jīng)元模型其輸入與輸出之間的關(guān)系是不確定的，需要一個隨機(jī)函數(shù)來描述其輸出狀態(tài)為 1 或?yàn)?0 的概率。設(shè)神經(jīng)元輸出為 1 的概率0 F(x) x x （ （ F(x) 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 10 為 ： /1(1 ) 1e 式中， T 稱為溫度參數(shù)。由于采用該變換函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼分布相類似。 工神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)細(xì)胞是構(gòu)筑神經(jīng)系統(tǒng)和人腦的基本單元，它既具有結(jié)構(gòu)和功能的動態(tài)特性，又具有時間和空間的動態(tài)特性，其簡單有序的編排構(gòu)成了復(fù)雜的大腦。神經(jīng)細(xì)胞之間的通信是通過其具有可塑性的突觸禍合實(shí)現(xiàn)的，這使它們成為一個的整體。人工神經(jīng)網(wǎng)絡(luò)就是通過對人腦的神經(jīng)細(xì)胞一一的建模和連接，來探索模擬人腦神經(jīng)系統(tǒng)功能的模型，其任務(wù)是具有學(xué)習(xí)、聯(lián)想、記憶和模式識別等信息 處理功能的系統(tǒng)。 在各種智能信息處理模型中，人工神經(jīng)網(wǎng)絡(luò)是最具有大腦風(fēng)格的智能信息處理模型，許多網(wǎng)絡(luò)都能反映人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是對其局部電路的某種模仿、簡化和抽象。 大量神經(jīng)元組成龐大的神經(jīng)網(wǎng)絡(luò)，才能實(shí)現(xiàn)對復(fù)雜信息的處理與存儲，并表現(xiàn)出各種優(yōu)越的特性。神經(jīng)網(wǎng)絡(luò)的強(qiáng)大功能與其大規(guī)模并行互連、非線性處理以及互連結(jié)構(gòu)的可塑性密切相關(guān)。必須按一定規(guī)則將神經(jīng)元連接成神經(jīng)網(wǎng)絡(luò)，并使網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)按一定規(guī)則變化。生物神經(jīng)網(wǎng)絡(luò)由數(shù)以億計(jì)的生物神經(jīng)元連接而戒，而人工神經(jīng)網(wǎng)絡(luò)限于物理實(shí) 現(xiàn)的困難和為了計(jì)算簡便，是由相對少量的神經(jīng)元按一定規(guī)律構(gòu)成的網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元常稱為節(jié)點(diǎn)或處理單元，每個節(jié)點(diǎn)均具有相同的結(jié)構(gòu)，其動作在時間和空間上均同步。 人工神經(jīng)網(wǎng)絡(luò)的模型有很多種，可以按照不同的方法分類。其中常見的兩種分類方法是：按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)和按網(wǎng)絡(luò)內(nèi)部的信息流向分類。 （ 1）網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型 神經(jīng)元之間的連接方式不同，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也不同。根據(jù)神經(jīng)元之間連接方式，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為層次型結(jié)構(gòu) (圖 互連型結(jié)構(gòu) (圖 大類。 （ 2）根據(jù)神經(jīng)網(wǎng)絡(luò)內(nèi)部信息的傳遞方向，可分為前 饋型、反饋型網(wǎng)絡(luò)兩種類型。 （ 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 11 圖 次結(jié)構(gòu)示意圖 圖 聯(lián)結(jié)構(gòu)示意圖 工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 學(xué)習(xí)定義為：根據(jù)與環(huán)境的相互作用而發(fā)生的行為改變，其結(jié)果導(dǎo)致對外界刺激產(chǎn)生反應(yīng)的新模式的建立。學(xué)習(xí)的過程離不開訓(xùn)練，學(xué)習(xí)的過程就是一種經(jīng)過訓(xùn)練而使個體在行為上產(chǎn)生較為持久改變的過程。學(xué)習(xí)效果隨著訓(xùn)練量的增加而提高，這就是通過學(xué)習(xí)獲得的進(jìn)步。 關(guān)于學(xué)習(xí)的神經(jīng)機(jī)制，涉及神經(jīng)元如何分布、處理和存儲信息。這樣的問題單用行為研究是不能回答的，必須把研究深入到細(xì)胞和分子水 平。在大腦中，要建立功能性的神經(jīng)元連接，突觸形成是關(guān)鍵。神經(jīng)元之間的突觸聯(lián)系，其基本部分是先天就有的，但其他部分是由于學(xué)習(xí)過程中頻繁地給予刺激而成長起來的。突觸的形成、穩(wěn)定與修飾均與刺激有關(guān)，隨著外界給予的刺激性質(zhì)不同，能形成和改變神經(jīng)元間的突觸聯(lián)系。 人工神經(jīng)網(wǎng)絡(luò)的功能特性由其連接的拓?fù)浣Y(jié)構(gòu)和突觸連接強(qiáng)度，即連接權(quán)值決定。神經(jīng)網(wǎng)絡(luò)全體連接權(quán)值的可用一個矩陣 W 表示，它的整體反映了神經(jīng)網(wǎng)黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 12 絡(luò)對于所解決問題的知識存儲。神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期 望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動態(tài)調(diào)整。當(dāng)大量處理單元集體進(jìn)行權(quán)值調(diào)整時，網(wǎng)絡(luò)就呈現(xiàn)出 “智能 ”特性。其中有意義的信息就分布地存儲在調(diào)節(jié)后的權(quán)值矩陣中。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法可以歸納為三類 :一是有導(dǎo)師學(xué)習(xí)：學(xué)習(xí)模式采用的是糾錯規(guī)則，學(xué)習(xí)訓(xùn)練過程中需要不斷地給網(wǎng)絡(luò)成對提供一個輸入模式和一個期望網(wǎng)絡(luò)正確輸出的模式，將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出同期望輸出進(jìn)行比較，并按一定的規(guī)則調(diào)整權(quán)值。另類是無導(dǎo)師學(xué)習(xí)：學(xué)習(xí)過程中，需要不斷地給網(wǎng)絡(luò)提供動態(tài)輸入信息。網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信 息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值，使網(wǎng)絡(luò)能對屬于同一類的模式進(jìn)行自動分類。第三類是灌輸式學(xué)習(xí)：將網(wǎng)絡(luò)設(shè)計(jì)成能記憶特別的例子，以后當(dāng)給定有關(guān)該例子的輸人信息時，例子便被回憶起來。 本章小結(jié) 本章主要是對神經(jīng)網(wǎng)絡(luò)模型建立的基本闡述。是在生物神經(jīng)細(xì)胞的基礎(chǔ)上建立起來的。最重要的是神經(jīng)元得建立，然后是網(wǎng)絡(luò)模型的確定?，F(xiàn)在主要是 下面的設(shè)計(jì)做理論支持。 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 13 第 3 章 經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)學(xué)模型 P 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 目前國外在工 程上獲得實(shí)際應(yīng)用的神經(jīng)元模型，大部分是 絡(luò)。這種網(wǎng)絡(luò)的可靠性及成熟性可以滿足工程應(yīng)用的要求。如圖 示。 圖 P 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖 在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長一段時間里沒有找到隱層的連接權(quán)值調(diào)整問題的有效算法。直到誤差 反向傳播算法 （ 法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的 多層前饋神經(jīng)網(wǎng)絡(luò) 權(quán)重調(diào)整問題。 經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程， 由輸出層向外界輸出信息處理結(jié)果。當(dāng)實(shí)際輸出與期望輸出不符時，進(jìn)入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 經(jīng)網(wǎng)絡(luò)模型 絡(luò)模型包括其輸入輸出模型、作用函數(shù)模型、誤差計(jì)算模型和自學(xué)習(xí)模型。 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 14 P 神經(jīng)元 圖 出了第 j 個基本 經(jīng)元（節(jié)點(diǎn)），它只模仿了生物神經(jīng)元 所具有的三個最基本也是最重要的功能：加權(quán)、求和與轉(zhuǎn)移。其中 x2x ix n 分別代表來自神經(jīng)元 1、 2in 的輸入； w jiw 分別表示神經(jīng)元 1、2in 與第 j 個神經(jīng)元的連接強(qiáng)度，即權(quán)值； 閾值； f(.)為傳遞函數(shù)； 第 j 個神經(jīng)元的輸出。 第 j 個神經(jīng)元的凈輸入值 ： 1經(jīng)元 其中： . 21 ， . 21 若視 1， jj 0 ，即令 x 及 括 0則 . 210 ， . 210 于是節(jié)點(diǎn) j 的凈輸入 表示為： 0凈輸入 過傳 遞函數(shù)（ f()后，便得到第 j 個神經(jīng)元的輸出 )()()( 0 （ )(nx （ （ 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 15 式中是單調(diào)上升函數(shù)，而且必須是有界函數(shù)，因?yàn)榧?xì)胞傳遞的信號不可能無限增加，必有一最大值。 絡(luò) 法由數(shù)據(jù)流的前向計(jì)算（正向傳播）和誤差信號的反向傳播兩個過程構(gòu)成。正向傳播時，傳播方向?yàn)檩斎雽?隱層 輸出層，每層神經(jīng)元的狀態(tài)只影響 下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號的反向傳播流程。通過這兩個過程的交替進(jìn)行，在權(quán)矢量空間執(zhí)行誤差函數(shù)梯度下降策略，動態(tài)迭代搜索一組權(quán)矢量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過程。 向傳播 圖 層神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 設(shè) 絡(luò)的輸入層有 n 個節(jié)點(diǎn)，隱層有 q 個節(jié)點(diǎn)，輸出層有 m 個節(jié)點(diǎn)，輸入層與隱層之間的權(quán)值為 隱層與輸出層之 間的權(quán)值為 如圖 示。隱層的傳遞函數(shù)為 )，輸出層的傳遞函數(shù)為 )，則隱層節(jié)點(diǎn)的輸出為（將閾值寫入求和項(xiàng)中）： )(01 k=1， 2， q （ 輸出層節(jié)點(diǎn)的輸出為： )(y 02j j=1， 2， m （ 1x . .n q m 1y 1z V W . j 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 16 至此 絡(luò)就完成了 n 維空間矢量對 m 維空間的近似映射。 向傳播 （ 1） 定義誤差函數(shù) 輸入 p 個學(xué)習(xí)樣本，用 x1,表示。第 p 個樣本輸入到網(wǎng)絡(luò)后得到輸出 j=1， 2， m ）。采用平方型誤差函數(shù)，于是得到第 p 個樣本的誤差 21 )(21 （ 式中： 對于 p 個樣本，全局誤差為： 1121 )( （ （ 2） 輸出層權(quán)值的變化 采 用 累 計(jì) 誤 差 法 調(diào) 整 使 全局誤差 E 變 小 ， 即 ： pp )( （ 式中： 學(xué)習(xí)率 定義誤差信號為： 其中第一項(xiàng)： mj 2121 )()( （ 第二項(xiàng)： )(2 （ 是輸出層傳遞函數(shù)的偏微分。 于是： 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 17 )()( 21yj （ 1 )(2)( （ 于是輸出層各神經(jīng)元的權(quán)值調(diào)整公式為： （ s)(w 211 （ （ 3） 隱層權(quán)值的變化 )()( EE 定義誤差信號為： 其中第一項(xiàng)： )()(21 依鏈定理有： (j （ 第二項(xiàng)： )(1z k （ 是隱層傳遞函數(shù)的偏微分。 于是： )()()( 12 （ 由鏈定理得：()()(21 （ 從而得到隱層各神經(jīng)元的權(quán)值調(diào)整公式為： 黑龍江工程學(xué)院本科生畢業(yè)設(shè)計(jì) 18 ij )()( 121 （ 章小結(jié) 本章主要是對 經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和數(shù)學(xué)模型進(jìn)行設(shè)計(jì)， 經(jīng)網(wǎng)絡(luò)是現(xiàn)在應(yīng)用最廣泛 ，也是現(xiàn)在最成熟的神經(jīng)網(wǎng)絡(luò)