人工神經(jīng)網(wǎng)絡(luò)模式識別

1、 人工神經(jīng)網(wǎng)絡(luò)模式識別一、人工神經(jīng)網(wǎng)絡(luò)模式識別1、人工神經(jīng)網(wǎng)絡(luò)的概述人工神經(jīng)網(wǎng)絡(luò)從人腦的生理學(xué)和心理學(xué)角度出發(fā)，通過模擬人腦的工作機(jī)理，實現(xiàn)機(jī)器的部分智能行為，是從微觀結(jié)構(gòu)和功能上對人腦進(jìn)行抽象和簡化，是模擬人類智能的一條重要途徑。具體的模式識別是多種多樣的，如果從識別的基本方法上劃分，傳統(tǒng)的模式識別大體分為統(tǒng)計模式識別和句法模式識別，在識別系統(tǒng)中引入神經(jīng)網(wǎng)絡(luò)是一種近年來發(fā)展起來的新的模式識別方法。盡管引入神經(jīng)網(wǎng)絡(luò)的方法和引入網(wǎng)絡(luò)的結(jié)構(gòu)可以各不相同，但都可稱為神經(jīng)網(wǎng)絡(luò)模式識別。而且這些識別方法在解決傳統(tǒng)方法較難處理的某些問題上帶來了新的進(jìn)展和突破，因而得到了人們越來越多的重視和研究。人工神經(jīng)元

2、網(wǎng)絡(luò)(ArtificialNeuralNetwork)簡稱神經(jīng)網(wǎng)絡(luò)，是基于日前人們對自然神經(jīng)系統(tǒng)的認(rèn)識而提出的一些神經(jīng)系統(tǒng)的模型，一般是由一系列被稱為神經(jīng)元的具有某種簡單計算功能的節(jié)點經(jīng)過廣泛連接構(gòu)成的一定網(wǎng)絡(luò)結(jié)構(gòu)，而其網(wǎng)絡(luò)連接的權(quán)值根據(jù)某種學(xué)習(xí)規(guī)則在外界輸入的作用下不斷調(diào)節(jié)，最后使網(wǎng)絡(luò)具有某種期望的輸出特性。神經(jīng)網(wǎng)絡(luò)的這種可以根據(jù)輸入樣本學(xué)習(xí)的功能使得它非常適合于用來解決模式識別問題，這也是神經(jīng)網(wǎng)絡(luò)目前最成功的應(yīng)用領(lǐng)域之一。2、神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識別的方法和步驟神經(jīng)網(wǎng)絡(luò)模式識別的基本方法是，首先用己知樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使之對不同類別的己知樣本給出所希望的不同輸出，然后用該網(wǎng)絡(luò)識別未知的樣本，根

3、據(jù)各樣本所對應(yīng)的網(wǎng)絡(luò)輸出情況來劃分未知樣本的類別。神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識別的一般步驟如圖2-1所示，分為如下幾個部分：預(yù)處理神經(jīng)網(wǎng)絡(luò)識別樣本獲取常規(guī)處理特征變換圖2-1神經(jīng)網(wǎng)絡(luò)模式識別基本構(gòu)成1、樣本獲取這一步驟主要是為了得到一定數(shù)量的用于訓(xùn)練和識別的樣本2、常規(guī)處理其作用相當(dāng)于傳統(tǒng)模式識別中的數(shù)據(jù)獲取和常規(guī)處理兩步的功能。即通過對識別對象的有效觀測、進(jìn)行采樣量化，獲得一系列數(shù)據(jù)，再經(jīng)過去除噪聲、加強(qiáng)有用信息等工作獲得盡量逼真的原始數(shù)據(jù)。通過這一步驟，得到了樣本的原始表達(dá)。3、特征變換在原始樣本表達(dá)的基礎(chǔ)上，進(jìn)行適當(dāng)?shù)淖儞Q，得到適合神經(jīng)網(wǎng)絡(luò)進(jìn)行識別的樣本的特征表達(dá)。以上兩步構(gòu)成了神經(jīng)網(wǎng)絡(luò)模式識別中

4、的預(yù)處理過程。這一步驟與傳統(tǒng)模式識別的特征提取選擇的位置很相似，不同的是，神經(jīng)網(wǎng)絡(luò)可以對原始樣本直接進(jìn)行處理，因此這種變換在神經(jīng)網(wǎng)絡(luò)模式識別中不象傳統(tǒng)模式識別的特征提取選擇那樣必不可少，神經(jīng)網(wǎng)絡(luò)對預(yù)處理的要求與傳統(tǒng)模式識別對特征提取選擇的要求也有所不同。4、神經(jīng)網(wǎng)絡(luò)識別根據(jù)識別對象和研究問題的不同，選用不同的網(wǎng)絡(luò)結(jié)構(gòu)并采用適當(dāng)?shù)膶W(xué)習(xí)算法，用已知樣本作為訓(xùn)練集對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其網(wǎng)絡(luò)連接的權(quán)值不斷調(diào)整，直到網(wǎng)絡(luò)的輸出特性與期望的相符合。訓(xùn)練過程結(jié)束以后，網(wǎng)絡(luò)相當(dāng)于一個固定的映射器，新的輸入樣本（測試樣本）通過網(wǎng)絡(luò)映射到不同的類別。3、神經(jīng)網(wǎng)絡(luò)的優(yōu)點神經(jīng)網(wǎng)絡(luò)用于控制，主要是為了解決非線性、不確

5、定、未知數(shù)學(xué)模型復(fù)雜系統(tǒng)的控制問題。神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用于模式識別，關(guān)鍵在于它具有一般數(shù)學(xué)模型所不具有的諸多優(yōu)點。神經(jīng)網(wǎng)絡(luò)的優(yōu)點如下：1、分布存儲和容錯性一個信息不是存儲在一個地方，而是按內(nèi)容分布在整個網(wǎng)絡(luò)上，網(wǎng)絡(luò)某一處不是只存儲一個外部信息，而是每個神經(jīng)元都存儲多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對信息的存儲都有等勢作用。這種分布式存儲算法是存儲區(qū)與運(yùn)算區(qū)合為一體的。在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲的知識則采用“聯(lián)想”的辦法，即當(dāng)一個神經(jīng)網(wǎng)絡(luò)輸入一個激勵時，它要在己存的知識中尋找與該輸入匹配最好的存儲知識為其解。當(dāng)然在信息輸出時也還要經(jīng)過一種處理。而不是直接從記憶中取出。這種存儲方式的優(yōu)點在于若部分信息不完

6、全，丟失或者損壞甚至有錯誤的信息，它仍能恢復(fù)出原來正確的完整的信息，系統(tǒng)仍能運(yùn)行。這就是網(wǎng)絡(luò)具有容錯性和聯(lián)想記憶的功能。人的大腦的容錯性是它的一種重要的智慧形式。2、大規(guī)模并行處理人工神經(jīng)元網(wǎng)絡(luò)在結(jié)構(gòu)上是并行的，而且網(wǎng)絡(luò)的各個單元可以同時進(jìn)行類似的處理過程。因此，網(wǎng)絡(luò)中的信息處理是在大量單元中平行而又有層次地進(jìn)行，運(yùn)算速度高，大大超過傳統(tǒng)的序列式運(yùn)算的數(shù)字機(jī)。雖然每個神經(jīng)元的信息傳遞（神經(jīng)脈沖）速度是以毫秒計算的，比普通序列式計算機(jī)要慢很多，但是人通常能在1秒內(nèi)即可作出對外界事物的判斷和決策、這就是能神奇地完成所謂“百步”決策。這按照現(xiàn)有傳統(tǒng)的計算機(jī)及人工智能技術(shù)目前還是做不到的。3、自學(xué)習(xí)、

7、自組織和自適應(yīng)性學(xué)習(xí)和適應(yīng)要求在時間過程中系統(tǒng)內(nèi)部結(jié)構(gòu)和聯(lián)系方式有改變，神經(jīng)元網(wǎng)絡(luò)是一種變結(jié)構(gòu)系統(tǒng)，恰好能完成對環(huán)境的適應(yīng)和對外界事物的學(xué)習(xí)能力。神經(jīng)元之間的連接有多種多樣，各神經(jīng)元之間連接強(qiáng)度具有一定的可塑性，相當(dāng)于突觸傳遞信息能力的變化，這樣，網(wǎng)絡(luò)可以通過學(xué)習(xí)和訓(xùn)練進(jìn)行自組織以適應(yīng)不同信息處理的要求。神經(jīng)元網(wǎng)絡(luò)是大量神經(jīng)元的集體行為，并不是各單元行為的簡單的相加，而表現(xiàn)出一般復(fù)雜非線性動態(tài)系統(tǒng)的特性。如不可預(yù)測性、不可逆性、有各種類型的吸引子和出現(xiàn)混沌現(xiàn)象等。正是由于神經(jīng)網(wǎng)絡(luò)具有這些特點，所以可以處理一些環(huán)境信息十分復(fù)雜、知識背景不清楚和推理規(guī)則不明確的問題。例如語音識別和識別、醫(yī)學(xué)診斷以

8、及市場估計等，都是具有復(fù)雜非線性和不確定性對象的控制。在那里，信源提供的模式豐富多彩，有的互相間存在矛盾，而判定決策原則又無條理可循。通過神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)，從典型事例中學(xué)會處理具體事例，給出比較滿意的解答。二、人工神經(jīng)網(wǎng)絡(luò)的基本原理1、神經(jīng)細(xì)胞以及人工神經(jīng)元的組成神經(jīng)系統(tǒng)的基本構(gòu)造單元是神經(jīng)細(xì)胞，也稱神經(jīng)元。它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。每個神經(jīng)元都包括四個主要部分:細(xì)胞體、樹突、軸突和突觸。樹突的作用是用于接受周圍其他神經(jīng)元傳入的神經(jīng)沖動，軸突的功能是通過軸突末梢向其他神經(jīng)元傳出神經(jīng)沖動。每個神經(jīng)細(xì)胞所產(chǎn)生和傳遞的基本信息是興奮或抑制。在兩個神經(jīng)細(xì)胞之間的相互

9、接觸點稱為突觸。簡單神經(jīng)元網(wǎng)絡(luò)及其簡化結(jié)構(gòu)如圖2-2所示。從信息的傳遞過程來看，一個神經(jīng)細(xì)胞的樹突，在突觸處從其他神經(jīng)細(xì)胞接受信號。這些信號可能是興奮性的，也可能是抑制性的。所有樹突接受到的信號都傳到細(xì)胞體進(jìn)行綜合處理，如果在一個時間間隔內(nèi)，某一細(xì)胞接受到的興奮性信號量足夠大，以致于使該細(xì)胞被激活，而產(chǎn)生一個脈沖信號。這個信號將沿著該細(xì)胞的軸突傳送出去，并通過突觸傳給其他神經(jīng)細(xì)胞.神經(jīng)細(xì)胞通過突觸的聯(lián)接形成神經(jīng)網(wǎng)絡(luò)。O)=0(1)細(xì)胞體(2)樹突(3)軸突(4)突觸圖2-2簡單神經(jīng)元網(wǎng)絡(luò)及其簡化結(jié)構(gòu)圖人們正是通過對人腦神經(jīng)系統(tǒng)的初步認(rèn)識，嘗試構(gòu)造出人工神經(jīng)元以組成人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)來對人的智能控

10、制，甚至對思維行為進(jìn)行研究:嘗試從理性角度闡明大腦的高級機(jī)能。經(jīng)過幾十年的努力與發(fā)展，己涌現(xiàn)出上百種人工神經(jīng)網(wǎng)絡(luò)模型，它們的網(wǎng)絡(luò)結(jié)構(gòu)、性能、算法及應(yīng)用領(lǐng)域各異，但均是根據(jù)生物學(xué)事實衍生出來的。由于其基本處理單元是對生物神經(jīng)元的近似仿真，因而被稱之為人工神經(jīng)元。它用于仿效生物神經(jīng)細(xì)胞最基本的特性，與生物原型相對應(yīng)。人工神經(jīng)元的主要結(jié)構(gòu)單元是信號的輸入、綜合處理和輸出，其輸出信號的強(qiáng)度大小反映了該單元對相鄰單元影響的強(qiáng)弱。人工神經(jīng)元之間通過互相聯(lián)接形成網(wǎng)絡(luò)，稱為人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)元之間相互聯(lián)接的方式稱為聯(lián)接模式，相互之間的聯(lián)接度由聯(lián)接權(quán)值體現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)中。改變信息處理過程及其能力，就是修改網(wǎng)絡(luò)

11、權(quán)值的過程。目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大體上都采用如下的一些原則：1、由一定數(shù)量的基本單元分層聯(lián)接構(gòu)成；2、每個單元的輸入、輸出信號以及綜合處理內(nèi)容都比較簡單；3、網(wǎng)絡(luò)的學(xué)習(xí)和知識存儲體現(xiàn)在各單元之間的聯(lián)接強(qiáng)度上。2、人工神經(jīng)元的模型神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外，同時也受到神經(jīng)元內(nèi)部其它因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個額外輸入信號、稱為偏差(bais),有時也稱為閾值或門限值。一個具有r個輸入分量的神經(jīng)元如圖2-2所示。其中，輸入分量p(j=1,2,.,r)通過與和它相乘的權(quán)值分量w(j=1,2,

12、.,r)相連，jj以Ewp的形式求和后，形成激活函數(shù)f()的輸入。激活函數(shù)的另一個輸入是jjj=1神經(jīng)元的偏差b,權(quán)值Wj和輸入分量的矩陣形式可以由W的行矢量以及P的列矢量來表示:W=lwww12r2.1)P=pp.p112r3、神經(jīng)網(wǎng)絡(luò)的聯(lián)接形式人腦中大量的神經(jīng)細(xì)胞都不是孤立的，而是通過突觸形式相互聯(lián)系著的，構(gòu)成結(jié)構(gòu)與功能十分復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。為了便于從結(jié)構(gòu)出發(fā)模擬智能，因此必須將一定數(shù)量的神經(jīng)元適當(dāng)?shù)芈?lián)接成網(wǎng)絡(luò)，從而形成多種神經(jīng)網(wǎng)絡(luò)模型。通常所說的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，主要指它的聯(lián)接方式。神經(jīng)網(wǎng)絡(luò)按照拓?fù)浣Y(jié)構(gòu)屬于以神經(jīng)元為節(jié)點，以及節(jié)點間有向連接為邊的一種圖，其結(jié)構(gòu)大體上可分為層狀和網(wǎng)狀兩大類

13、。層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般地同層內(nèi)的神經(jīng)元不能聯(lián)接，網(wǎng)狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)中，任何兩個神經(jīng)元之間都可能雙向聯(lián)接。三、神經(jīng)網(wǎng)絡(luò)在數(shù)字識別中的應(yīng)用神經(jīng)網(wǎng)絡(luò)模型用于模擬人腦神經(jīng)元活動的過程。其中包括對信息的加工、處理、存儲和搜索等過程，它的基本特點如下:1、神經(jīng)網(wǎng)絡(luò)具有分布式存儲信息的特點。它存儲信息的方式與傳統(tǒng)的計算機(jī)的思維方式是不同的，一個信息不是存在一個地方，而是分布在不同的位置。網(wǎng)絡(luò)的某一部分也不只存儲一個信息，它的信息是分布式存儲的。神經(jīng)網(wǎng)絡(luò)是用大量神經(jīng)元之間的連接及對各連接權(quán)值的分布來表示特定的信息。因此，這種分布式存儲方式即使

14、當(dāng)局部網(wǎng)絡(luò)受損時，仍具有能夠恢復(fù)原來信息的優(yōu)點。2、神經(jīng)網(wǎng)絡(luò)對信息的處理及推理的過程具有并行的特點。每個神經(jīng)元都可以根據(jù)接收到的信息作獨(dú)立的運(yùn)算和處理，然后將結(jié)果傳輸出去，這體現(xiàn)了一種并行處理。神經(jīng)網(wǎng)絡(luò)對于一個特定的輸入模式，通過前向計算產(chǎn)生一個輸出模式，各個輸出節(jié)點代表的邏輯概念被同時計算出來。在輸出模式中，通過輸出節(jié)點的比較和本身信號的強(qiáng)弱而得到特定的解，同時排出其余的解。這體現(xiàn)了神經(jīng)網(wǎng)絡(luò)并行推理的特點。3、神經(jīng)網(wǎng)絡(luò)對信息的處理具有自組織、自學(xué)習(xí)的特點。神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間的連接強(qiáng)度用權(quán)值大小來表示，這種權(quán)值可以事先定出，也可以為適應(yīng)周圍環(huán)境而不斷地變化，這種過程稱為神經(jīng)元的學(xué)習(xí)過程。神

15、經(jīng)網(wǎng)絡(luò)所具有的自學(xué)習(xí)過程模擬了人的形象思維方法，這是與傳統(tǒng)符號邏輯完全不同的一種非邏輯非語言的方法。模糊控制與神經(jīng)網(wǎng)絡(luò)是當(dāng)前兩種主要的智能控制技術(shù)，它們都能模擬人的智能行為，不需要精確的數(shù)學(xué)模型，能夠解決傳統(tǒng)自動化技術(shù)無法解決的許多復(fù)雜的、不確定性的、非線性的自動化問題，而且易于用硬件或軟件來實現(xiàn)。模糊控制與神經(jīng)網(wǎng)絡(luò)又具有各自的特點，模糊控制是模擬人的思維和語言中對模糊信息的表達(dá)和處理方式，擅長利用人的經(jīng)驗性知識；神經(jīng)網(wǎng)絡(luò)則是模擬人腦的結(jié)構(gòu)以及對信息的記憶和處理功能，擅長從輸入輸出數(shù)據(jù)中學(xué)習(xí)有用的知識。由于模糊控制與神經(jīng)網(wǎng)絡(luò)既有共性又有互補(bǔ)性，二者的結(jié)合也就成了當(dāng)今智能控制領(lǐng)域的研究熱點。數(shù)字識別是一項極具研究價值的課題，隨著神經(jīng)網(wǎng)絡(luò)和模糊邏輯技術(shù)的發(fā)展，人們對這一問題的研究又采用了許多新的方法和手段，也使得這一古老的課題煥發(fā)出新的生命力.目前國際上有相當(dāng)多的學(xué)者在研究這一課題，它包括了模式識別領(lǐng)域中所有典型的問題:數(shù)據(jù)的采集、處理及選擇、輸入樣本表達(dá)的選擇