語(yǔ)音信號(hào)處理第6章課件

1、6.1概述所謂人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，簡(jiǎn)稱為ANN)，是在模擬人腦神經(jīng)組織的基礎(chǔ)上發(fā)展起來(lái)的全新的計(jì)算系統(tǒng)，它是由大量計(jì)算單元通過(guò)豐富聯(lián)結(jié)構(gòu)成的復(fù)雜的網(wǎng)絡(luò)。在一定程度上反映了人腦功能的若干基本特性，是一種更接近于人的認(rèn)知過(guò)程的計(jì)算模型。 人工神經(jīng)網(wǎng)絡(luò)模型對(duì)于語(yǔ)音信號(hào)處理這類問(wèn)題特別有意義。傳統(tǒng)的語(yǔ)音信號(hào)處理系統(tǒng)都只是一種符號(hào)化系統(tǒng)，是對(duì)語(yǔ)音信號(hào)進(jìn)行符號(hào)（序列）串行處理，與人的感知過(guò)程有很大的差別。與此不同的是，人工神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單處理單元（稱之為神經(jīng)元或節(jié)點(diǎn)）廣泛地相互連接而組成的一個(gè)并行處理網(wǎng)絡(luò)系統(tǒng)。雖然每個(gè)神經(jīng)元的結(jié)構(gòu)和功能十分簡(jiǎn)單，但大量神經(jīng)

2、元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)對(duì)知識(shí)的存儲(chǔ)方式是分布式的，這種分布式并行處理的特性，使得神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自組織和自學(xué)習(xí)能力以及很高的容錯(cuò)力和頑健性。 6.2 人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介長(zhǎng)期以來(lái)，人們一直企盼著通過(guò)對(duì)人類神經(jīng)系統(tǒng)的研究，能夠發(fā)明一種仿效人腦信息處理模式的智能型計(jì)算機(jī)。構(gòu)造人工神經(jīng)網(wǎng)絡(luò)就是希望通過(guò)類似于人類神經(jīng)元的模型，在信號(hào)處理上使計(jì)算機(jī)具有近似人類的智能。人工神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單處理單元，即神經(jīng)元互相聯(lián)接而構(gòu)成的獨(dú)具特色的信息處理系統(tǒng)。這種系統(tǒng)是可以訓(xùn)練的，它可以積累經(jīng)驗(yàn)而不斷改善自身的性能。同時(shí)，由于高度的并行性，所以它們可以進(jìn)行快速判別并具有容錯(cuò)性。這些特點(diǎn)使它特別適用于用來(lái)進(jìn)行語(yǔ)音信號(hào)處理。人

3、工神經(jīng)網(wǎng)絡(luò)可采用物理可實(shí)現(xiàn)的器件或利用現(xiàn)有的計(jì)算機(jī)來(lái)模擬生物神經(jīng)網(wǎng)絡(luò)的某些結(jié)構(gòu)與功能。構(gòu)成人工神經(jīng)網(wǎng)絡(luò)的三個(gè)基本要素是： （1）神經(jīng)元，即人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，在網(wǎng)絡(luò)中稱為節(jié)點(diǎn)或網(wǎng)點(diǎn)。 （2）網(wǎng)絡(luò)拓樸，即網(wǎng)絡(luò)的結(jié)構(gòu)以及神經(jīng)元彼此聯(lián)接的方式。根據(jù)聯(lián)接方式的不同，網(wǎng)絡(luò)可以分為反饋（Recurrent）型網(wǎng)（又稱循環(huán)網(wǎng)）以及非反饋型網(wǎng)。 （3）網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）算法。訓(xùn)練算法是指一些決定聯(lián)接各神經(jīng)元的初始權(quán)值和閾值以及如何隨著訓(xùn)練模式的加入而調(diào)整這些權(quán)值和閾值的方法。6.3 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元、網(wǎng)絡(luò)拓?fù)?、學(xué)習(xí)算法（即權(quán)重迭代更新方式）三者構(gòu)成。它在結(jié)構(gòu)上與目前廣泛使用的Vo

4、n Neumann機(jī)不同，組成網(wǎng)絡(luò)的大量神經(jīng)元集體的、并行的活動(dòng)可得到預(yù)期的處理結(jié)果，且運(yùn)算速度快。同時(shí)，人工神經(jīng)網(wǎng)絡(luò)具有非常強(qiáng)的學(xué)習(xí)功能，神經(jīng)元之間的聯(lián)接權(quán)及網(wǎng)絡(luò)的結(jié)構(gòu)可通過(guò)學(xué)習(xí)獲得。 神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)模型是模仿人腦構(gòu)成的，其構(gòu)成的基本單元為人造神經(jīng)元，又稱節(jié)點(diǎn)或網(wǎng)點(diǎn)。其作用是把若干個(gè)輸入加權(quán)求和，并將這個(gè)加權(quán)和非線性處理后輸出。 神經(jīng)元的學(xué)習(xí)算法 幾乎所有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法都可以看作是Hebb學(xué)習(xí)規(guī)則的變形。Hebb學(xué)習(xí)規(guī)則的基本思想是： 如果神經(jīng)元 接收來(lái)自另一神經(jīng)元 的輸出，則當(dāng)這兩個(gè)神經(jīng)元同時(shí)興奮時(shí)，從 到 的權(quán)值 就得到加強(qiáng)。 具體到前述的神經(jīng)元模型，可以將Hebb規(guī)則表現(xiàn)為如下的

5、算法形式： 公式中 是對(duì)第i個(gè)權(quán)值的修正值， 是控制學(xué)習(xí)速度的系數(shù)。 網(wǎng)絡(luò)拓?fù)?網(wǎng)絡(luò)拓?fù)涫侵妇W(wǎng)絡(luò)的結(jié)構(gòu)以及神經(jīng)元之間的聯(lián)接方式。根據(jù)聯(lián)接方式的不同，可分為反饋型人工神經(jīng)網(wǎng)絡(luò)和非反饋型人工神經(jīng)網(wǎng)絡(luò)。前者神經(jīng)元之間存在著反饋環(huán)路，后者神經(jīng)元之間則不存在著反饋環(huán)路。對(duì)于非反饋型人工神經(jīng)網(wǎng)絡(luò)，若結(jié)構(gòu)是分層的，且每一層神經(jīng)元只與上一層神經(jīng)元相聯(lián)，則該網(wǎng)絡(luò)稱為前饋型人工神經(jīng)網(wǎng)絡(luò)。 網(wǎng)絡(luò)的學(xué)習(xí)算法 網(wǎng)絡(luò)的學(xué)習(xí)算法是以滿足網(wǎng)絡(luò)所需的性能為目標(biāo)，決定聯(lián)接各神經(jīng)元的初始權(quán)值及在訓(xùn)練中調(diào)整權(quán)值的方法。學(xué)習(xí)方法可分為監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)。前者為有導(dǎo)師學(xué)習(xí)，訓(xùn)練時(shí)，同時(shí)向網(wǎng)絡(luò)提供輸入模式及輸出的樣板模式（導(dǎo)師），在不斷

6、輸入不同訓(xùn)練模式的同時(shí)調(diào)整權(quán)值，從而使輸出模式盡量接近樣板模式；后者是無(wú)導(dǎo)師學(xué)習(xí)，它是一種自動(dòng)聚類過(guò)程，通過(guò)輸入訓(xùn)練模式的加入，不斷調(diào)整權(quán)值以使輸出能夠反映輸入訓(xùn)練模式的分布特點(diǎn)。 6.4幾種用于模式識(shí)別的神經(jīng)網(wǎng)絡(luò)模型及其主要算法由于人在識(shí)別速度及判別能力方面常超過(guò)一般典型的計(jì)算機(jī)所作的識(shí)別，故人們有興趣研討與神經(jīng)網(wǎng)絡(luò)有關(guān)的識(shí)別機(jī)理，希望能有所借鑒或啟發(fā)。諸如利用簡(jiǎn)單網(wǎng)絡(luò)的高度并行處理，多層處理法等。從模式識(shí)別學(xué)的角度來(lái)看，現(xiàn)在所討論的方法屬于借鑒于神經(jīng)網(wǎng)絡(luò)識(shí)別機(jī)理所擬定的模式識(shí)別方法，它與統(tǒng)計(jì)識(shí)別法聯(lián)系密切，但在方法、思路、識(shí)別靈活性及識(shí)別能力、速度等方面均有其特點(diǎn)。 單層感知器 單層感知器

7、（Single Layer Pereceptron，簡(jiǎn)稱為SLP） 可作為分類器。單輸出的SLP，其結(jié)構(gòu)就是如圖6-1所示的人工神經(jīng)元。輸入的N個(gè)元可為連續(xù)的或二進(jìn)制的標(biāo)量信號(hào)。 表示一個(gè)維空間的超平面。圖6-3表示可由這個(gè)超平面對(duì)A、B類進(jìn)行分類。SLP結(jié)構(gòu)的前部分為一線性加權(quán)裝置(權(quán)為 ，附有閥值 )，其輸出經(jīng)一個(gè)性能函數(shù)為 的硬限幅非線性裝置，然后輸出到判決器。按當(dāng)其輸入為+1時(shí)判屬A類；當(dāng)其輸入為-1時(shí)判屬B類的準(zhǔn)則來(lái)判類。 兩類分類處理 雙層感知器 實(shí)際上實(shí)用的最簡(jiǎn)單的M類分類的感知器（Pereceptron）也應(yīng)該是一種雙層神經(jīng)網(wǎng)絡(luò)模型。它是一個(gè)兩層前饋神經(jīng)網(wǎng)絡(luò)，一層為輸入層，另一

8、層具有計(jì)算單元，可以通過(guò)監(jiān)督學(xué)習(xí)建立模式判別的能力，如圖6-4所示。x2xNx1yMy1y2學(xué)習(xí)的目標(biāo)是通過(guò)改變權(quán)值使神經(jīng)網(wǎng)絡(luò)由給定的輸入得到給定的輸出。作為分類器，可以用已知類別的模式向量（向量維數(shù)等于輸入節(jié)點(diǎn)數(shù)）作為訓(xùn)練集，當(dāng)輸入為屬于第j類的特征向量 時(shí)，應(yīng)使對(duì)應(yīng)于該類的輸出神經(jīng)元的輸出為1，而其它輸出神經(jīng)元的輸出則為0（或1）。應(yīng)使對(duì)應(yīng)于該類的輸出神經(jīng)元的輸出為1，而其它輸出神經(jīng)元的輸出則為0（或1）。設(shè)理想的輸出為： 實(shí)際的輸出為： 為了使實(shí)際的輸出逼近理想輸出，可以反復(fù)依次輸入訓(xùn)練集中的輸入向量 ，然后計(jì)算出實(shí)際的輸出 ，再對(duì)權(quán)值 作如下的修改 雙層感知器的學(xué)習(xí)過(guò)程與求取線性判別函

9、數(shù)的過(guò)程是等價(jià)的，它只能用于解決線性可分問(wèn)題。它的特點(diǎn)是學(xué)習(xí)過(guò)程收斂很快，且與初始值無(wú)關(guān)。 多層感知器當(dāng)類別不能用一超平面完善分割時(shí)，需用更復(fù)雜結(jié)構(gòu)的感知器，即所謂的“多層感知器”。（Multi-Layer Perceptron，簡(jiǎn)稱為MLP）如果感知器的活化函數(shù)具有非線性，則這種網(wǎng)絡(luò)具有較強(qiáng)的分類能力。多層感知器網(wǎng)是由若干層感知器以及可修正的權(quán)連接而構(gòu)成的多層前饋網(wǎng)絡(luò)。 多層感知器的結(jié)構(gòu)由一個(gè)輸入層，一個(gè)以上隱藏層和一個(gè)輸出層組成。所有的連接均為相鄰層之間的節(jié)點(diǎn)的連接，同層之間不連接。輸入層不作任何運(yùn)算，它只是將每個(gè)輸入量分配到各個(gè)輸入節(jié)點(diǎn)。圖6-5 是一個(gè)三層MLP神經(jīng)網(wǎng)絡(luò)。x2xNy1y

10、M對(duì)于多層感知器，Werbos曾于1974年提出，并且由Rumelhart等人的工作而得到完善和推廣的一種學(xué)習(xí)算法，即著名的BP（Back Propagation）算法，它是一種修正連接權(quán)的算法。所以MLP的訓(xùn)練大都采用這種反向傳播算法。 訓(xùn)練分兩步，第一步是計(jì)算MLP的輸出值；第二步是用BP算法更新網(wǎng)絡(luò)的連接權(quán)值。具體步驟如下(假定有N個(gè)輸入節(jié)點(diǎn)，M個(gè)輸出節(jié)點(diǎn)。)： 第l步：設(shè)置初始權(quán)值及閾值，即設(shè)所有的權(quán)值及節(jié)點(diǎn)的閾值為一個(gè)小的隨機(jī)數(shù)。 第2步：給定新的輸入值及相應(yīng)的理想輸出信號(hào)。 第3步：計(jì)算當(dāng)輸入通過(guò)網(wǎng)絡(luò)時(shí)的實(shí)際輸出值。 第4步：修正每個(gè)權(quán)值和閥值。從輸出節(jié)點(diǎn)開(kāi)始逐步向前遞推，直到第

11、一層。 第5步：轉(zhuǎn)移到第2步重復(fù)進(jìn)行，直到各 ， 穩(wěn)定為止。 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的分類特性為了在取得較好的分類效果的同時(shí)，又能降低網(wǎng)絡(luò)的訓(xùn)練和識(shí)別時(shí)間，除了上面介紹的采用Sigmoid函數(shù)的前饋網(wǎng)絡(luò)外，還有一種較常用的前饋神經(jīng)網(wǎng)絡(luò)，稱為徑向基函數(shù)（Radial Basis Function，簡(jiǎn)稱為RBF）神經(jīng)網(wǎng)絡(luò)作分類器。所謂徑向基函數(shù)是指一種有中心的輻射狀函數(shù)，例如高斯核函數(shù)、二次型函數(shù)等。RBF神經(jīng)網(wǎng)絡(luò)就是利用RBF作為特性函數(shù)構(gòu)成的前饋網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是只有一個(gè)隱藏層，隱藏層單元采用徑向基函數(shù)作為其輸出特性，所以RBF神經(jīng)網(wǎng)絡(luò)是一個(gè)三層前饋網(wǎng)絡(luò)。 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖 自組

12、織特征映射模型 Kohonen提出的自組織特征映射（Self Organization Feature Mapping，簡(jiǎn)稱為SOFM） 模型是基于腦科學(xué)研究中得到的認(rèn)識(shí)提出的。模仿人腦的這種功能，構(gòu)造一種神經(jīng)網(wǎng)絡(luò)，它能將多維空間的輸入矢量集映射到一個(gè)稱為特征圖的二維陣列，而能保持與原訓(xùn)練矢量集近似相同的拓?fù)浣Y(jié)構(gòu)，這種神經(jīng)網(wǎng)絡(luò)稱為SOFM模型，其結(jié)構(gòu)如圖6-7所示。它的輸出層是一個(gè)二維網(wǎng)絡(luò)，其節(jié)點(diǎn)即從輸入層的各節(jié)點(diǎn)接受刺激，同時(shí)也從當(dāng)前層中其它節(jié)點(diǎn)接受輸入。 自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖 SOFM模型的訓(xùn)練有多種算法。在訓(xùn)練過(guò)程中，它無(wú)需規(guī)定所要求的輸出（即導(dǎo)師），只要足夠的輸入矢量加入以后，輸入

13、層和輸出層之間的連接會(huì)自動(dòng)形成聚類中心。實(shí)際應(yīng)用中，常常采用一種簡(jiǎn)化算法。這種簡(jiǎn)化算法的推導(dǎo)是從神經(jīng)網(wǎng)絡(luò)的概念入手的，但最終做法實(shí)際是矢量量化碼書(shū)生成算法中隨機(jī)梯度法的變形。其基本步驟如下： 1）采用隨機(jī)擾動(dòng)法產(chǎn)生一組初始權(quán)值： 2）每次輸入一個(gè)N維的訓(xùn)練矢量，采用歐幾里德距離測(cè)度，計(jì)算各輸入節(jié)點(diǎn)到每一輸出節(jié)點(diǎn)j的距離。 3）選擇最佳匹配的輸出節(jié)點(diǎn)。既選出最小 對(duì)應(yīng)的輸出節(jié)點(diǎn) 。 4）調(diào)整 及相鄰近節(jié)點(diǎn)的權(quán)值。 5）如果已達(dá)到預(yù)定的迭代次數(shù)，停止迭代，否則轉(zhuǎn)向2）繼續(xù)迭代，或像矢量量化那樣根據(jù)相對(duì)失真值觀察收斂情況，決定是否結(jié)束。 時(shí)延神經(jīng)網(wǎng)絡(luò)時(shí)間歸一化處理得到的固定長(zhǎng)度的語(yǔ)音輸入模式，不能反

14、映幀間變化的動(dòng)態(tài)特性。為了使神經(jīng)網(wǎng)絡(luò)能夠處理語(yǔ)音中的動(dòng)態(tài)特性，理想的方法應(yīng)該是一幀一幀或者幾幀幾幀依次地連續(xù)地輸入語(yǔ)音特征參數(shù)。為了解決這些問(wèn)題，美國(guó)卡內(nèi)基-梅隆大學(xué)（CMU）的Waibel等提出了一種時(shí)延神經(jīng)網(wǎng)絡(luò)（Time-Delay Neural Network，簡(jiǎn)稱為T(mén)DNN）結(jié)構(gòu)。時(shí)延神經(jīng)網(wǎng)絡(luò)應(yīng)滿足的要求：（1）網(wǎng)絡(luò)是多層的，各層間有足夠的連接權(quán)，以使網(wǎng)絡(luò)具有學(xué)習(xí)復(fù)雜非線性判決面的能力。（2）網(wǎng)絡(luò)有能力表達(dá)語(yǔ)音特征在時(shí)間上的關(guān)系。（3）網(wǎng)絡(luò)通過(guò)學(xué)習(xí)而提取的特征應(yīng)具有在時(shí)間變化過(guò)程中的不變性。（4）學(xué)習(xí)過(guò)程不要求對(duì)所學(xué)的標(biāo)記進(jìn)行精確的時(shí)間定位。（5）與訓(xùn)練數(shù)據(jù)相比，網(wǎng)絡(luò)的權(quán)數(shù)應(yīng)當(dāng)足夠少，

15、從而可使網(wǎng)絡(luò)能夠更好地提取訓(xùn)練數(shù)據(jù)中的特征。 循環(huán)神經(jīng)網(wǎng)絡(luò) 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，簡(jiǎn)稱為RNN）既有前饋通路，又有反饋通路。反饋通路可將某一層神經(jīng)元的激活輸出經(jīng)過(guò)一個(gè)或幾個(gè)時(shí)間節(jié)拍之后送到同一層的神經(jīng)元（例如節(jié)點(diǎn)的自反饋通路），或送到較低層次的神經(jīng)元。在網(wǎng)絡(luò)中加入反饋通路可以處理與時(shí)間有關(guān)的狀態(tài)序列，使得網(wǎng)絡(luò)可以“記憶”以前輸入所引起激活特性。這對(duì)于處理語(yǔ)音信號(hào)是很有用的。 處理循環(huán)網(wǎng)絡(luò)時(shí)，可以引入“關(guān)聯(lián)節(jié)點(diǎn)”（Context node）的概念。它是一個(gè)假設(shè)的節(jié)點(diǎn)，用來(lái)暫存相關(guān)節(jié)點(diǎn)的輸出，并經(jīng)過(guò)一定時(shí)延再送到由反饋通路決定的相關(guān)節(jié)點(diǎn)中。對(duì)在第n層的某一

16、個(gè)神經(jīng)元，它在t時(shí)刻的輸出存在其關(guān)聯(lián)節(jié)點(diǎn)中，然后在t+1時(shí)刻再輸入到有關(guān)的神經(jīng)元。關(guān)聯(lián)節(jié)點(diǎn)與其所有輸入的神經(jīng)元之間的互聯(lián)權(quán)稱為關(guān)聯(lián)權(quán)。圖6-10給出了一個(gè)最簡(jiǎn)單的自反饋與關(guān)聯(lián)節(jié)點(diǎn)關(guān)系的例子。關(guān)聯(lián)接點(diǎn)結(jié)構(gòu) 6.5 用神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別的典型做法 在各種人工神經(jīng)網(wǎng)絡(luò)模型中，在模式識(shí)別中應(yīng)用最多的也是最成功的當(dāng)數(shù)多層前饋網(wǎng)絡(luò)，其中又以采用BP學(xué)習(xí)算法的多層感知器（習(xí)慣上也簡(jiǎn)稱為BP網(wǎng)絡(luò)）為代表。由于網(wǎng)絡(luò)采用的是監(jiān)督學(xué)習(xí)方式進(jìn)行訓(xùn)練，因此只能用于監(jiān)督模式識(shí)別問(wèn)題。在利用人工神經(jīng)網(wǎng)絡(luò)模型進(jìn)行模式識(shí)別時(shí)，由于網(wǎng)絡(luò)模型結(jié)構(gòu)一旦確定，網(wǎng)絡(luò)的輸入節(jié)點(diǎn)數(shù)就是固定不變的，所以輸入模式的長(zhǎng)度必須是一定的。對(duì)于語(yǔ)音信

17、號(hào)處理方面的應(yīng)用來(lái)講，這往往首先要進(jìn)行語(yǔ)音參數(shù)的時(shí)間歸一化處理。而對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)的輸出節(jié)點(diǎn)的選擇，決定了以下兩種人工神經(jīng)網(wǎng)絡(luò)模型在模式識(shí)別中的應(yīng)用方式。 多輸出型 所謂多輸出型，即對(duì)于多個(gè)類別，只有一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型，而這個(gè)網(wǎng)絡(luò)有多個(gè)輸出節(jié)點(diǎn)，每一個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)一個(gè)類別。網(wǎng)絡(luò)的結(jié)構(gòu)是輸入節(jié)點(diǎn)數(shù)對(duì)應(yīng)于樣點(diǎn)數(shù)或者樣本的特征維數(shù)，而輸出層的節(jié)點(diǎn)數(shù)等于類別數(shù)。 在訓(xùn)練階段，如果用于訓(xùn)練的輸入訓(xùn)練樣本的類別標(biāo)號(hào)是i，則訓(xùn)練時(shí)設(shè)第i個(gè)節(jié)點(diǎn)的期望輸出設(shè)為1, 而其余輸出節(jié)點(diǎn)期望輸出均為0。并且對(duì)于這個(gè)人工神經(jīng)網(wǎng)絡(luò)模型，利用每個(gè)類別的訓(xùn)練數(shù)據(jù)，對(duì)其進(jìn)行有監(jiān)督訓(xùn)練。 在識(shí)別階段，當(dāng)一個(gè)未知類別的樣本作用到輸入端時(shí)，考查各輸出節(jié)點(diǎn)的輸出，并將這個(gè)樣本的類別判定為與輸出值最大的那個(gè)節(jié)點(diǎn)對(duì)應(yīng)的類別。 單輸出型 所謂單輸出型，即一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型只有一個(gè)輸出。很多實(shí)驗(yàn)表明，在多輸出方式中，由于網(wǎng)絡(luò)要同時(shí)適應(yīng)所有類別，勢(shì)必需要更多的隱層節(jié)點(diǎn)，而且學(xué)習(xí)過(guò)程往往收斂較慢，此時(shí)可以采用多個(gè)多輸入單輸出形式的網(wǎng)絡(luò)，讓每個(gè)網(wǎng)絡(luò)只完成識(shí)別兩類