神經(jīng)網(wǎng)絡(luò)考試重點(diǎn)全解

1、神經(jīng)網(wǎng)絡(luò)考試重點(diǎn)1、 熵和信息的關(guān)系、性質(zhì)，什么叫熵，條件熵、聯(lián)合熵、互信息之間的關(guān)系，K-L散度的定義（K-L極小等于極大似然估計(jì)）。第十章答：熵H(X)：表示每一個(gè)消息所攜帶的信息的平均量。在H(X)中X不是H(X)的變量，而是一個(gè)隨機(jī)變量的標(biāo)記。 條件熵：給定Y時(shí)X的條件熵為H(X|Y)=H(X,Y)H(Y)具有性質(zhì)：0=H(X|Y)M) 維原始信號(hào)向量。X=kA. s/k信號(hào)S放大 k 倍與A的相應(yīng)列縮小k倍的結(jié)果相同，從而決定了ICA得到的信號(hào)存在強(qiáng)ICA和PCA的差異：個(gè)性和共性。3、 SVM的基本原理（PPT）、數(shù)學(xué)模型（線性可分、線性不可分的原理和模型）。答：支持向量機(jī)（SVM

2、）的主要思想是建立一個(gè)超平面作為決策曲面，使得正例和反例之間的隔離邊緣被最大化。更精確說(shuō)，支持向量機(jī)是結(jié)構(gòu)風(fēng)險(xiǎn)最小化方法的近似實(shí)現(xiàn)。4、 什么是競(jìng)爭(zhēng)，怎樣體現(xiàn)競(jìng)爭(zhēng)與合作的關(guān)系，以及競(jìng)爭(zhēng)的原理及過(guò)程。答：自組織神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)最富有魅力的研究領(lǐng)域之一，它能夠通過(guò)其輸入樣本學(xué)會(huì)檢測(cè)其規(guī)律性和輸入樣本相互之間的關(guān)系，并且根據(jù)這些輸入樣本的信息自適應(yīng)調(diào)整網(wǎng)絡(luò)，使網(wǎng)絡(luò)以后的響應(yīng)與輸入樣本相適應(yīng)。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的神經(jīng)元通過(guò)輸入信息能夠識(shí)別成組的相似輸入向量；自組織映射神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)同樣能夠識(shí)別成組的相似輸入向量，使那些網(wǎng)絡(luò)層中彼此靠得很近的神經(jīng)元對(duì)相似的輸入向量產(chǎn)生響應(yīng)。與競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)不同的是，自組

3、織映射神經(jīng)網(wǎng)絡(luò)不但能學(xué)習(xí)輸入向量的分布情況，還可以學(xué)習(xí)輸入向量的拓?fù)浣Y(jié)構(gòu)，其單個(gè)神經(jīng)元對(duì)模式分類(lèi)不起決定性作用，而要靠多個(gè)神經(jīng)元的協(xié)同作用才能完成模式分類(lèi)。5、 RBF網(wǎng)絡(luò)模型、原理，XOR問(wèn)題，正則化網(wǎng)絡(luò)（）答：1、 RBF的定義：在神經(jīng)網(wǎng)絡(luò)的背景下，隱藏單元提供一個(gè)“函數(shù)”集，該函數(shù)集在輸入模式（向量）擴(kuò)展至隱藏空間時(shí)為其構(gòu)建了一個(gè)任意的“基”；這個(gè)函數(shù)集中的函數(shù)就被稱(chēng)為徑向基函數(shù)。2、 RBF網(wǎng)絡(luò)的構(gòu)成：包括三層，每一層都有著完全不同的作用。第一層為輸入層，輸入層由一些源點(diǎn)（感知單元）組成，將網(wǎng)絡(luò)與外界環(huán)境連結(jié)起來(lái)；第二層為隱藏層，作用是從輸入空間到隱藏空間之間進(jìn)行非線性變換，在大多數(shù)情

4、況下隱藏層具有較高的維數(shù)；第三層為輸出層，是線性的，為作用與輸入層的激活模式（信號(hào)）提供響應(yīng)。3、 原理：當(dāng)用RBF神經(jīng)網(wǎng)絡(luò)來(lái)解決一個(gè)復(fù)雜的模式分類(lèi)任務(wù)時(shí)，問(wèn)題的基本解決可以通過(guò)用非線性方式將其變換到一個(gè)高維空間。它的潛在合理性來(lái)自模式可分性的cover定理，基本描述如下：將復(fù)雜的模式分類(lèi)問(wèn)題非線性地投射到高維空間將比投射到低維空間更肯呢過(guò)是線性可分的。4、 XOR問(wèn)題：5、 正則化的基本思想：通過(guò)某些含有解的先驗(yàn)知識(shí)的非負(fù)的輔助泛函來(lái)使解穩(wěn)定。將正則化參數(shù) 視為一個(gè)指示器，用來(lái)指示所給的數(shù)據(jù)集作為確定解 的樣本的充分性。特別是在極限情況下，當(dāng)時(shí)，表明改問(wèn)題不受約束，問(wèn)題解完全決定于所給的樣本

5、。另一方面，當(dāng)時(shí)，表明僅由算子D所定義的先驗(yàn)光滑條件就足以得到問(wèn)題的解，這也是所給樣本完全不可信的另一種說(shuō)法。在實(shí)際應(yīng)用中，正則化參數(shù) 取值在上述兩個(gè)極限值之間。6、 多層感知器（MLPs）的基本模型，BP算法的基本原理。（第四章）答：1、多層感知器（MLPs）的基本模型：一組感知單元（源節(jié)點(diǎn)）組成輸入層，一層或多層計(jì)算節(jié)點(diǎn)的隱藏層，還有一層計(jì)算節(jié)點(diǎn)的輸出層。輸入信號(hào)在層層遞進(jìn)基礎(chǔ)上前向傳播通過(guò)網(wǎng)絡(luò)。這些神經(jīng)網(wǎng)絡(luò)通常稱(chēng)為多層感知器。2、 MLPs的特點(diǎn)：1、 網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元模型包括一個(gè)非線性激活函數(shù)；2、 網(wǎng)絡(luò)包括一層或者多層隱藏神經(jīng)元；3、 網(wǎng)絡(luò)展示出高度的連續(xù)性。3、 BP（反向傳播

6、）算法：反向傳播算法是基于誤差修正學(xué)習(xí)規(guī)則的，由誤差來(lái)決定是否更新權(quán)重，可以被看成是同樣普遍使用的自適應(yīng)濾波算法的推廣。誤差反向傳播學(xué)習(xí)由兩次經(jīng)過(guò)網(wǎng)絡(luò)不同層的通過(guò)組成：一次前向通過(guò)和一次反向通過(guò)。在前向通過(guò)中，一個(gè)活動(dòng)模式（輸入向量）作用于網(wǎng)絡(luò)感知節(jié)點(diǎn)，它的影響經(jīng)過(guò)網(wǎng)絡(luò)一層接一層地傳播。最后，產(chǎn)生一個(gè)輸出作為網(wǎng)絡(luò)的實(shí)際響應(yīng)。在前向通過(guò)中，網(wǎng)絡(luò)的突觸權(quán)值全為固定的。另一方面，在反向通過(guò)中，突出權(quán)值全部根據(jù)誤差修正規(guī)則來(lái)調(diào)整。特別是從目標(biāo)響應(yīng)減去網(wǎng)絡(luò)的實(shí)際響應(yīng)而產(chǎn)生誤差信號(hào)。突觸權(quán)值被調(diào)整使得網(wǎng)絡(luò)的實(shí)際響應(yīng)從統(tǒng)計(jì)意義上接近目標(biāo)響應(yīng)。7、 梯度算法（單層感知器），0-1問(wèn)題（第三章）答：1、 單層感

7、知器：感知器的突觸權(quán)值記為w1,w2,.,wm,相應(yīng)的，用于感知器的輸入量記為x1,x2,.,xm，外部應(yīng)用偏置記為b，可知硬限幅器輸入或神經(jīng)元的誘導(dǎo)局部域是：感知器的目的是把外部應(yīng)用刺激x1,x2,.,xm正確的分為兩類(lèi)。分類(lèi)規(guī)則是：如果感知器輸出y是+1就將x1,x2,.,xm表示的點(diǎn)歸為一類(lèi)，如果感知器輸出y是-1則歸為另一類(lèi)。2、0-1問(wèn)題8、 有哪幾種學(xué)習(xí)算法，它們的基本原理。答：學(xué)習(xí)是一個(gè)過(guò)程，通過(guò)這個(gè)過(guò)程神經(jīng)網(wǎng)絡(luò)的自由參數(shù)在其嵌入的環(huán)境的激勵(lì)過(guò)程之下得到調(diào)節(jié)。1、 誤差修正學(xué)習(xí)：描述神經(jīng)網(wǎng)絡(luò)惟一輸出的輸出信號(hào)yk(n)與由dk(n)表示的期望響應(yīng)或目標(biāo)輸出比較，由此產(chǎn)生由ek(n

8、)表示的誤差信號(hào)。誤差信號(hào)ek(n)驅(qū)動(dòng)控制機(jī)制，其目的是將修正調(diào)節(jié)序列作用于神經(jīng)元k的突觸權(quán)值，修正調(diào)節(jié)能夠以一步步逼近的方式使輸出信號(hào)yk(n)向期望輸出dk(n)靠近，這一目標(biāo)通過(guò)最小化代價(jià)函數(shù)或性能指標(biāo)來(lái)實(shí)現(xiàn)。2、 基記憶的學(xué)習(xí)：基于記憶的學(xué)習(xí)通過(guò)明確地記住訓(xùn)練數(shù)據(jù)來(lái)進(jìn)行。在基于記憶的學(xué)習(xí)中，所有（或大部分）以往的經(jīng)驗(yàn)被顯式地存儲(chǔ)到正確分類(lèi)的輸入-輸出實(shí)例的大量記憶中。其包括；兩個(gè)重要的組成部分：用于定義測(cè)試向量Xtest的局部鄰域的準(zhǔn)則；用于Xtest的和局部鄰域中的訓(xùn)練實(shí)例的學(xué)習(xí)規(guī)則。3、 Hebb學(xué)習(xí)：Hebb學(xué)習(xí)受了神經(jīng)生物學(xué)上的考慮的啟發(fā)。Hebb算法核心思想是，當(dāng)兩個(gè)神經(jīng)元

9、同時(shí)處于激發(fā)狀態(tài)時(shí)兩者間的連接權(quán)會(huì)被加強(qiáng)，否則被減弱。Hebb的理論認(rèn)為在同一時(shí)間被激發(fā)的神經(jīng)元間的聯(lián)系會(huì)被強(qiáng)化。比如，鈴聲響時(shí)一個(gè)神經(jīng)元被激發(fā)，在同一時(shí)間食物的出現(xiàn)會(huì)激發(fā)附近的另一個(gè)神經(jīng)元，那么這兩個(gè)神經(jīng)元間的聯(lián)系就會(huì)強(qiáng)化，從而記住這兩個(gè)事物之間存在著聯(lián)系。相反，如果兩個(gè)神經(jīng)元總是不能同步激發(fā)，那么它們間的聯(lián)系將會(huì)越來(lái)越弱。4、 競(jìng)爭(zhēng)學(xué)習(xí)：競(jìng)爭(zhēng)學(xué)習(xí)受了神經(jīng)生物學(xué)上的考慮的啟發(fā)。在競(jìng)爭(zhēng)學(xué)習(xí)中，神經(jīng)網(wǎng)絡(luò)中的輸出神經(jīng)元彼此通過(guò)競(jìng)爭(zhēng)來(lái)成為活躍的點(diǎn)。對(duì)于競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則，有三個(gè)基本元素：（1） 、一個(gè)神經(jīng)元集合，這些神經(jīng)元處理一些隨機(jī)分布的突觸權(quán)值以外是完全相同的，且由于突出權(quán)值的不同而對(duì)一個(gè)給定的輸入模

10、式集合有不同的響應(yīng)。（2） 對(duì)每一個(gè)神經(jīng)元的強(qiáng)度加上的限制；（3） 允許神經(jīng)元為響應(yīng)一個(gè)給定輸入子集的權(quán)利而競(jìng)爭(zhēng)的機(jī)制，從而使得每次只有一個(gè)輸出神經(jīng)元或者魅族只有一個(gè)神經(jīng)元是激活的。5、 Boltzman學(xué)習(xí)：Boltzman學(xué)習(xí)是建立在從統(tǒng)計(jì)學(xué)力學(xué)借來(lái)的思想基礎(chǔ)上的。Boltzman學(xué)習(xí)規(guī)則是一個(gè)植根于統(tǒng)計(jì)力學(xué)中的思想推倒得出的襲擊學(xué)習(xí)算法。Boltzman機(jī)中，神經(jīng)元構(gòu)成遞歸結(jié)構(gòu)，并以二值方式運(yùn)作。Boltzman機(jī)由能量函數(shù)E所表征，能量函數(shù)的值由機(jī)器的個(gè)體神經(jīng)元占據(jù)的特定狀態(tài)所決定，表示成：9、 其他：1) 學(xué)習(xí)就是更新神經(jīng)網(wǎng)絡(luò)中的權(quán)重；2) 梯度算法剛開(kāi)始收斂速度很快，接近目標(biāo)時(shí)速度

11、很慢，與初值無(wú)關(guān)；牛頓算法則相反，且與初值有關(guān)；3) 梯度算法有步長(zhǎng)，牛頓算法無(wú)步長(zhǎng)；4) 簡(jiǎn)述感知器的基本模型（圖形、三個(gè)公式）：P945) BP算法中的Delta規(guī)則：P1196) 貝葉斯分類(lèi)器：描述貝葉斯分類(lèi)器的基本原理（最小化平均風(fēng)險(xiǎn)P99頁(yè)）、P102的圖3.12-幾何定義7) 簡(jiǎn)述正則化思想：P191-192，敘述正則化的神經(jīng)網(wǎng)絡(luò)：P198-1998) 簡(jiǎn)述SVM的思想，描述SVM的建模過(guò)程（具體）：P230-2349) 原規(guī)劃到對(duì)偶規(guī)劃的推導(dǎo)過(guò)程：P23310) 非線性PCA（核函數(shù)）：11) 委員會(huì)機(jī)器：P253五個(gè)基本的學(xué)習(xí)算法：誤差修正學(xué)習(xí)；基于記憶的學(xué)習(xí)；Hebb學(xué)習(xí)；競(jìng)

12、爭(zhēng)學(xué)習(xí)和Boltzmann學(xué)習(xí)。誤差修正學(xué)習(xí)植根于最優(yōu)濾波?；谟洃浀膶W(xué)習(xí)通過(guò)明確的記住訓(xùn)練數(shù)據(jù)來(lái)進(jìn)行。Hebb學(xué)習(xí)和競(jìng)爭(zhēng)學(xué)習(xí)都是受了神經(jīng)生物學(xué)上的考慮的啟發(fā)。Boltzmann學(xué)習(xí)是建立在統(tǒng)計(jì)學(xué)力學(xué)借來(lái)的思想基礎(chǔ)上。1、誤差修正學(xué)習(xí)神經(jīng)元k的輸出信號(hào)表示，表示的是期望響應(yīng)或目標(biāo)輸出比較。由此產(chǎn)生表示的誤差信號(hào)，有：。這一目標(biāo)通過(guò)最小化代價(jià)函數(shù)或性能指標(biāo)來(lái)實(shí)現(xiàn)。定義如下：也就是說(shuō)是誤差能量的瞬時(shí)值。這種對(duì)神經(jīng)元k的突觸權(quán)值步步逼近的調(diào)節(jié)將持續(xù)下去，直到系統(tǒng)達(dá)到穩(wěn)定狀態(tài)。這時(shí)，學(xué)習(xí)過(guò)程停止。根據(jù)增量規(guī)則，在第n時(shí)間步作用于突觸權(quán)值的調(diào)節(jié)量定義如下：2、基于記憶的學(xué)習(xí)在一個(gè)簡(jiǎn)單而有效的稱(chēng)作最近鄰規(guī)

13、則的基于記憶的學(xué)習(xí)類(lèi)型中，局部鄰域被定義為測(cè)試向量的直接鄰域的訓(xùn)練實(shí)例，特別，向量，被稱(chēng)作的最鄰近，如果。這里，是向量和的歐幾里德距離。與最短距離相關(guān)的類(lèi)別，也就是向量被劃分的類(lèi)別。3、Hebb學(xué)習(xí)我們定義Hebb突觸為這樣一個(gè)突觸，它使用一個(gè)依賴(lài)時(shí)間的、高度局部的和強(qiáng)烈交互的機(jī)制來(lái)提高突觸效率為前突觸和后突觸活動(dòng)間的相互關(guān)系的一個(gè)函數(shù)?？梢缘贸鯤ebb突觸特征的個(gè)重要機(jī)制：時(shí)間依賴(lài)機(jī)制；局部機(jī)制；交互機(jī)制；關(guān)聯(lián)或相關(guān)機(jī)制。競(jìng)爭(zhēng)學(xué)習(xí)獲勝神經(jīng)元k的輸出信號(hào)被置為；競(jìng)爭(zhēng)失敗的所有神經(jīng)元輸出信號(hào)被置為。這樣，我們有其中，誘導(dǎo)局部域表示結(jié)合所有達(dá)到神經(jīng)元k的前向和反饋輸入的動(dòng)作。令表示連接輸入節(jié)點(diǎn)j到

14、神經(jīng)元k的突觸權(quán)值。假定每個(gè)神經(jīng)元被分配固定量的突觸權(quán)值，權(quán)值分布在它的節(jié)點(diǎn)之中；也就是然后神經(jīng)元通過(guò)將突觸權(quán)值從它的不活躍輸入移向活躍輸入來(lái)進(jìn)行學(xué)習(xí)。如果神經(jīng)元對(duì)一個(gè)特定輸入模式不響應(yīng)，那么沒(méi)有學(xué)習(xí)發(fā)生在那個(gè)神經(jīng)元上。如果一個(gè)特定神經(jīng)元贏得了競(jìng)爭(zhēng)，這個(gè)神經(jīng)元的每個(gè)輸入節(jié)點(diǎn)經(jīng)一定的比例釋放它的突觸權(quán)值，釋放的權(quán)值然后平均分布到活躍輸入節(jié)點(diǎn)上。作用于突觸權(quán)值的改變量定義為5、Boltzmann學(xué)習(xí)令表示網(wǎng)絡(luò)在鉗制條件下神經(jīng)元j和k的狀態(tài)間的相關(guān)量。令表示網(wǎng)絡(luò)在其自由運(yùn)作條件下神經(jīng)元j和k的狀態(tài)間的相關(guān)量。作用于神經(jīng)元j到神經(jīng)元k的突觸權(quán)值的改變量由，定義，其中是學(xué)習(xí)率參數(shù)。五種學(xué)習(xí)算法的區(qū)別：誤差修正學(xué)習(xí)和Boltzmann學(xué)習(xí)是有監(jiān)督學(xué)習(xí)；而Hebb學(xué)習(xí)和競(jìng)爭(zhēng)學(xué)習(xí)是無(wú)監(jiān)督學(xué)習(xí)。在誤差修正學(xué)習(xí)中，作用于神經(jīng)元突觸權(quán)值的調(diào)節(jié)量正比于本次學(xué)習(xí)中誤差信號(hào)的突觸的輸入的乘積，它實(shí)際上帶有局部性質(zhì)，這僅僅是說(shuō)由增量規(guī)則計(jì)算的突觸調(diào)節(jié)局部于神經(jīng)元k周?chē)?。同時(shí)，對(duì)的選擇對(duì)學(xué)習(xí)過(guò)程的準(zhǔn)確及其它方面也有深刻的影響?；谟洃浀膶W(xué)習(xí)中的最鄰近規(guī)則，基于兩個(gè)假設(shè)；分類(lèi)實(shí)例（）按照實(shí)例（）的聯(lián)合概率分布是獨(dú)立同分布的；樣本大小N是無(wú)限大的，它的分類(lèi)錯(cuò)誤率同貝葉斯誤差概率的關(guān)系為其中為貝葉斯誤差概率，C是分類(lèi)的類(lèi)別數(shù)目。Hebb學(xué)習(xí)中如果在突觸（連接）每一邊的兩個(gè)神經(jīng)元同時(shí)（即同步）激活，那么那個(gè)突觸的