人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)總結(jié)筆記

1、人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)總結(jié)筆記主要側(cè)重點：1. 概念清晰2. 進(jìn)行必要的查詢時能從書本上找到答案 第一章：緒論1.1人工神經(jīng)網(wǎng)絡(luò)的概述“認(rèn)識腦”和“仿腦”：人工智能科學(xué)家在了解人腦的工作機理和思維的本質(zhì)的基礎(chǔ)上，探 索具有人類智慧的人工智能系統(tǒng)，以模擬延伸和擴(kuò)展腦功能。我認(rèn)為這是人工神經(jīng)網(wǎng)絡(luò)研究的前身。形象思維：不易被模擬人腦思維抽象推理L邏輯思維：過程：信息概念最終結(jié)果容易被機器模擬的思維方式特點：按串行模式人腦與計算機信息處理能力的不同點:方面-類竺人腦計算機記憶與聯(lián)想能力可存儲大量信息，對信息有 篩選、回憶、鞏固的聯(lián)想記 憶能力無回憶與聯(lián)想能力，只可存 取信息學(xué)習(xí)與認(rèn)知能力具備該能力無該能力信

2、息加工能力具有信息加工能力可認(rèn)識事物的本質(zhì)與規(guī)律僅限于二值邏輯，有形式邏 輯能力，缺乏辯證邏輯能力信息綜合能力可以對知識進(jìn)行歸納類比 和概括，是一種對信息進(jìn)行 邏輯加工和非邏輯加工相 結(jié)合的過程缺乏該能力信息處理速度數(shù)值處理等只需串行算法就能解決的應(yīng)用問題方便，計算 機比人腦快，但計算機在處理文字圖像、聲音等類信息的 能力遠(yuǎn)不如人腦1.1.2人腦與計算機信息處理機制的比較人腦與計算機處理能力的差異最根本的原因就是信息處理機制的不同，主要有四個方面方面_，類型'-亠 _ _人腦計算機系統(tǒng)結(jié)構(gòu)有數(shù)百億神經(jīng)元組成的神經(jīng) 網(wǎng)絡(luò)由二值邏輯門電路構(gòu)成的按 串行方式工作的邏輯機器信號形式模擬量（特點

3、：具有模糊性。離散的二進(jìn)制數(shù)和二值邏輯難以被機器模擬）和脈沖兩種 形式形式信息儲存人腦中的信息分布存儲于整個系統(tǒng)，所存儲的信息是聯(lián)想式 的信息處理機制高度并行的非線性信息處理系統(tǒng)（體現(xiàn)在結(jié)構(gòu)上、信息存儲上、信 息處理的運行過程中）有限集中的串行處理機制1.1.3人工神經(jīng)網(wǎng)絡(luò)的概念： 在對人腦神經(jīng)網(wǎng)絡(luò)的基本認(rèn)識的基礎(chǔ)上， 用數(shù)理方法從信息處理的角 度對人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象， 并建立某種簡化模型，稱之為人工神經(jīng)網(wǎng)絡(luò)，是對人腦的簡化、 抽象以及模擬，是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。其他定義：由非常多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算系統(tǒng)，部輸入信息之后，系統(tǒng)產(chǎn)生動態(tài)

4、響應(yīng)從而處理信息。其功能會因網(wǎng)絡(luò)結(jié)構(gòu)、 連接強度以及各它是由許多簡單的并行工作的處理單元組成的系統(tǒng)，單元的處理方式的不同而不同1.3神經(jīng)網(wǎng)絡(luò)的基本特點與功能基本特點：1、結(jié)構(gòu)特點：信息處理的并行性、 信息存儲的分布性、 信息處理單元的互聯(lián)性、 結(jié)構(gòu)的可塑性。神經(jīng)網(wǎng)絡(luò)內(nèi)在的并行性與分布性表現(xiàn)在其信息的存儲于處理都是空間上分布、 時間上并行的。2、性能特點：高度的非線性、良好的容錯性和計算的非精確性。3、能力特征：自學(xué)習(xí)、自組織（重構(gòu)）與自適應(yīng)性。神經(jīng)網(wǎng)絡(luò)的基本功能：1、聯(lián)想記憶：自聯(lián)想記憶與異聯(lián)想記憶2、非線性映射3、分類與識別4、優(yōu)化計算5、知識處理第二章人工神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)2.12.2講述了

5、生物神經(jīng)系統(tǒng)以及生物神經(jīng)網(wǎng)絡(luò)的建?；A(chǔ)神經(jīng)元所產(chǎn)生的信息是具有電脈沖形式的神經(jīng)沖動，脈沖的寬度和幅度相同，但是間隔是隨機變化的。人腦中，外界的刺激不同可以改變神經(jīng)元之間的突觸關(guān)系，即突觸厚膜電位的方向以及大小，從突觸信息傳遞的角度來看，表現(xiàn)為放大倍數(shù)和極性的變化?？臻g整合的概念（BP>9）信息整合這一段中神經(jīng)閥值特性：我認(rèn)為閥值特性即靜息電位必須上升到一定數(shù)值范圍即超過閥值電位之后， 元才會產(chǎn)生興奮，信息才能以脈沖的形式得到傳遞。只有在持續(xù)時間內(nèi)當(dāng)另一脈所謂的時間整合，如果由一個脈沖所引起的突觸膜后電位很小，沖到達(dá)的時候，總的突觸膜后電位增大。2.3人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)

6、生物學(xué)研究基礎(chǔ)上提出的模擬生物的過程，反映人腦某些特性的一種計算結(jié)構(gòu)，是人腦神經(jīng)系統(tǒng)的一種抽象、簡化和模擬而不是對它的真實描寫。神經(jīng)網(wǎng)絡(luò)的基本器件是神經(jīng)元和突觸。人工神經(jīng)網(wǎng)絡(luò)當(dāng)中的神經(jīng)元是處理單元，也稱之為節(jié)點。人工神經(jīng)元是對生物神經(jīng)元的信息處理過程的抽象模擬，通過數(shù)學(xué)語言對其進(jìn)行描述，對其結(jié)構(gòu)和功能進(jìn)行模擬，用模型圖予以表達(dá)。2.3.1神經(jīng)元的建模（按功能分成若 干層，包括輸入 層，隱層，輸出 層）其建模的六點假設(shè)（BP30）加權(quán)系數(shù) 的概念：又稱之為權(quán)重值，其正負(fù)模擬了神經(jīng)元當(dāng)中的興奮和抑制，大小呢模擬了突觸之間的不同連接強度。整合之后的信息相當(dāng)于生物神經(jīng)網(wǎng)絡(luò)當(dāng)中的膜電位，整合之后的信息通

7、過變換函數(shù)可以得出輸出以后的信息大小，這個變換函數(shù)通常是非線性的。所謂的變換函數(shù)我認(rèn)為它是表征了不用的信息處理特性，反映神經(jīng)元輸入與激活狀態(tài)之間的關(guān)系。2.3.2神經(jīng)元的數(shù)學(xué)模型（BP31）神經(jīng)元的狀態(tài)表達(dá)式（BP31式2.1 2.2為最基本的表達(dá)方式），這個表達(dá)式清晰地反映了神 經(jīng)元建模的6種假設(shè)。其中，輸出 Oj下標(biāo)體現(xiàn)了多輸入，單輸出。權(quán)重wij的正負(fù)體現(xiàn)了突觸的興奮與抑制，T代表了閥值特性，輸入的總和為信息的凈輸入，常用netj或是netj'來表示，只有凈輸入大于閥值的時候，神經(jīng)元才能被激活，輸出值與輸入值之間的單位時差則體現(xiàn)了假定當(dāng)中的突觸延擱，而權(quán)重值（也就是代表突觸之間的

8、連接強度）了假定當(dāng)中的第六點神經(jīng)元本來是非時變的。用向量的關(guān)系來表示凈輸入： 是從0開始的。神經(jīng)元的模型表達(dá)式為 Oj=f（netj）=f（?X） 2.3.3神經(jīng)元的變換函數(shù) 本節(jié)講述了四種不同的變換函數(shù)，分別是閥值型變換函數(shù)，非線性變換函數(shù)（單極以及雙極的Sigmoid函數(shù)，即s型函數(shù)），分段線性變換函數(shù)，概率型變換函數(shù)。（其公式在BP32BF33） 2.4人工神經(jīng)網(wǎng)絡(luò)模型 人工神經(jīng)網(wǎng)絡(luò)模型可以按照網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu) 息流向。與時間無關(guān)體現(xiàn)netj=wj X 下表（神經(jīng)元間的聯(lián)系方式） 分類，還有內(nèi)部信廠單純型層次網(wǎng)絡(luò)結(jié)構(gòu)，定義見BP35 （就是說每一層的神經(jīng)元只f層次型結(jié)構(gòu)接受來自上一層的

9、信息，并且只負(fù)責(zé)把信息傳遞到下一層，神經(jīng)元內(nèi)部 以及各個神經(jīng)元之間沒有信息交流）也可稱為前饋層次型輸入層與輸出層之間有連接的層次網(wǎng)絡(luò)結(jié)構(gòu)，與上一種結(jié)構(gòu)不同的是，輸入層神經(jīng)單元具有信息處理功能，也可稱為輸入輸出有反饋的前饋層次型 層內(nèi)有互聯(lián)的層次網(wǎng)絡(luò)結(jié)構(gòu)，與第一種結(jié)構(gòu)不同的是這一種結(jié)構(gòu)的同一層神經(jīng)元之間有互聯(lián)，也可稱為前饋層內(nèi)互聯(lián)型拓?fù)浣Y(jié)構(gòu)/網(wǎng)絡(luò)中任意兩個 節(jié)點之間都可能 存在連接路徑， 根據(jù)互聯(lián)程度對 這種結(jié)構(gòu)進(jìn)行劃<（1）全互聯(lián)型，網(wǎng)絡(luò)中每個節(jié)點都與所有其他節(jié)點相連接, 也可稱為反饋前互聯(lián)型V互連型結(jié)構(gòu) <（2）局部互聯(lián)型，網(wǎng)絡(luò)中每個節(jié)點只與其鄰近節(jié)點相連接, 也可稱為反饋局部互

10、聯(lián)型稀疏連接性，網(wǎng)絡(luò)節(jié)點只與少數(shù)相距較遠(yuǎn)的節(jié)點相連接廠前饋型網(wǎng)絡(luò):單純前饋型與單純型層次網(wǎng)絡(luò)結(jié)構(gòu)完全相同網(wǎng)絡(luò)信息流向型反饋型網(wǎng)絡(luò):單純反饋型網(wǎng)絡(luò)與 輸入層與輸出層之間有連接的層次網(wǎng)絡(luò)結(jié)構(gòu)完全相同決定神經(jīng)網(wǎng)絡(luò)特性的三大要素：神經(jīng)元的變換函數(shù)、神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)（特點：分布式存儲記憶與分布式信息處理、高度互聯(lián)性、高度并行性和結(jié)構(gòu)可塑性），神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式2.5神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)的定義：根據(jù)與環(huán)境的相互作用而發(fā)生的行為改變，其結(jié)果將導(dǎo)致對外界刺激產(chǎn)生反應(yīng)通過不這就是的新模式的建立。學(xué)習(xí)過程就是經(jīng)過訓(xùn)練使個體在行為上產(chǎn)生較持久的改變的過程。停地學(xué)習(xí)以及訓(xùn)練，改變拓?fù)浣Y(jié)構(gòu)以及權(quán)重值，目的是是輸出值與期望

11、值更加接近，學(xué)習(xí)的過程。/算法：改變權(quán)重值的規(guī)則，可能是某一非線性函數(shù)。/有導(dǎo)師/教師/監(jiān)督學(xué)習(xí)：通俗的講就是給定一個輸入值和期望輸出值，如果 得到的實際值與期望值相差太大，則調(diào)整權(quán)重值使直到輸出值與期望值，之 前并沒有先驗信息。之前這種做法就像有教師指導(dǎo)一般，在學(xué)習(xí)之后，如果 可以輸出期望值的時候，就說明學(xué)會了。人工神經(jīng)網(wǎng)絡(luò)的功能特性由拓?fù)浣Y(jié)構(gòu)以及突觸之間連接的強度即權(quán)重值決定。學(xué)習(xí)規(guī)則無導(dǎo)師/教師/監(jiān)督學(xué)習(xí)：這種方法本身具有特定的內(nèi)部結(jié)構(gòu)和信息處理方式學(xué)習(xí)算法（BP37）,是可以根據(jù)大量的動態(tài)輸入數(shù)據(jù)，在總結(jié)、提煉的基礎(chǔ)上找到規(guī)律和模式,自動調(diào)整拓?fù)浣Y(jié)構(gòu)和權(quán)值，這是個自組織的過程，通過不斷

12、地調(diào)節(jié)之后，使其 結(jié)構(gòu)具有適應(yīng)需求的特性。I灌輸式學(xué)習(xí)：它對信息處理的模式和方法是特定的，只能對相應(yīng)的例子做出對 應(yīng)的判斷通用學(xué)習(xí)規(guī)則：權(quán)向量在某一時刻的調(diào)整量與該時刻的輸入向量和學(xué)習(xí)信號的乘積成正比。權(quán)向量的調(diào)整量的數(shù)學(xué)表達(dá)式在（BP39），該表達(dá)式表明權(quán)向量的改變量與權(quán)向量，輸入量，以及教師信號們還有決定學(xué)習(xí)效率的學(xué)習(xí)常數(shù)有關(guān)。2.5常用學(xué)習(xí)算法的介紹，包括Hebb學(xué)習(xí)規(guī)則，離散感知器學(xué)習(xí)規(guī)則。連續(xù)感知器的學(xué)習(xí)規(guī)則，最小均方學(xué)習(xí)規(guī)則，相關(guān)學(xué)習(xí)規(guī)則，勝者為王學(xué)習(xí)規(guī)則，外星學(xué)習(xí)規(guī)則。其一覽表在（BP44）在Hebb學(xué)習(xí)規(guī)則（BP39）當(dāng)中，它是一種無導(dǎo)師學(xué)習(xí)方法，學(xué)習(xí)信號簡單的等于信號的輸 出

13、。連續(xù)感知器的學(xué)習(xí)規(guī)則，也稱為5規(guī)則，是一種有導(dǎo)師學(xué)習(xí)方法，其中對式2.20的理解還不透徹，在例題2.2當(dāng)中為何未出現(xiàn)關(guān)于 dj的字樣。Z2.5.4最小均方學(xué)習(xí)規(guī)則。（是5規(guī)則的特例）算法有一個共同點權(quán)向量的調(diào)整量均為學(xué)習(xí)常數(shù)與學(xué)習(xí)信號以及輸入值的乘積，在例題當(dāng)中輸入值是給定的，求每一個調(diào)整向量時，式子當(dāng)中的輸出值中所取的權(quán)向量都是上一次輸入值經(jīng)過信息處理單元處理之后的輸出值為下 一次的輸入值。J 2.5.5相關(guān)學(xué)習(xí)規(guī)則，是 Hebb學(xué)習(xí)規(guī)則的特例，區(qū)別在于，前者是有導(dǎo)師學(xué)習(xí)，后者是無導(dǎo)'師學(xué)習(xí)，其權(quán)值初始化為零。2.5.6勝者為王學(xué)習(xí)規(guī)則為無導(dǎo)師學(xué)習(xí)，權(quán)值初始化為任意值。2.5.7外

14、星學(xué)習(xí)規(guī)則和內(nèi)星學(xué)習(xí)規(guī)則：內(nèi)星學(xué)習(xí)規(guī)則與勝者為王的學(xué)習(xí)規(guī)則一致，外星學(xué)習(xí)規(guī)則是有導(dǎo)師學(xué)習(xí)規(guī)則，與內(nèi)星學(xué)習(xí)規(guī)則不同的是，其權(quán)向量是向期望輸出向量靠攏，不是'向輸入向量靠攏幾種不同學(xué)習(xí)規(guī)則的總結(jié)表在BP44P27關(guān)于靜息電位，相當(dāng)于一個下限的臨界點，閥值是一個興奮的臨界點。主要過程在思考與練習(xí)題的回答人工神經(jīng)網(wǎng)絡(luò)是如何體現(xiàn)生物神經(jīng)網(wǎng)絡(luò)特性的？答：生物神經(jīng)網(wǎng)絡(luò)當(dāng)中的神經(jīng)元在人工神經(jīng)網(wǎng)絡(luò)當(dāng)中是用信息處理單元來取代的，神經(jīng)元的模型表達(dá)式為 Oj=f(n etj)=f(WjTX)，生物神經(jīng)元當(dāng)中具有不同的突觸性質(zhì)以及突觸連接強度， 在人工神經(jīng)網(wǎng)絡(luò)當(dāng)中就相當(dāng)于輸入信號的大小，而加權(quán)系數(shù)也就是權(quán)重值其

15、正負(fù)模擬了生物神經(jīng)元當(dāng)中的興奮與抑制，大小相當(dāng)于模擬了突觸連接強度的大小，輸入強度的總和值就是生物神經(jīng)網(wǎng)絡(luò)里面的膜電位。輸入和輸出的關(guān)系一般是非線性的，這種關(guān)系相當(dāng)于是生物神經(jīng)網(wǎng)絡(luò)當(dāng)中的信息處理過程，將輸入脈沖處理后輸出。如果權(quán)值只能按照1和-1來變化，對神經(jīng)元的學(xué)習(xí)會有什么影響？我個人的理解是，如果只按照1和-1來變化是說明突出的連接強度只有一種，對生物神經(jīng)元當(dāng)中突觸連接強度是不相同這一特點沒有進(jìn)行完整的描述，導(dǎo)致整合之后很有可能出現(xiàn)輸入和輸出正負(fù)一致導(dǎo)致權(quán)值無約束增長。例子在P39中有所體現(xiàn)。舉例說明什么是有導(dǎo)師學(xué)習(xí)，什么是無導(dǎo)師學(xué)習(xí)？比較典型的無導(dǎo)師學(xué)習(xí)是 Hebb學(xué)習(xí)，有導(dǎo)師學(xué)習(xí)是5規(guī)

16、則，關(guān)于有導(dǎo)師與無導(dǎo)師學(xué)習(xí)規(guī)則 具體的概念已經(jīng)在上面講述過， 拿Hebb學(xué)習(xí)規(guī)則來講它的權(quán)值調(diào)整量表達(dá)式中沒有期望輸 出，而5規(guī)則則是相反。第三章：感知神經(jīng)網(wǎng)絡(luò)信息從輸入層傳入從輸出層傳出。感知器是一種前饋神經(jīng)網(wǎng)絡(luò)，具有分層結(jié)構(gòu)，3.1單層感知器3.1.1感知器模型包括輸入層與輸出層， 輸入層只負(fù)責(zé)引入外部信 權(quán)向量的個數(shù)與輸出節(jié)點的神經(jīng)元個數(shù)相等。凈輸入以及離散型單計算感知器的輸出公式的公式在3.1.2感知器的功能一個最簡單的單計算節(jié)點主要是分類的功能，使分類很好的進(jìn)行。分界線或者分界面的表達(dá)式當(dāng)中凈輸入值為P4 &通過改變權(quán)值和閥值來改變分界線或者分界面,0。并且，分界線以及分界面

17、的表達(dá)式并不唯單層感知器：只有一層處理單元的感知器， 息，沒有信息處理能力，輸出層未處理層，O異或問題就是線線性可分：兩類樣本可以用直線、平面或超平面分開。反之為線性不可分。 性不可分問題。單計算節(jié)點的感知器只能解決線性可分的問題。3.1.4感知器的學(xué)習(xí)算法 P51權(quán)值調(diào)整公式中的n是指學(xué)習(xí)效率，表征權(quán)值的調(diào)整速度。 只有當(dāng)輸出值與期望值相等時計算終止。為有監(jiān)督/教師學(xué)習(xí)算法。3.2多層感知器凸域：邊界上任意兩點之間的連線都在域內(nèi)，隱層當(dāng)中的節(jié)點每一個節(jié)點確定二維分界面上的一條分界直線，隱層的作用就是建立起可以將線性不可分的樣本分類的凸域，記住，它只負(fù)責(zé)建域，分類則是由輸出層來完成的。雙隱層的感知器足以解決任何復(fù)雜的分類問題。3.3自適應(yīng)性單元簡介自適應(yīng)性單元模型 P55其功能是，將其期望輸出與實際輸出相比較，得到一個誤差信號， 根據(jù)誤差信號調(diào)節(jié)權(quán)值，是輸出值與期望值相同。LMS算法不能用于多層網(wǎng)絡(luò)，隱層誤差無法獲得BP算法流程圖在P64,其權(quán)值調(diào)整方法有兩種：標(biāo)準(zhǔn)BP訓(xùn)練法也就是單樣本訓(xùn)練法，還有一種