人工神經(jīng)網(wǎng)絡(luò)方法課件

人工神經(jīng)網(wǎng)絡(luò)方法課件第1頁，共30頁，2023年，2月20日，星期日人工神經(jīng)網(wǎng)絡(luò)方法人工神經(jīng)網(wǎng)絡(luò)簡介應(yīng)用實(shí)例

——長江三角洲地區(qū)

城市體系的職能分類

第2頁，共30頁，2023年，2月20日，星期日人工神經(jīng)網(wǎng)絡(luò)，是一個(gè)具有高度非線性的超大規(guī)模連續(xù)時(shí)間動(dòng)力系統(tǒng)，是由大量的處理單元(神經(jīng)元)廣泛互連而形成的網(wǎng)絡(luò)。是人腦的某種抽象、簡化與模擬。人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性：具有自學(xué)習(xí)功能；具有聯(lián)想存儲(chǔ)功能；具有高速尋找優(yōu)化解的能力。在現(xiàn)代地理學(xué)中，人工神經(jīng)網(wǎng)絡(luò)方法特別適用于地理模式識(shí)別、地理過程模擬與預(yù)測、復(fù)雜地理系統(tǒng)的優(yōu)化計(jì)算等問題的研究。第3頁，共30頁，2023年，2月20日，星期日人工神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)模型的種類第4頁，共30頁，2023年，2月20日，星期日yiθix1x2xnW1iW2iWni神經(jīng)元模型神經(jīng)元模型

基于生物神經(jīng)元構(gòu)造，W.McCulloch和W.Pitts于1943年建立了一個(gè)模擬神經(jīng)元功能的數(shù)學(xué)模型，這個(gè)模型被稱為MP模型。第5頁，共30頁，2023年，2月20日，星期日

MP模型是一個(gè)多輸出單輸出的非線性元件。在MP模型中，f是二值函數(shù)，其輸出值為0或1，分別代表神經(jīng)元的抑制和興奮狀態(tài)，它可以用階躍函數(shù)表示，即當(dāng)wji>0時(shí)，為興奮性突觸結(jié)合；當(dāng)wji<0時(shí)，為抑制性突觸結(jié)合；當(dāng)wji=0時(shí)，為無結(jié)合。第6頁，共30頁，2023年，2月20日，星期日神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)如圖所示。yjwkjθjj#θkk#θii#θmm#wijwmiwkiyiymyk…神經(jīng)網(wǎng)絡(luò)第7頁，共30頁，2023年，2月20日，星期日神經(jīng)元之間的突觸結(jié)合有興奮性和抑制性兩種。在下圖中，（a）和（b）分別給出了兩個(gè)神經(jīng)元串行連接和相互結(jié)合型連接的情形。

(a)12y1w21y221y1y2(b)w12w21兩個(gè)神經(jīng)元的不同連接第8頁，共30頁，2023年，2月20日，星期日（a）所示的兩個(gè)神經(jīng)元串行連接，當(dāng)w21>0為興奮性連接時(shí)，若神經(jīng)元1處于興奮狀態(tài)，則神經(jīng)元2也處于興奮狀態(tài)；當(dāng)w21<0為抑制性連接時(shí)，若神經(jīng)元1處于興奮狀態(tài)，反而會(huì)使神經(jīng)元2容易處于抑制狀態(tài)。在（b）中，兩個(gè)神經(jīng)元處于相互結(jié)合性狀態(tài)，若w12和w21均為正，則某一個(gè)神經(jīng)元處于興奮狀態(tài)時(shí)，另一個(gè)神經(jīng)元也傾向于興奮狀態(tài)，這稱為神經(jīng)元之間的協(xié)調(diào)作用；若w12和w21均為均為負(fù)，則當(dāng)某一個(gè)神經(jīng)元處于興奮狀態(tài)時(shí)，另一神經(jīng)元傾向于抑制狀態(tài)，這稱為神經(jīng)元之間的競爭作用。協(xié)調(diào)和競爭是神經(jīng)網(wǎng)絡(luò)中并行信息處理的基本動(dòng)態(tài)特性。

第9頁，共30頁，2023年，2月20日，星期日神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)把大量的神經(jīng)元通過一定的拓?fù)浣Y(jié)構(gòu)連接起來，就形成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)元之間的連接方式有相互結(jié)合型結(jié)構(gòu)和層狀結(jié)構(gòu)兩大類。21435(a)相互結(jié)合型12345(b)層狀結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第10頁，共30頁，2023年，2月20日，星期日?qǐng)D(a)所示的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)系統(tǒng)中存在著反饋環(huán)。在神經(jīng)元的學(xué)習(xí)過程中，進(jìn)行誤差反饋。反饋有正、負(fù)之分，正反饋使系統(tǒng)發(fā)生振蕩，負(fù)反饋使系統(tǒng)穩(wěn)定。在大腦神經(jīng)系統(tǒng)中，由于負(fù)反饋的存在，使控制抑制的機(jī)構(gòu)起著十分重要的作用。正反饋對(duì)大腦神經(jīng)元的同步動(dòng)作起著一定的作用。在圖(b)所示的層狀神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，信號(hào)依特定的方向傳播。在生物體內(nèi)，大腦皮質(zhì)之間、感覺器官和大腦之間，就可以看作是一種分層結(jié)構(gòu)，即功能模塊級(jí)的分層。在大腦內(nèi)確實(shí)存在各種機(jī)理不同的功能模塊，這一點(diǎn)被大腦的解剖研究已經(jīng)證明，而且每一個(gè)模塊內(nèi)部是由神經(jīng)元組成的并行處理系統(tǒng)。

第11頁，共30頁，2023年，2月20日，星期日人工神經(jīng)網(wǎng)絡(luò)的工作原理

人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯(cuò)誤的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。將模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠作出迅速、準(zhǔn)確的判斷和識(shí)別。神經(jīng)網(wǎng)絡(luò)的工作過程主要由兩個(gè)階段組成，一個(gè)階段是工作期，此時(shí)各連接權(quán)值固定，計(jì)算單元的狀態(tài)變化，以求達(dá)到穩(wěn)定狀態(tài)。另一階段是學(xué)習(xí)期(自適應(yīng)期，或設(shè)計(jì)期)，此時(shí)各計(jì)算單元狀態(tài)不變，各連接權(quán)值可修改(通過學(xué)習(xí)樣本或其他方法)，前一階段較快，各單元的狀態(tài)亦稱短期記憶(STM)，后一階段慢的多，權(quán)及連接方式亦稱長期記憶(LTM)。第12頁，共30頁，2023年，2月20日，星期日人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，一般是，首先設(shè)定初時(shí)權(quán)值，如果無先驗(yàn)的知識(shí)，初時(shí)權(quán)值可設(shè)定為隨機(jī)值。接著輸入樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)，參照評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行評(píng)判。如果達(dá)到要求，就停止學(xué)習(xí)，否則按照給定的學(xué)習(xí)法則調(diào)整權(quán)值，繼續(xù)進(jìn)行學(xué)習(xí)，直到取得滿意的結(jié)果為止。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則，主要包括誤差傳播式學(xué)習(xí)、聯(lián)想學(xué)習(xí)、競爭性（Competitive）學(xué)習(xí)和基于知識(shí)的學(xué)習(xí)等。各種學(xué)習(xí)規(guī)則都是以Hebb規(guī)則為基礎(chǔ)的。

第13頁，共30頁，2023年，2月20日，星期日誤差傳播式學(xué)習(xí)感知器（Perceptron）是神經(jīng)網(wǎng)絡(luò)中的一種最基本的神經(jīng)網(wǎng)絡(luò)模型，它是F.Rosenblatt于1961年提出來的。設(shè)神經(jīng)元的輸入輸出關(guān)系為η是學(xué)習(xí)速率，di是教師信號(hào)或希望輸出，δi是實(shí)際輸出yi與希望輸出di之差，yi和xj取1或0的離散值。第14頁，共30頁，2023年，2月20日，星期日聯(lián)想式學(xué)習(xí)根據(jù)空間或時(shí)間上接近的事物之間，性質(zhì)上相似或相反的事物之間，以及存在因果關(guān)系的事物都可能在人的大腦中產(chǎn)生聯(lián)想的原理，人們提出了許多無教師的聯(lián)想式學(xué)習(xí)模式，其學(xué)習(xí)規(guī)則可以表示為在聯(lián)想式學(xué)習(xí)中，權(quán)值變化僅是輸入與輸出同時(shí)興奮的結(jié)果。由于聯(lián)想發(fā)生在輸入與輸出之間，所以這種聯(lián)想被稱為異聯(lián)想（Hetroassociation）。

第15頁，共30頁，2023年，2月20日，星期日競爭性學(xué)習(xí)

在競爭性學(xué)習(xí)時(shí)，網(wǎng)絡(luò)各輸出單元相互競爭，最后達(dá)到只有一個(gè)最強(qiáng)者激活，最常見的一種情況是輸出神經(jīng)元之間有側(cè)向抑制性連接,這樣，原來輸出單元中若有一個(gè)單元較強(qiáng)，則它將獲勝并抑制其它單元，最后只有此強(qiáng)者處于激活狀態(tài)。最常見的競爭性學(xué)習(xí)規(guī)則可以寫為第16頁，共30頁，2023年，2月20日，星期日輸入層輸出層具有側(cè)向抑制性連接的競爭學(xué)習(xí)網(wǎng)絡(luò)第17頁，共30頁，2023年，2月20日，星期日神經(jīng)網(wǎng)絡(luò)模型的種類

按照拓?fù)浣Y(jié)構(gòu)可以分為反饋神經(jīng)網(wǎng)絡(luò)模型和前向神經(jīng)網(wǎng)絡(luò)模型；按照性能可以分為連續(xù)型和離散型神經(jīng)網(wǎng)絡(luò)模型，確定型和隨機(jī)型神經(jīng)網(wǎng)絡(luò)模型；按照學(xué)習(xí)方式可以分為有教師學(xué)習(xí)和無教師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；按照連接突觸性質(zhì)可以分為一階線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型和高階非線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型。常見的人工神經(jīng)網(wǎng)絡(luò)模型，主要包括感知器（Perceptron）神經(jīng)網(wǎng)絡(luò)、線性神經(jīng)網(wǎng)絡(luò)、前饋神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)、自組織競爭神經(jīng)網(wǎng)絡(luò)、回歸神經(jīng)網(wǎng)絡(luò)等。第18頁，共30頁，2023年，2月20日，星期日

應(yīng)用實(shí)例：

——長江三角洲地區(qū)城市體系的職能分類

建立城市職能分類的指標(biāo)體系Kohonen網(wǎng)絡(luò)的原理建立城市分類的Kohonen網(wǎng)絡(luò)模型結(jié)果及討論

第19頁，共30頁，2023年，2月20日，星期日建立城市職能分類的指標(biāo)體系

1選擇反映城市社會(huì)發(fā)展的指標(biāo)

在人口與勞動(dòng)力構(gòu)成中選取總?cè)丝?、非農(nóng)業(yè)人口、從業(yè)人員作為衡量城市規(guī)模的指標(biāo)；將在校小學(xué)生數(shù)、中等學(xué)校學(xué)生數(shù)、高等學(xué)校學(xué)生數(shù)三項(xiàng)合并為一項(xiàng)，即在校學(xué)生數(shù)，同時(shí)選取各類專業(yè)技術(shù)人員、公共圖書館圖書藏量、醫(yī)院衛(wèi)生院床位數(shù)作為反映社會(huì)文化教育的指標(biāo)。第20頁，共30頁，2023年，2月20日，星期日2選擇反映城市社會(huì)經(jīng)濟(jì)的指標(biāo)在城市國民生產(chǎn)總值綜合指標(biāo)中，選取國內(nèi)生產(chǎn)總值、人均國民生產(chǎn)總值、第一產(chǎn)業(yè)、第二產(chǎn)業(yè)、第三產(chǎn)業(yè)、工業(yè)產(chǎn)值、農(nóng)林牧漁總產(chǎn)值以及有關(guān)財(cái)政、金融、保險(xiǎn)等17項(xiàng)指標(biāo)。3選擇反映城市基礎(chǔ)設(shè)施的指標(biāo)從交通運(yùn)輸、郵電事業(yè)的指標(biāo)中，選取了公路客運(yùn)量、公路客運(yùn)量、郵電業(yè)務(wù)總量3項(xiàng)指標(biāo)。第21頁，共30頁，2023年，2月20日，星期日表——城市職能分類指標(biāo)體系

城市社會(huì)發(fā)展

總?cè)丝?、非農(nóng)業(yè)人口、從業(yè)人員、在職職工年平均工資、在校學(xué)生數(shù)、各類專業(yè)技術(shù)人員、公共圖書館圖書藏量、醫(yī)院衛(wèi)生院床位數(shù)。城市經(jīng)濟(jì)發(fā)展

城市社會(huì)發(fā)展國內(nèi)生產(chǎn)總值、人均國民生產(chǎn)總值、第一產(chǎn)業(yè)產(chǎn)值、第二產(chǎn)業(yè)產(chǎn)值、第三產(chǎn)業(yè)產(chǎn)值、工業(yè)產(chǎn)值、農(nóng)林牧漁總產(chǎn)值、固定資產(chǎn)投資、財(cái)政總收入、地方財(cái)政收入、地方財(cái)政支出、出口總額、利用外資、年末金融機(jī)構(gòu)存款余額、年末金融機(jī)構(gòu)貸款余額、保險(xiǎn)收入、已決賠款。

城市基礎(chǔ)設(shè)施

公路客運(yùn)量、公路客運(yùn)量、郵電業(yè)務(wù)總量。

第22頁，共30頁，2023年，2月20日，星期日Kohonen網(wǎng)絡(luò)的原理

Kohonen網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)(Self-OrganizingFeatureMap,簡稱SOM網(wǎng)絡(luò))，通過尋找最優(yōu)權(quán)值矢量對(duì)輸入模式集合進(jìn)行分類。1Kohonen網(wǎng)絡(luò)結(jié)構(gòu)由輸入層和輸出層（也稱競爭層）構(gòu)成的兩層網(wǎng)絡(luò)，輸入層用于接收輸入模式，輸出層的神經(jīng)元一般按正則二維陣列排列，兩層之間的各神經(jīng)元實(shí)現(xiàn)雙向權(quán)連接。第23頁，共30頁，2023年，2月20日，星期日Kohonen網(wǎng)絡(luò)結(jié)構(gòu)

第24頁，共30頁，2023年，2月20日，星期日2Kohonen網(wǎng)絡(luò)的學(xué)習(xí)和工作規(guī)則

Kohonen網(wǎng)絡(luò)的自組織學(xué)習(xí)過程可以描述為：對(duì)于每一個(gè)網(wǎng)絡(luò)的輸入，只調(diào)整一部分權(quán)值，使權(quán)向量更接近或更偏離輸入矢量，這一調(diào)整過程，就是競爭學(xué)習(xí)，隨著不斷學(xué)習(xí)，所有權(quán)矢量都在輸入矢量空間相互分離，形成了各自代表輸入空間的一類模式，這就是Kohonen網(wǎng)絡(luò)的特征自動(dòng)識(shí)別的聚類功能。第25頁，共30頁，2023年，2月20日，星期日建立城市分類的Kohonen網(wǎng)絡(luò)模型1指標(biāo)數(shù)據(jù)的處理在本模型中，采用標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，將原始數(shù)據(jù)轉(zhuǎn)換為：

第26頁，共30頁，2023年，2月20日，星期日2運(yùn)用Matlab神經(jīng)網(wǎng)絡(luò)工具箱建立Kohonen網(wǎng)絡(luò)模型將長江三角洲各城市的28項(xiàng)指標(biāo)導(dǎo)入Kohonen網(wǎng)絡(luò)中，作為網(wǎng)絡(luò)的輸入模式，因此輸入層的神經(jīng)元個(gè)數(shù)為28；而競爭層的神經(jīng)元個(gè)數(shù)決定于需要分成幾類，在不清楚分類數(shù)目的情況下，競爭層神經(jīng)元個(gè)數(shù)從開始，然后依次加1，分別進(jìn)行學(xué)習(xí)。在Kohonen網(wǎng)絡(luò)模型中，選擇網(wǎng)絡(luò)訓(xùn)練的迭代最大次數(shù)為1000次，初始的學(xué)習(xí)率為0.5。第27頁，共30頁，2023年，2月20日，星期日3Kohonen網(wǎng)絡(luò)模型的分類結(jié)果

第28頁，共30頁，2023年，2月20日，星期日結(jié)果及討論

從長江三角洲城市的分類模型結(jié)果來看，分類結(jié)果與實(shí)際情況大體一致，結(jié)果較為理想。該方法的最大的優(yōu)點(diǎn)是避免了各層次權(quán)重帶來的主觀性。運(yùn)用Kohonen網(wǎng)絡(luò)進(jìn)行城市分類，存在很多需要改進(jìn)的地方。比如，如果指標(biāo)體系的合