智能科學(xué)中的神經(jīng)計(jì)算+-+Copy課件

第14屆中國神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議

智能科學(xué)中的神經(jīng)計(jì)算

2023/4/181史忠植神經(jīng)計(jì)算內(nèi)容提要一、引言二、神經(jīng)網(wǎng)絡(luò)三、功能柱四、同步問題五、神經(jīng)場六、結(jié)束語2023/4/182史忠植神經(jīng)計(jì)算10多年的醞釀，1151人的參與兩次會(huì)議：2001-05-11NSF預(yù)備會(huì)2001-12-03NSF/DOC(79人)政府及國家實(shí)驗(yàn)室32人大學(xué)28人企業(yè)及非政府組織19人2004-03成立ConvergingTechnologiesBarAssociation(CTBA)

科學(xué)發(fā)展大趨勢

美國關(guān)于NBIC會(huì)聚技術(shù)的戰(zhàn)略研討2023/4/183史忠植神經(jīng)計(jì)算第一次浪潮第二次浪潮第三次浪潮第四次浪潮1990

2020

2050

20802100創(chuàng)新步伐數(shù)字網(wǎng)絡(luò)軟件新媒體生物基因（蛋白質(zhì)）納米材料腦科學(xué)智能技術(shù)？？？？？？對21世紀(jì)技術(shù)創(chuàng)新浪潮長波的猜想2023/4/185史忠植神經(jīng)計(jì)算第一次浪潮第二次浪潮第三次浪潮第四次浪潮第五次浪潮1785

1845

1900

195019901999

2020

創(chuàng)新步伐水力紡織鐵蒸汽鐵路鋼電化學(xué)品內(nèi)燃機(jī)石油化學(xué)電子航空數(shù)字網(wǎng)絡(luò)軟件新媒體60年55年50年40年30年技術(shù)創(chuàng)新浪潮的經(jīng)濟(jì)長波規(guī)律（康德拉捷夫）機(jī)械化鐵路化電氣化電子化數(shù)字化2023/4/186史忠植神經(jīng)計(jì)算

科學(xué)發(fā)展大趨勢

21世紀(jì):

智能科學(xué)

智能科學(xué)是一門交叉學(xué)科，主要由

F腦科學(xué)

F認(rèn)知科學(xué)

F人工智能等學(xué)科共同研究智能行為的基本理論和實(shí)現(xiàn)技術(shù)。

2023/4/187史忠植神經(jīng)計(jì)算神經(jīng)元2023/4/188史忠植神經(jīng)計(jì)算McCulloch-Pitts神經(jīng)元2023/4/1810史忠植神經(jīng)計(jì)算Hebb學(xué)習(xí)假說1949年，Hebb的書《行為組織學(xué)》,他在里面第一次清楚說明了突觸修正的生理學(xué)習(xí)規(guī)則。特別的，

Hebb提出大腦的連接隨著生物學(xué)會(huì)不同功能任務(wù)而連續(xù)地變化的，

神經(jīng)組織就是由這種變化創(chuàng)建起來的.Hebb繼承了

Ramony和

Cajal早期的假設(shè)并引入自己的現(xiàn)在著名的學(xué)習(xí)假說，兩個(gè)神經(jīng)元之間的可變突觸被突觸兩端神經(jīng)元的重復(fù)的激活加強(qiáng)了。Hebb的書在心理學(xué)家中有廣泛的影響，但遺憾的是對工程界卻影響很少或沒有。2023/4/1811史忠植神經(jīng)計(jì)算感知器

1969年，Minsky和Papert合作發(fā)表了頗有影響的Perceptron一書，得出了消極悲觀的論點(diǎn)，加上數(shù)字計(jì)算機(jī)正處于全盛時(shí)期并在人工智能領(lǐng)域取得顯著成就，70年代人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。2023/4/1813史忠植神經(jīng)計(jì)算Hopfield網(wǎng)絡(luò)

1982年，Hoopfield用能量函數(shù)的思想形成一種具有對稱連接的遞歸網(wǎng)絡(luò)所執(zhí)行的計(jì)算的新方法。這類具有反饋的特殊神經(jīng)網(wǎng)絡(luò)在80年代引起了大量的關(guān)注，產(chǎn)生了著名的Hopfield網(wǎng)絡(luò)。盡管Hopfield網(wǎng)絡(luò)不可能是真正的神經(jīng)生物系統(tǒng)模型，他們包涵的原理，即在動(dòng)態(tài)的穩(wěn)定網(wǎng)絡(luò)中存儲信息原理的，是極深刻的。

2023/4/1814史忠植神經(jīng)計(jì)算神經(jīng)計(jì)算自適應(yīng)共振理論（ART）自組織特征映射理論Hinton等人最近提出了

Helmboltz機(jī)

徐雷提出的

Ying-Yang機(jī)理論模型

甘利俊一(S.Amari)開創(chuàng)和發(fā)展的基于統(tǒng)計(jì)流形的方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究2023/4/1815史忠植神經(jīng)計(jì)算智能科學(xué)

智能不僅要功能模擬,而且要機(jī)理模擬Actionsfromthoughts(Nature409,2001)

2023/4/1817史忠植神經(jīng)計(jì)算神經(jīng)元2023/4/1818史忠植神經(jīng)計(jì)算突觸可塑性2023/4/1819史忠植神經(jīng)計(jì)算神經(jīng)元模型InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputyx1x2xmw2wmw1w0x0=+12023/4/1821史忠植神經(jīng)計(jì)算大腦神經(jīng)系統(tǒng)神經(jīng)系統(tǒng)是多層次的。這些不同層次的研究互相啟示，互相推動(dòng)。在低層次（細(xì)胞、分子水平）上的工作為較高層次的觀察提供分析的基礎(chǔ)，而較高層次的觀察又有助于引導(dǎo)低層次工作的方向和體現(xiàn)其功能意義。2023/4/1822史忠植神經(jīng)計(jì)算神經(jīng)網(wǎng)絡(luò)2023/4/1823史忠植神經(jīng)計(jì)算神經(jīng)網(wǎng)絡(luò)2023/4/1825史忠植神經(jīng)計(jì)算

功能柱20世紀(jì)60年代末，美國科學(xué)家發(fā)現(xiàn)，在大腦視覺皮層中，具有相同圖像特征選擇性和相同感受野位置的眾多神經(jīng)細(xì)胞，以垂直于大腦表面的方式排列成柱狀結(jié)構(gòu)———功能柱。30多年來，腦研究領(lǐng)域一直將垂直的柱狀結(jié)構(gòu)看作大腦功能組織的一個(gè)基本原則。但是，傳統(tǒng)的功能柱研究還不能闡釋視覺系統(tǒng)究竟是如何處理大范圍復(fù)雜圖像信息的。2023/4/1826史忠植神經(jīng)計(jì)算功能柱中國科學(xué)院生物物理所視覺信息加工重點(diǎn)實(shí)驗(yàn)室中國科學(xué)院計(jì)算研究所李速①

齊翔林①

胡宏②

汪云九①

功能柱結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型中的同步振蕩現(xiàn)象

功能柱是一個(gè)振蕩子，而且表明功能柱可以成為皮層多樣化的節(jié)律活動(dòng)的發(fā)生源，EEG中的各種節(jié)律均可以在結(jié)構(gòu)具有普遍性的功能柱中找到生理基礎(chǔ)。

2023/4/1829史忠植神經(jīng)計(jì)算功能柱Rose-Hindmarsh方程來描述單神經(jīng)元:

x:代表膜電位，y:表示快速回復(fù)電流，z:描述慢變化的調(diào)整電流，Isyn

表示突觸電流，Istim表示外界輸入2023/4/1830史忠植神經(jīng)計(jì)算功能柱模型采用基于電流的突觸模型，在突觸前細(xì)胞的每個(gè)動(dòng)作電位都將觸發(fā)突觸后細(xì)胞的Isyn

輸入。突觸電流

Isyn

表示為:

gsyn

為膜電導(dǎo)1,2時(shí)間常數(shù)Vsyn

表示突觸后電位2023/4/1831史忠植神經(jīng)計(jì)算功能柱2023/4/1832史忠植神經(jīng)計(jì)算同源功能柱2023/4/1833史忠植神經(jīng)計(jì)算異源功能柱2023/4/1834史忠植神經(jīng)計(jì)算功能柱

功能柱是一個(gè)振蕩子，而且表明功能柱可以成為皮層多樣化的節(jié)律活動(dòng)的發(fā)生源，EEG中的各種節(jié)律均可以在結(jié)構(gòu)具有普遍性的功能柱中找到生理基礎(chǔ)。

2023/4/1835史忠植神經(jīng)計(jì)算功能柱功能柱是介于單神經(jīng)元和皮層腦區(qū)之間的一種中間層次的單元，理解這種中間層次的單元的活動(dòng)特點(diǎn)，能夠?yàn)槟X科學(xué)中微觀現(xiàn)象和宏觀現(xiàn)象的研究之間建立一座橋梁

2023/4/1836史忠植神經(jīng)計(jì)算信息幾何信息幾何（InformationGeometry）是采用（Riemann流形上的）微分幾何方法來研究統(tǒng)計(jì)問題的理論。

Efron首先在統(tǒng)計(jì)學(xué)中采用微分幾何方法（1975)甘利俊一（S.Amari）引入α-聯(lián)絡(luò),并應(yīng)用到神經(jīng)網(wǎng)絡(luò)的研究中

zhuhaiyu等人研究了貝葉斯信息幾何（BayesInformationGeometry)2023/4/1837史忠植神經(jīng)計(jì)算統(tǒng)計(jì)流形概率神經(jīng)網(wǎng)絡(luò)模型（統(tǒng)計(jì)學(xué)習(xí)機(jī)）：

P(y|x;Θ)=Ф(y–F(x,W))Θ∈Rn指數(shù)簇（Exponentialfamilies）流形人工神經(jīng)網(wǎng)絡(luò)正態(tài)分布Boltzmann機(jī)混合專家神經(jīng)網(wǎng)絡(luò)彎曲指數(shù)簇流形人工神經(jīng)網(wǎng)絡(luò)神經(jīng)場理論2023/4/1838史忠植神經(jīng)計(jì)算樸素貝葉斯分類器(NBC)

Bayesian網(wǎng)絡(luò)的簡化樸素Bayesian假設(shè)：特征向量的各分量間相對于決策變量是相對獨(dú)立降低計(jì)算復(fù)雜度更加直觀簡潔可能降低分類、預(yù)測精度2023/4/1839史忠植神經(jīng)計(jì)算Fisher分Fisher分：

Fisher信息矩陣I可寫為：Fisher分映射：2023/4/1840史忠植神經(jīng)計(jì)算基于Fisher分樸素貝葉斯分類器(NBC)目標(biāo)：提高NBC的分類精度方向：改進(jìn)屬性間的條件獨(dú)立性關(guān)系途徑：基于Fisher分重構(gòu)屬性集，在此基礎(chǔ)上建立樸素貝葉斯分類器2023/4/1841史忠植神經(jīng)計(jì)算神經(jīng)場動(dòng)力學(xué)Wilson-CowanAmariErmentrout-Cowan…….2023/4/1842史忠植神經(jīng)計(jì)算神經(jīng)場

神經(jīng)場研究的出發(fā)點(diǎn)是信息處理系統(tǒng)的整體結(jié)構(gòu),一般的系統(tǒng)表示為非歐氏空間(在一定拓?fù)浣Y(jié)構(gòu)下形成流形)。研究的一個(gè)關(guān)鍵就是建立環(huán)境結(jié)構(gòu)流形與神經(jīng)流形的耦合關(guān)系,用流形的思想、拓?fù)涞母拍詈徒y(tǒng)計(jì)推理來研究整體結(jié)構(gòu)所具有的性質(zhì),利用整體不變性質(zhì),處理和分析表示結(jié)構(gòu)與神經(jīng)流形的優(yōu)化逼近過程。2023/4/1843史忠植神經(jīng)計(jì)算一維一層2023/4/1844史忠植神經(jīng)計(jì)算自組織神經(jīng)場動(dòng)力學(xué)presynapticfield2023/4/1845史忠植神經(jīng)計(jì)算拓?fù)溆成渥越M織amplificationtopologypatchstructure(colummarstructure)dynamicalinstabilityWillshaw-MalsburgTakeuchi-AmariKohonensignalspaceneuralfield2023/4/1846史忠植神經(jīng)計(jì)算神經(jīng)場

............HiddenUnitsInputUnits

OutputUnits

x

yzFieldOrganizationModelFieldActionModel

W1：FieldOrganizationWeightsW2:FieldActionWeight2023/4/1847史忠植神經(jīng)計(jì)算神經(jīng)場

神經(jīng)場理論框架,體現(xiàn)整體信息處理的結(jié)構(gòu)在兩方面:一方面,表示結(jié)構(gòu)的編碼和模型結(jié)構(gòu)通過拓?fù)浣Y(jié)構(gòu)進(jìn)行表示,具有層次化、模塊化的組織,形成樹型鏈結(jié)構(gòu),模型結(jié)構(gòu)具有擴(kuò)展成無限模型的性質(zhì)和分維組織機(jī)理,分解成層次化的結(jié)構(gòu)。我們試圖用代數(shù)拓?fù)涞姆椒▉砻枋鲞@種結(jié)構(gòu),體現(xiàn)整體不變性質(zhì),神經(jīng)網(wǎng)絡(luò)具有對于結(jié)構(gòu)進(jìn)行模型化的機(jī)理,對于系統(tǒng)結(jié)構(gòu)的逼近。另一方面,復(fù)雜的模型由簡單的模型集成,簡單的模型嵌入更復(fù)雜的結(jié)構(gòu)中,信息幾何研究局部和整體不變度量的關(guān)系,研究全局不變量,即研究學(xué)習(xí)的全局優(yōu)化過程。2023/4/1848史忠植神經(jīng)計(jì)算中俄合作研究神經(jīng)計(jì)算

根據(jù)2002年7月舉行的中俄總理定期會(huì)晤委員會(huì)中俄科技合