1 引言.pdf

圖 像 信 息 處 理 研 究 室 2014 10 03 1 30 引 言 智能信息處理課程組 2014 Fall 智能信息處理 Intelligent Information Processing 圖 像 信 息 處 理 研 究 室 2014 10 03 2 智能信息處理簡介 1 人工神經(jīng)網(wǎng)絡(luò)簡介 2 人工智能簡介 3 2 引言 圖 像 信 息 處 理 研 究 室 2014 10 03 3 智能信息處理簡介 智能 智能信息處理 圖 像 信 息 處 理 研 究 室 2014 10 03 4 聰明是個體 智慧是個體與環(huán)境 智能是智慧和能力 智能就是智慧和能力 是個體有目的的行為 合理的思 維以及有效的適應(yīng)環(huán)境的綜合性能力 經(jīng)過數(shù)萬年的演化 大自然中的各種生物均具有智能 作為萬物之靈的人 不僅具有智能 而且還能夠智慧地 制造各種工具來延伸和拓展自身的能力 智能信息處理簡介 智能智能 圖 像 信 息 處 理 研 究 室 2014 10 03 5 通過對人類智力活動奧秘的探索與記憶思維機(jī)理的研究 來 開發(fā)人類智力活動的潛能 探討用各種機(jī)器模擬人類智能的 途徑 使人類的智能得以物化與延伸 產(chǎn)生了一門學(xué)科 即 所謂的人工智能 人工智能 Artificial Intelligence AI 在20世紀(jì)90年代 人工智能的符號主義 連接主義和行為主 義三種方法并存 連接主義 人工神經(jīng)網(wǎng)絡(luò) 行為主義 仿生 智能信息處理簡介 人工智能 圖 像 信 息 處 理 研 究 室 2014 10 03 6 近年來 借鑒仿生學(xué)思想 基于生物體系的生物進(jìn)化 細(xì)胞 免疫 神經(jīng)細(xì)胞網(wǎng)絡(luò)等某些機(jī)制 用數(shù)學(xué)語言抽象描述的計 算方法 來模仿生物體系和人類的智能機(jī)制 產(chǎn)生了所謂的 計算智能 計算智能計算智能 Computational Intelligence CI 軟計算軟計算 Soft Computing SC 自然計算自然計算 Natural Computation NC 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò) Artificial Neural Network ANN 模糊集理論 模糊集理論 Fuzzy Set FS 進(jìn)化計算 進(jìn)化計算 Evolutionary Computation EC 智能信息處理簡介 計算智能 圖 像 信 息 處 理 研 究 室 2014 10 03 7 有關(guān)智能的研究基礎(chǔ)上出現(xiàn)了諸如 智能設(shè)計 智能有關(guān)智能的研究基礎(chǔ)上出現(xiàn)了諸如 智能設(shè)計 智能 制造 智能檢測 智能監(jiān)控 智能控制 智能交通等等制造 智能檢測 智能監(jiān)控 智能控制 智能交通等等 應(yīng)用智能的研究方向 應(yīng)用智能的研究方向 智能無處不在智能無處不在 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 8 I believe that understanding intelligence involves understanding how knowledge is acquired represented and stored how intelligent behavior is generated and learned how motives and emotions and priorities are developed and used how sensory signals are transformed into symbols how symbols are manipulated to perform logic to reason about the past and plan for the future and how the mechanisms of intelligence produce the phenomena of illusion belief hope fear and dreams and yes even kindness and love To understand these functions at a fundamental level I believe would be a scientific achievement on the scale of nuclear physics relativity and molecular genetics James Albus 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 9 智能信息處理 人類在不斷地進(jìn)步 社會在不斷地發(fā)展 這一方面受人的人類在不斷地進(jìn)步 社會在不斷地發(fā)展 這一方面受人的 好奇心驅(qū)動好奇心驅(qū)動 人具有探索自然規(guī)律 了解未知世界 探索 人具有探索自然規(guī)律 了解未知世界 探索 自身奧妙的內(nèi)動力 另一方面人具有自身奧妙的內(nèi)動力 另一方面人具有生存和提高生活質(zhì)量生存和提高生活質(zhì)量 的需求 的需求 創(chuàng)新的原動力 受這兩方面原動力的驅(qū)動 人類不斷地研究新的方法和技受這兩方面原動力的驅(qū)動 人類不斷地研究新的方法和技 術(shù) 不斷地研制各種工具 儀器和機(jī)器 來術(shù) 不斷地研制各種工具 儀器和機(jī)器 來延伸 拓展和延伸 拓展和 增強(qiáng)自身的各種能力增強(qiáng)自身的各種能力 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 10 人類所處的客觀環(huán)境 所面對的客觀世界是變化的 發(fā)展的 是浩瀚無垠的 人類的知識雖然在不斷豐富 不斷更新 但是相對客 觀環(huán)境 客觀世界 始終是不完全的 不可靠的 不 精確的 不一致的和不確定的 人類正是用這不精確的 不完美的知識 不斷地 逐 步地了解了客觀世界 提高了生活質(zhì)量 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 11 智能信息處理 人工智能 人工神經(jīng)網(wǎng)絡(luò) 進(jìn)化計算 模糊系統(tǒng)理論等等都是 人類在對客觀世界 人類自身現(xiàn)有認(rèn)識的基礎(chǔ)上所產(chǎn)生的新的 方法和理論 是人類進(jìn)一步探索自然規(guī)律 了解未知世界 探 索自身奧妙 提高生活質(zhì)量的各種工具 智能信息處理就是將不完全的 不可靠的 不精確的 不一致 的和不確定的知識和信息逐步 逐步變得完全 可靠 精確 一致和確定的過程和方法 就是利用對不精確性 不確定性的 容忍來達(dá)到問題的可處理性和魯棒性 智能信息處理的對象及方法均具有多樣性 復(fù)雜性和綜合性的 特點 智能信息處理涉及到信息科學(xué)的多個領(lǐng)域 是多學(xué)科理 論和方法的綜合應(yīng)用 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 12 經(jīng)過數(shù)萬年的演化 大自然中的各種生物均具有智能 研究智能信息處理不能只研究人的智能 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 13 人類不能感受到紅外線 但響尾蛇的紅外探測器可以探測人類不能感受到紅外線 但響尾蛇的紅外探測器可以探測 到幾米外的老鼠到幾米外的老鼠 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 14 纖毛蟲沒有 眼睛 但有視覺 具有趨光和避光的功能 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 15 解決問題的途徑解決問題的途徑 仿生 仿生 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 16 仿生學(xué)為科學(xué)技術(shù)創(chuàng)新提供新思路 新原理和新理論仿生學(xué)為科學(xué)技術(shù)創(chuàng)新提供新思路 新原理和新理論 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 17 仿生學(xué)經(jīng)歷了四個層次 1 功能仿生 2 結(jié)構(gòu)仿生 3 機(jī)理仿生 4 組織仿生 在經(jīng)過了遠(yuǎn)古時代 工業(yè)時代 信息時代 知識時代的仿生 科學(xué)正朝著微觀 系統(tǒng) 智能 精細(xì) 潔凈方向發(fā)展 仿生正向著模仿生物體感知環(huán)境等 智能方向發(fā)展 智能信息處理簡介 將思想的力量注入齒輪機(jī)械 信息簡史 圖 像 信 息 處 理 研 究 室 2014 10 03 18 仿生仿生 智能信息處理簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 19 神經(jīng)網(wǎng)絡(luò) Neural Networks NN 是由大量處理單元 神經(jīng)元 Neurons 廣泛互連而成的網(wǎng)絡(luò) 是對人腦的抽象 簡化和模擬 反映人腦的基本特性 從人腦的生理結(jié)構(gòu)出發(fā)來研究人的智能行為 模擬人腦信息處 理的功能 它是根植于神經(jīng)科學(xué) 數(shù)學(xué) 統(tǒng)計學(xué) 物理學(xué) 計 算機(jī)科學(xué)及工程等學(xué)科的一種技術(shù) 由簡單的處理單元所組成的大量并行分布的處理機(jī) 這種處理 機(jī)具有存儲和應(yīng)用經(jīng)驗知識的自然特性 它與人腦的相似之處 概括為兩個方面 一是通過學(xué)習(xí)過程利用神經(jīng)網(wǎng)絡(luò)從外部環(huán)境中獲取知識 二是內(nèi)部神經(jīng)元 突觸權(quán)值 用來存儲獲取的知識信息 人工神經(jīng)網(wǎng)絡(luò)簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 20 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 與與 電子計算機(jī)電子計算機(jī) 人工神經(jīng)網(wǎng)絡(luò)簡介 圖 像 信 息 處 理 研 究 室 2014 10 03 21 1931年進(jìn)入劍橋大學(xué)King s College攻讀數(shù)學(xué) 學(xué)位論文獲 Smith Prize 1936年發(fā)表了著名論文 On Computable Numbers with an Application to the Entscheidungs Problem 提出了計算模型 圖靈機(jī) Turing Machine 1938年獲美國普林斯頓大學(xué)博士學(xué)位 博士論文 Systems of Logic Based on Ordinals 1939年在英國外交部科研機(jī)構(gòu)工作 二戰(zhàn)期間協(xié)助軍方破解德國的著名 密碼系統(tǒng)Enigma 戰(zhàn)后到英國國家物理實驗室 National Physical Lab NPL 設(shè)計和建造電 子計算機(jī) Automatic Computing Engine ACE 1950年10月發(fā)表論文 Computing Machinery and Intelligence 認(rèn)為計算機(jī) 可以具有智能 并提出了一種用于判定機(jī)器是否具有智能的試驗方法 即圖靈試驗 Turing Test 1951年當(dāng)選英國皇家學(xué)會院士 Alan Turing 1912 1954 圖靈 圖 像 信 息 處 理 研 究 室 2014 10 03 22 1966年美國計算機(jī)協(xié)會設(shè)立計算機(jī)界的第一獎項年美國計算機(jī)協(xié)會設(shè)立計算機(jī)界的第一獎項 圖靈獎 圖靈獎 被稱為被稱為 計算機(jī)界的諾貝爾獎 計算機(jī)界的諾貝爾獎 ACM Association for Computing Machinery IEEE Computer Society 圖靈獎 圖 像 信 息 處 理 研 究 室 2014 10 03 23 John von Neumann 1903 1957 20世紀(jì)最杰出的數(shù)學(xué)家之一 于1945年提出了 程序內(nèi)存式 計算機(jī)的 設(shè)計思想 被譽(yù)為 計算機(jī)之父 1903年出生于匈牙利的布達(dá)佩斯 不滿30歲成為美國普林斯頓大學(xué)的第一批終身教授 1944年參加原子彈的研制工作 1944年8月加入莫爾計算機(jī)研制小組 一個全新的存儲程序通用電子計算機(jī)方案一個全新的存儲程序通用電子計算機(jī)方案 EDVAC Electronic Discrete Variable Automatic Computer 關(guān)于關(guān)于EDVAC的報告草案的報告草案 1954年6月 諾伊曼到美國普林斯頓高級研究所工作 IAS計算機(jī)研制計算機(jī)研制 圖 像 信 息 處 理 研 究 室 2014 10 03 24 諾伊曼與諾伊曼與IAS 圖 像 信 息 處 理 研 究 室 2014 10 03 25 1949年 在Illinois大學(xué)四次講座的第二次講座中 闡述了 McCulloch Pitts正式的神經(jīng)網(wǎng)絡(luò)理論特點 1955年 應(yīng)邀去Yale大學(xué)進(jìn)行Silliman講座 直至1956年 他未完成的Silliman講座的手稿于1958年作為一本書被出版 書名為 The Computer and the Brain 1956年用約簡的思想解決了一個在神經(jīng)網(wǎng)絡(luò)中特別令人關(guān)注的 問題 如何用認(rèn)為是不可靠的神經(jīng)元來設(shè)計一個可靠的網(wǎng)絡(luò)問 題 John von Neumann 與神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò) 圖 像 信 息 處 理 研 究 室 2014 10 03 26 神經(jīng)網(wǎng)絡(luò)與現(xiàn)代數(shù)字計算機(jī)的不同 神經(jīng)網(wǎng)絡(luò)的信息存儲與處理 計算 是合二為一的 即信 息的存儲體現(xiàn)在神經(jīng)元互連的分布上 傳統(tǒng)的計算機(jī)存儲 與計算是獨立的 因而在存儲與計算之間存在著瓶頸 神經(jīng)網(wǎng)絡(luò)以大規(guī)模模擬計算為主 數(shù)字計算機(jī)是以串行離 散符號處理為主 神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的魯棒性和容錯性 善于聯(lián)想 概括 類比和推廣 任何局部的損傷不會影響整體結(jié)果 神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)能力 能為新的輸入產(chǎn)生合理 的輸出 可在學(xué)習(xí)過程之中不斷完善自己 具有創(chuàng)新特點 神經(jīng)網(wǎng)絡(luò)是一大規(guī)模自適應(yīng)非線性動力系統(tǒng) 具有集體運(yùn) 算的能力 這與本質(zhì)上是線性系統(tǒng)的現(xiàn)代數(shù)字計算機(jī)迥然 不同 圖 像 信 息 處 理 研 究 室 2014 10 03 27 人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史 經(jīng)歷了興起 蕭條和興盛三個時期經(jīng)歷了興起 蕭條和興盛三個時期 興起階段興起階段 1943年 精神病學(xué)家和神經(jīng)解剖學(xué)家McCulloch與數(shù)學(xué)家 Pitts在數(shù)學(xué)生物物理學(xué)會刊 Bulletin of Mathematical Biophysics 上發(fā)表文章 總結(jié)了生物神經(jīng)元的一些基本生 理特征 提出了形式神經(jīng)元的數(shù)學(xué)描述與結(jié)構(gòu) 即MP模型 MP的提出興起了的NN研究 同時產(chǎn)生了人工智能 圖 像 信 息 處 理 研 究 室 2014 10 03 28 1948年 Wiener所著的著 名的 Cybernetics 一書 出版 Wiener提出了控制 通信和統(tǒng)計信號處理的重 要概念 在學(xué)科之間抓住 了統(tǒng)計方法的物理意義 Norbert Wiener 控制論之父 控制論之父 興起興起階段階段 圖 像 信 息 處 理 研 究 室 2014 10 03 29 1949年 生理學(xué)家D O Hebb出版了 The Organization of Behavior 一書 該書第一次提出了改變神經(jīng)元連接強(qiáng)度的 Hebb 規(guī)則 提出腦中互連信息隨著感官學(xué)習(xí)任務(wù)的不同而 不斷變化 學(xué)習(xí)過程是在突觸 Synapse 上發(fā)生的 突觸的 聯(lián)系強(qiáng)度隨其前后神經(jīng)元的活動而變化 根據(jù)這一假設(shè)提出 的學(xué)習(xí)規(guī)則為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ) 使神經(jīng)網(wǎng)絡(luò) 的研究進(jìn)入了一個重要的發(fā)展階段 1952年 Ashby所著的 Design for a Brain The Origin of Adaptive Behavior 一書出版 論述了自適應(yīng)行為不是天生 的 而是學(xué)習(xí)的結(jié)果 而且通過學(xué)習(xí)會有更好的改變 本書 還強(qiáng)調(diào)了類似機(jī)器的生物動態(tài)和相關(guān)的穩(wěn)定性概念 興起興起階段階段 圖 像 信 息 處 理 研 究 室 2014 10 03 30 Marvin Lee Minsky 1927 人工智能之父 和框架理論 frame theory 的創(chuàng)立者 1969年獲ACM圖靈獎 1989年獲MIT授予的Killian獎 1990年獲日本政府所設(shè)立的 日本獎 1995年獲IEEE計算機(jī)先驅(qū)獎 現(xiàn)在MIT Media Lab 任職 minsky media mit edu 圖 像 信 息 處 理 研 究 室 2014 10 03 31 1946年入哈佛大學(xué)主修物理后改為數(shù)學(xué) 1950年入普林斯頓大學(xué) 攻讀博士學(xué)位 1951年提出了關(guān)于思維如何萌發(fā)并形成的一些基本理論 并建造 了一臺名為Snarc的學(xué)習(xí)機(jī) 1954年 Minsky在Princeton大學(xué)完成了博士論文 Theory of Neural Analog Reinforcement Systems and Its Application to the Brain Model Problem 1961年 Minsky寫了一篇關(guān)于早期AI的優(yōu)秀論文 題為 Steps Toward Artificial Intelligence 論文的后半部包含了當(dāng)今神經(jīng)網(wǎng) 絡(luò)的大部分內(nèi)容 1967年 Minsky的 Computation Finite and Infinite Machines 一書出版 擴(kuò)展了McCulloch和Pitts1943年的成果 并將其歸入 自動機(jī)和計算理論中 1969年 Minsky和Papert所著的 Perceptron 一書出版 Marvin Lee Minsky 1927 圖 像 信 息 處 理 研 究 室 2014 10 03 32 1954年 通信理論的先驅(qū) 和全息照相術(shù)的發(fā)明者 Gabor提出了非線性自適 應(yīng)濾波思想 他希望與合 作者一起發(fā)明一種機(jī)器 通過將一個隨機(jī)過程的樣 本輸入機(jī)器中 連同目標(biāo) 函數(shù) 實現(xiàn)機(jī)器學(xué)習(xí) Gabor 圖 像 信 息 處 理 研 究 室 2014 10 03 33 1957年 Rosenblatt 提出感知機(jī) Perceptron 1958年Rosenblatt基于對感知器的研究 提出了解決模式識別問題 的新的監(jiān)督學(xué)習(xí)方法 并證明了所謂的感知器收斂定理 首次把 神經(jīng)網(wǎng)絡(luò)的研究付諸工程實踐 1960年 Widrow和Hoff引入了最小均方差 Least Mean Square LMS 算法 并用它系統(tǒng)闡明了自適應(yīng)線性元件 Adaptive Linear Element 1962年Widrow和他的學(xué)生提出多學(xué)習(xí)機(jī)結(jié)構(gòu) 1965年 Nilsson所著的 Learning Machines 一書出版 至今這 本書仍然是關(guān)于超平面中線性模型的一本佳作 1967年 Amari用推測梯度方式進(jìn)行自適應(yīng)模式分類 興起興起階段階段 圖 像 信 息 處 理 研 究 室 2014 10 03 34 在感知器盛行的二十世紀(jì)六十年代 人們對神經(jīng) 網(wǎng)絡(luò)的研究過于樂觀 認(rèn)為只要將這種NN互連成 一個網(wǎng)絡(luò) 就可以解決人腦思維的模擬問題 因 此 當(dāng)時有上百家實驗室紛紛投入這項研究 美 國軍方也投入了巨額資金 當(dāng)時NN在聲納信號識 別等領(lǐng)域的應(yīng)用取得了一定的成績 圖 像 信 息 處 理 研 究 室 2014 10 03 35 1969年 Minsky和Papert所著的 Perceptron 一書出版 該書 從數(shù)學(xué)角度證明了關(guān)于單層感知器的計算具有根本的局限性 論述了單層感知器的所有局限性在多層感知器中是不可能被全 部克服的 AI出現(xiàn)了轉(zhuǎn)機(jī) 產(chǎn)生了以知識信息處理為基礎(chǔ)的 知識工 程 Knowledge Engineering 專家系統(tǒng) Expert System ES 給AI從實驗室走向?qū)嵱脦砹讼Ｍ?同時 微電子技 術(shù)的進(jìn)步 以及傳統(tǒng)的Von Neumann型數(shù)字計算機(jī)發(fā)展 使整 個學(xué)術(shù)界陶醉于數(shù)字計算機(jī)的成功之中 從而使NN的研究進(jìn) 入了蕭條時期 蕭條時期蕭條時期 圖 像 信 息 處 理 研 究 室 2014 10 03 36 根據(jù)Cowan 1990 的觀點 有三個原因?qū)е铝松窠?jīng)網(wǎng)絡(luò)研 究的十多年滯后 原因之一是技術(shù)上的 沒有個人計算機(jī)和工作空間站進(jìn)行 實驗 如Gabor發(fā)展了他的非線性學(xué)習(xí)濾波器 而卻花費了額 外的六年時間建造了含有類推裝置的濾波器 原因之二一半是心理上的 即Minsky和Papert對感知器的悲觀 結(jié)論 一半是資金上的 即沒有代理商資助 原因之三是神經(jīng)網(wǎng)絡(luò)和晶格旋轉(zhuǎn)之間的類推還未成熟 直到 1975年才由Sherrington和Kirkpartrick創(chuàng)建出旋轉(zhuǎn)鏡片模型 圖 像 信 息 處 理 研 究 室 2014 10 03 37 1972年Teuvo Kohonen和James Anderson各自獨立發(fā)展了用 于記憶的新的神經(jīng)網(wǎng)絡(luò) Amari獨立提出了一個神經(jīng)元的加性模型 并將其應(yīng)用于研 究隨機(jī)聯(lián)接類似于神經(jīng)元元件的動態(tài)行為之中 Wilson和Cowan從含有興奮和抑制神經(jīng)元空間局部化模型的 動態(tài)行為中獲取非線性微分方程組 1973年von der Malsburg完成了計算機(jī)模擬 第一次演示了 自組織 圖 像 信 息 處 理 研 究 室 2014 10 03 38 1975年Sherrington和Kirkpatrick發(fā)明了自旋玻璃網(wǎng)模型 1975年描述了神經(jīng)元激活或不激活的概率模型 并發(fā)展了短 期記憶理論 1976年Willshaw和von der Malsburg發(fā)表了第一篇受人腦拓?fù)?次序映射啟發(fā) 構(gòu)筑自組織映射的論文 1977年Anderson Silverstein Ritz和Jones提出了黑箱腦狀態(tài) Brain State in a Box BSB 模型 其中包括含有非線性動力 的一個簡單聯(lián)想網(wǎng)絡(luò) 1980年Grossberg在早期對競爭學(xué)習(xí)研究的基礎(chǔ)上 創(chuàng)立了自 組織新理論 被稱為自適應(yīng)性諧振理論 Adaptive Resonance Theory ART 圖 像 信 息 處 理 研 究 室 2014 10 03 39 20世紀(jì)80年代 神經(jīng)網(wǎng)絡(luò)有了迅猛發(fā)展 功能日漸強(qiáng)大的 個人計算機(jī)和工作站開始被廣泛的應(yīng)用 此時也產(chǎn)生了神 經(jīng)網(wǎng)絡(luò)研究的新觀念 第一個是利用統(tǒng)計機(jī)制解釋循環(huán)網(wǎng)絡(luò)的運(yùn)行過程 這種 機(jī)制可用于一個聯(lián)想記憶 此觀念是由物理學(xué)家John Hopfield在他的核心論文中提出的 第二個核心發(fā)展是用于訓(xùn)練多層感知器的反向傳播算法 此算法同時被幾個學(xué)者所發(fā)現(xiàn)該算法是對60年代Minsky 和Papert的一個有力的回答 圖 像 信 息 處 理 研 究 室 2014 10 03 40 研究視 聽覺的人工智能專家首先遇到挫折 計算機(jī)一般 不能從現(xiàn)實世界的實例與現(xiàn)象中獲取并總結(jié)出知識 也就 是說計算機(jī)不具備學(xué)習(xí)能力 人們于是開始意識到了Von Neumann 體系結(jié)構(gòu)的局限性 轉(zhuǎn)而研究數(shù)據(jù)流機(jī)和并行計 算機(jī)體系結(jié)構(gòu) 日本第五代計算機(jī)計劃遠(yuǎn)未達(dá)到預(yù)想水平 使人們覺得有必 要弄清人們習(xí)以為常的認(rèn)知功能是如何進(jìn)行的 這些認(rèn)知功 能包括視聽覺感知 學(xué)習(xí)記憶 運(yùn)行控制等 從而使人們認(rèn) 識到必須開拓新的思路 探索新的實現(xiàn)途徑 與人腦的生 理組織更為接近的NN模型自然成為理想的候選模型 圖 像 信 息 處 理 研 究 室 2014 10 03 41 在人類智能行為研究方面 神經(jīng)生理學(xué)家 心理學(xué)家和計 算機(jī)科學(xué)家相互結(jié)合 認(rèn)為人腦是一個功能十分強(qiáng)大 結(jié) 構(gòu)異常復(fù)雜的信息系統(tǒng) 但其基本仍是神經(jīng)元及其之間的 連接 NN的研究依靠眾多學(xué)科的共同發(fā)展 是眾學(xué)科的綜合產(chǎn)物 而當(dāng)時眾學(xué)科都有了相應(yīng)的發(fā)展 如普里高津 Prigogine 提 出了非平穩(wěn)系統(tǒng)的自組織理論 獲諾貝爾獎 哈肯 Haken 研究了大量單元集團(tuán)運(yùn)動而產(chǎn)生的宏觀效果 提出了 協(xié) 同學(xué) 非線性系統(tǒng) 混沌 態(tài)的提出及其研究等等 這 些都是研究如何通過單元之間的相互連接作用建立復(fù)雜系 統(tǒng) 類似于生物系統(tǒng)的自組織行為 圖 像 信 息 處 理 研 究 室 2014 10 03 42 腦科學(xué)與神經(jīng)科學(xué)的研究成果 迅速反映到神經(jīng)網(wǎng)絡(luò)的改進(jìn) 上 例如視覺研究中發(fā)現(xiàn)的側(cè)抑制原理 感受野的概念 聽 覺通道上神經(jīng)元的自組織排列等 生物的生物的NN研究成果對研究成果對ANN的研究起了重要的推動作的研究起了重要的推動作 用 用 所有這些方面重新引起了人們對所有這些方面重新引起了人們對ANN的研究興趣 的研究興趣 圖 像 信 息 處 理 研 究 室 2014 10 03 43 興盛階段 學(xué)術(shù)界公認(rèn) 標(biāo)志NN研究 高潮的又一次到來是美國加 州理工學(xué)院生物物理學(xué)家J Hopfield教授于1982年和 1984年發(fā)表在美國科學(xué)院院 刊上的兩篇文章以及1986年 Rumelhart與McClelland的兩 冊書 圖 像 信 息 處 理 研 究 室 2014 10 03 44 1982年Hopfield用能量函數(shù)的思想形成了一種新的計算的方 法 將其與統(tǒng)計物理的Ising模型相類推 為大量的物理學(xué)理 論和許多的物理學(xué)家進(jìn)入神經(jīng)網(wǎng)絡(luò)領(lǐng)域鋪平了道路 Hopfield闡明了NN與動力學(xué)的關(guān)系 并用非線性動力學(xué)的方 法來研究這種NN的特性 建立了NN穩(wěn)定性判據(jù) 并指出信 息存儲在網(wǎng)絡(luò)中NN之間的連接上 形成了Hopfield網(wǎng)絡(luò) 1984年 Hopfield設(shè)計與研制了他所提出的神經(jīng)網(wǎng)絡(luò)模型的 電路 指出神經(jīng)元可以用運(yùn)算放大器來實現(xiàn) 所有神經(jīng)元的 連接可用電子線路來模擬 同時他也進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研 究 成功的解決了旅行商 TSP 計算難題 優(yōu)化問題 令人震驚 使神經(jīng)網(wǎng)絡(luò)的研究步入了興盛時期 圖 像 信 息 處 理 研 究 室 2014 10 03 45 1982年Kohonen的關(guān)于自組織圖的論文發(fā)表 其中用到了一 個一維或二維的晶體結(jié)構(gòu) 這種模型已成為衡量在此領(lǐng)域中 有價值創(chuàng)新的基準(zhǔn) 1983 年 Kirkpatrick Gelatt 和 Vecchi 提 出 了 模 擬 退 火 Simulated Annealing SA 的新方法 該方法以統(tǒng)計理論為基 礎(chǔ) 用于解決組合最優(yōu)問題 1983 年 Barto Sutton 和 Anderson 發(fā) 表 了 關(guān) 于 強(qiáng) 化 學(xué) 習(xí) Reinforcement Learning RL 的論文 論文將強(qiáng)化學(xué)習(xí)應(yīng)用 于實際 驗證了其應(yīng)用的具有可行性 對強(qiáng)化學(xué)習(xí)的發(fā)展及 應(yīng)用產(chǎn)生了重要的影響 圖 像 信 息 處 理 研 究 室 2014 10 03 46 1985年 Ackley Hinton和Sejnowski 以模擬退火思想為基礎(chǔ) 對Hopfield模型引入了隨機(jī)機(jī)制 提出了Boltzmann機(jī) 第一次 成功實現(xiàn)了多層神經(jīng)網(wǎng)絡(luò)的功能 打破了人們心理上的局限 證明了Minsky和Papert 1969 的推測根據(jù)是不正確的 1986年 Rumelhart Hinton和Williams發(fā)展了反向傳播算法 Back Propagation algorithm BP 同年 Rumelhert和 McClelland編寫的名為 Parallel Distributed Processing Explorations in the Microstructures of Cognition 出版 BP已成 為大多數(shù)多層感知器訓(xùn)練所采用的流行學(xué)習(xí)算法 該算法解決 了多層NN的學(xué)習(xí)問題 證明了多層神經(jīng)網(wǎng)絡(luò)的計算能力并不 象Minsky等人所預(yù)料的那樣弱 相反他可以完成許多學(xué)習(xí)任務(wù) 解決許多實際問題 圖 像 信 息 處 理 研 究 室 2014 10 03 47 1988年 Linsker在感知器網(wǎng)絡(luò)上提出了一種新的自組織理論 在Shanno信息論的基礎(chǔ)上 形成了最大互信息理論 Linsker 的論文重新點燃了基于神經(jīng)網(wǎng)絡(luò)的信息應(yīng)用理論的光芒 尤 其對Bell和Sejnowski提出的盲源分離問題 Blind Source Separation Problem 的信息應(yīng)用理論產(chǎn)生了影響 同時激起許 多學(xué)者去探索用其他信息理論模型去解決各自廣泛領(lǐng)域中的 問題 該種方法稱為盲反卷積 Blind Deconvolution 1989年 Mead的 Analog VLSI and Neural System 一書出版 這本書將生物神經(jīng)和集成電路結(jié)合在一起 給出了硅視網(wǎng)膜 和硅耳蝸 圖 像 信 息 處 理 研 究 室 2014 10 03 48 二十世紀(jì)九十年代初期 Vapnik和合作者們發(fā)明了一類計 算功能強(qiáng)大的有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò) 用于解決模式識別 回歸 及密度估測問題 這種網(wǎng)絡(luò)被稱為支持向量機(jī) Support Vector Machines SVM 以有限樣本學(xué)習(xí)理論的結(jié)論為基 礎(chǔ) 支持向量機(jī)的新特征在于Vapnik Chervonenkis VC 維特征蘊(yùn)含在向量機(jī)的設(shè)計中 VC維數(shù)為衡量神經(jīng)網(wǎng) 絡(luò)樣本學(xué)習(xí)能力提供了一種有效的量度 深度學(xué)習(xí) 圖 像 信 息 處 理 研 究 室 2014 10 03 49 神經(jīng)網(wǎng)絡(luò)的研究熱潮 1987年6月 在美國加州舉行了第一屆NN國際會議 有 一千多名學(xué)者參加 并成立了國際NN學(xué)會 以后每年召 開兩次國際聯(lián)合NN大會 IJCNN 其他國際學(xué)術(shù)會議 也都列有NN主題 較有影響的國際學(xué)術(shù)刊物有 IEEE Transaction on Neural Network Neural Network 圖 像 信 息 處 理 研 究 室 2014 10 03 50 美國IBM AT T 貝爾實驗室 神經(jīng)計算機(jī)公司 各高校 美國政府制定了 神經(jīng) 信息 行為科學(xué) NIBS 計劃 投資5 5億美元作為第六代計算機(jī)的基礎(chǔ)研究 美國科學(xué)基金 會 NSF 海軍研究局 ONR 和空軍科學(xué)研究部 AFOSR 三家投資一千萬美元 美國國防部DARPA認(rèn)為 NN 看來是解決機(jī)器智能的唯一希望 這是一項比原子彈 工程更重要的技術(shù) 投資四億美元 主要研究目標(biāo) 目標(biāo)識別與跟蹤 連續(xù)語音識別 聲納信號 辨別 圖 像 信 息 處 理 研 究 室 2014 10 03 51 日本的富士通 日本電氣 日立 三菱 東芝急起直追 1988年日本提出了所謂的人類尖端科學(xué)計劃 Human Frontier Science Program 即第六代計算機(jī)研究計劃 法國提出了 尤里卡 計劃 德國的 歐洲防御 蘇聯(lián)的 高技術(shù)發(fā)展 圖 像 信 息 處 理 研 究 室 2014 10 03 52 我國于1989年在北京召開了一個非正式的NN會議 1990年 12月在北京召開了中國NN大會 1991年在南京成立了中國 NN學(xué)會 由國內(nèi)十五個一級學(xué)會共同發(fā)起 攜手探智能 聯(lián)盟攻大關(guān) 863高技術(shù)研究計劃 自然科學(xué)基金 國防科技預(yù)研基金也 都列入了NN研究內(nèi)容 圖 像 信 息 處 理 研 究 室 2014 10 03 53 人工智能簡介 人工智能簡介 人工智能的發(fā)展簡史 人工智能與人工神經(jīng)網(wǎng)絡(luò) 圖 像 信 息 處 理 研 究 室 2014 10 03 54 人工智能是用計算機(jī)模型模擬思維功能的科學(xué) AI是計算 機(jī)科學(xué)的一個重要分支 是跨學(xué)科的前沿科學(xué) 涉及到心 理學(xué) 腦生理學(xué) 計算機(jī)科學(xué) 哲學(xué)等學(xué)科 廣義人工智能的定義為 通過對人類智力活動奧秘的探索 與記憶思維機(jī)理的研究 以實現(xiàn)兩方面的目的 1 開發(fā)人類智力活動的潛能 2 探討用各種 電氣的 光學(xué)的 生物的甚至機(jī)械的 機(jī) 器模擬人類智能的途徑 使人類的智能得以物化與延伸 圖 像 信 息 處 理 研 究 室 2014 10 03 55 1 表示 知識存儲 2 推理 用存儲知識解決問題 3 學(xué)習(xí) 通過經(jīng)驗獲取新知識 表表 示示 學(xué)學(xué) 習(xí)習(xí) 推推 理理 人工智能的三個關(guān)鍵部分 圖 像 信 息 處 理 研 究 室 2014 10 03 56 人工智能發(fā)展簡史 1946年第一臺通用電子數(shù)字計算機(jī)ENIAC誕生 1948年N Wiener所著的 Cybernetics 一書出版 C E Shannon創(chuàng)立 了信息論 1950年A Turing明確提出機(jī)器能思維的觀點 并設(shè)計了 圖 靈測驗 1951年M L Missky提出了關(guān)于思維如何萌發(fā)和形成的一些 基本理論 并建造了一臺學(xué)習(xí)機(jī)Snarc 1956年初C E Shannon和J McCarthy收集了關(guān)于 思維 機(jī) 器研究的13篇論文 匯編成 Automata Studies 一書出版 這一切先驅(qū)性的開創(chuàng)工作為人工智能的產(chǎn)生奠定了基礎(chǔ) 圖 像 信 息 處 理 研 究 室 2014 10 03 57 1956年夏季 作為東道主的J McCarthy聯(lián)合哈佛大學(xué)的M L Missky Bell實驗室的C E Shannon IBM公司的N Lochester 并邀請了IBM公司的T More A L Samuel MIT的O Selfridge R Solomonff Carnagie工科大學(xué)的A Newell和H A Simon在Dartmoth大學(xué)召開了關(guān)于用機(jī)器模擬 人類智能問題的研討會 在這次會上第一次正式使用了人 工智能這一術(shù)語 標(biāo)志著人工智能學(xué)科的誕生 圖 像 信 息 處 理 研 究 室 2014 10 03 58 1956年Newell Shaw和Simon編寫了名為 Logic Theorist 簡稱LP 的程序 它可以證明命題邏輯中的定理 用該 程序證明了由編寫的A N Whitehead和B A W Russel合著 的數(shù)學(xué)名著 數(shù)學(xué)原理 一書第2章中52個定理的38個定理 受到了高度的評價 認(rèn)為它是用計算機(jī)探討人類智力活動 的第一個真正的成果 也是圖靈關(guān)于機(jī)器可以具有智能這一 論斷的第一個實際的證明 圖 像 信 息 處 理 研 究 室 2014 10 03 59 1956年A L Samuel研制成功具有自學(xué)習(xí) 自組織和自適應(yīng) 能力的跳棋程序 該程序和LP的程序都是第一次在計算機(jī)上 運(yùn)行的啟發(fā)式程序 并發(fā)表了著名的關(guān)于機(jī)器學(xué)習(xí)的論文 Some Studies in Machine Learning Using Game of Checkers 后人將A L Samuel稱為 機(jī)器學(xué)習(xí)之父 同年N Chomsky提出了一種文法的數(shù)學(xué)模型 開創(chuàng)了形式語 言的研究 圖 像 信 息 處 理 研 究 室 2014 10 03 60 1958年J McCarthy到MIT任職 與M L Missky組建了世界上 第一個人工智能實驗室 J McCarthy建議 在他稱之為 意 見采納者 的系統(tǒng)中 采用謂詞演算這種語言來表示和運(yùn)用 知識 從此 謂詞演算和一些它的變形構(gòu)成了人工智能知識 表示的基礎(chǔ) 1959年J McCarthy基于A Church的 演算和H A Simon和A Newell首創(chuàng)的 表結(jié)構(gòu) 開發(fā)了著名的LISP語言 LISt Processing language 它不僅能進(jìn)行數(shù)值處理 更能方便地處 理符號 成為人工智能界第一個廣為流行的語言 圖 像 信 息 處 理 研 究 室 2014 10 03 61 1960年Newell Shaw和Simon等人通過心理學(xué)實驗 發(fā)現(xiàn)了 人在解題時的思維過程 基于這一發(fā)現(xiàn) 他們編制了通用 問題求解的程序 General Problem Solving GPS 該程序 可以解11種不同類型的課題 使啟發(fā)式程序有了較大的普 適性 1961年M L Missky發(fā)表了著名的 走向人工智能的步驟 論文 極大地推動了人工智能的發(fā)展 圖 像 信 息 處 理 研 究 室 2014 10 03 62 1968年Standfort大學(xué)的E Feigenbaum教授領(lǐng)導(dǎo)的課題組研制 成功了一個化學(xué)質(zhì)譜分析的專家系統(tǒng)DENDRAL 它可以根 據(jù)所提供的化學(xué)分子式和質(zhì)譜分析圖來預(yù)測有機(jī)物分子的結(jié) 構(gòu) DENDRAL系統(tǒng)的成功 為AI開拓了一個新的研究領(lǐng)域 專家系統(tǒng) Expert System ES ES是一個具有大量的專門知識 并能夠利用這些知識解決特 定領(lǐng)域中需要由專家才能解決的那些問題的計算機(jī)程序 ES 實現(xiàn)了AI從理論研究走向?qū)嶋H應(yīng)用 圖 像 信 息 處 理 研 究 室 2014 10 03 63 從通用問題求解的程序 General Problem Solving GPS 誕 生到專家系統(tǒng)的不斷出現(xiàn) 表明以邏輯為基礎(chǔ)的符號計算 處 理 方法 無論在智能模擬上 還是在智能系統(tǒng)的建造上都同 樣能取得成功 20世紀(jì)70年代其他 專家系統(tǒng) 相繼出現(xiàn) 包括醫(yī)療診斷專 家系統(tǒng) 計算機(jī)結(jié)構(gòu)設(shè)計專家系統(tǒng) 符號積分與定理證明專 家系統(tǒng) 鉆井?dāng)?shù)據(jù)分析專家系統(tǒng)和電話電纜維護(hù)專家系統(tǒng)等 等 這些系統(tǒng)的性能與同類專家的智能不相上下 圖 像 信 息 處 理 研 究 室 2014 10 03 64 1969年 由國際上許多學(xué)術(shù)團(tuán)體共同發(fā)起成立了國際人工 智能聯(lián)合會議 International Joint Conferences on Artificial Intelligence IJCAI 并決定以后每兩年召開一次國際人工 智能學(xué)術(shù)會議 這標(biāo)志著人工智能作為一門獨立學(xué)科已經(jīng) 得到國際學(xué)術(shù)界的認(rèn)可 1970年國際性的人工智能專業(yè)雜志 Artificial Intelligence 創(chuàng)刊 這是由IJCAI主辦的雙月刊 這一切對開展人工智能 國際學(xué)術(shù)活動 促進(jìn)入工智能的研究和發(fā)展起到了重大的 積極作用 圖 像 信 息 處 理 研 究 室 2014 10 03 65 1973年由A Colmerauer領(lǐng)導(dǎo)的研究小組在法國馬塞大學(xué)研制 成功了世界上第一個Prolog系統(tǒng) 它是繼LISP之后最主要的 人工智能語言 在人工智能領(lǐng)域有著廣泛的應(yīng)用 后被日本 的第五代計算機(jī)選為核心語言 1974年M L Missky提出了框架理論 其核心是以框架這種形 式來表示知識 1975年E H Shortliffe提出了確定性理論 圖 像 信 息 處 理 研 究 室 2014 10 03 66 1976年A Newell和H A Simon提出了物理符號系統(tǒng)假設(shè) 認(rèn)為物理系統(tǒng)表現(xiàn)智能行為的充要條件是它是一個物理符號 系統(tǒng) 創(chuàng)立了人工智能的 符號主義學(xué)派 1976年Standfort大學(xué)國際人工智能中心的R D Duda提出了 主觀貝葉斯理論 并將其應(yīng)用于所研制的地質(zhì)勘探專家系統(tǒng) PROSPECTOR中 圖 像 信 息 處 理 研 究 室 2014 10 03 67 1977年在第五屆國際人工智能聯(lián)合會議上E Feigenbaum正式 提出了知識工程 Knowledge Engineering KE 的概念 并 預(yù)言20世紀(jì)80年代是專家系統(tǒng)發(fā)展的黃金時期 這一思想成 功地指導(dǎo)了許多智能系統(tǒng)的研制 并被廣泛應(yīng)用于各個領(lǐng)域 也被稱為 專家系統(tǒng)與知識工程之父 在開發(fā)專家系統(tǒng)的過程中 許多研究者獲得共識 即人工智 能系統(tǒng)是一個知識處理系統(tǒng) 而知識表示 知識利用和知識 獲取則成為人工智能系統(tǒng)的三個基本問題 圖 像 信 息 處 理 研 究 室 2014 10 03 68 1978年L A Zadeh提出了可能性理論 1980年在MIT召開了 The Workshop on Distributed Artificial Intelligence 提出了分布式人工智能 Distributed Artificial Intelligence DAI 的概念 就是要創(chuàng)建大粒度的協(xié)作群體 共同工作以對某一問題進(jìn)行求解 分布式人工智能分為 分布式問題求解 Distributed Problem Solving DPS 和 多 主 體 系 統(tǒng) Multi Agent System MAS 圖 像 信 息 處 理 研 究 室 2014 10 03 69 1981年J A Barnett引入專家系統(tǒng)的證據(jù)理論 1984年A Bundy提出了發(fā)生率計算以及假設(shè)推理 定性推 理和證據(jù)空間理論 1984年 IBM 360系列計算機(jī)的總設(shè)計師和總指揮 時任 美國國防科學(xué)委員會AI攻關(guān)領(lǐng)導(dǎo)小組成員的F B Brooks提 出了面向現(xiàn)實環(huán)境的 無需表示和推理的 行為人工智 能 認(rèn)為研制可適應(yīng)環(huán)境的 機(jī)器蟲 比空想智能機(jī)器 人要好 主張從智能體與環(huán)境的交互即現(xiàn)場中研究智能現(xiàn) 象 以解決人工智能中的難題 圖 像 信 息 處 理 研 究 室 2014 10 03 70 20世紀(jì)80年代初 美國 歐洲和日本都先后制訂了一批針對 AI的大型計劃 其目的是為了實現(xiàn)AI的進(jìn)一步突破 其中最 典型的是以PROLOG語言為核心的并行智能推理機(jī) 日本 第五代計算機(jī)計劃 它所追求的是推理執(zhí)行速度 另外還有 美國的陸地自主車 Autonomous Land Vehicle ALV 計劃 CYC計算機(jī)大百科全書計劃等 但這些計劃中的多數(shù)執(zhí)行 到80年代中期就開始面臨重重困難 看不出有能達(dá)到預(yù)想目 標(biāo)的可能 進(jìn)一步分析便發(fā)現(xiàn) 這些困難不只是個別項目的 問題 而是涉及AI研究的根本性問題 圖 像 信 息 處 理 研 究 室 2014 10 03 71 總的來講是兩個問題 一是所謂的交互 Interaction 問題 即 傳統(tǒng)方法只能模擬人類深思熟慮的行為 而不包括人與環(huán)境 的交互行為 另一個問題是擴(kuò)展 Scaling Up 問題 即所謂的 大規(guī)模的問題 傳統(tǒng)的人工智能方法只適合于建造領(lǐng)域狹窄 的專家系統(tǒng) 不能把這種方法簡單地推廣到規(guī)模更大 領(lǐng)域 更寬的復(fù)