多源信息融合理論及技術(shù)發(fā)展

1、多源信息融合多源信息融合目錄目錄一、多源信息融合的一般概念與定義一、多源信息融合的一般概念與定義 二、信息融合的社會需求二、信息融合的社會需求三、信息融合系統(tǒng)的模型和結(jié)構(gòu)三、信息融合系統(tǒng)的模型和結(jié)構(gòu)四、多源信息融合主要技術(shù)和方法四、多源信息融合主要技術(shù)和方法 五、發(fā)展起源、現(xiàn)狀與未來五、發(fā)展起源、現(xiàn)狀與未來 自然界異類多傳感信息融合自然界異類多傳感信息融合演繹活動演繹活動大腦大腦記憶記憶先驗知識先驗知識規(guī)則規(guī)則推理能力推理能力眼睛眼睛耳朵耳朵舌頭舌頭鼻子鼻子手手 自然界同類多傳感信息融合自然界同類多傳感信息融合u左目和右目的視覺傳感器分別獲取二維圖象信息，經(jīng)大腦融合后產(chǎn)生立體圖象信息u左耳和右

2、耳的聽覺傳感器分別獲取一維聲音信息，經(jīng)大腦融合后產(chǎn)生立體聲音信息u大腦對圖象信息和聲音信息進一步融合后產(chǎn)生新的認知結(jié)果大腦：信息融合中心左耳聲音傳感器右耳聲音傳感器左目圖象傳感器右目圖象傳感器對象自然界多傳感信息融合的本質(zhì)自然界多傳感信息融合的本質(zhì)自然界中人和動物感知客觀對象，不是單純依靠一種感自然界中人和動物感知客觀對象，不是單純依靠一種感官，而是多個感官的綜合。人類的視覺、聽覺、觸覺、嗅覺官，而是多個感官的綜合。人類的視覺、聽覺、觸覺、嗅覺和味覺，實際上是通過不同感官獲取客觀對象的不同信息，和味覺，實際上是通過不同感官獲取客觀對象的不同信息，然后由大腦對這些信息進行交融，得到一種綜合的感知

3、信息。然后由大腦對這些信息進行交融，得到一種綜合的感知信息。這種把多個感官信息進行交融的過程就是多源信息融合。千這種把多個感官信息進行交融的過程就是多源信息融合。千古流傳的瞎子摸象的故事，就是因為缺少視覺信息，瞎子們古流傳的瞎子摸象的故事，就是因為缺少視覺信息，瞎子們的大腦對不完全信息進行融合的結(jié)果，難以避免地產(chǎn)生了對的大腦對不完全信息進行融合的結(jié)果，難以避免地產(chǎn)生了對大象認知的偏差。大象認知的偏差。信息融合的定義一信息融合的定義一信息融合就是由多種信息源如傳感器、數(shù)據(jù)庫、知識信息融合就是由多種信息源如傳感器、數(shù)據(jù)庫、知識庫和人類本身獲取有關(guān)信息，并進行濾波、相關(guān)、和集成，庫和人類本身獲取有關(guān)

4、信息，并進行濾波、相關(guān)、和集成，從而形成一個表示構(gòu)架，這種構(gòu)架適合于獲得有關(guān)決策，從而形成一個表示構(gòu)架，這種構(gòu)架適合于獲得有關(guān)決策，如對信息的解釋，達到系統(tǒng)目標（例如識別、跟蹤或態(tài)勢如對信息的解釋，達到系統(tǒng)目標（例如識別、跟蹤或態(tài)勢評估），傳感器管理和系統(tǒng)控制等。（評估），傳感器管理和系統(tǒng)控制等。（W.A. Sander） 信息融合的定義二信息融合的定義二信息融合就是一個過程，處理由單個或多個信息源獲信息融合就是一個過程，處理由單個或多個信息源獲得的數(shù)據(jù)或信息，進行關(guān)聯(lián)、相關(guān)和組合，從而提高位置得的數(shù)據(jù)或信息，進行關(guān)聯(lián)、相關(guān)和組合，從而提高位置和特性估計的精度，以及完成對態(tài)勢和威脅及其重要性的

5、和特性估計的精度，以及完成對態(tài)勢和威脅及其重要性的適時評估。這種過程是根據(jù)對估計和評估的不斷精練，對適時評估。這種過程是根據(jù)對估計和評估的不斷精練，對增加信息源的評判，以及對過程本身的修正來表征的，從增加信息源的評判，以及對過程本身的修正來表征的，從而達到改善結(jié)果的目的。而達到改善結(jié)果的目的。 信息融合的定義三信息融合的定義三目前所研究的多傳感信息融合，主要是指利用計算機進目前所研究的多傳感信息融合，主要是指利用計算機進行多源信息處理，從而得到可綜合利用信息的理論和方法，其行多源信息處理，從而得到可綜合利用信息的理論和方法，其中也包含對自然界人和動物大腦進行多傳感信息融合機理的探中也包含對自然

6、界人和動物大腦進行多傳感信息融合機理的探索。其關(guān)鍵問題，就是提出一種理論和方法，對具有相似或不索。其關(guān)鍵問題，就是提出一種理論和方法，對具有相似或不同特征模式的多源信息進行處理，以獲得具有相關(guān)和集成特性同特征模式的多源信息進行處理，以獲得具有相關(guān)和集成特性的融合信息。研究的重點是特征識別和算法，這些算法導致多的融合信息。研究的重點是特征識別和算法，這些算法導致多傳感信息的互補集成，改善不確定環(huán)境中的決策過程，解決把傳感信息的互補集成，改善不確定環(huán)境中的決策過程，解決把數(shù)據(jù)用于確定共用時間和空間框架的信息理論問題，同時用來數(shù)據(jù)用于確定共用時間和空間框架的信息理論問題，同時用來解決模糊的和矛盾的問

7、題。解決模糊的和矛盾的問題。 二、信息融合發(fā)展的社會需求二、信息融合發(fā)展的社會需求p 空中目標偵察與預警空中目標偵察與預警p 智能交通與智能車輛智能交通與智能車輛p目標識別與身份認證目標識別與身份認證p 機器人機器人p 圖像融合與圖像重構(gòu)圖像融合與圖像重構(gòu)p 智能傳感與智能控制智能傳感與智能控制空中目標偵察與預警空中目標偵察與預警促進多傳感信息融合理論發(fā)展的主要動因之一是現(xiàn)代戰(zhàn)促進多傳感信息融合理論發(fā)展的主要動因之一是現(xiàn)代戰(zhàn)爭的迫切需要。由于現(xiàn)代武器系統(tǒng)具有機動性高、隱蔽性好、爭的迫切需要。由于現(xiàn)代武器系統(tǒng)具有機動性高、隱蔽性好、電子對抗性能強等特征，用于偵察和跟蹤敵方目標的預警系電子對抗性能

8、強等特征，用于偵察和跟蹤敵方目標的預警系統(tǒng)必須采用雷達、紅外、視頻、音頻等多傳感檢測，同時聯(lián)統(tǒng)必須采用雷達、紅外、視頻、音頻等多傳感檢測，同時聯(lián)絡(luò)各個檢測點的不同數(shù)據(jù)進行融合，著重研究的問題包括可絡(luò)各個檢測點的不同數(shù)據(jù)進行融合，著重研究的問題包括可靠準確的目標獲取、跟蹤、身份識別、智能處理、后勤計劃、靠準確的目標獲取、跟蹤、身份識別、智能處理、后勤計劃、維修計劃、指揮與控制等。尤其是針對敵方巡航導彈和飛機維修計劃、指揮與控制等。尤其是針對敵方巡航導彈和飛機低空飛行的現(xiàn)代空中預警系統(tǒng)通常由雷達、通信、導航、指低空飛行的現(xiàn)代空中預警系統(tǒng)通常由雷達、通信、導航、指揮控制、敵我識別、數(shù)據(jù)處理和電子對抗

9、等設(shè)備構(gòu)成，具有揮控制、敵我識別、數(shù)據(jù)處理和電子對抗等設(shè)備構(gòu)成，具有搜索、監(jiān)視、跟蹤和指揮攻擊等多種功能。采用信息融合技搜索、監(jiān)視、跟蹤和指揮攻擊等多種功能。采用信息融合技術(shù)，以達到精確目標獲取、識別和跟蹤的目的術(shù)，以達到精確目標獲取、識別和跟蹤的目的 ?？罩心繕藗刹炫c預警空中目標偵察與預警網(wǎng)絡(luò)聯(lián)系的現(xiàn)代戰(zhàn)場網(wǎng)絡(luò)聯(lián)系的現(xiàn)代戰(zhàn)場現(xiàn)代戰(zhàn)爭提供一切獲現(xiàn)代戰(zhàn)爭提供一切獲取信息的手段，包括取信息的手段，包括雷達、紅外攝象機、雷達、紅外攝象機、光學攝象機、通信設(shè)光學攝象機、通信設(shè)施、計算機網(wǎng)絡(luò)等，施、計算機網(wǎng)絡(luò)等，并對所獲取的信息進并對所獲取的信息進行融合，以得到最佳行融合，以得到最佳可利用信息。手持式可

10、利用信息。手持式入網(wǎng)計算機是十分理入網(wǎng)計算機是十分理想的工具。想的工具?？罩心繕藗刹炫c預警空中目標偵察與預警全場景預警全場景預警美國國防部的一份研究美國國防部的一份研究報告認為，報告認為， 按照現(xiàn)代戰(zhàn)按照現(xiàn)代戰(zhàn)爭的概念，必須在戰(zhàn)場爭的概念，必須在戰(zhàn)場上按正確時間向戰(zhàn)士提上按正確時間向戰(zhàn)士提供正確信息，包括各種供正確信息，包括各種傳感信息和由之產(chǎn)生的傳感信息和由之產(chǎn)生的融合信息。融合信息。 實時圖象 微觀氣象移動目標 集成信息物理模型 動態(tài)數(shù)據(jù)庫微型傳感器無線通信下一代因特網(wǎng)空中目標偵察與預警空中目標偵察與預警現(xiàn)代戰(zhàn)爭中的現(xiàn)代戰(zhàn)爭中的機敏傳感網(wǎng)絡(luò)機敏傳感網(wǎng)絡(luò)適應(yīng)范圍適應(yīng)范圍: 城市街巷城市街巷,

11、 地鐵、地鐵、下水道下水道, 困難的農(nóng)困難的農(nóng)村地域村地域, 濃霧地區(qū)濃霧地區(qū), 跟蹤慢目標和快跟蹤慢目標和快目標目標, 快速反應(yīng)快速反應(yīng)空中目標偵察與預警空中目標偵察與預警 1-1-目標跟蹤雷達目標跟蹤雷達2-2-導彈導引雷達導彈導引雷達3-3-計算機計算機4-4-導彈發(fā)射架導彈發(fā)射架 只有正確估計目標未來的運動軌跡，才有可能正確擊中目標；只有正確估計目標未來的運動軌跡，才有可能正確擊中目標； 過去總是假定目標作勻速直線運動，這對于相對低機動的飛機等目標運過去總是假定目標作勻速直線運動，這對于相對低機動的飛機等目標運動是正確的，但對于巡航導彈之類的高機動運動目標，這一假設(shè)將完全無動是正確的，

12、但對于巡航導彈之類的高機動運動目標，這一假設(shè)將完全無效；效； 目標的運動方程一般太目標的運動方程一般太復雜（用上百個狀態(tài)變復雜（用上百個狀態(tài)變量的非線性微分方程描量的非線性微分方程描述），而目標的控制行述），而目標的控制行為不確定，估計難度極為不確定，估計難度極大；大； 雙方可能有對抗行為，雙方可能有對抗行為，相互規(guī)避；相互規(guī)避； 現(xiàn)代戰(zhàn)爭的群攻群防改現(xiàn)代戰(zhàn)爭的群攻群防改變了戰(zhàn)場以往作戰(zhàn)的模變了戰(zhàn)場以往作戰(zhàn)的模式，使得多目標運動狀式，使得多目標運動狀態(tài)估計成為新的問題。態(tài)估計成為新的問題。目標跟蹤目標跟蹤空中目標偵察與預警空中目標偵察與預警空中攔截是現(xiàn)代空中攔截是現(xiàn)代戰(zhàn)爭的又一特點，戰(zhàn)爭的又一

13、特點，其關(guān)鍵技術(shù)是對其關(guān)鍵技術(shù)是對敵方目標運動軌敵方目標運動軌跡的精確估計，跡的精確估計，其次才是精確控其次才是精確控制我方攻擊武器制我方攻擊武器的運動過程，達的運動過程，達到攔截的目的；到攔截的目的； 由于敵方目標運動的高速和高度機動性，空中攔截無異于由于敵方目標運動的高速和高度機動性，空中攔截無異于“針尖對麥芒針尖對麥芒”； 對于洲際導彈而言，對敵方目標的搜索、發(fā)現(xiàn)、識別和跟蹤對于洲際導彈而言，對敵方目標的搜索、發(fā)現(xiàn)、識別和跟蹤具有更大的困難；具有更大的困難； 電子對抗的強干擾，使得目標的發(fā)現(xiàn)和跟蹤變得更加復雜。電子對抗的強干擾，使得目標的發(fā)現(xiàn)和跟蹤變得更加復雜?？罩心繕藬r截空中目標攔截智

14、能交通與智能車輛智能交通與智能車輛車輛自動導航車輛自動導航促進信息融合理論發(fā)展的另一個重要因素是現(xiàn)代民促進信息融合理論發(fā)展的另一個重要因素是現(xiàn)代民用高科技發(fā)展的需求。繁忙復雜的現(xiàn)代城市交通和用高科技發(fā)展的需求。繁忙復雜的現(xiàn)代城市交通和快速便捷的高速公路，以及未來將要出現(xiàn)的自動車快速便捷的高速公路，以及未來將要出現(xiàn)的自動車輛系統(tǒng)（輛系統(tǒng)（AVS），均要求建立智能交通系統(tǒng)（），均要求建立智能交通系統(tǒng)（ATS）進行智能監(jiān)測和控制，同樣要求對車輛運行進行交進行智能監(jiān)測和控制，同樣要求對車輛運行進行交通監(jiān)視和跟蹤，更需要多傳感信息融合。未來自動通監(jiān)視和跟蹤，更需要多傳感信息融合。未來自動車輛系統(tǒng)異類傳感

15、器包括視頻傳感器、激光掃描儀車輛系統(tǒng)異類傳感器包括視頻傳感器、激光掃描儀和雷達傳感器等，融合的目的在于把目標輸入到路和雷達傳感器等，融合的目的在于把目標輸入到路徑規(guī)劃與制導系統(tǒng)中去。徑規(guī)劃與制導系統(tǒng)中去。 智能交通與智能車輛智能交通與智能車輛日本的車輛駕駛支持系統(tǒng)日本的車輛駕駛支持系統(tǒng)智能交通與智能車輛智能交通與智能車輛智能交通系統(tǒng)中的多傳感智能交通系統(tǒng)中的多傳感智能交通與智能車輛智能交通與智能車輛未來的智能交通系統(tǒng)未來的智能交通系統(tǒng)智能交通與智能車輛智能交通與智能車輛DEMO 無人駕無人駕駛車輛駛車輛的多傳感信的多傳感信息融合，傳感器包息融合，傳感器包括：括：p聲音傳感器聲音傳感器p立體攝像

16、機立體攝像機p彩色彩色CCD攝像機攝像機p背部攝像機背部攝像機p激光雷達激光雷達p檢測雷達檢測雷達智能交通與智能車輛智能交通與智能車輛自動車輛自動車輛前激光掃描儀前激光掃描儀三光束激光掃描儀三光束激光掃描儀車輛制導系統(tǒng)的信息融合車輛制導系統(tǒng)的信息融合智能交通與智能車輛智能交通與智能車輛碰撞報警與規(guī)避系統(tǒng)碰撞報警與規(guī)避系統(tǒng)該系統(tǒng)的多傳感包括：該系統(tǒng)的多傳感包括：l 計算機視覺計算機視覺l 聲納聲納IR掃描儀掃描儀l 多多CPU網(wǎng)絡(luò)網(wǎng)絡(luò)l 音頻與視頻監(jiān)測報警音頻與視頻監(jiān)測報警器器l 節(jié)流變形與制動沖擊節(jié)流變形與制動沖擊 l 激光雷達與激光雷達與MMW雷雷達達目標識別與身份認證目標識別與身份認證現(xiàn)代

17、戰(zhàn)爭還要求現(xiàn)代戰(zhàn)爭還要求空中偵察與預警系空中偵察與預警系統(tǒng)能對敵方目標進統(tǒng)能對敵方目標進行識別，以便有針行識別，以便有針對性進行攻防；而對性進行攻防；而現(xiàn)代身份認證系統(tǒng)現(xiàn)代身份認證系統(tǒng)也要求能對人或物也要求能對人或物進行識別和辨認。進行識別和辨認。這些都需要多傳感這些都需要多傳感信息融合技術(shù)的支信息融合技術(shù)的支持。持。目標識別與身份認證目標識別與身份認證0102030 4000 3500 3000 2500 2000 1500 1000 500 Arbitrary SB / Wavenumber (cm-1)Overlay X-Zoom CURSORFile # 4 : S6_00350AVG

18、 Res=NoneAVERAGED = Multifile Subfiles 譜圖譜圖音頻傳感音頻傳感地震傳感地震傳感熱像傳感熱像傳感目標目標視頻傳感視頻傳感運動目標識別的多傳感信息融合運動目標識別的多傳感信息融合目標識別與身份認證目標識別與身份認證面部認證面部認證聲音認證聲音認證一般用戶界面一般用戶界面超級用戶訪問界面超級用戶訪問界面身份認證的多源信息融合身份認證的多源信息融合目標識別與身份認證目標識別與身份認證 利用面部識別利用面部識別 (面部面部)、語音上下文無關(guān)、語音上下文無關(guān) (語音語音TI)和語音上下文相關(guān)和語音上下文相關(guān)(語音語音TD)的幾種信息源進行融合的結(jié)果比較的幾種信息源進

19、行融合的結(jié)果比較融合模式融合模式錯誤接受率錯誤接受率(%)錯誤拒絕率錯誤拒絕率 (%)面部面部7.767.25語音語音TI1.605.00語音語音TD0.01.48面部面部, 語音語音TI1.180.0面部面部, 語音語音TD1.180.0語音語音TI, 語音語音TD0.380.5面部面部, 語音語音TI, 語音語音TD0.780.0身份認證融合結(jié)果比較身份認證融合結(jié)果比較目標識別與身份認證目標識別與身份認證音頻音頻特征特征視頻視頻特征特征 決策決策 邏輯邏輯 決策決策 邏輯邏輯 融合融合 決策邏輯決策邏輯 認證認證音頻模型音頻模型視頻模型視頻模型基于音頻和視頻信息融合的身份識別基于音頻和視頻

20、信息融合的身份識別機器人機器人 機器人作為人類機器人作為人類20世世紀最偉大的發(fā)明之一，在短紀最偉大的發(fā)明之一，在短短的短的40年內(nèi)發(fā)生了日新月異年內(nèi)發(fā)生了日新月異的變化。機器人已經(jīng)不僅成的變化。機器人已經(jīng)不僅成為先進制造業(yè)不可缺少的自為先進制造業(yè)不可缺少的自動化裝備，而且正以驚人的動化裝備，而且正以驚人的速度向海洋、航空、航天、速度向海洋、航空、航天、軍事、農(nóng)業(yè)、服務(wù)、娛樂等軍事、農(nóng)業(yè)、服務(wù)、娛樂等各個領(lǐng)域滲透。信息融合是各個領(lǐng)域滲透。信息融合是機器人的現(xiàn)代支撐技術(shù)之一，機器人的現(xiàn)代支撐技術(shù)之一，它為多傳感器的綜合利用提它為多傳感器的綜合利用提供了最有效的技術(shù)手段。供了最有效的技術(shù)手段。 火

21、星探測器上的機器人火星探測器上的機器人“漫游者漫游者” 機器人機器人軍用機器人戰(zhàn)車軍用機器人戰(zhàn)車搬運和裝配工業(yè)機器人搬運和裝配工業(yè)機器人機器人機器人 智能機器人智能機器人 智能移動機器人是高級機器人。智能移動機器人是高級機器人。智能移動機器人集人工智能、智智能移動機器人集人工智能、智能控制、信息處理、圖像處理、能控制、信息處理、圖像處理、檢測與轉(zhuǎn)換、信息融合等技術(shù)為檢測與轉(zhuǎn)換、信息融合等技術(shù)為一體，跨計算機、自動控制、機一體，跨計算機、自動控制、機械、電子等多學科，成為當前機械、電子等多學科，成為當前機器人研究的熱點之一。智能移動器人研究的熱點之一。智能移動機器人可分為室外和室內(nèi)兩種。機器人可

22、分為室外和室內(nèi)兩種。室外智能移動機器人又稱自主陸室外智能移動機器人又稱自主陸地車輛或無人駕駛車輛。地車輛或無人駕駛車輛。 多傳感信息融合是智能多傳感信息融合是智能移動機器人的關(guān)鍵技術(shù)之一移動機器人的關(guān)鍵技術(shù)之一。圖10.4.7 AIBO寵物機器人焊焊接接智智能能機機器器人人寵物智能機器人寵物智能機器人機器人機器人智能機器人涉及控制工程、計算機、人工智能、傳感、新材料、仿生技智能機器人涉及控制工程、計算機、人工智能、傳感、新材料、仿生技術(shù)等多種學科，主要研究分支有擬人智能技術(shù)，未知環(huán)境信息獲取、理解和術(shù)等多種學科，主要研究分支有擬人智能技術(shù)，未知環(huán)境信息獲取、理解和控制的新機制理論，復雜環(huán)境中的

23、機器人自主工作新方法，人機接口，機器控制的新機制理論，復雜環(huán)境中的機器人自主工作新方法，人機接口，機器人的智能體系結(jié)構(gòu)、多傳感器機器人系統(tǒng)、裝配機器人、微操作機器人、微人的智能體系結(jié)構(gòu)、多傳感器機器人系統(tǒng)、裝配機器人、微操作機器人、微機器人，基于網(wǎng)絡(luò)的機器人遙操作系統(tǒng)等。機器人，基于網(wǎng)絡(luò)的機器人遙操作系統(tǒng)等。智能機器人智能機器人機器人機器人利用高速視利用高速視覺反饋的抓覺反饋的抓取機器人取機器人圖像融合與圖像重構(gòu)圖像融合與圖像重構(gòu)由原始圖像得到更多的圖像信息。圖像融合是由原始圖像得到更多的圖像信息。圖像融合是遙感地遙感地理分布資源信息提煉、理分布資源信息提煉、戰(zhàn)場可視化、預警系統(tǒng)、戰(zhàn)場可視化、

24、預警系統(tǒng)、醫(yī)學三維醫(yī)學三維圖像重構(gòu)圖像重構(gòu)、機器人視覺等領(lǐng)域非常需要的先進技術(shù)、機器人視覺等領(lǐng)域非常需要的先進技術(shù)，是一，是一個很有發(fā)展前景的方向。個很有發(fā)展前景的方向。圖像融合在機器視覺監(jiān)視系統(tǒng)中的應(yīng)用圖像融合在機器視覺監(jiān)視系統(tǒng)中的應(yīng)用（a a）可見光圖像）可見光圖像（b b）熱紅外圖像）熱紅外圖像（c c）融合圖像）融合圖像圖像融合與圖像重構(gòu)圖像融合與圖像重構(gòu)Reference: S. B. Serpico and F. Roli, “Classification of multisensor remote-sensing images by structured neural netwo

25、rks”, IEEE Trans. Geosci. Remote Sensing, vol. 33, pp. 562-578, May 1995.使用和不使用多傳感信息融合使用和不使用多傳感信息融合得到的分類結(jié)果比較得到的分類結(jié)果比較光學數(shù)據(jù)集光學數(shù)據(jù)集 (ATM傳感器傳感器)SAR 數(shù)據(jù)集數(shù)據(jù)集傳感器傳感器總精度（總精度（%）SAR74.0ATM80.0SAR+ATM 89.8圖像融合例圖像融合例1圖像融合與圖像重構(gòu)圖像融合與圖像重構(gòu)SAR 圖像圖像 (1994年年4月月)光學與光學與 SAR 圖像圖像 (1994年年5月月)使用和不使用多時段信息融合使用和不使用多時段信息融合得到的分類平均

26、精度比較得到的分類平均精度比較 %Reference: L. Bruzzone, D. F. Prieto and S. B. Serpico, “A neural-statistical approach to multitemporal and multisource remote-sensing image classification”, IEEE Trans. Geosci. Remote Sensing, vol. 37, pp. 1350-1359, May 1999.有融合有融合 無融合無融合4月圖像月圖像75.16 92.165月圖像月圖像89.58 89.43圖像融合例圖像

27、融合例2 食道壁超聲食道壁超聲成象信息融合，成象信息融合，即利用超聲傳感即利用超聲傳感形成二維圖象，形成二維圖象，然后利用融合技然后利用融合技術(shù)使之進行三維術(shù)使之進行三維重構(gòu)食道圖象，重構(gòu)食道圖象，為醫(yī)療診斷和治為醫(yī)療診斷和治療提供了重要技療提供了重要技術(shù)手段術(shù)手段圖像融合與圖像重構(gòu)圖像融合與圖像重構(gòu) 三維重構(gòu)食道圖象三維重構(gòu)食道圖象 (a)健康切片健康切片 (b)切片輪廓線切片輪廓線 (a)非健康切片非健康切片 (b)切片輪廓線切片輪廓線融合融合 系統(tǒng)結(jié)構(gòu)圖系統(tǒng)結(jié)構(gòu)圖 信息獲取并進行融合信息獲取并進行融合醫(yī)學圖像重構(gòu)醫(yī)學圖像重構(gòu)三、信息融合系統(tǒng)的模型和結(jié)構(gòu)三、信息融合系統(tǒng)的模型和結(jié)構(gòu)p 融合

28、系統(tǒng)模式融合系統(tǒng)模式p 推斷技術(shù)的遞階結(jié)構(gòu)推斷技術(shù)的遞階結(jié)構(gòu)p 融合系統(tǒng)的分類融合系統(tǒng)的分類p 集中式融合系統(tǒng)結(jié)構(gòu)集中式融合系統(tǒng)結(jié)構(gòu)p 自主式融合系統(tǒng)結(jié)構(gòu)自主式融合系統(tǒng)結(jié)構(gòu)p 混合式融合系統(tǒng)結(jié)構(gòu)混合式融合系統(tǒng)結(jié)構(gòu)源信息預處理信息源局部信息分布信息國家信息INTEL EW SONAR RADAR . . . DATA BASES第一級處理 目標識別 態(tài)勢評估 沖突評價 過程優(yōu)化 人機接口 信息融合模式 數(shù)據(jù)庫管理系統(tǒng)支持數(shù)據(jù)庫用戶融合系統(tǒng)模式融合系統(tǒng)模式融合數(shù)據(jù)庫第二級處理第三級處理第四級處理推斷技術(shù)的遞階結(jié)構(gòu)推斷技術(shù)的遞階結(jié)構(gòu)推斷類型推斷類型應(yīng)用技術(shù)應(yīng)用技術(shù)- 威脅分析威脅分析- 態(tài)勢評估態(tài)勢

29、評估- 實體的行為與關(guān)系實體的行為與關(guān)系-一個實體的身份一個實體的身份, ,特征與位置特征與位置- 一個實體的存在與可量測特征一個實體的存在與可量測特征高高低低- 基于知識的技術(shù)基于知識的技術(shù) - 決策層次的技術(shù)決策層次的技術(shù)- 估計技術(shù)估計技術(shù)- 信號處理技術(shù)信號處理技術(shù)-專家系統(tǒng)- 腳本,框架,模版-基于案例的推理-一般算法- 等.- 神經(jīng)網(wǎng)絡(luò)- 集群算法- 模糊邏輯- Bayes網(wǎng)絡(luò)-后驗概率最大化 (如 Kalman濾波 , Bayes方法), - 證據(jù)推理推斷層次融合系統(tǒng)的分類融合系統(tǒng)的分類 數(shù)據(jù)（像素）級融合數(shù)據(jù)（像素）級融合 特征級融合特征級融合 決策級融合決策級融合 以身份識別

30、系統(tǒng)為例，說以身份識別系統(tǒng)為例，說明不同類別的融合系統(tǒng)。明不同類別的融合系統(tǒng)。集中式融合系統(tǒng)結(jié)構(gòu)集中式融合系統(tǒng)結(jié)構(gòu) 在集中式系統(tǒng)結(jié)構(gòu)中，各個傳感器錄取的檢測報告在集中式系統(tǒng)結(jié)構(gòu)中，各個傳感器錄取的檢測報告直接被送到融合中心，在那里進行數(shù)據(jù)對準，點跡相直接被送到融合中心，在那里進行數(shù)據(jù)對準，點跡相關(guān)，數(shù)據(jù)關(guān)聯(lián)，航跡濾波、預測與綜合跟蹤。關(guān)，數(shù)據(jù)關(guān)聯(lián)，航跡濾波、預測與綜合跟蹤。 分布式融合系統(tǒng)結(jié)構(gòu)分布式融合系統(tǒng)結(jié)構(gòu) 分布式結(jié)構(gòu)中每個傳感器先進行數(shù)據(jù)處理分布式結(jié)構(gòu)中每個傳感器先進行數(shù)據(jù)處理產(chǎn)生局部航跡，然后把處理后的信息送至融合產(chǎn)生局部航跡，然后把處理后的信息送至融合中心完成航跡關(guān)聯(lián)和融合，形成全局

31、估計。中心完成航跡關(guān)聯(lián)和融合，形成全局估計?；旌鲜饺诤舷到y(tǒng)結(jié)構(gòu)混合式融合系統(tǒng)結(jié)構(gòu) 混合式同時傳輸探混合式同時傳輸探測報告和經(jīng)過局部節(jié)點測報告和經(jīng)過局部節(jié)點處理后的航跡信息，它處理后的航跡信息，它保留了上述兩類系統(tǒng)的保留了上述兩類系統(tǒng)的優(yōu)點。優(yōu)點。 四、多源信息融合主要技術(shù)和方法四、多源信息融合主要技術(shù)和方法u 信息融合的研究范圍信息融合的研究范圍u 信息融合的主要方法信息融合的主要方法u 多源信息融合的主要理論基礎(chǔ)多源信息融合的主要理論基礎(chǔ)信息融合的研究范圍信息融合的研究范圍 感知與感覺感知與感覺：把多個感官信息進行交融的過程。：把多個感官信息進行交融的過程。 決策決策：包括特征識別和算法，導

32、致多源信息的互補集成，改：包括特征識別和算法，導致多源信息的互補集成，改善不確定環(huán)境中的決策過程。善不確定環(huán)境中的決策過程。 邏輯與推理邏輯與推理：歸納是一個典型的多源信息融合過程。：歸納是一個典型的多源信息融合過程。 學習學習：由多個數(shù)據(jù)或案例中提取模型、模式或關(guān)系等，能夠：由多個數(shù)據(jù)或案例中提取模型、模式或關(guān)系等，能夠用于模式識別、數(shù)據(jù)挖掘、知識發(fā)現(xiàn)等方面。用于模式識別、數(shù)據(jù)挖掘、知識發(fā)現(xiàn)等方面。 統(tǒng)計統(tǒng)計：統(tǒng)計學的精髓在于為了某種目的進行數(shù)據(jù)約簡。：統(tǒng)計學的精髓在于為了某種目的進行數(shù)據(jù)約簡。 信號與圖像處理信號與圖像處理：利用多源數(shù)據(jù)進行信號的檢測與估計，包：利用多源數(shù)據(jù)進行信號的檢測與

33、估計，包括圖像重構(gòu)。括圖像重構(gòu)。 分布式網(wǎng)絡(luò)分布式網(wǎng)絡(luò)：網(wǎng)絡(luò)中不同層次的融合中心就是對來自網(wǎng)絡(luò)各：網(wǎng)絡(luò)中不同層次的融合中心就是對來自網(wǎng)絡(luò)各個結(jié)點的信息進行融合。個結(jié)點的信息進行融合。 多傳感器系統(tǒng)多傳感器系統(tǒng)：利用多種傳感器采集各種信息，包括同類信：利用多種傳感器采集各種信息，包括同類信息和異類信息，并利用計算機對多傳感信息進行有效處理，息和異類信息，并利用計算機對多傳感信息進行有效處理，以達到某種目的。以達到某種目的。信息融合的主要方法信息融合的主要方法 信號處理與估計理論方法信號處理與估計理論方法：包括小波變換技術(shù)、加權(quán)平均、：包括小波變換技術(shù)、加權(quán)平均、最小二乘、最小二乘、Kalman濾

34、波等線性估計技術(shù)，以及擴展濾波等線性估計技術(shù)，以及擴展Kalman濾波，濾波，Gauss和濾波等非線性估計技術(shù)等。近年來主要研究和濾波等非線性估計技術(shù)等。近年來主要研究UKF濾波，粒子濾波，以及期望極大化（濾波，粒子濾波，以及期望極大化（EM）算法等。）算法等。 統(tǒng)計推斷方法統(tǒng)計推斷方法：包括經(jīng)典推理、：包括經(jīng)典推理、Bayes推理、證據(jù)推理，以及推理、證據(jù)推理，以及隨機集理論、支持向量機理論等。隨機集理論、支持向量機理論等。 信息論方法信息論方法：運用優(yōu)化信息度量的手段融合多源數(shù)據(jù)，從而：運用優(yōu)化信息度量的手段融合多源數(shù)據(jù)，從而獲得問題的有效解決。典型算法有熵方法、最小描述長度方獲得問題的有

35、效解決。典型算法有熵方法、最小描述長度方法等。法等。 決策論方法決策論方法：往往應(yīng)用于高級別的決策融合。：往往應(yīng)用于高級別的決策融合。 人工智能方法人工智能方法：包括模糊邏輯、神經(jīng)網(wǎng)絡(luò)、遺傳算法、基于：包括模糊邏輯、神經(jīng)網(wǎng)絡(luò)、遺傳算法、基于規(guī)則的推理以及專家系統(tǒng)、規(guī)則的推理以及專家系統(tǒng)、 邏輯模板法、品質(zhì)因數(shù)法等。邏輯模板法、品質(zhì)因數(shù)法等。 幾何方法幾何方法：通過充分探討環(huán)境以及傳感器模型的幾何屬性來：通過充分探討環(huán)境以及傳感器模型的幾何屬性來達到多傳感信息融合的目的。達到多傳感信息融合的目的。多源信息融合的主要理論基礎(chǔ)多源信息融合的主要理論基礎(chǔ) 信號處理與估計理論信號處理與估計理論：包括：包

36、括不確定、不精確、含糊的數(shù)學分不確定、不精確、含糊的數(shù)學分支，如概率論、模糊數(shù)學、隨機集理論、粗糙集理論等；支，如概率論、模糊數(shù)學、隨機集理論、粗糙集理論等； 統(tǒng)計學統(tǒng)計學：包括：包括統(tǒng)計推斷和決策理論等統(tǒng)計推斷和決策理論等； 各種邏輯、推理和證據(jù)理論各種邏輯、推理和證據(jù)理論：包括證據(jù)推理、條件事件代數(shù)、：包括證據(jù)推理、條件事件代數(shù)、不確定性推理、可能性理論，以及近似推理等；不確定性推理、可能性理論，以及近似推理等； 認知科學與腦科學認知科學與腦科學：包括認知理論與腦科學等；：包括認知理論與腦科學等； 學習理論學習理論：包括統(tǒng)計學習和機器學習等；：包括統(tǒng)計學習和機器學習等； 計算機科學計算機科

37、學：包括人工智能和數(shù)據(jù)庫等；：包括人工智能和數(shù)據(jù)庫等； 工程工程：特別是機器人、信號與圖像處理、傳感器和網(wǎng)絡(luò)等：特別是機器人、信號與圖像處理、傳感器和網(wǎng)絡(luò)等； 其它其它：如信息論、控制論與系統(tǒng)論、神經(jīng)元網(wǎng)絡(luò)等。：如信息論、控制論與系統(tǒng)論、神經(jīng)元網(wǎng)絡(luò)等。五、發(fā)展起源、現(xiàn)狀與未來五、發(fā)展起源、現(xiàn)狀與未來n 發(fā)展起源發(fā)展起源n 現(xiàn)狀與未來現(xiàn)狀與未來n 關(guān)鍵的問題關(guān)鍵的問題n 現(xiàn)有的統(tǒng)計推斷方法及其缺陷現(xiàn)有的統(tǒng)計推斷方法及其缺陷n 新的解決思路與發(fā)展概況新的解決思路與發(fā)展概況發(fā)展起源發(fā)展起源20世紀世紀70年代，美國的研究機構(gòu)通過對多個獨立的連續(xù)聲納信號進行融合年代，美國的研究機構(gòu)通過對多個獨立的連續(xù)

38、聲納信號進行融合處理，自動檢測出敵方潛艇的位置。處理，自動檢測出敵方潛艇的位置。1985年，美國三軍組織年，美國三軍組織實驗室理事聯(lián)合會（實驗室理事聯(lián)合會（JDL）下設(shè)的技術(shù)委員會成）下設(shè)的技術(shù)委員會成立了信息融合專家組（立了信息融合專家組（DFS），專門組織和指導相關(guān)技術(shù)的研究，為統(tǒng)一），專門組織和指導相關(guān)技術(shù)的研究，為統(tǒng)一數(shù)據(jù)融合的定義、建立信息融合的公共參考框架做了大量卓有成效的工作。數(shù)據(jù)融合的定義、建立信息融合的公共參考框架做了大量卓有成效的工作。美國美國1988年起把信息融合列為重點研究和開發(fā)的年起把信息融合列為重點研究和開發(fā)的20項關(guān)鍵技術(shù)之一，且列項關(guān)鍵技術(shù)之一，且列為最優(yōu)先發(fā)展的為最優(yōu)先發(fā)展的A類。類。1998年成立的國際信息融合學會（年成立的國際信息融合學會（International Society of Information Fusion，ISIF），總部設(shè)在美國，每年都舉辦一次信息融合國際學術(shù)大會，），總部設(shè)在美國，每年都舉辦一次信息融合國際學術(shù)大會，系統(tǒng)總結(jié)該領(lǐng)域的階段性研究成果以及介紹該領(lǐng)域最新的進展。系統(tǒng)總結(jié)該領(lǐng)域的階段性研究成果以及介紹該領(lǐng)域最新的進展。20世紀世紀80年代末，國內(nèi)才開始出現(xiàn)有關(guān)多傳感信息融合技術(shù)的研究報道。年代末，國內(nèi)才開始出現(xiàn)有關(guān)多傳