信息融合技術(shù)

智能信息處理系列講座

－－信息融合技術(shù)

(InformationFusion)

合肥工業(yè)大學圖像信息處理研究室Tel:2901393Email:images@

http://images./

胡良梅主要內(nèi)容信息融合概述D-S證據(jù)理論應(yīng)用實例研究現(xiàn)狀和發(fā)展方向參考文獻色、香、味（視覺、嗅覺、味覺、經(jīng)驗知識）

望、聞、問、切（視覺、聽覺、觸覺、專家知識……）人腦的信息融合功能人類本能地具有將人體的各種功能器官（眼、耳、鼻、四肢）所探測的信息（景物、聲音、氣味和觸覺）與先驗知識進行綜合的能力，以便對周圍的環(huán)境和正在發(fā)生的事件做出估計。這一處理過程是復雜的，也是自適應(yīng)的，它將各種信息（圖像、聲音、氣味、物理形狀、描述）轉(zhuǎn)化成對環(huán)境的有價值的解釋。1.信息融合概述融合（Fusion)

采集并集成各種信息源、多媒體和多格式信息，從而生成完整、準確、及時和有效的綜合信息過程研究領(lǐng)域：智能信息處理技術(shù)優(yōu)勢應(yīng)用綜合性橫斷學科

技術(shù)優(yōu)勢可擴展系統(tǒng)的時間和空間覆蓋范圍可增加系統(tǒng)的信息利用率可提高經(jīng)融合的信息的可信度和精度可增強對目標物的檢測與識別能力可降低系統(tǒng)的投資應(yīng)用軍事應(yīng)用自動目標識別、自動導航、遙感、戰(zhàn)場監(jiān)視和自動危險識別系統(tǒng)

非軍事應(yīng)用智能交通系統(tǒng)；工業(yè)過程監(jiān)視；工業(yè)機器人及智能儀器系統(tǒng)；金融系統(tǒng)；圖像分析與理解；醫(yī)學應(yīng)用；

自動目標識別（包括生物特征認證）

綜合性橫斷學科數(shù)字信號處理統(tǒng)計估算控制理論人工智能經(jīng)典數(shù)學方法

1.1基本原理充分利用多個傳感器資源，通過對這些傳感器及其觀測信息的合理支配和使用，把多個傳感器在時間或空間上的冗余或互補信息依據(jù)某種準則來進行組合，以獲得被測對象的一致性解釋或描述，使該信息系統(tǒng)由此而獲得比它的各組成部分的子集所構(gòu)成的系統(tǒng)更優(yōu)越的性能其它術(shù)語：相關(guān)(Correlation)、合成(Integration)、混合(Commixture)、合并(Merging)、協(xié)同(Synergy)

生物特征識別系統(tǒng)

多傳感器，即利用不同的傳感器來提取同一生物特征的信號；多種生物特征系統(tǒng)，如人臉和指紋的結(jié)合；同一生物特征的不同部分，如雙手、十指或兩只虹膜的結(jié)合；同一生物特征的不同樣本，如同一手指的不同指??；同一生物特征輸入信號的多個特征和匹配算法的結(jié)合

多模態(tài)1.2信息融合的方法和技術(shù)相關(guān)技術(shù)估計理論識別技術(shù)

(1)物理類型類識別技術(shù)

(2)參數(shù)分類識別技術(shù)

(3)認知模型類識別技術(shù)Texonomyofdetection,classfication,andidentificationalgorithms1.3融合的層次結(jié)構(gòu)數(shù)據(jù)層融合特征層融合

(1)目標狀態(tài)融合

(2)目標特性融合決策層融合其它數(shù)據(jù)層融合

直接在采集到的原始數(shù)據(jù)層上進行融合，在各種傳感器的原始測報未經(jīng)預處理之前就進行數(shù)據(jù)的綜合與分析。低層次的融合應(yīng)用：多源圖像復合、圖像分析與理解、同類（同質(zhì)）雷達波形的直接合成方法：經(jīng)典的檢測和估計方法難點：圖像配準（Registration）特征層融合目標狀態(tài)融合

目標特性融合

先對來自傳感器的原始信息進行特征提?。ㄌ卣骺梢允悄繕说倪吘墶⒎较?、速度等），然后對特征信息進行綜合分析和處理

目標狀態(tài)融合應(yīng)用：目標跟蹤領(lǐng)域方法：卡爾曼濾波和擴展卡爾曼濾波

目標特性融合應(yīng)用：模式識別問題方法：模式識別的相應(yīng)技術(shù)（如參數(shù)模板法、特征壓縮和聚類算法、K階最近鄰、神經(jīng)網(wǎng)絡(luò)、模糊積分）決策層融合每個傳感器在本地完成預處理、特征抽取、識別或判決等處理，建立對所觀察目標的初步結(jié)論，然后通過關(guān)聯(lián)處理、決策層融合判決，最終獲得聯(lián)合推斷結(jié)果方法：

貝葉斯推斷、D－S證據(jù)推理理論、模糊集理論、專家系統(tǒng)方法、人工神經(jīng)網(wǎng)絡(luò)應(yīng)用：目標識別說明：對于特定的應(yīng)用選擇在哪一個層次進行融合是一個系統(tǒng)工程問題，需要綜合考慮通信帶寬、信源的特點、可用的計算資源等方面的因素影響。不存在能夠適用于所有情況或應(yīng)用的普遍結(jié)構(gòu)。

生物特征認證系統(tǒng)FU：fusionmoduleMM：matchingmoduleDM：decisionmodule多模態(tài)特征層融合信度層融合決策層融合1.4體系結(jié)構(gòu)集中式融合（centralizedfusion)

多個傳感器提供的數(shù)據(jù)在融合處理器中進行關(guān)聯(lián)、相關(guān)、跟蹤、估計分類等操作自主式融合（autonomousfusion）

每個傳感器獨立地進行輸入信號的特征提取、目標分類、確認和跟蹤，將輸入到融合處理器混合式融合（hybridfusion）集中式融合每個傳感器向融合處理器提供預處理的數(shù)據(jù)。再對數(shù)據(jù)進行關(guān)聯(lián)或相關(guān)以確定哪些傳感器的觀測是針對同一物理實體或目標的。一旦做出觀測數(shù)據(jù)的關(guān)聯(lián)，就對數(shù)據(jù)進行融合

自主式融合每個傳感器進行單源（SingleSource）位置估計，得到一個狀態(tài)向量，即每個傳感器都根據(jù)它自己的觀測數(shù)據(jù)對目標的位置和速度做出一個估計。然后根據(jù)這些狀態(tài)向量通過信息融合程序獲得基于多傳感器的聯(lián)合狀態(tài)向量估計。

混合式融合具有最大的靈活性，但要求對融合過程進行全局的監(jiān)視以及在原始數(shù)據(jù)融合和狀態(tài)向量融合之間進行選擇和切換。

說明如何在這幾種體系結(jié)構(gòu)中進行選擇從原則上說是系統(tǒng)工程問題。不存在對于任何一個具體的信息融合應(yīng)用都滿足最優(yōu)化要求的單一結(jié)構(gòu)，在進行融合體系結(jié)構(gòu)的選擇時必須綜合考慮計算資源、可用的通信帶寬、精度要求、傳感器的能力以及可用的資金成本等多方面的因素

2.D-S證據(jù)理論

D-S證據(jù)理論是在A.P.Dempster于1967年提出的“上、下概率”及其合成規(guī)則的基礎(chǔ)上，由G.Shafer在其1976年出版的專著《證據(jù)的數(shù)學理論》中建立的，20世紀80年代，它就在人工智能領(lǐng)域引起了廣泛的應(yīng)用，逐漸發(fā)展為一類重要的不確定性推理方法，可用于目標檢測、分類和識別。

基本概念基本概率賦值

置信度

似真度鑒別框架

命題A的D-S不確定性區(qū)間

解

釋[0,1]對命題A一無所知[0.6,0.6]命題A的確切概率為0.6[0,0]命題A為假[1,1]命題A為真[0.25,1]證據(jù)提供對命題A的部分支持[0,0.85]證據(jù)提供對的部分支持[0.25,0.85]證據(jù)同時支持A和Dempster準則例：D-S證據(jù)理論的特點依靠證據(jù)的積累，不斷地縮小假設(shè)集

能夠?qū)ⅰ安恢馈焙汀安淮_定”區(qū)分開來

要求每個證據(jù)是相互獨立的

關(guān)鍵：每個證據(jù)體對命題的基本概率賦值

3.應(yīng)用實例圖像融合多模態(tài)生物特征識別形狀識別3.1圖像融合采用特定的算法將兩幅或多幅圖像中的信息合并起來，生成新的圖像。如可見光圖像和紅外圖像的融合、以及可見光或紅外遙感圖像與合成孔徑雷達圖像的結(jié)合等。包括像素層、特征層和決策層的融合。

圖像融合算法考慮如何結(jié)合來自源圖像的信號，像素或特征從而產(chǎn)生一幅融合的圖像，是圖像融合系統(tǒng)的核心。其他處理過程也會系統(tǒng)的成功與否及其性能產(chǎn)生決定性的影響。

Imageregistration，Pre-processing，Post-processingSAR圖像數(shù)據(jù)小波變換光學圖像數(shù)據(jù)匹配處理匹配處理小波變換逆小波變換解譯二組小波系數(shù)中選大，輸出一組小波系數(shù)基于小波變換的特征層圖像融合實例

基于小波變換的圖像融合（Waveletfusion）Image1Image2FusedImage

讀目標圖像，得T(r,g,b)讀源圖像，得S(r,g,b)

將RGB值轉(zhuǎn)換成互不關(guān)聯(lián)的luv空間值，記作T(l,u,v)將RGB值轉(zhuǎn)換成互不關(guān)聯(lián)的luv空間值，記作S(l,u,v)對S(l,u,v)進行亮度處理再采樣，并計算每一采樣點在其7x7鄰域內(nèi)的平均值和標準偏差匹配匹配后目標圖像的luv值f(l,u,v)={T(l),S(u),S(v)}并轉(zhuǎn)換成RGB，得偽彩色圖像計算每一像素在其7x7鄰域內(nèi)的平均值和標準偏差流程圖夜視圖像彩色化融合算法目標圖像a源圖像1偽彩色圖像1實驗結(jié)果常用的圖像融合算法像素級加權(quán)平均法多分辨率方法之金字塔分解

高斯金字塔

拉普拉斯金字塔

對比度金字塔融合

低通比率金字塔融合多分辨率方法之小波變換方法圖像融合：圖像分割胡良梅,高雋,安良,胡勇.基于D-S證據(jù)理論的模糊聚類圖像融合分割.合肥工業(yè)大學學報，27(7):721-724,2004安良.模糊理論及其在圖像分割中的應(yīng)用研究.合肥工業(yè)大學計算機與信息學院碩士學位論文.2003思路：對圖像的點灰度特征和塊灰度特征分別進行模糊C均值聚類，將各自的模糊隸屬度轉(zhuǎn)化為單一假設(shè)或復合假設(shè)并得到其基本概率賦值，再利用D-S證據(jù)理論進行融合分割。實驗結(jié)果表明該算法的分割效果優(yōu)于傳統(tǒng)的模糊聚類分割算法。

基于D-S證據(jù)理論的模糊聚類圖像分割算法

FCMFCMImageFusion：EdgedetectionHULiangmei,GAOJun,HEKefeng,XIEZhao.ImageFusionUsingD-SEvidenceTheoryandANOVAMethod.Proceedingsofthe2005IEEEInternationalConferenceonInformationAcquisition，HongKongandMacau,China,June27-July3,2005:427-431Problem：ANOVAmethodissomehowsensitivetothresholdcoefficientkandmightnoteliminatethisuncertaintyfrominformationofsingleoriginalimagealoneEdgedetectionbasedonD-SEvidenceTheoryandANOVAMethodExperimentalresulttwooriginalout-of-focusclockimages

多模態(tài)生物特征認證胡勇,高雋,胡良梅.一種基于手形和指紋的多模態(tài)生物特征識別系統(tǒng).第十三屆全國神經(jīng)網(wǎng)絡(luò)學術(shù)大會，北京：人民郵電出版社，2003，360~363思路：以指紋圖像的方向場和手形圖像的特征為基礎(chǔ)構(gòu)建了一種多模態(tài)生物特征識別系統(tǒng)。該系統(tǒng)分別使用硬C均值聚類和模糊Knn方法作為識別層。以決策模板方法對多模態(tài)的信息進行融合。仿真實驗結(jié)果表明，該系統(tǒng)具有較高的識別率和拒偽率。

基于指紋和手形的多模態(tài)生物特征識別系統(tǒng)框圖

多分類器的形狀識別HULiangmei,GAOJun,WANGAndong,HUYong.ANeuralNetworkShapeRecognitionSystemBasedonD-STheory.TheIEEE6thInternationalConferenceOnIntelligentTransportationSystems,Shanghai,China,524-528,Oct.12-15,2003KeyWords:D-STheory,RBFN,ShapeRecognitionNetworkstructure

LayerL1,composedofnunits,computesthesimilarityoftheinputpatternXandnprototypepatterns.Layer

L2computestheBBA(BasicBeliefAssignment)associatedwithprototypepatterni.Layer

L3combinesthen

BBAsaccordingtoDempster’sRule.神經(jīng)網(wǎng)絡(luò)分類器基于D-S證據(jù)理論的4研究現(xiàn)狀和發(fā)展方向4.1研究現(xiàn)狀

國際：從1973年開始迅速發(fā)展。1985年以來，先后出版了10余部有關(guān)信息融合方法的專著。國內(nèi)：80年代末開始出現(xiàn)有關(guān)多傳感器信息融合技術(shù)研究的報導。90年代初，這一領(lǐng)域在國內(nèi)才逐漸形成高潮。

美國是信息融合技術(shù)起步較早、發(fā)展最快的國家1984年成立了信息融合專家組。1988年，美國國防部把信息融合技術(shù)列為九十年代重點發(fā)展研究開發(fā)的二十項關(guān)鍵技術(shù)之一，且列為最優(yōu)先發(fā)展的A類。1998年成立的國際信息融合學會（InternationalSocietyofInformationFusion，ISIF）總部設(shè)在美國，每年舉行一次信息融合國際學術(shù)大會。美國國防部自從在海灣戰(zhàn)爭實際體會到了信息融合技術(shù)的巨大潛力之后，更加重視信息自動綜合處理技術(shù)的研究，在C3I（Command,Control,CommunicationandIntelligence）中增加了計算機，建立以信息融合中心為核心的C4I(Command,Control,Communication,ComputationandIdentification)。其它西方國家也普遍重視信息融合技術(shù)的研究英國陸軍開發(fā)了諸如炮兵智能信息融合系統(tǒng)（AIDD）、機動和控制系統(tǒng)（WAVELL）等，并于1982年提出研制“海軍知識庫作戰(zhàn)指揮系統(tǒng)”；1987年又與西德等歐洲五國制定了聯(lián)合開展“具有決策控制的多傳感器信號與知識綜合系統(tǒng)（SKIDS）”的研究計劃。法、德等北約國家在這方面的研究工作也十分活躍，如湯姆遜公司已將信息融合技術(shù)應(yīng)用于MARTHA防空指揮控制系統(tǒng)中。德國已在“豹2”坦克的改進計劃中采用了信息融合、人工智能等關(guān)鍵技術(shù)。4.2發(fā)展方向建立信息融合的基本理論，編撰信息融合辭典，規(guī)范領(lǐng)域術(shù)語和定義；

研究并完善兼有魯棒性和準確性的融合算法；以模糊理論、神經(jīng)網(wǎng)絡(luò)、證據(jù)理論為代表的智能方法將是信息融合中比較有發(fā)展前途的幾種數(shù)學工具；大系統(tǒng)中的信息融合技術(shù)，如算法分類和層次劃分問題等；

發(fā)展并完善JDL模型，以解決現(xiàn)有JDL模型所不能處理的非軍事應(yīng)用問題；

4.2發(fā)展方向（續(xù)）信息融合中的數(shù)據(jù)庫和知識庫技術(shù)的研究；針對具體應(yīng)用問題，建立信息融合中的數(shù)據(jù)庫和知識庫，研究高速并行推理機制，是信息融合技術(shù)工程化及實際應(yīng)用中的關(guān)鍵問題，是未來的研究重點之一。建立系統(tǒng)設(shè)計的工程指導方針，研究信息融合系統(tǒng)的工程實現(xiàn)；信息融合系統(tǒng)是一個具有強烈不確定性的復雜大系統(tǒng)，如何根據(jù)現(xiàn)有理論、技術(shù)、設(shè)備，保證融合系統(tǒng)的精確性、實時性以及低成本是未來研究的重點之一。4.2發(fā)展方向（續(xù)）建立信息融合系統(tǒng)的設(shè)計和評估方法。應(yīng)