傳感器與檢測技術(shù)（第5版）課件 10.5 多傳感器數(shù)據(jù)融合

10.5多傳感器數(shù)據(jù)融合10.5.1概念和意義10.5.2基本原理10.5.3層次10.5.4過程10.5.5方法10.5.1概念與意義

1．概念

2．意義

1．概念美國國防部JDL從軍事應(yīng)用的角度將數(shù)據(jù)融合定義為這樣的一個(gè)過程:把來自許多傳感器和信息源的數(shù)據(jù)進(jìn)行聯(lián)合(association)、相關(guān)（coorelation）、組合（combination）和估值的處理，以達(dá)到精確的位置估計(jì)（positionestimation）與身份估計(jì)（identityestimation），以及對(duì)戰(zhàn)場情況和威脅及其重要程度進(jìn)行適時(shí)的完整評(píng)價(jià)。定義補(bǔ)充和修改用狀態(tài)估計(jì)代替位置估計(jì)，并加入了檢測(detection)的功能，從而給出了如下定義：信息融合是一種多層次、多方面的處理過程，這個(gè)過程是對(duì)多源數(shù)據(jù)進(jìn)行檢測、結(jié)合、相關(guān)、估計(jì)和組合，以達(dá)到精確的狀態(tài)估計(jì)和身份估計(jì)，以及完整及時(shí)的態(tài)勢評(píng)估和威脅估計(jì)。定義三個(gè)要點(diǎn)：（1）數(shù)據(jù)融合是多信源、多層次的處理過程，每個(gè)層次代表信息的不同抽象程度；（2）數(shù)據(jù)融合過程包括數(shù)據(jù)的檢測、關(guān)聯(lián)、估計(jì)與合并；（3）數(shù)據(jù)融合的輸出包括低層次上的狀態(tài)身份估計(jì)和高層次上的總戰(zhàn)術(shù)態(tài)勢的評(píng)估。多傳感器數(shù)據(jù)融合包括：多傳感器的目標(biāo)探測、數(shù)據(jù)關(guān)聯(lián)、跟蹤與識(shí)別、情況評(píng)估和預(yù)測?；灸康模和ㄟ^融合得到比單獨(dú)的各個(gè)輸入數(shù)據(jù)更多的信息。這一點(diǎn)是協(xié)同作用的結(jié)果，即由于多傳感器的共同作用，使系統(tǒng)的有效性得以增強(qiáng)。實(shí)質(zhì)：一種多源信息的綜合技術(shù)，通過對(duì)來自不同傳感器的數(shù)據(jù)進(jìn)行分析和綜合，可以獲得被測對(duì)象及其性質(zhì)的最佳一致估計(jì)。多傳感器數(shù)據(jù)融合：將經(jīng)過集成處理的多種傳感器信息進(jìn)行合成，形成對(duì)外部環(huán)境某一特征的一種表達(dá)方式。多傳感器數(shù)據(jù)融合技術(shù)應(yīng)用最早是圍繞軍用系統(tǒng)開展研究的。非軍事領(lǐng)域：智能機(jī)器人、計(jì)算機(jī)視覺、水下物體探測、收割機(jī)械的自動(dòng)化、工業(yè)裝配線上自動(dòng)插件安裝、航天器中重力梯度的在線測量、信息高速公路系統(tǒng)、多媒體技術(shù)和虛擬現(xiàn)實(shí)技術(shù)、輔助醫(yī)療檢測和診斷等領(lǐng)域。2．意義主要作用可歸納為以下幾點(diǎn)：提高信息的準(zhǔn)確性和全面性。與一個(gè)傳感器相比，多傳感器數(shù)據(jù)融合處理可以獲得有關(guān)周圍環(huán)境更準(zhǔn)確、全面的信息；降低信息的不確定性，一組相似的傳感器采集的信息存在明顯的互補(bǔ)性，這種互補(bǔ)性經(jīng)過適當(dāng)處理后，可以對(duì)單一傳感器的不確定性和測量范圍的局限性進(jìn)行補(bǔ)償；提高系統(tǒng)的可靠性，某個(gè)或某幾個(gè)傳感器失效時(shí)，系統(tǒng)仍能正常運(yùn)行；增加系統(tǒng)的實(shí)時(shí)性。使用傳感器數(shù)據(jù)融合技術(shù)將使測量系統(tǒng)具有如下優(yōu)勢：（1）增加測量維數(shù)，增加置信度，提高容錯(cuò)功能，改進(jìn)系統(tǒng)的可靠性和可維護(hù)性。當(dāng)一個(gè)甚至幾個(gè)傳感器出現(xiàn)故障時(shí)，系統(tǒng)仍可利用其它傳感器獲取環(huán)境信息，以維持系統(tǒng)的正常運(yùn)行。（2）提高精度。在傳感器測量中，不可避免地存在各自各種噪聲，而同時(shí)使用描述同一特征的多個(gè)不同信息，可以減小這種由測量不精確所引起的不確定性，顯著提高系統(tǒng)的精度。

（3）擴(kuò)展了空間和時(shí)間的覆蓋，提高了空間分辯率，提高適應(yīng)環(huán)境的能力。多種傳感器可以描述環(huán)境中的多個(gè)不同特征，這些互補(bǔ)的特征信息，可以減小對(duì)環(huán)境模型理解的歧義，提高系統(tǒng)正確決策的能力。（4）改進(jìn)探測性能，增加響應(yīng)的有效性，降低了對(duì)單個(gè)傳感器的性能要求，提高信息處理的速度。在同等數(shù)量的傳感器下，各傳感器分別單獨(dú)處理與多傳感器數(shù)據(jù)融合處理相比，由于多傳感器信息融合中使用了并行結(jié)構(gòu)，采用分布式系統(tǒng)并行算法，可顯著提高信息處理的速度。（5）降低信息獲取的成本。信息融合提高了信息的利用效率，可以用多個(gè)較廉價(jià)的傳感器獲得與昂貴的單一高精度傳感器同樣甚至更好的效果，因此可大大降低系統(tǒng)的成本。9.5多傳感器數(shù)據(jù)融合9.5.1概念和意義9.5.2基本原理9.5.3層次9.5.4過程9.5.5方法10.5.2基本原理

充分利用多個(gè)傳感器資源，通過對(duì)這些傳感器及其觀測信息的合理支配和使用，把多個(gè)傳感器在空間或時(shí)間上的冗余或互補(bǔ)信息依據(jù)某種準(zhǔn)則來進(jìn)行組合，以獲得比它的各組成部分的子集所構(gòu)成的系統(tǒng)更優(yōu)越的性能。多傳感器數(shù)據(jù)融合技術(shù)可以對(duì)不同類型的數(shù)據(jù)和信息在不同層次上進(jìn)行綜合，它處理的不僅僅是數(shù)據(jù)，還可以是證據(jù)和屬性等。多傳感器數(shù)據(jù)融合并不是簡單的信號(hào)處理。信號(hào)處理可以歸屬于多傳感器數(shù)據(jù)融合的第一階段，即信號(hào)預(yù)處理階段。10.5多傳感器數(shù)據(jù)融合10.5.1概念和意義10.5.2基本原理10.5.3層次10.5.4過程10.5.5方法10.5.3層次

數(shù)據(jù)融合層次的劃分主要有兩種方法。第一種方法是將數(shù)據(jù)融合劃分為低層（數(shù)據(jù)級(jí)或像素級(jí)）、中層（特征級(jí)）和高層（決策級(jí)）。另一種方法將是將傳感器集成和數(shù)據(jù)融合劃分為信號(hào)級(jí)、證據(jù)級(jí)和動(dòng)態(tài)級(jí)。數(shù)據(jù)級(jí)融合(或像素級(jí)融合)對(duì)傳感器的原始數(shù)據(jù)及預(yù)處理各階段上產(chǎn)生的信息分別進(jìn)行融合處理。盡可能多地保持了原始信息，能夠提供其它兩個(gè)層次融合所不具有的細(xì)微信息。局限性：由于所要處理的傳感器信息量大，故處理代價(jià)高；融合是在信息最低層進(jìn)行的，由于傳感器的原始數(shù)據(jù)的不確定性、不完全性和不穩(wěn)定性，要求在融合時(shí)有較高的糾錯(cuò)能力；由于要求各傳感器信息之間具有精確到一個(gè)像素的配準(zhǔn)精度，故要求傳感器信息來自同質(zhì)傳感器；通信量大。特征級(jí)融合利用從各個(gè)傳感器原始數(shù)據(jù)中提取的特征信息，進(jìn)行綜合分析和處理的中間層次過程。通常所提取的特征信息應(yīng)是數(shù)據(jù)信息的充分表示量或統(tǒng)計(jì)量，據(jù)此對(duì)多傳感器信息進(jìn)行分類、匯集和綜合。特征級(jí)融合分類：目標(biāo)狀態(tài)信息融合目標(biāo)特性融合。特征級(jí)融合分類：

目標(biāo)狀態(tài)信息融合主要應(yīng)用于多傳感器目標(biāo)跟蹤領(lǐng)域。融合系統(tǒng)首先對(duì)傳感器數(shù)據(jù)進(jìn)行預(yù)處理以完成數(shù)據(jù)配準(zhǔn)。數(shù)據(jù)配準(zhǔn)后，融合處理主要實(shí)現(xiàn)參數(shù)相關(guān)和狀態(tài)矢量估計(jì)。目標(biāo)特性融合特征層聯(lián)合識(shí)別，具體的融合方法仍是模式識(shí)別的相應(yīng)技術(shù)，只是在融合前必須先對(duì)特征進(jìn)行相關(guān)處理，對(duì)特征矢量進(jìn)行分類組合。在模式識(shí)別、圖像處理和計(jì)算機(jī)視覺等領(lǐng)域，已經(jīng)對(duì)特征提取和基于特征的分類問題進(jìn)行了深入的研究，有許多方法可以借用。決策級(jí)融合在信息表示的最高層次上進(jìn)行的融合處理。不同類型的傳感器觀測同一個(gè)目標(biāo)，每個(gè)傳感器在本地完成預(yù)處理、特征抽取、識(shí)別或判斷，以建立對(duì)所觀察目標(biāo)的初步結(jié)論，然后通過相關(guān)處理、決策級(jí)融合判決，最終獲得聯(lián)合推斷結(jié)果，從而直接為決策提供依據(jù)。因此，決策級(jí)融合是直接針對(duì)具體決策目標(biāo)，充分利用特征級(jí)融合所得出的目標(biāo)各類特征信息，并給出簡明而直觀的結(jié)果。決策級(jí)融合優(yōu)點(diǎn)：實(shí)時(shí)性最好在一個(gè)或幾個(gè)傳感器失效時(shí)仍能給出最終決策，因此具有良好的容錯(cuò)性。10.5多傳感器數(shù)據(jù)融合10.5.1概念和意義10.5.2基本原理10.5.3層次10.5.4過程10.5.5方法10.5.4過程首先將被測對(duì)象它們轉(zhuǎn)換為電信號(hào)，然后經(jīng)過A／D變換將它們轉(zhuǎn)換為數(shù)字量。數(shù)字化后電信號(hào)需經(jīng)過預(yù)處理，以濾除數(shù)據(jù)采集過程中的干擾和噪聲。對(duì)經(jīng)處理后的有用信號(hào)作特征抽取，再進(jìn)行數(shù)據(jù)融合；或者直接對(duì)信號(hào)進(jìn)行數(shù)據(jù)融合。最后，輸出融合的結(jié)果。10.5多傳感器數(shù)據(jù)融合10.5.1概念和意義10.5.2基本原理10.5.3層次10.5.4過程10.5.5方法10.5.5方法1.加權(quán)平均2.卡爾曼濾波3．貝葉斯估計(jì)4.多貝葉斯方法5.統(tǒng)計(jì)決策理論6.Dempster-Shafer證據(jù)推理法7.模糊邏輯法8.產(chǎn)生式規(guī)則法9.神經(jīng)網(wǎng)絡(luò)方法1.加權(quán)平均加權(quán)平均是最簡單、最直觀的數(shù)據(jù)融合方法。該方法將一組傳感器提供的冗余信息進(jìn)行加權(quán)平均，結(jié)果作為融合值。2.卡爾曼濾波應(yīng)用：融合低層的實(shí)時(shí)動(dòng)態(tài)多傳感器冗余數(shù)據(jù)。該方法應(yīng)用測量模型的統(tǒng)計(jì)特性遞推地確定融合數(shù)據(jù)的估計(jì)，且該估計(jì)在統(tǒng)計(jì)意義下是最優(yōu)的。如果系統(tǒng)可以用一個(gè)線性模型描述，且系統(tǒng)與傳感器的誤差均符合高斯白噪聲模型，則卡爾曼濾波將為融合數(shù)據(jù)提供唯一的統(tǒng)計(jì)意義下的最優(yōu)估計(jì)。濾波器的遞推特性使得它特別適合在那些不具備大量數(shù)據(jù)存儲(chǔ)能力的系統(tǒng)中使用。應(yīng)用領(lǐng)域：目標(biāo)識(shí)別、機(jī)器人導(dǎo)航、多目標(biāo)跟蹤、慣性導(dǎo)航和遙感等?？柭鼮V波器應(yīng)用應(yīng)用卡爾曼濾波器對(duì)n個(gè)傳感器的測量數(shù)據(jù)進(jìn)行融合后，既可以獲得系統(tǒng)的當(dāng)前狀態(tài)估計(jì)，又可以預(yù)報(bào)系統(tǒng)的未來狀態(tài)。所估計(jì)的系統(tǒng)狀態(tài)可能表示移動(dòng)機(jī)器人的當(dāng)前位置、目標(biāo)的位置和速度、從傳感器數(shù)據(jù)中抽取的特征或?qū)嶋H測量值本身。

3．貝葉斯估計(jì)

貝葉斯估計(jì)是融合靜態(tài)環(huán)境中多傳感器低層信息的常用方法。它使傳感器信息依據(jù)概率原則進(jìn)行組合，測量不確定性以條件概率表示。當(dāng)傳感器組的觀測坐標(biāo)一致時(shí)，可以用直接法對(duì)傳感器測量數(shù)據(jù)進(jìn)行融合。大多數(shù)情況下，傳感器是從不同的坐標(biāo)系對(duì)同一環(huán)境物體進(jìn)行描述，這時(shí)傳感器測量數(shù)據(jù)要以間接方式采用貝葉斯估計(jì)進(jìn)行數(shù)據(jù)融合。4.多貝葉斯方法

Durrant－Whyte將任務(wù)環(huán)境表示為不確定幾何物體集合的多傳感器模型，提出了傳感器信息融合的多貝葉斯估計(jì)方法。多貝葉斯估計(jì)把每個(gè)傳感器作為一個(gè)貝葉斯估計(jì)，將各單獨(dú)物體的關(guān)聯(lián)概率分布組合成一個(gè)聯(lián)合后驗(yàn)概率分布函數(shù)，通過使聯(lián)合分布函數(shù)的似然函數(shù)最小，可以得到多傳感器信息的最終融合值。

5.統(tǒng)計(jì)決策理論

與多貝葉斯估計(jì)不同，統(tǒng)計(jì)決策理論中的不確定性為可加噪聲，從而不確定性的適應(yīng)范圍更廣。不同傳感器觀測到的數(shù)據(jù)必須經(jīng)過一個(gè)魯棒綜合測試以檢驗(yàn)它的一致性，經(jīng)過一致性檢驗(yàn)的數(shù)據(jù)用魯棒極值決策規(guī)則融合。6.Dempster-Shafer證據(jù)推理法由Dempster首先提出，由Shafer發(fā)展 一種不精確推理理論，貝葉斯方法的擴(kuò)展。貝葉斯方法必須給出先驗(yàn)概率， 證據(jù)理論則能夠處理這種由不知道引起的不確定性。在多傳感器數(shù)據(jù)融合系統(tǒng)中，每個(gè)信息源提供了一組證據(jù)和命題，并且建立了一個(gè)相應(yīng)的質(zhì)量分布函數(shù)。因此，每一個(gè)信息源就相當(dāng)于一個(gè)證據(jù)體。在同一個(gè)鑒別框架下，將不同的證據(jù)體通過Dempster合并規(guī)則并成一個(gè)新的證據(jù)體，并計(jì)算證據(jù)體的似真度，最后用某一決策選擇規(guī)則，獲得最后的結(jié)果。7.模糊邏輯法模糊邏輯實(shí)質(zhì)上是一種多值邏輯，在多傳感器數(shù)據(jù)融合中，將每個(gè)命題及推理算子賦予0到1間的實(shí)數(shù)值，以表示其在登記處融合過程中的可信程度，又被稱為確定性因子，然后使用多值邏輯推理法，利用各種算子對(duì)各種命題（即各傳感源提供的信息）進(jìn)行合并運(yùn)算，從而實(shí)現(xiàn)信息的融合。8.產(chǎn)生式規(guī)則法人工智能中常用的控制方法。產(chǎn)生式規(guī)則法中的規(guī)則一般要通過對(duì)具體使用的傳感器的特性及環(huán)境特性進(jìn)行分析后歸納出來的，不具有一般性，即系統(tǒng)改換或增減傳感器時(shí)，其規(guī)則要重新產(chǎn)生。特點(diǎn)：系統(tǒng)擴(kuò)展性較差，但推理較明了，易于系統(tǒng)解釋，所以也有廣泛的應(yīng)用范圍。9.神經(jīng)網(wǎng)絡(luò)方法模擬人類大腦而產(chǎn)生的一種信息處理技術(shù)，它采用大量以一定方式相互連接和相互作用的簡單處理單元（即神經(jīng)元）來處理信息。神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的容錯(cuò)性和自組織、自學(xué)習(xí)、自適應(yīng)能力，能夠?qū)崿F(xiàn)復(fù)雜的映射。神經(jīng)網(wǎng)絡(luò)的優(yōu)越性和強(qiáng)大的非線性處理能力，能夠很好的滿足多傳感器數(shù)據(jù)融合技術(shù)的要求。特點(diǎn)：具有統(tǒng)一的內(nèi)部知識(shí)表示形式，通過學(xué)習(xí)方法可將網(wǎng)絡(luò)獲得的傳感器信息進(jìn)行融合，獲得相關(guān)網(wǎng)絡(luò)的參數(shù)（如連接權(quán)矩陣、節(jié)點(diǎn)偏移向量等），并且可將知識(shí)規(guī)則轉(zhuǎn)換成數(shù)字形式，便于建立知識(shí)庫；利用外部環(huán)境的信息，便于實(shí)現(xiàn)知識(shí)自動(dòng)獲取及進(jìn)行聯(lián)想推理；能夠?qū)⒉淮_定環(huán)境的復(fù)雜關(guān)系，經(jīng)過學(xué)習(xí)推理，融合為系統(tǒng)能理解的準(zhǔn)確信號(hào)；神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行處理信息的能力，使得系統(tǒng)信息處理速度很快?；谏窠?jīng)網(wǎng)絡(luò)的多傳感器信息融合

處理過程如下：(l)用選定的N個(gè)傳感器檢測系統(tǒng)狀態(tài)；(2)采集N個(gè)傳感器的測量信號(hào)并進(jìn)行預(yù)處理；(3)對(duì)預(yù)處理后的N個(gè)傳感器信號(hào)進(jìn)行特征選擇；(4)對(duì)特征信號(hào)進(jìn)行歸一化處理，為神經(jīng)網(wǎng)絡(luò)的輸入提供標(biāo)準(zhǔn)形式；(5)將歸一化的特征信息與已知的系統(tǒng)狀態(tài)信息作為訓(xùn)練樣本，送神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到滿足要求為止。該訓(xùn)練好的網(wǎng)絡(luò)作為已知網(wǎng)絡(luò)，只要將歸一化的多傳感器特征信息作為輸入送人該網(wǎng)絡(luò)，則網(wǎng)絡(luò)輸出就是被測系統(tǒng)的