物聯(lián)網(wǎng)技術(shù)-第6章-物聯(lián)網(wǎng)數(shù)據(jù)融合及管理

《物聯(lián)網(wǎng)技術(shù)》課件

第6章物聯(lián)網(wǎng)

數(shù)據(jù)融合及管理2023年2月6日電子工業(yè)出版社劉化君劉傳清編著《物聯(lián)網(wǎng)技術(shù)》教材配套課件62023年2月6日第6章物聯(lián)網(wǎng)數(shù)據(jù)融合及管理6.1何謂數(shù)據(jù)融合6.1.1數(shù)據(jù)融合的概念6.1.2物聯(lián)網(wǎng)中的數(shù)據(jù)融合與處理6.2數(shù)據(jù)融合的基本原理及層次結(jié)構(gòu)6.2.1數(shù)據(jù)融合的基本原理6.2.2物聯(lián)網(wǎng)中數(shù)據(jù)融合的層次結(jié)構(gòu)6.2.3基于信息抽象層次的數(shù)據(jù)融合模型6.3數(shù)據(jù)融合技術(shù)與算法6.3.1傳感網(wǎng)數(shù)據(jù)傳輸及融合技術(shù)6.3.2多傳感器數(shù)據(jù)融合算法6.3.3傳感網(wǎng)數(shù)據(jù)融合路由算法6.4物聯(lián)網(wǎng)數(shù)據(jù)管理技術(shù)6.4.1傳感網(wǎng)數(shù)據(jù)管理系統(tǒng)6.4.2數(shù)據(jù)模型及存儲查詢6.4.3數(shù)據(jù)融合及管理技術(shù)研究與發(fā)展2023年2月6日6.1何謂數(shù)據(jù)融合數(shù)據(jù)融合一詞最早出現(xiàn)在20世紀(jì)70年代，并于20世紀(jì)80年代發(fā)展成一項專門技術(shù)。它是人類模仿自身信息處理能力的結(jié)果，類似人類和其它動物對復(fù)雜問題的綜合處理。數(shù)據(jù)融合技術(shù)最早用于軍事，1973年美國研究機(jī)構(gòu)就在國防部的資助下，開展了聲納信號解釋系統(tǒng)的研究。目前，工業(yè)控制、機(jī)器人、空中交通管制、海洋監(jiān)視和管理等領(lǐng)域也向著多傳感器數(shù)據(jù)融合方向發(fā)展。物聯(lián)網(wǎng)概念的提出，數(shù)據(jù)融合技術(shù)將成為其數(shù)據(jù)處理等相關(guān)技術(shù)開發(fā)所要關(guān)心的重要問題之一。6.1.1數(shù)據(jù)融合的概念

2023年2月6日數(shù)據(jù)融合概念是針對多傳感器系統(tǒng)而提出的。在多傳感器系統(tǒng)中，由于信息表現(xiàn)形式的多樣性，數(shù)據(jù)量的巨大性，數(shù)據(jù)關(guān)系的復(fù)雜性，以及要求數(shù)據(jù)處理的實時性、準(zhǔn)確性和可靠性，都已大大超出了人腦的信息綜合處理能力，在這種情況下，多傳感器數(shù)據(jù)融合技術(shù)應(yīng)運(yùn)而生。多傳感器數(shù)據(jù)融合(Multi-SensorDataFusion，MSDF)，簡稱數(shù)據(jù)融合；也被稱為多傳感器信息融合(Multi-SensorInformationFusion，MSIF)。它由美國國防部在20世紀(jì)70年代最先提出，之后英、法、日、俄等國也做了大量的研究。近40年來數(shù)據(jù)融合技術(shù)得到了巨大的發(fā)展，同時伴隨著電子技術(shù)、信號檢測與處理技術(shù)、計算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)以及控制技術(shù)的飛速發(fā)展，數(shù)據(jù)融合已被應(yīng)用在多個領(lǐng)域，在現(xiàn)代科學(xué)技術(shù)中的地位也日漸突出。2023年2月6日1.數(shù)據(jù)融合的定義數(shù)據(jù)融合定義簡潔的表述為：數(shù)據(jù)融合是利用計算機(jī)技術(shù)對時序獲得的若干感知數(shù)據(jù)，在一定準(zhǔn)則下加以分析、綜合，以完成所需決策和評估任務(wù)而進(jìn)行的數(shù)據(jù)處理過程。2023年2月6日數(shù)據(jù)融合這一技術(shù)有3層含義:①數(shù)據(jù)的全空間，即數(shù)據(jù)包括確定的和模糊的、全空間的和子空間的、同步的和異步的、數(shù)字的和非數(shù)字的，它是復(fù)雜的多維多源的，覆蓋全頻段；②數(shù)據(jù)的融合不同于組合，組合指的是外部特性，融合指的是內(nèi)部特性，它是系統(tǒng)動態(tài)過程中的一種數(shù)據(jù)綜合加工處理；③數(shù)據(jù)的互補(bǔ)過程，數(shù)據(jù)表達(dá)方式的互補(bǔ)、結(jié)構(gòu)上的互補(bǔ)、功能上的互補(bǔ)、不同層次的互補(bǔ)，是數(shù)據(jù)融合的核心，只有互補(bǔ)數(shù)據(jù)的融合才可以使系統(tǒng)發(fā)生質(zhì)的飛躍。數(shù)據(jù)融合的實質(zhì)是針對多維數(shù)據(jù)進(jìn)行關(guān)聯(lián)或綜合分析，進(jìn)而選取適當(dāng)?shù)娜诤夏Ｊ胶吞幚硭惴?，用以提高?shù)據(jù)的質(zhì)量，為知識提取奠定基礎(chǔ)。2023年2月6日2.數(shù)據(jù)融合研究的主要內(nèi)容數(shù)據(jù)融合是針對一個網(wǎng)絡(luò)感知系統(tǒng)中使用多個和(或)多類感知節(jié)點（如多傳感器）展開的一種數(shù)據(jù)處理方法，研究的內(nèi)容包含以下幾個主要問題。1）數(shù)據(jù)對準(zhǔn)。2）數(shù)據(jù)相關(guān)。3）數(shù)據(jù)識別，即估計目標(biāo)的類別和類型。3)感知數(shù)據(jù)的不確定性。4）不完整、不一致和虛假數(shù)據(jù).5)數(shù)據(jù)庫。6)性能評估。3.數(shù)據(jù)融合的體系結(jié)構(gòu)

2023年2月6日圖6-1數(shù)據(jù)融合的一般模型2023年2月6日6.1.2物聯(lián)網(wǎng)中的數(shù)據(jù)融合1.物聯(lián)網(wǎng)數(shù)據(jù)融合的意義和作用物聯(lián)網(wǎng)(IoT)是利用射頻識別(RFID)裝置、各種傳感器、全球定位系統(tǒng)（GPS）、激光掃描器等各種不同裝置、嵌入式軟硬件系統(tǒng)，以及現(xiàn)代網(wǎng)絡(luò)及無線通信、分布式數(shù)據(jù)處理等諸多技術(shù)，能夠協(xié)作地實時監(jiān)測、感知、采集網(wǎng)絡(luò)分布區(qū)域內(nèi)的各種環(huán)境或監(jiān)測對象的信息，實現(xiàn)包括物與物、人與物之間的互相連接，并且與互聯(lián)網(wǎng)結(jié)合起來而形成的一個巨大信息網(wǎng)絡(luò)系統(tǒng)。

2023年2月6日圖6-2數(shù)據(jù)融合示意圖2.物聯(lián)網(wǎng)數(shù)據(jù)融合所要解決的關(guān)鍵問題和要求

2023年2月6日1）數(shù)據(jù)融合節(jié)點的選擇。融合節(jié)點的選擇與網(wǎng)絡(luò)層路由協(xié)議有密切關(guān)系，需要依靠路由協(xié)議建立的路由回路數(shù)據(jù)；并且使用路由結(jié)構(gòu)中的某些節(jié)點作為數(shù)據(jù)融合的節(jié)點。2）數(shù)據(jù)融合時機(jī)。3）數(shù)據(jù)融合算法。

（2）物聯(lián)網(wǎng)數(shù)據(jù)融合技術(shù)要求物聯(lián)網(wǎng)與以往的多傳感器數(shù)據(jù)融合有所不同，具有它自己獨特的融合技術(shù)要求。1)穩(wěn)定性。2)數(shù)據(jù)關(guān)聯(lián)。3)能量約束。4)協(xié)議的可擴(kuò)展性。（1）物聯(lián)網(wǎng)數(shù)據(jù)融合需要研究解決的關(guān)鍵問題6.2數(shù)據(jù)融合的基本原理及層次結(jié)構(gòu)

2023年2月6日通過對多感知節(jié)點信息的協(xié)調(diào)優(yōu)化，數(shù)據(jù)融合技術(shù)可以有效地減少整個網(wǎng)絡(luò)中不必要的通信開銷，提高數(shù)據(jù)的準(zhǔn)確度和收集效率。因此，傳送已融合的數(shù)據(jù)要比未經(jīng)處理的數(shù)據(jù)節(jié)省能量，延長網(wǎng)絡(luò)的生存周期。但對物聯(lián)網(wǎng)而言，數(shù)據(jù)融合技術(shù)將面臨更多挑戰(zhàn)，例如，感知節(jié)點能源有限、多數(shù)據(jù)流的同步、數(shù)據(jù)的時間敏感特性、網(wǎng)絡(luò)帶寬的限制、無線通信的不可靠性和網(wǎng)絡(luò)的動態(tài)特性等。因此，物聯(lián)網(wǎng)中的數(shù)據(jù)融合需要有其獨特的層次性結(jié)構(gòu)體系。6.2.1數(shù)據(jù)融合的基本原理

2023年2月6日1）多個不同類型的傳感器（有源或無源的）采集觀測目標(biāo)的數(shù)據(jù)；2）對傳感器的輸出數(shù)據(jù)（離散的或連續(xù)的時間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個直接的屬性說明）進(jìn)行特征提取，提取代表觀測數(shù)據(jù)的特征矢量；3）對特征矢量進(jìn)行模式識別處理（例如：匯聚算法、自適應(yīng)神經(jīng)網(wǎng)絡(luò)或其它能將特征矢量變換成目標(biāo)屬性判決的統(tǒng)計模式識別法等）完成各傳感器關(guān)于目標(biāo)的說明；4）將各傳感器關(guān)于目標(biāo)的說明數(shù)據(jù)按同一目標(biāo)進(jìn)行分組，即關(guān)聯(lián)；5）利用融合算法將每一目標(biāo)各傳感器數(shù)據(jù)進(jìn)行合成，得到該目標(biāo)的一致性解釋與描述。6.2.2物聯(lián)網(wǎng)中數(shù)據(jù)融合的層次結(jié)構(gòu)

2023年2月6日1.傳感網(wǎng)節(jié)點的部署在傳感網(wǎng)數(shù)據(jù)融合結(jié)構(gòu)中，比較重要的問題是如何部署感知節(jié)點。目前，傳感網(wǎng)感知節(jié)點的部署方式一般有3種類型，最常用的拓?fù)浣Y(jié)構(gòu)是并行拓?fù)?。在這種部署方式中，各種類型的感知節(jié)點同時工作。另一種類型是串行拓?fù)?，在這種結(jié)構(gòu)中，感知節(jié)點檢測數(shù)據(jù)信息具有暫時性。實際上，SAR(SyntheticApertureRadar)圖像就屬于此結(jié)構(gòu)。還有一種類型是混合拓?fù)?，即樹狀拓?fù)洹?023年2月6日2.數(shù)據(jù)融合的層次劃分?jǐn)?shù)據(jù)融合大部分是根據(jù)具體問題及其特定對象來建立自己的融合層次。例如，有些應(yīng)用，將數(shù)據(jù)融合劃分為檢測層、位置層、屬性層、態(tài)勢評估和威脅評估；有的根據(jù)輸入輸出數(shù)據(jù)的特征提出了基于輸入/輸出特征的融合層次化描述。數(shù)據(jù)融合層次的劃分目前還沒有統(tǒng)一標(biāo)準(zhǔn)。根據(jù)多傳感器數(shù)據(jù)融合模型定義和傳感網(wǎng)的自身特點，通常按照節(jié)點處理層次、融合前后的數(shù)據(jù)量變化、信息抽象的層次，來劃分傳感網(wǎng)數(shù)據(jù)融合的層次結(jié)構(gòu)。6.2.3基于信息抽象層次的數(shù)據(jù)融合模型

2023年2月6日1.像素級融合圖6-3像素級融合2023年2月6日2.特征級融合圖6-4特征級融合2023年2月6日3.決策級融合6.3數(shù)據(jù)融合技術(shù)與算法

2023年2月6日數(shù)據(jù)融合技術(shù)涉及到復(fù)雜的融合算法、實時圖像數(shù)據(jù)庫技術(shù)和高速、大吞吐量數(shù)據(jù)處理等支撐技術(shù)。數(shù)據(jù)融合算法是融合處理的基本內(nèi)容，它是將多維輸入數(shù)據(jù)在不同融合層次上運(yùn)用不同的數(shù)學(xué)方法,對數(shù)據(jù)進(jìn)行聚類處理的方法。就多傳感器數(shù)據(jù)融合而言，雖然還未形成完整的理論體系和有效的融合算法，但有不少應(yīng)用領(lǐng)域根據(jù)各自的具體應(yīng)用背景，已經(jīng)提出了許多成熟并且有效的融合算法。針對傳感網(wǎng)的具體應(yīng)用，也有許多具有實用價值的數(shù)據(jù)融合技術(shù)與算法。2023年2月6日6.3.1傳感網(wǎng)數(shù)據(jù)傳輸及融合技術(shù)1．直接傳輸模型2．多跳傳輸模型6.3.2多傳感器數(shù)據(jù)融合算法

2023年2月6日目前已有大量的多傳感器數(shù)據(jù)融合算法，基本上可概括為兩大類：一是隨機(jī)類方法，包括加權(quán)平均法、卡爾曼濾波法、貝葉斯估計法、D-S證據(jù)推理等。二是人工智能類方法，包括模糊邏輯、神經(jīng)網(wǎng)絡(luò)等。不同的方法適用于不同的應(yīng)用背景。神經(jīng)網(wǎng)絡(luò)和人工智能等新概念、新技術(shù)在數(shù)據(jù)融合中將發(fā)揮越來越重要的作用。6.3.3傳感網(wǎng)數(shù)據(jù)融合路由算法

2023年2月6日目前，針對傳感網(wǎng)中的數(shù)據(jù)融合問題，國內(nèi)外在以數(shù)據(jù)為中心的路由協(xié)議以及融合函數(shù)、融合模型等方面已經(jīng)取得了許多研究成果，主要集中在數(shù)據(jù)融合路由協(xié)議方面。按照通信網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的不同,比較典型的數(shù)據(jù)融合路由協(xié)議有：基于數(shù)據(jù)融合樹的路由協(xié)議、基于分簇的路由協(xié)議，以及基于節(jié)點鏈的路由協(xié)議。6.4物聯(lián)網(wǎng)數(shù)據(jù)管理技術(shù)

2023年2月6日在物聯(lián)網(wǎng)實現(xiàn)中，分布式動態(tài)實時數(shù)據(jù)管理是其以數(shù)據(jù)中心為特征的重要技術(shù)之一。該技術(shù)通過部署或者指定一些節(jié)點作為代理節(jié)點，代理節(jié)點根據(jù)感知任務(wù)收集興趣數(shù)據(jù)。感知任務(wù)通過分布式數(shù)據(jù)庫的查詢語言下達(dá)給目標(biāo)區(qū)域的感知節(jié)點。在整個物聯(lián)網(wǎng)體系中，傳感網(wǎng)可作為分布式數(shù)據(jù)庫獨立存在，實現(xiàn)對客觀物理世界的實時、動態(tài)的感知與管理。這樣做的目的是，將物聯(lián)網(wǎng)數(shù)據(jù)處理方法與網(wǎng)絡(luò)的具體實現(xiàn)方法分離開來，使得用戶和應(yīng)用程序只需要查詢數(shù)據(jù)的邏輯結(jié)構(gòu)，而無須關(guān)心物聯(lián)網(wǎng)具體如何獲取信息的細(xì)節(jié)。6.4.1傳感網(wǎng)數(shù)據(jù)管理系統(tǒng)

2023年2月6日1.物聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的特點數(shù)據(jù)管理主要包括對感知數(shù)據(jù)的獲取、存儲、查詢、挖掘和操作，目的就是把物聯(lián)網(wǎng)上數(shù)據(jù)的邏輯視圖和網(wǎng)絡(luò)的物理實現(xiàn)分離開來，使用戶和應(yīng)用程序只需關(guān)心查詢的邏輯結(jié)構(gòu)，而無需關(guān)心物聯(lián)網(wǎng)的實現(xiàn)細(xì)節(jié)。

1）與傳感網(wǎng)支撐環(huán)境直接相關(guān)。2）數(shù)據(jù)需在傳感網(wǎng)內(nèi)處理。3）能夠處理感知數(shù)據(jù)的誤差。4）查詢策略需適應(yīng)最小化能量消耗與網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的變化。

2023年2月6日2.傳感網(wǎng)數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)目前，針對傳感網(wǎng)的數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)主要有集中式結(jié)構(gòu)、半分布式結(jié)構(gòu)、分布式結(jié)構(gòu)和層次式結(jié)構(gòu)4種類型。1）集中式結(jié)構(gòu)。在集中式結(jié)構(gòu)中，節(jié)點首先將感知數(shù)據(jù)按事先指定的方式，數(shù)據(jù)傳送到中心節(jié)點，統(tǒng)一由中心節(jié)點處理。這種方法簡單，但中心節(jié)點會成為系統(tǒng)性能的瓶頸，而且容錯性較差。2）半分布式結(jié)構(gòu)。利用節(jié)點自身具有的計算和存儲能力，對原始數(shù)據(jù)進(jìn)行一定的處理，然后再傳送到中心節(jié)點。3）分布式結(jié)構(gòu)。每個節(jié)點獨立處理數(shù)據(jù)查詢命令。顯然，分布式結(jié)構(gòu)是建立在所有感知節(jié)點都具有較強(qiáng)的通信、存儲與計算能力基礎(chǔ)之上的。4）層次式結(jié)構(gòu)。

2023年2月6日3.典型的傳感網(wǎng)數(shù)據(jù)管理系統(tǒng)目前，針對傳感網(wǎng)的大多數(shù)數(shù)據(jù)管理系統(tǒng)研究集中在半分布式結(jié)構(gòu)。典型的研究成果有美國加州大學(xué)伯克利分校（UCBerkeley）的Fjord系統(tǒng)和康奈爾（Cornell）大學(xué)的Cougar系統(tǒng)。1）Fjord系統(tǒng)。Fjord系統(tǒng)是Telegraph項目的一部分，它是一種自適應(yīng)的數(shù)據(jù)流系統(tǒng)。主要由自適應(yīng)處理引擎和傳感器代理兩部分構(gòu)成，它基于流數(shù)據(jù)計算模型處理查詢，并考慮了根據(jù)計算環(huán)境的變化動態(tài)調(diào)整查詢執(zhí)行計劃的問題。2)Cougar系統(tǒng)。Cougar系統(tǒng)的特點是盡可能將查詢處理在傳感網(wǎng)內(nèi)部進(jìn)行，只有與查詢相關(guān)的數(shù)據(jù)才能從傳感網(wǎng)中提取出來，以減少通信開銷。Cougar系統(tǒng)的感知節(jié)點不僅需要處理本地的數(shù)據(jù)，同時還要與鄰近的節(jié)點進(jìn)行通信，協(xié)作完成查詢處理的某些任務(wù)。6.4.2數(shù)據(jù)模型及存儲查詢

2023年2月6日目前關(guān)于物聯(lián)網(wǎng)數(shù)據(jù)模型、存儲、查詢技術(shù)的研究成果很少，比較有代表性的是針對傳感網(wǎng)數(shù)據(jù)管理的Cougar和TinyDB兩個查詢系統(tǒng)。6.4.3數(shù)據(jù)融合及管理技術(shù)研究與發(fā)展

2023年2月6日1)確立數(shù)據(jù)融合理論標(biāo)準(zhǔn)和系統(tǒng)結(jié)構(gòu)標(biāo)準(zhǔn)。2)改進(jìn)融合算法提高系統(tǒng)性能。3）數(shù)據(jù)融合時機(jī)確定。由于物聯(lián)網(wǎng)中感知節(jié)點具有隨機(jī)性部署的特點，且感知節(jié)點能量、計算及存儲空間等能力有限，不可能維護(hù)動態(tài)變化的全局信息，因而需要匯聚節(jié)點選擇恰當(dāng)?shù)臅r機(jī)，盡可能多的對數(shù)據(jù)進(jìn)行匯聚融合。4）傳感器資源管理優(yōu)化，針對具體應(yīng)用問題，建立數(shù)據(jù)融合中的數(shù)據(jù)庫和知識庫，研究高速并行推理機(jī)制，是數(shù)據(jù)融合及管理技術(shù)工程化及實際應(yīng)用中的關(guān)鍵問題。5)建立系統(tǒng)設(shè)計的工程指導(dǎo)方針，研究數(shù)據(jù)融合及管理系統(tǒng)的工程實現(xiàn)。數(shù)據(jù)融合及管理系統(tǒng)是一個具有不確定性的復(fù)雜系統(tǒng)，如何提高現(xiàn)有理論、技術(shù)、設(shè)備，保證融合系統(tǒng)及管理的精確性、實時性以及低成本也是未來研究的重點。6)建立測試平臺，研究系統(tǒng)性能評估方法。如何建立評價機(jī)制，對數(shù)據(jù)融合及管理系統(tǒng)進(jìn)行綜合分析和評價，以衡量融合算法的性能，也是亟待解決的問題。2023年2月6日小結(jié)與進(jìn)一步學(xué)習(xí)建議

數(shù)據(jù)融合技