吳功宜物聯(lián)網(wǎng)工程導論第8章物聯(lián)網(wǎng)數(shù)據(jù)處理技術

第8章

物聯(lián)網(wǎng)數(shù)據(jù)處理技術1目前一頁\總數(shù)三十六頁\編于二十一點第

8章知識點結(jié)構(gòu)2目前二頁\總數(shù)三十六頁\編于二十一點8.1物聯(lián)網(wǎng)數(shù)據(jù)處理技術的基本概念

8.1.1物聯(lián)網(wǎng)數(shù)據(jù)的特點海量物聯(lián)網(wǎng)節(jié)點的數(shù)量是非常多的，它們所產(chǎn)生的數(shù)據(jù)量一定是海量多態(tài)多種傳感器去觀測的不同數(shù)據(jù)在數(shù)值范圍、格式、單位與精度動態(tài)各種數(shù)據(jù)都將隨時間不斷變化的關聯(lián)物聯(lián)網(wǎng)中的數(shù)據(jù)之間在空間、時間維度上存在著緊密的關聯(lián)性3目前三頁\總數(shù)三十六頁\編于二十一點VigilNet網(wǎng)絡拓撲與數(shù)據(jù)處理研究的示意圖4目前四頁\總數(shù)三十六頁\編于二十一點8.1.2物聯(lián)網(wǎng)數(shù)據(jù)處理關鍵技術海量數(shù)據(jù)存儲數(shù)據(jù)融合數(shù)據(jù)查詢、搜索與數(shù)據(jù)挖掘智能決策5目前五頁\總數(shù)三十六頁\編于二十一點海量數(shù)據(jù)存儲物聯(lián)網(wǎng)數(shù)據(jù)具有海量、多態(tài)、動態(tài)與關聯(lián)的特征海量數(shù)據(jù)的存儲結(jié)構(gòu)影響著物聯(lián)網(wǎng)系統(tǒng)的可靠性與效率如何利用數(shù)據(jù)中心與云計算平臺存儲物聯(lián)網(wǎng)的海量數(shù)據(jù)，如何充分地利用好物聯(lián)網(wǎng)信息，同時又要實現(xiàn)對隱私的保護，這是物聯(lián)網(wǎng)數(shù)據(jù)處理技術首先要面對的一個重要問題6目前六頁\總數(shù)三十六頁\編于二十一點無線傳感器網(wǎng)絡數(shù)據(jù)存儲結(jié)構(gòu)示意圖7目前七頁\總數(shù)三十六頁\編于二十一點數(shù)據(jù)融合20世紀70年代“數(shù)據(jù)融合（DataFusion）”術語才正式出現(xiàn)針對物聯(lián)網(wǎng)數(shù)據(jù)的多態(tài)性，需要研究基于多種傳感器的數(shù)據(jù)聚合技術，綜合分析各種傳感器的數(shù)據(jù)，從中提取有用的信息數(shù)據(jù)融合已經(jīng)發(fā)展成數(shù)據(jù)處理一個新的和重要的分支在物聯(lián)網(wǎng)中智能交通、工業(yè)控制、環(huán)境監(jiān)控、精準農(nóng)業(yè)、突發(fā)事件處置、智慧城市、智能電網(wǎng)等物聯(lián)網(wǎng)應用系統(tǒng)中，必然會應用多種傳感器去綜合感知多種物理世界的信息，從中提取對于我們智慧處理物理世界問題有用的信息和知識數(shù)據(jù)融合技術是物聯(lián)網(wǎng)數(shù)據(jù)處理研究的重要內(nèi)容之一8目前八頁\總數(shù)三十六頁\編于二十一點

數(shù)據(jù)查詢、搜索與數(shù)據(jù)挖掘物聯(lián)網(wǎng)環(huán)境中感知數(shù)據(jù)具有實時性、周期性與不確定性等特點物聯(lián)網(wǎng)環(huán)境中，由于各種感知手段獲取的信息與傳統(tǒng)的互聯(lián)網(wǎng)信息共存，搜索引擎需要與各種智能的和非智能的物理對象密切結(jié)合，主動識別物理對象，獲取有用的信息，這對于傳統(tǒng)的搜索引擎技術是一個挑戰(zhàn)數(shù)據(jù)挖掘是物聯(lián)網(wǎng)數(shù)據(jù)處理中一個重要的方法9目前九頁\總數(shù)三十六頁\編于二十一點智能決策發(fā)展物聯(lián)網(wǎng)的最終目標不是簡單地將物與物互聯(lián)，而是要催生很多具有“計算、通信、控制、協(xié)同和自治”特征的智能設備與系統(tǒng)，實現(xiàn)實時感知、動態(tài)控制和智能服務智能決策是物聯(lián)網(wǎng)信息處理技術中追求的最重要的目標10目前十頁\總數(shù)三十六頁\編于二十一點8.2海量數(shù)據(jù)存儲技術

8.2.1物聯(lián)網(wǎng)對海量數(shù)據(jù)存儲的需求物聯(lián)網(wǎng)的海量數(shù)據(jù)除了來自傳感器節(jié)點、RFID節(jié)點以及其他各種智能終端設備每時每刻所產(chǎn)生的數(shù)據(jù)之外，各種物理對象在參與物聯(lián)網(wǎng)事務處理的過程中也會產(chǎn)生大量的數(shù)據(jù)物聯(lián)網(wǎng)的海量數(shù)據(jù)的存儲需要數(shù)據(jù)庫、數(shù)據(jù)倉庫、網(wǎng)絡存儲、數(shù)據(jù)中心與云存儲技術的支持11目前十一頁\總數(shù)三十六頁\編于二十一點8.2.2數(shù)據(jù)庫技術數(shù)據(jù)庫技術是計算機科學技術中發(fā)展最快、應用最廣泛的領域之一。數(shù)據(jù)庫技術經(jīng)過幾十年的發(fā)展，其應用已遍及各個領域，成為21世紀信息化社會的核心技術之一物聯(lián)網(wǎng)的數(shù)據(jù)存儲與管理需要使用數(shù)據(jù)庫技術，物聯(lián)網(wǎng)的海量數(shù)據(jù)存儲與管理也會促進數(shù)據(jù)庫技術的發(fā)展數(shù)據(jù)庫管理系統(tǒng)可分為層次數(shù)據(jù)庫、網(wǎng)狀數(shù)據(jù)庫、關系數(shù)據(jù)庫以及面向?qū)ο髷?shù)據(jù)庫隨著數(shù)據(jù)庫技術的發(fā)展，數(shù)據(jù)庫用戶界面變得更加簡單，功能更加強大和更加智能，未來的數(shù)據(jù)庫技術必然會與人工智能技術相互交叉融合12目前十二頁\總數(shù)三十六頁\編于二十一點8.2.3物聯(lián)網(wǎng)數(shù)據(jù)管理技術關系數(shù)據(jù)庫為物聯(lián)網(wǎng)海量數(shù)據(jù)的管理提供了重要的理論、工具與方法物聯(lián)網(wǎng)中有兩大類重要的應用，一是基于RFID標簽自動識別技術的應用，另一類是基于無線傳感器網(wǎng)絡的應用設計一個基于RFID標簽自動識別技術的零售業(yè)或物流業(yè)應用時，對于由RFID所產(chǎn)生的數(shù)據(jù)的管理與處理方法與傳統(tǒng)的互聯(lián)網(wǎng)應用有很多相似之處基于無線傳感器網(wǎng)絡的物聯(lián)網(wǎng)應用有它的特殊性，需要研究針對無線傳感器網(wǎng)絡的數(shù)據(jù)管理與處理方法13目前十三頁\總數(shù)三十六頁\編于二十一點無線傳感器網(wǎng)絡數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)無線傳感器網(wǎng)絡數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)主要有：集中式結(jié)構(gòu)半分布式結(jié)構(gòu)分布式結(jié)構(gòu)層次式結(jié)構(gòu)無線傳感器網(wǎng)絡數(shù)據(jù)管理系統(tǒng)層次結(jié)構(gòu)14目前十四頁\總數(shù)三十六頁\編于二十一點TinyDB系統(tǒng)的結(jié)構(gòu)15目前十五頁\總數(shù)三十六頁\編于二十一點16

TinyDB關系表結(jié)構(gòu)目前十六頁\總數(shù)三十六頁\編于二十一點8.3物聯(lián)網(wǎng)海量數(shù)據(jù)存儲與云計算*

8.3.1數(shù)據(jù)存儲技術的研究與發(fā)展存儲技術的研究與發(fā)展數(shù)據(jù)存儲技術從單機封閉系統(tǒng)存儲向開放系統(tǒng)的存儲方向發(fā)展開放系統(tǒng)的存儲進一步分為：

—直接附加存儲（DAS）

—網(wǎng)絡接入存儲（NAS）

—存儲區(qū)域網(wǎng)絡（SAN）17目前十七頁\總數(shù)三十六頁\編于二十一點服務器技術的發(fā)展各種類型的服務器與機房中的服務器18目前十八頁\總數(shù)三十六頁\編于二十一點典型的機架式服務器19目前十九頁\總數(shù)三十六頁\編于二十一點刀片服務器20目前二十頁\總數(shù)三十六頁\編于二十一點8.3.2IDC的基本概念隨著互聯(lián)網(wǎng)應用規(guī)模的不斷擴大，大規(guī)模的在線網(wǎng)絡服務促進了“互聯(lián)網(wǎng)數(shù)據(jù)中心（IDC）”的出現(xiàn)隨著業(yè)務的擴展，一些企業(yè)網(wǎng)、校園網(wǎng)、政務網(wǎng)、商務網(wǎng)也在考慮建設自己的數(shù)據(jù)中心（DataCenter）數(shù)據(jù)中心的成本是由4部分組成：服務器成本、網(wǎng)絡設備成本、基礎設施成本與能源成本在推動物聯(lián)網(wǎng)應用發(fā)展的同時，必須研究適合即能夠快速部署物聯(lián)網(wǎng)應用，存儲海量數(shù)據(jù)，又能夠節(jié)省資金與日常維護費用，符合環(huán)保節(jié)能的原則的數(shù)據(jù)中心技術數(shù)據(jù)中心的概念正在經(jīng)歷了從中小型企業(yè)網(wǎng)、校園網(wǎng)中的計算與存儲數(shù)據(jù)的數(shù)據(jù)中心，向云計算平臺的發(fā)展的趨勢21目前二十一頁\總數(shù)三十六頁\編于二十一點8.3.3云計算的基本概念云計算的特點彈性服務資源池化按需服務服務可計費泛在接入云計算數(shù)據(jù)中心特點自治性規(guī)模經(jīng)濟規(guī)?？蓴U展22目前二十二頁\總數(shù)三十六頁\編于二十一點8.3.4云計算系統(tǒng)組成云計算系統(tǒng)組成：云平臺云終端云存儲云安全23目前二十三頁\總數(shù)三十六頁\編于二十一點公有云與私有云的概念公有云：第三方提供商為用戶提供服務的云平臺，用戶可以把通過互聯(lián)網(wǎng)訪問作為一個支撐平臺，可以通過提供免費或用很低費用的服務，去吸引大量的用戶，整合上游的增值業(yè)務和廣告服務，打造新的產(chǎn)業(yè)鏈目前公有云主要分為四類：

—由傳統(tǒng)電信基礎設施運營商組建的公有云

—政府主導下組建的各省市公有云

—大型互聯(lián)網(wǎng)公司組建的公有云

—由IDC運營商組建的公有云24目前二十四頁\總數(shù)三十六頁\編于二十一點私有云：移動通信公司、銀行、政府、公安、交通、電力、有線電視等部門與機構(gòu)單獨使用而組建這些部門與機構(gòu)的數(shù)據(jù)存儲量、處理量和安全性要求高，而私有云能夠滿足他們對數(shù)據(jù)倉儲與處理，以及安全性和服務質(zhì)量的要求私有云可部署在企業(yè)或部門數(shù)據(jù)中心的防火墻內(nèi)，也可以將它們部署在一個安全的主機托管場所25目前二十五頁\總數(shù)三十六頁\編于二十一點IaaS、PaaS、SaaS的概念基礎設施即服務IaaSIaaS平臺向用戶提供虛擬化的計算資源、存儲資源與網(wǎng)絡資源，根據(jù)用戶需求進行動態(tài)分配和調(diào)整平臺即服務PaaSPaaS平臺向軟件開發(fā)人員提供類似中間件的服務，包括數(shù)據(jù)庫、數(shù)據(jù)處理與軟件開發(fā)環(huán)境等軟件即服務SaaSSaaS平臺向最終用戶提供定制的軟件服務，用戶不用通過安裝軟件副本，就可以通過網(wǎng)絡使用軟件26目前二十六頁\總數(shù)三十六頁\編于二十一點云終端云終端使用虛擬化技術，使得只要聯(lián)入到互聯(lián)網(wǎng)或物聯(lián)網(wǎng)的終端設備都可以訪問云計算平臺云終端三種類型：

—基于程序資源遠程執(zhí)行的云終端

—基于WebOS云終端

—基于虛擬機的云終端27目前二十七頁\總數(shù)三十六頁\編于二十一點云存儲計算與存儲是計算機科學發(fā)展中兩個密不可分的關鍵技術云計算概念包括計算與存儲兩個方面的內(nèi)容云存儲基于云平臺，結(jié)合傳統(tǒng)的大規(guī)模、可擴展的海量存儲、計算機網(wǎng)絡、數(shù)據(jù)網(wǎng)格、虛擬化、文件系統(tǒng)的概念與技術，面向大規(guī)模、高效、可擴展、可定制的應用系統(tǒng)的用戶，提供安全、廉價、按需使用的專業(yè)化倉儲服務用戶不必關心云存儲服務使用什么樣的主機、數(shù)據(jù)庫、存儲設備，只需要根據(jù)自身應用系統(tǒng)數(shù)據(jù)存儲的數(shù)據(jù)量、安全性要求，以定購的方式使用云存儲服務提供商提供的存儲資源28目前二十八頁\總數(shù)三十六頁\編于二十一點云安全云安全提供可靠、可信的云環(huán)境，以保護用戶數(shù)據(jù)的安全能不能夠保證用戶使用的安全性是制約云計算應用能否發(fā)展的主要因素目前云安全研究：

—云計算的安全控制

—云計算的可信執(zhí)行環(huán)境

—虛擬機的安全監(jiān)控

—云計算服務訪問的通信安全

—云計算安全評估方法29目前二十九頁\總數(shù)三十六頁\編于二十一點8.3.5云計算在物聯(lián)網(wǎng)中的應用物聯(lián)網(wǎng)數(shù)據(jù)中心的特征：部署快捷運行可靠可擴展安全節(jié)能30目前三十頁\總數(shù)三十六頁\編于二十一點應用于物聯(lián)網(wǎng)的云計算系統(tǒng)結(jié)構(gòu)模型31目前三十一頁\總數(shù)三十六頁\編于二十一點物聯(lián)網(wǎng)數(shù)據(jù)

中心的設計32目前三十二頁\總數(shù)三十六頁\編于二十一點8.4物聯(lián)網(wǎng)數(shù)據(jù)融合技術*

8.4.1無線傳感器網(wǎng)絡數(shù)據(jù)融合技術無線傳感器網(wǎng)絡的基本功能是收集并返回傳感器節(jié)點所在監(jiān)測區(qū)域的信息傳感器節(jié)點受到能量與易失效性的約束因此減少數(shù)據(jù)傳輸量以有效地節(jié)省能量，利用節(jié)點的本地計算和存儲能力處理數(shù)據(jù)的融合以除去冗余信息通過數(shù)據(jù)融合達到數(shù)據(jù)備份與提高信息準確性，已經(jīng)成為無線傳感器網(wǎng)絡研究的一個重要課題33目前三十三頁\總數(shù)三十六頁\編于二十一點8.4.2