計(jì)算機(jī)網(wǎng)絡(luò)理論與實(shí)踐 課件 第6-8章 應(yīng)用層、無(wú)線網(wǎng)絡(luò)、計(jì)算機(jī)網(wǎng)絡(luò)的新技術(shù)

第六章

應(yīng)用層

6.1

網(wǎng)絡(luò)終端應(yīng)用模型6.2域名系統(tǒng)6.3文件傳輸協(xié)議FTP6.4萬(wàn)維網(wǎng)WWW6.5遠(yuǎn)程終端協(xié)議Telnet與SSH協(xié)議6.6電子郵件6.7動(dòng)態(tài)主機(jī)配置協(xié)議DHCP6.8實(shí)驗(yàn)6.9本章小結(jié)6.1.1客戶/服務(wù)器方式

客戶/服務(wù)器方式是應(yīng)用層協(xié)議最常用的方式，如常見的DNS服務(wù)、DHCP服務(wù)、Web服務(wù)等?？蛻襞c服務(wù)器往往不在同一物理位置上?？蛻糁鲃?dòng)請(qǐng)求服務(wù)器提供服務(wù)，服務(wù)器監(jiān)聽客戶發(fā)過(guò)來(lái)的請(qǐng)求，并響應(yīng)請(qǐng)求，提供服務(wù)。6.1網(wǎng)絡(luò)終端應(yīng)用模型6.1.2P2P方式

P2P方式（也稱對(duì)等方式，或點(diǎn)對(duì)點(diǎn)方式）是一種特殊的C/S方式。通信雙方不再區(qū)分客戶與服務(wù)器。只要兩臺(tái)計(jì)算機(jī)都運(yùn)行了對(duì)等連接軟件（P2P軟件），就可實(shí)現(xiàn)對(duì)等連接通信。P2P的應(yīng)用主要集中在文件分發(fā)、數(shù)據(jù)庫(kù)系統(tǒng)及實(shí)時(shí)的音、視頻會(huì)議中。6.2域名系統(tǒng)6.2.1概述

域名系統(tǒng)(DNS)是互聯(lián)網(wǎng)使用的命名系統(tǒng)，作用是將一臺(tái)主機(jī)在互聯(lián)網(wǎng)上的域名轉(zhuǎn)換成對(duì)應(yīng)的IP地址或做反向解析。6.2.2域名的層次結(jié)構(gòu)

互聯(lián)網(wǎng)采用了層次樹狀結(jié)構(gòu)的命名方法，該結(jié)構(gòu)如同一棵倒栽的樹，每臺(tái)主機(jī)都有一個(gè)唯一確定的層次結(jié)構(gòu)的域名。命名空間中劃分出一個(gè)個(gè)具體的范圍，每一個(gè)范圍對(duì)應(yīng)一個(gè)域。在一個(gè)域下面又劃分出若干子域，最終形成不同的層次域：頂級(jí)域、二級(jí)域、三級(jí)域等形式。頂級(jí)域名分三類：第一類是國(guó)家與地區(qū)域名，比如cn（中國(guó)）、uk（英國(guó)）、jp（日本）等。第二類是通用類域名，如com（公司企業(yè)）、net（網(wǎng)絡(luò)服務(wù)機(jī)構(gòu)）、org（非盈利性組織）、mil（美國(guó)軍事部門）、asia（亞太地區(qū)）、jobs（人力資源管理者）、mobi（移動(dòng)產(chǎn)品與服務(wù)的用戶和提供者）等。第三類是基礎(chǔ)結(jié)構(gòu)域名，該域名的頂級(jí)域名只有一個(gè)，即arpa，用于反向域名解析系統(tǒng)（ReverseDNS、IP地址到域名的解析），例如3.，進(jìn)行反向解析的IP地址最后要以結(jié)尾。許多ISP要求欲訪問(wèn)的IP地址有反向域名解析的結(jié)果，否則不對(duì)其提供服務(wù)。6.2.3域名服務(wù)器

提供域名解析的服務(wù)器稱為域名服務(wù)器，完整的域名系統(tǒng)是由分布在各地的域名服務(wù)器組成的。

根據(jù)域名服務(wù)器的作用及層次，將域名服務(wù)器劃分為如下四種類型：（1）根域名服務(wù)器。（2）頂級(jí)域名服務(wù)器。（3）權(quán)限域名服務(wù)器。（4）本地域名服務(wù)器。6.2.4域名的解析

DNS采用客戶/服務(wù)器模式工作，域名與IP地址的映射關(guān)系保存在DNS數(shù)據(jù)庫(kù)中，互聯(lián)網(wǎng)中的DNS被設(shè)計(jì)成分布式的聯(lián)機(jī)數(shù)據(jù)庫(kù)系統(tǒng)。域名解析有遞歸查詢和迭代查詢兩種方式。（1）遞歸查詢（2）迭代查詢遞歸查詢方式迭代查詢方式6.3文件傳輸協(xié)議FTP6.3.1FTP概述

文件傳輸協(xié)議（FileTransferProtocol，F(xiàn)TP）[RFC959，STD9]，是互聯(lián)網(wǎng)上最早使用的協(xié)議之一。FTP提供交互式命令，可以實(shí)現(xiàn)文件下載、上傳、切換目錄等功能。FTP允許用戶指明文件的類型與格式，如指明是否使用ASCII碼?？梢钥刂朴脩魧?duì)文件的讀寫訪問(wèn)權(quán)限，如用戶必須經(jīng)過(guò)授權(quán)，輸入正確的口令，才能夠?qū)δ硞€(gè)文件訪問(wèn)。6.3.2FTP工作原理

FTP協(xié)議基于運(yùn)輸層的TCP協(xié)議,采用客戶/服務(wù)器工作模式，服務(wù)器占用20和21兩個(gè)端口。其中，20端口用于和客戶端進(jìn)行數(shù)據(jù)傳輸，21端口用于接收客戶端的連接請(qǐng)求。多個(gè)客戶進(jìn)程可以同時(shí)與一個(gè)FTP服務(wù)器建立連接。FTP服務(wù)器進(jìn)程由主進(jìn)程和若干從屬進(jìn)程構(gòu)成。主進(jìn)程負(fù)責(zé)處理FTP連接請(qǐng)求，建立FTP連接，從屬進(jìn)程負(fù)責(zé)處理單個(gè)文件傳輸請(qǐng)求。FTP工作流程如下：（1）打開FTP服務(wù)器端口號(hào)為21的熟知端口，使得客戶能夠連接到該端口；（2）FTP服務(wù)器監(jiān)聽客戶進(jìn)程發(fā)出的連接請(qǐng)求；（3）客戶進(jìn)程發(fā)出請(qǐng)求后，服務(wù)器主進(jìn)程啟動(dòng)從屬進(jìn)程，處理客戶文件傳輸請(qǐng)求。在處理完客戶進(jìn)程后，從屬進(jìn)程終止。（4）服務(wù)器主進(jìn)程繼續(xù)等待其他客戶進(jìn)程發(fā)來(lái)的FTP連接請(qǐng)求，主進(jìn)程和從屬進(jìn)程并發(fā)執(zhí)行。6.4萬(wàn)維網(wǎng)WWW6.4.1萬(wàn)維網(wǎng)概述

萬(wàn)維網(wǎng)（WorldWideWeb，WWW）將分布在世界各地互聯(lián)網(wǎng)中的資源鏈接到一起，形成一個(gè)大型、聯(lián)機(jī)式的信息儲(chǔ)藏所。用戶只需要使用鼠標(biāo)單擊鏈接就可以方便地從互聯(lián)網(wǎng)上的一個(gè)站點(diǎn)訪問(wèn)另一個(gè)站點(diǎn)，從而找到互聯(lián)網(wǎng)上所需要的資源。

萬(wàn)維網(wǎng)工作在客戶/服務(wù)器模式下，平常訪問(wèn)網(wǎng)站時(shí)所使用的瀏覽器，如微軟公司的IE瀏覽器（InternetExplorer）就是萬(wàn)維網(wǎng)客戶進(jìn)程，存放萬(wàn)維網(wǎng)文檔的主機(jī)運(yùn)行萬(wàn)維網(wǎng)服務(wù)器進(jìn)程。客戶進(jìn)程發(fā)送請(qǐng)求給服務(wù)器進(jìn)程，服務(wù)器進(jìn)程向客戶進(jìn)程應(yīng)答，返回客戶所需要的萬(wàn)維網(wǎng)文檔，客戶在自己的瀏覽器中就可以看到傳送回來(lái)的萬(wàn)維網(wǎng)文檔，又稱為頁(yè)面（page）。6.4.2統(tǒng)一資源定位符URL

統(tǒng)一資源定位符URL的作用是定位互聯(lián)網(wǎng)上的資源。URL提供了一種在互聯(lián)網(wǎng)上尋找資源的抽象方法。通過(guò)資源定位，用戶可以對(duì)資源進(jìn)行存取、查找、更新等操作。URL是資源在互聯(lián)網(wǎng)上的唯一標(biāo)識(shí)，是資源對(duì)應(yīng)的文件名從主機(jī)向互聯(lián)網(wǎng)范圍的擴(kuò)展。URL由協(xié)議、主機(jī)名、端口、路徑組成。

<協(xié)議>://<主機(jī)名>:<端口>/<路徑>。6.4.3HTTP與HTTPS協(xié)議

超文本傳輸協(xié)議HTTP是萬(wàn)維網(wǎng)上進(jìn)行文件（包含文本、聲音、圖像，視頻等各種形式的文件）交換所使用的協(xié)議。HTTP提供了瀏覽器從萬(wàn)維網(wǎng)服務(wù)器獲得萬(wàn)維網(wǎng)文檔的方法，包括瀏覽器如何向萬(wàn)維網(wǎng)服務(wù)器提出請(qǐng)求，獲得所需要的萬(wàn)維網(wǎng)文檔以及萬(wàn)維網(wǎng)服務(wù)器如何給用戶的瀏覽器傳送回萬(wàn)維網(wǎng)文檔。

HTTP使用運(yùn)輸層的TCP協(xié)議.

超文本傳輸安全協(xié)議（HyperTextTransferProtocolSecure，HTTPS）。在HTTP的基礎(chǔ)上增加了安全套接層（SecureSocketLayer，SSL）/運(yùn)輸層安全性協(xié)議（TransportLayerSecurity，TLS），提供通信加密以及服務(wù)器的身份鑒別功能。HTTPS常用于網(wǎng)上支付以及敏感信息的傳輸。6.4.4超文本標(biāo)記語(yǔ)言HTMLHTML并非應(yīng)用層協(xié)議，而是一種超文本標(biāo)記語(yǔ)言，用于制作萬(wàn)維網(wǎng)頁(yè)面,Web頁(yè)面上的文本、圖片等展現(xiàn)出的不同的樣式都是通過(guò)HTML標(biāo)記語(yǔ)言描述的。

HTML標(biāo)記語(yǔ)言非常簡(jiǎn)單，易于掌握。一個(gè)HTML文本包括文件頭（Head）和文件主體（Body）兩大部分構(gòu)成。結(jié)構(gòu)如下：<HTML><HEAD>...</HEAD><BODY>...</BODY></HTML>6.5遠(yuǎn)程終端協(xié)議Telnet

遠(yuǎn)程終端協(xié)議（Teletypenetwork，Telnet）是互聯(lián)網(wǎng)上最早使用的應(yīng)用協(xié)議之一，是遠(yuǎn)程登錄服務(wù)的正式標(biāo)準(zhǔn)協(xié)議。使用Telnet，用戶可以在自己的計(jì)算機(jī)上通過(guò)互聯(lián)網(wǎng)登錄遠(yuǎn)地主機(jī)。Telnet使用運(yùn)輸層TCP協(xié)議建立連接并且提供傳輸服務(wù)，將用戶對(duì)鍵盤的操作，傳輸?shù)竭h(yuǎn)地主機(jī)，操作的結(jié)果通過(guò)TCP連接返回給本地主機(jī)，用戶在自己的計(jì)算機(jī)上就可以看到操作結(jié)果，雖然用戶和遠(yuǎn)地主機(jī)之間通過(guò)互聯(lián)網(wǎng)（相隔很遠(yuǎn)，中間會(huì)經(jīng)過(guò)很多網(wǎng)絡(luò)和路由器）相連，但通過(guò)使用Telnet，用戶能像操作本地主機(jī)一樣操作遠(yuǎn)地主機(jī)，這給用戶帶來(lái)很大的便利。Telnet也被稱為遠(yuǎn)程登錄協(xié)議。

Telnet系統(tǒng)使用客戶/服務(wù)器工作模式，由遠(yuǎn)程登錄服務(wù)器、客戶端和遠(yuǎn)程登錄通信協(xié)議構(gòu)成。Telnet使用的端口號(hào)為熟知端口23。6.6電子郵件6.6.1概述

電子郵件（E-mail）是一種現(xiàn)代化的電子通信手段，是互聯(lián)網(wǎng)上使用最廣泛的應(yīng)用之一。傳統(tǒng)的電話通信，主叫和被叫必須同時(shí)在場(chǎng)，嚴(yán)格同步才能完成通信過(guò)程，而電子郵件與普通郵件一樣，是一種異步通信方式，不需同時(shí)在線。發(fā)件人通過(guò)電子郵件系統(tǒng)將郵件發(fā)送到收件人使用的電子郵件服務(wù)器，放在電子郵件服務(wù)器中收件人的郵箱（MailBox）里，收件人在自己方便的時(shí)間登錄郵箱接收郵件。電子郵件有如下特點(diǎn)：（1）速度快。人工郵件一般需要幾天時(shí)間才能送交目的方，而電子郵件只需要幾秒鐘就可以送達(dá)目的方。（2）費(fèi)用低。電子郵件發(fā)送信息的費(fèi)用要比電話、傳真以及人工郵件的費(fèi)用低很多。（3）內(nèi)容多樣。目前，電子郵件可以傳輸?shù)膬?nèi)容包括圖像、文字、視頻、音頻等多種格式的信息，因此電子郵件是多媒體信息傳輸?shù)闹匾侄沃弧?.6.2電子郵件格式

電子郵件的標(biāo)準(zhǔn)格式包括信封和內(nèi)容兩部分，即郵件頭（Header）和郵件主體（Body）。郵件頭包括發(fā)件人的電子郵件地址、接件人的電子郵件地址、發(fā)送日期、郵件標(biāo)題、發(fā)送優(yōu)先級(jí)等。其中收發(fā)雙方的電子郵件地址是必須填的。郵件主體是發(fā)件人給收件人發(fā)送的具體郵件內(nèi)容。電子郵件地址的標(biāo)準(zhǔn)格式是：

<用戶名>@郵件服務(wù)器的域名6.6.3電子郵件構(gòu)成

電子郵件系統(tǒng)的構(gòu)成，主要由用戶代理（UserAgent）、郵件服務(wù)器、簡(jiǎn)單郵件傳輸協(xié)議（SimpleMailTransferProtocol，SMTP）和郵件讀取協(xié)議（PostOfficeProtocolVersion3，POP3）幾大部分構(gòu)成。互聯(lián)網(wǎng)中有大量的郵件服務(wù)器，這些郵件服務(wù)器構(gòu)成了電子郵件基礎(chǔ)結(jié)構(gòu)的核心。電子郵件系統(tǒng)構(gòu)成6.6.4SMTP與POP3

SMTP定義了兩個(gè)相互通信的SMTP進(jìn)程之間應(yīng)該如何交換信息。SMTP使計(jì)算機(jī)在發(fā)送或者中轉(zhuǎn)郵件時(shí)能夠找到下一個(gè)目的地，通過(guò)SMTP就可以將電子郵件發(fā)送到收件人的電子郵件服務(wù)器中。SMTP的工作方式為客戶/服務(wù)器方式，發(fā)送郵件的SMTP進(jìn)程是SMTP客戶，負(fù)責(zé)接收郵件的SMTP進(jìn)程是SMTP服務(wù)器。SMTP工作過(guò)程主要包括如下三個(gè)步驟。1.連接建立階段2.傳輸郵件階段3.連接釋放階段POP是一種極為簡(jiǎn)單、功能有限的用于接收電子郵件的協(xié)議，目前使用的是1996年發(fā)行的版本POP3[RFC1939，STD53]，POP3使用的是客戶/服務(wù)器的工作方式。收件人的計(jì)算機(jī)中需要運(yùn)行POP3客戶進(jìn)程作為POP3客戶，收件人所連接的郵件服務(wù)器中運(yùn)行POP3服務(wù)器進(jìn)程，和SMTP服務(wù)器程序，以便接收發(fā)送方郵件服務(wù)器的SMTP客戶程序發(fā)來(lái)的郵件。6.6.5郵件擴(kuò)充MIMEMIME包括以下三部分：（1）擴(kuò)充了5個(gè)新郵件首部字段，在原來(lái)的郵件首部中，可以包含這些新字段。這些字段對(duì)郵件主體的相關(guān)信息進(jìn)行了描述；（2）定義了很多郵件內(nèi)容的格式，對(duì)多媒體電子郵件的表示法進(jìn)行了標(biāo)準(zhǔn)定義；（3）對(duì)傳送編碼方式進(jìn)行了定義，能夠?qū)θ魏蝺?nèi)容格式進(jìn)行轉(zhuǎn)換，同時(shí)不會(huì)被郵件系統(tǒng)改變。MIME加入的5個(gè)新郵件首部字段說(shuō)明如下：（1）MIME-Version：表明MIME的版本，目前是1.0版本。（2）Content-Description：為可讀字符串，表明郵件主體是否為圖像或音視頻。（3）Content-ID：具有唯一性的郵件標(biāo)識(shí)符。（4）Content-Transfer-Encoding：決定傳輸郵件時(shí)，郵件主體所采用的編碼方式。（5）Content-Type：闡明郵件主體的數(shù)據(jù)類型與其子類型。6.7動(dòng)態(tài)主機(jī)配置協(xié)議DHCP

動(dòng)態(tài)主機(jī)配置協(xié)議（DynamicHostConfigurationProtocol，DHCP）[RFC1541]自動(dòng)為主機(jī)分配上網(wǎng)參數(shù)，達(dá)到即插即用的連網(wǎng)效果，在整個(gè)過(guò)程中，不需要人為地手工參與。DHCP工作方式為客戶/服務(wù)器模式。服務(wù)器端自動(dòng)為連入網(wǎng)絡(luò)中的主機(jī)（客戶）分配網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)管理變得快捷、高效、準(zhǔn)確，減少了出錯(cuò)的概率。DHCP特點(diǎn)如下：（1）全部配置過(guò)程自動(dòng)完成，客戶端無(wú)須干預(yù)。（2）DHCP服務(wù)器負(fù)責(zé)管理所有配置信息，不僅能為客戶端分配IP地址，還能夠配置其他信息，比如DNS服務(wù)器等。（3）DHCP對(duì)IP地址的分配采用租期管理方式，從而提高IP地址的利用率。（4）DHCP使用廣播進(jìn)行報(bào)文交互，所以交互的報(bào)文一般無(wú)法跨網(wǎng)段，可以借助DHCP中繼代理技術(shù)實(shí)現(xiàn)跨網(wǎng)段的DHCP服務(wù)。DHCP工作過(guò)程：（1）DHCP發(fā)現(xiàn)階段（2）地址提供階段（3）選擇接收階段（4）確認(rèn)接收階段6.8實(shí)驗(yàn)實(shí)驗(yàn)1：域名系統(tǒng)（DNS）實(shí)驗(yàn)實(shí)驗(yàn)2：萬(wàn)維網(wǎng)（WWW）實(shí)驗(yàn)實(shí)驗(yàn)3：遠(yuǎn)程終端協(xié)議（Telnet）實(shí)驗(yàn)實(shí)驗(yàn)4：電子郵件實(shí)驗(yàn)6.9本章小結(jié)

本章主要介紹了應(yīng)用層的功能與作用，具體講述了域名系統(tǒng)DNS、文件傳輸協(xié)議FTP、萬(wàn)維網(wǎng)WWW、遠(yuǎn)程終端Telnet與SSH、電子郵件協(xié)議及動(dòng)態(tài)主機(jī)配置協(xié)議DHCP的功能、作用、原理與配置實(shí)驗(yàn)。講解了常見應(yīng)用層協(xié)議的工作過(guò)程。第七章

無(wú)線網(wǎng)絡(luò)

7.1無(wú)線網(wǎng)絡(luò)概述7.2無(wú)線局域網(wǎng)WLAN7.3其他無(wú)線網(wǎng)絡(luò)及技術(shù)7.4實(shí)驗(yàn)7.5本章小結(jié)7.1.1無(wú)線網(wǎng)絡(luò)的發(fā)展

近年來(lái)，無(wú)線通信技術(shù)得到了飛速發(fā)展，在全世界范圍內(nèi)使用移動(dòng)電話的人數(shù)早已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了使用固定電話的人數(shù)，人們喜歡“移動(dòng)”著打電話。對(duì)于計(jì)算機(jī)網(wǎng)絡(luò)，人們也想隨時(shí)隨地、不受限制地上網(wǎng)，因此發(fā)展出很多無(wú)線傳輸技術(shù)，如無(wú)線局域網(wǎng)技術(shù)、藍(lán)牙、ZigBee、蜂窩網(wǎng)絡(luò)、移動(dòng)IP等，無(wú)線網(wǎng)絡(luò)的應(yīng)用范圍也隨之?dāng)U大。使用電磁波在自由空間進(jìn)行信息傳輸?shù)木W(wǎng)絡(luò)稱為無(wú)線網(wǎng)絡(luò)。7.1無(wú)線網(wǎng)絡(luò)概述7.1.2無(wú)線網(wǎng)絡(luò)的分類1）無(wú)線個(gè)域網(wǎng)2）無(wú)線局域網(wǎng)無(wú)線局域網(wǎng)（WirelessLocalAreaNetwork，WLAN）可分為有固定基礎(chǔ)設(shè)施和無(wú)固定基礎(chǔ)設(shè)備兩大類。3）無(wú)線城域網(wǎng)4）無(wú)線廣域網(wǎng)類似衛(wèi)星通信網(wǎng)絡(luò)或蜂窩移動(dòng)通信網(wǎng)絡(luò)等均覆蓋了廣闊的區(qū)域，被稱為無(wú)線廣域網(wǎng)。

7.2無(wú)線局域網(wǎng)WLAN7.2.1無(wú)線局域網(wǎng)的特點(diǎn)及組成

與有線網(wǎng)絡(luò)相比，無(wú)線局域網(wǎng)具有以下特點(diǎn)：（1）安裝便捷。（2）使用靈活。（3）經(jīng)濟(jì)節(jié)約。（4）易于擴(kuò)展。無(wú)線局域網(wǎng)的組成：（1）站。指主機(jī)或終端。（2）無(wú)線介質(zhì)。指無(wú)線電磁波的載體，即自由空間。（3）接入點(diǎn)（AccessPoint,AP）。AP用來(lái)連接各站，為所連接站的數(shù)據(jù)通信提供轉(zhuǎn)發(fā)服務(wù)。（4）分布式系統(tǒng)（DS）。7.2.2802.11局域網(wǎng)拓?fù)浣Y(jié)構(gòu)1.分布對(duì)等式拓?fù)鋵?duì)等模式拓?fù)溆糜谧越M織型WLAN中，拓?fù)渲胁恍枰獰o(wú)線集中接入點(diǎn)AP，也不需要預(yù)先的固定基礎(chǔ)設(shè)施，站點(diǎn)間是對(duì)等的、分布式的，可隨時(shí)構(gòu)建。2.基礎(chǔ)結(jié)構(gòu)式拓?fù)?/p>

兩個(gè)BSS通過(guò)DS連接在一起，形成一個(gè)ESS，如圖7-3所示。其中分配系統(tǒng)使用了以太網(wǎng)，也可以是點(diǎn)對(duì)點(diǎn)鏈路或其他無(wú)線網(wǎng)絡(luò)，ESS通過(guò)分配系統(tǒng)通往其他網(wǎng)絡(luò)，如互聯(lián)網(wǎng)等。7.2.3802.11標(biāo)準(zhǔn)系列1997年制定的IEEE802.11是第一代無(wú)線局域網(wǎng)標(biāo)準(zhǔn)之一，主要用于解決辦公室局域網(wǎng)和校園網(wǎng)中用戶與用戶終端的無(wú)線接入，業(yè)務(wù)主要限于數(shù)據(jù)存取。該標(biāo)準(zhǔn)定義了單一的MAC層和多樣的物理層，速率最高只能達(dá)到2Mb/s。為了在速率和傳輸距離上有更好的表現(xiàn)，IEEE小組又相繼推出了802.11b和802.11a兩個(gè)新標(biāo)準(zhǔn)。802.11b也稱為Wi-Fi，其采用2.4GHz直接序列擴(kuò)頻，最大數(shù)據(jù)傳輸速率為11Mb/s，無(wú)須直線傳播。支持動(dòng)態(tài)速率轉(zhuǎn)換，當(dāng)射頻情況變差時(shí)，可將數(shù)據(jù)傳輸速率降低為5.5Mb/s、2Mb/s或1Mb/s。支持的范圍在室外可達(dá)300米，在辦公環(huán)境中最長(zhǎng)為100米。802.11b使用與以太網(wǎng)類似的連接協(xié)議和數(shù)據(jù)包確認(rèn)，來(lái)提供可靠的數(shù)據(jù)傳送和網(wǎng)絡(luò)帶寬的有效使用。802.11a標(biāo)準(zhǔn)是802.11b的后續(xù)標(biāo)準(zhǔn)，其工作在5GHz頻段上，物理層速率可達(dá)54Mb/s?？商峁?5Mb/s的無(wú)線ATM接口和10Mb/s的以太網(wǎng)無(wú)線幀接口，以及TDD/TDMA的空中接口，支持語(yǔ)音、數(shù)據(jù)、圖像業(yè)務(wù)，一個(gè)扇區(qū)可接入多個(gè)用戶，每個(gè)用戶可帶多個(gè)用戶終端。事實(shí)上，為了得到更高的性能，IEEE在802.11的基礎(chǔ)上進(jìn)行了很多的擴(kuò)展，形成了一系列的標(biāo)準(zhǔn)。802.11g其實(shí)是一種混合標(biāo)準(zhǔn)，它既能適應(yīng)傳統(tǒng)的802.11b標(biāo)準(zhǔn)，在2.4GHz頻率下提供11Mb/s的數(shù)據(jù)傳輸率，也符合802.11a標(biāo)準(zhǔn)在5GHz頻率下提供56Mb/s的數(shù)據(jù)傳輸率。802.11n標(biāo)準(zhǔn)為雙頻（2.4GHz/5GHz）模式，數(shù)據(jù)傳輸率為100Mb/s，最高可達(dá)600Mb/s，擴(kuò)大了無(wú)線信號(hào)的傳輸范圍，提高了系統(tǒng)容量。隨后，IEEE802.11ac和IEEE802.11ax的標(biāo)準(zhǔn)使性能更進(jìn)一步提升。2018年，Wi-Fi聯(lián)盟宣布，將新一代的IEEE802.11ax更名為Wi-Fi6，同時(shí)將以前的802.11b更名為Wi-Fi1，將802.11a更名為Wi-Fi2，將802.11g更名為Wi-Fi3，將802.11n更名為Wi-Fi4，將802.11ac更名為Wi-Fi5。7.2.4802.11局域網(wǎng)的MAC層協(xié)議MAC層通過(guò)共享訪問(wèn)介質(zhì)來(lái)實(shí)現(xiàn)數(shù)據(jù)傳輸服務(wù)，保障數(shù)據(jù)傳輸?shù)目煽啃裕@是通過(guò)兩種訪問(wèn)機(jī)制來(lái)實(shí)現(xiàn)的，即分布式協(xié)調(diào)功能（DistributedCoordinationFunction，DCF）和點(diǎn)協(xié)調(diào)功能（PointCoordinationFunction，PCF）。對(duì)于無(wú)線局域網(wǎng)來(lái)說(shuō)，同樣也屬于在共享介質(zhì)上進(jìn)行數(shù)據(jù)傳輸，是否也能采用CSMA/CD協(xié)議呢？（1）信號(hào)強(qiáng)度的問(wèn)題。（2）隱蔽站的問(wèn)題。CSMA/CA的工作流程如下：（1）發(fā)送站在發(fā)送數(shù)據(jù)前，首先監(jiān)聽信道，若信道空閑，需等待一個(gè)IFS，若信道繼續(xù)空閑，則立即發(fā)送數(shù)據(jù)。（2）在（1）中監(jiān)聽信道的過(guò)程中，若信道忙，則繼續(xù)監(jiān)聽信道，直到信道空閑。（3）當(dāng)信道轉(zhuǎn)入空閑時(shí)，等待一個(gè)IFS，若信道依然空閑，則發(fā)送數(shù)據(jù)；若信道轉(zhuǎn)為忙，則執(zhí)行二進(jìn)制指數(shù)退避算法，進(jìn)入爭(zhēng)用窗口，同時(shí)繼續(xù)監(jiān)聽信道。在上述算法中，沒(méi)有考慮幀的優(yōu)先級(jí)。為了降低碰撞的發(fā)生，提高傳輸效率，802.11設(shè)計(jì)了三種不同的IFS：（1）短幀間間隔（SIFS）。這是最短的幀間間隔，具有最高的優(yōu)先級(jí)，用于將幀盡快發(fā)送出去，典型值為10μs。（2）點(diǎn)協(xié)調(diào)幀間間隔（PIFS）。在PCF機(jī)制中使用，如中央控制器查詢幀。PIFS長(zhǎng)度大于SIFS。（3）分布協(xié)調(diào)幀間間隔（DIFS）。在DCF機(jī)制中使用，異步幀爭(zhēng)用訪問(wèn)控制權(quán)時(shí)的幀間間隔，是最長(zhǎng)的IFS，典型值為50μs?；窘尤敕椒叭N時(shí)隙示意圖2.RTS/CTS針對(duì)隱蔽站帶來(lái)的碰撞問(wèn)題，發(fā)送站在送出數(shù)據(jù)前，先發(fā)送一段請(qǐng)求傳送幀RTS到目標(biāo)站，并等待目標(biāo)站對(duì)該請(qǐng)求的回應(yīng)幀CTS，握手同意后，發(fā)送站即可發(fā)送數(shù)據(jù)幀，7.3其他無(wú)線網(wǎng)絡(luò)及技術(shù)1.藍(lán)牙藍(lán)牙作為一種小范圍無(wú)線連接技術(shù)，能在設(shè)備間實(shí)現(xiàn)方便快捷、靈活安全、低成本、低功耗的數(shù)據(jù)通信和語(yǔ)音通信，因此它是實(shí)現(xiàn)無(wú)線個(gè)域網(wǎng)通信的主流技術(shù)之一。能在包括移動(dòng)電話、PDA、無(wú)線耳機(jī)、筆記本電腦及相關(guān)外設(shè)等眾多設(shè)備之間進(jìn)行無(wú)線信息傳輸。藍(lán)牙使用IEEE802.15協(xié)議，工作在全球通用的2.4GHzISM（即工業(yè)、科學(xué)、醫(yī)學(xué)）頻段。藍(lán)牙傳輸距離較短，藍(lán)牙技術(shù)的主要工作范圍在10米左右，經(jīng)過(guò)增加射頻功率后的藍(lán)牙技術(shù)，可以在100米的范圍進(jìn)行工作。藍(lán)牙主要有以下一些應(yīng)用：1）車載設(shè)備間的通信2）工業(yè)生產(chǎn)中的應(yīng)用3）醫(yī)藥領(lǐng)域中的應(yīng)用2.ZigBeeZigBee無(wú)線通信技術(shù)是基于蜜蜂相互間聯(lián)系的方式而研發(fā)的一項(xiàng)應(yīng)用于互聯(lián)網(wǎng)通信的網(wǎng)絡(luò)技術(shù)，其基于IEEE的802.15.4無(wú)線標(biāo)準(zhǔn)。通常用在無(wú)線個(gè)域網(wǎng)或機(jī)器人間的組網(wǎng)中。ZigBee網(wǎng)絡(luò)的理論最大節(jié)點(diǎn)數(shù)為2的16次方，即65536個(gè)節(jié)點(diǎn)，網(wǎng)絡(luò)中的任意節(jié)點(diǎn)之間都可以進(jìn)行數(shù)據(jù)通信，并具有自動(dòng)修復(fù)功能。當(dāng)節(jié)點(diǎn)移動(dòng)時(shí)，節(jié)點(diǎn)間的網(wǎng)絡(luò)連接關(guān)系也會(huì)發(fā)生變化，節(jié)點(diǎn)的網(wǎng)絡(luò)通信模塊可以通過(guò)重新搜索通信對(duì)象，通過(guò)確定它們之間的聯(lián)系來(lái)重置原始網(wǎng)絡(luò)。只要節(jié)點(diǎn)在網(wǎng)絡(luò)模塊通信的范圍內(nèi)自動(dòng)找到對(duì)方，它們就可以快速形成互聯(lián)的網(wǎng)絡(luò)。ZigBee技術(shù)的先天性優(yōu)勢(shì)，使得它在物聯(lián)網(wǎng)行業(yè)逐漸成為一種主流技術(shù)，在工業(yè)、農(nóng)業(yè)、智能家居等領(lǐng)域得到大規(guī)模的應(yīng)用。3.移動(dòng)IP移動(dòng)IP技術(shù)就是讓計(jì)算機(jī)在互聯(lián)網(wǎng)中不受限制地漫游，也被稱為移動(dòng)計(jì)算機(jī)技術(shù)。解決移動(dòng)IP問(wèn)題的基本思路與處理蜂窩移動(dòng)電話呼叫相似，使用漫游、位置登記、隧道、鑒權(quán)等技術(shù)，從而使移動(dòng)節(jié)點(diǎn)使用固定不變的IP地址，一次登錄即可實(shí)現(xiàn)在任意位置，包括移動(dòng)節(jié)點(diǎn)從一個(gè)IP網(wǎng)絡(luò)漫游到另一個(gè)IP網(wǎng)絡(luò)時(shí)保持與IP主機(jī)的單一連接，使通信持續(xù)進(jìn)行。實(shí)驗(yàn)1：構(gòu)建WLAN基礎(chǔ)結(jié)構(gòu)網(wǎng)絡(luò)（BSS）1.實(shí)驗(yàn)?zāi)康模?）理解CSMA/CA協(xié)議的目的和作用。（2）掌握配置BSS網(wǎng)絡(luò)。2.實(shí)驗(yàn)原理接入點(diǎn)AP用來(lái)連接各站，為所連接站的數(shù)據(jù)通信提供轉(zhuǎn)發(fā)服務(wù)。一個(gè)AP覆蓋的范圍稱為一個(gè)基本服務(wù)組（BSS），一個(gè)BSS包括一個(gè)接入點(diǎn)和若干站，是802.11標(biāo)準(zhǔn)規(guī)定的無(wú)線局域網(wǎng)的最小構(gòu)件。4.實(shí)驗(yàn)拓?fù)?.實(shí)驗(yàn)流程實(shí)驗(yàn)2：構(gòu)建WLAN基礎(chǔ)結(jié)構(gòu)網(wǎng)絡(luò)（ESS）1.實(shí)驗(yàn)?zāi)康模?）理解CSMA/CA協(xié)議的目的和作用。（2）掌握配置ESS網(wǎng)絡(luò)。2.實(shí)驗(yàn)原理分布式系統(tǒng)（DS）。單個(gè)BSS無(wú)線覆蓋的范圍非常有限，只能提供BSS內(nèi)部站點(diǎn)間的通信，為了擴(kuò)大覆蓋范圍，可通過(guò)分布式系統(tǒng)DS將多個(gè)BSS連接起來(lái)，構(gòu)成一個(gè)擴(kuò)展服務(wù)組（ESS）。DS通過(guò)入口連接骨干網(wǎng)，入口可以識(shí)別有線網(wǎng)絡(luò)和WLAN的幀，是一個(gè)邏輯接入點(diǎn)，可以是單一設(shè)備，也可以集成到AP中。4.實(shí)驗(yàn)拓?fù)?.實(shí)驗(yàn)流程AP1配置同實(shí)驗(yàn)1。AP2配置如下：為區(qū)別于AP1，AP2中將SSID設(shè)置為myap2ssid，并關(guān)閉連接認(rèn)證。7.5本章小結(jié)本章首先介紹了無(wú)線網(wǎng)絡(luò)的概要及分類，并較詳盡地講解了應(yīng)用較廣的IEEE802.11無(wú)線局域網(wǎng)，最后對(duì)部分其他無(wú)線網(wǎng)絡(luò)進(jìn)行了簡(jiǎn)要介紹。第八章

計(jì)算機(jī)網(wǎng)絡(luò)的新技術(shù)*8.1物聯(lián)網(wǎng)技術(shù)8.2大數(shù)據(jù)技術(shù)8.3云計(jì)算8.4區(qū)塊鏈8.5

5G技術(shù)本章小結(jié)8.1.1物聯(lián)網(wǎng)的基本概念物聯(lián)網(wǎng)的興起關(guān)于物聯(lián)網(wǎng)的起源，公認(rèn)的說(shuō)法是由麻省理工學(xué)院Auto-ID實(shí)驗(yàn)室的Ashton教授在1999年最早提出的EPC，也就是早期的物聯(lián)概念，當(dāng)時(shí)被稱之為“傳感網(wǎng)”。1999年在美國(guó)召開的移動(dòng)計(jì)算機(jī)網(wǎng)絡(luò)和國(guó)際會(huì)議提出“傳感網(wǎng)是下一個(gè)世紀(jì)人類面臨的又一個(gè)發(fā)展機(jī)遇”，此后傳感網(wǎng)逐步進(jìn)入學(xué)術(shù)界和工業(yè)界，成為全球研究的熱點(diǎn)。8.1物聯(lián)網(wǎng)技術(shù)2.物聯(lián)網(wǎng)的定義物聯(lián)網(wǎng)概念最早是由麻省理工學(xué)院的Auto-ID實(shí)驗(yàn)室提出，他們對(duì)物聯(lián)網(wǎng)的定義為：物理網(wǎng)就是通過(guò)射頻識(shí)別技術(shù)（RFID）和條碼等信息傳感媒介把實(shí)際物品與互聯(lián)網(wǎng)連接起來(lái)，實(shí)現(xiàn)智能化識(shí)別和管理，也就是將RFID技術(shù)與互聯(lián)網(wǎng)相結(jié)合的產(chǎn)物。物聯(lián)網(wǎng)是在互聯(lián)網(wǎng)的基礎(chǔ)上發(fā)展起來(lái)的，因此物聯(lián)網(wǎng)可以理解為互聯(lián)網(wǎng)概念的升華，將連接對(duì)象從人與人擴(kuò)展到物與物，將從前人與人之間信息傳輸擴(kuò)展到人與物、甚至物與物之間信息傳輸。人與物、物與物的互聯(lián)會(huì)使得人更加便捷地集中管理和控制真實(shí)物體，實(shí)現(xiàn)智能化的管理與控制。國(guó)際電信聯(lián)盟（InternationalTelecommunicationUnion，ITU）對(duì)物聯(lián)網(wǎng)的定義為：物聯(lián)網(wǎng)主要解決物品與物品（ThingtoThing）、人與物品（HumantoThing）、人與人（HumantoHuman）之間的互聯(lián)。這樣就實(shí)現(xiàn)了物品與物品之間、人與物品之間以及人與人之間的信息聯(lián)通，即萬(wàn)物互聯(lián)的理想狀態(tài)。在2010年我國(guó)政府工作報(bào)告中，對(duì)物聯(lián)網(wǎng)有如下闡述：物聯(lián)網(wǎng)是通過(guò)傳感設(shè)備按照約定的協(xié)議，把各種網(wǎng)絡(luò)連接起來(lái)，進(jìn)行信息交換和通信，以實(shí)現(xiàn)智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。綜上所述，我們可以將物聯(lián)網(wǎng)理解為通過(guò)二維碼、射頻識(shí)別技術(shù)等傳感設(shè)備把物體與互聯(lián)網(wǎng)相連接，實(shí)現(xiàn)人與物的互聯(lián)互通狀態(tài)，從而實(shí)現(xiàn)智能化地控制與交互。3.物聯(lián)網(wǎng)的基本特點(diǎn)全面感知利用無(wú)線射頻識(shí)別（RFID）、傳感器、定位器和二維碼等手段隨時(shí)隨地對(duì)物體進(jìn)行信息采集和獲取。可靠傳遞可靠傳遞是指通過(guò)各種電信網(wǎng)絡(luò)和因特網(wǎng)融合，對(duì)接收到的感知信息進(jìn)行實(shí)時(shí)遠(yuǎn)程傳送，實(shí)現(xiàn)信息的交互和共享，并進(jìn)行各種有效的處理。智能處理智能處理是指利用云計(jì)算、模糊識(shí)別等各種智能計(jì)算技術(shù)，對(duì)隨時(shí)接受到的跨地域、跨行業(yè)、跨部門的海量數(shù)據(jù)和信息進(jìn)行分析處理，提升對(duì)物理世界、經(jīng)濟(jì)社會(huì)各種活動(dòng)和變化的洞察力，實(shí)現(xiàn)智能化的決策和控制。4.與物聯(lián)網(wǎng)相關(guān)的概念物聯(lián)網(wǎng)與傳感網(wǎng)傳感網(wǎng)又稱為傳感器網(wǎng)，最早由美軍在1978年提出，當(dāng)時(shí)局限于由若干具有無(wú)線通信能力的傳感器節(jié)點(diǎn)自組織構(gòu)成的網(wǎng)絡(luò)。隨著近年來(lái)科技水平的不斷發(fā)展，現(xiàn)在說(shuō)到的傳感網(wǎng)，常指無(wú)線傳感網(wǎng)由大量靜止或移動(dòng)的傳感器以自組織和多跳的方式構(gòu)成的無(wú)線網(wǎng)絡(luò)。通過(guò)無(wú)線傳感網(wǎng)，可以隨時(shí)隨地獲取大量可靠的現(xiàn)實(shí)世界的信息。物聯(lián)網(wǎng)是從物的層面上對(duì)這種事物進(jìn)行表述，傳感網(wǎng)是從技術(shù)和設(shè)備的角度對(duì)這種事物進(jìn)行表述。物聯(lián)網(wǎng)的設(shè)備是所有物體，突出的是一種信息技術(shù)，它建立的目的是為人們提供高層次的應(yīng)用服務(wù)。傳感網(wǎng)的設(shè)備是傳感器，突出的是傳感器技術(shù)和傳感器設(shè)備，它建立的目的是更多地獲取海量的信息。物聯(lián)網(wǎng)與互聯(lián)網(wǎng)互聯(lián)網(wǎng)指的是網(wǎng)絡(luò)與網(wǎng)絡(luò)之間所串連成的龐大網(wǎng)絡(luò)，這些網(wǎng)絡(luò)以一組通用的協(xié)議相連，形成邏輯上的單一巨大國(guó)際網(wǎng)絡(luò)。通常internet泛指互聯(lián)網(wǎng)，而Internet則特指因特網(wǎng)。這種將計(jì)算機(jī)網(wǎng)絡(luò)互相聯(lián)接在一起的方法可稱作“網(wǎng)絡(luò)互聯(lián)”，在這基礎(chǔ)上發(fā)展出覆蓋全世界的全球性互聯(lián)網(wǎng)絡(luò)稱互聯(lián)網(wǎng)，即是互相連接一起的網(wǎng)絡(luò)結(jié)構(gòu)。物聯(lián)網(wǎng)與互聯(lián)網(wǎng)物聯(lián)網(wǎng)的指的是通過(guò)射頻識(shí)別(RFID)、紅外傳感器等信息傳感設(shè)備，把任何物品與互聯(lián)網(wǎng)相連接起來(lái)并進(jìn)行信息交換和通信，以實(shí)現(xiàn)對(duì)事物的智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。物聯(lián)網(wǎng)與互聯(lián)網(wǎng)物聯(lián)網(wǎng)是互聯(lián)網(wǎng)的延伸，它利用通信技術(shù)把傳感器、控制器、機(jī)器、人員和物等通過(guò)新的方式聯(lián)在一起，形成人與物、物與物的相關(guān)聯(lián)，而它對(duì)于實(shí)體端和信息端的云計(jì)算等相關(guān)傳感設(shè)備的需求，使得產(chǎn)業(yè)內(nèi)的聯(lián)合成為未來(lái)的必然的發(fā)展趨勢(shì)，也為實(shí)際應(yīng)用的領(lǐng)域打開無(wú)限可能。物聯(lián)網(wǎng)與泛在網(wǎng)互聯(lián)網(wǎng)與物聯(lián)網(wǎng)相結(jié)合，便可以稱為“泛在網(wǎng)”。利用物聯(lián)網(wǎng)的相關(guān)技術(shù)如射頻識(shí)別技術(shù)、無(wú)限通信技術(shù)、智能芯片技術(shù)、傳感器技術(shù)、信息融合技術(shù)等等，以及互聯(lián)網(wǎng)的相關(guān)技術(shù)如軟件技術(shù)、人工智能技術(shù)、大數(shù)據(jù)技術(shù)、云計(jì)算技術(shù)等，可以實(shí)現(xiàn)人與人的溝通、人與物的溝通以及物與物的溝通，使溝通的形態(tài)呈現(xiàn)多渠道、全方位、多角度的整體態(tài)勢(shì)。這種形式的溝通不受時(shí)間、地點(diǎn)、自然環(huán)境、人為因素等的干擾，可以隨時(shí)隨地自由進(jìn)行。泛在網(wǎng)的范圍比物聯(lián)網(wǎng)還要大，除了人與人、人與物、物與物的溝通外，它還涵蓋了人與人的關(guān)系、人與物的關(guān)系、物與物的關(guān)系。可以這樣說(shuō)，泛在網(wǎng)包含了物聯(lián)網(wǎng)、互聯(lián)網(wǎng)、傳感網(wǎng)的所有內(nèi)容，以及人工智能和智能系統(tǒng)的部分范疇，是一個(gè)整合了多種網(wǎng)絡(luò)的更加綜合全面的網(wǎng)絡(luò)系統(tǒng)。傳感器是泛在網(wǎng)、物聯(lián)網(wǎng)的組成部分，而物聯(lián)網(wǎng)又是在泛在網(wǎng)發(fā)展的物聯(lián)階段，各種網(wǎng)絡(luò)之間相互協(xié)作融合是泛在網(wǎng)發(fā)展的終極目標(biāo)。8.1.2物聯(lián)網(wǎng)的體系結(jié)構(gòu)目前普遍公認(rèn)的物聯(lián)網(wǎng)體系結(jié)構(gòu)如圖所示，主要由三個(gè)層次組成：感知層、網(wǎng)絡(luò)層和應(yīng)用層。1.感知層感知層是實(shí)現(xiàn)物聯(lián)網(wǎng)全面感知的基礎(chǔ)。以射頻識(shí)別技術(shù)（RFID）、傳感器、二維碼等等為主，利用傳感器收集設(shè)備信息，利用射頻識(shí)別技術(shù)在一定范圍類實(shí)現(xiàn)發(fā)射和識(shí)別。主要是通過(guò)傳感器識(shí)別物體，從而采集數(shù)據(jù)信息。比如，工業(yè)過(guò)程的控制、汽車應(yīng)用方面的傳感器。汽車方面，汽車能夠顯示汽油還有多少，這就需要能夠檢測(cè)到汽油液面高度的傳感器，還有就是汽車停止的時(shí)候，如果有誰(shuí)震動(dòng)到它就會(huì)發(fā)出警報(bào)，這就需要能夠感應(yīng)振動(dòng)的傳感器。醫(yī)療衛(wèi)生，以及食品監(jiān)測(cè)這方面的傳感器，要檢測(cè)某種食品含有的危害物質(zhì)濃度有多大？是否超標(biāo)？也需要濃度傳感器來(lái)檢測(cè)。感知層涉及到的主要技術(shù)包括傳感器技術(shù)、物品標(biāo)識(shí)技術(shù)（RFID和二維碼）和短距離無(wú)線傳輸技術(shù)（藍(lán)牙和ZigBee）等。2.網(wǎng)絡(luò)層網(wǎng)絡(luò)層主要負(fù)責(zé)對(duì)傳感器采集的信息進(jìn)行安全無(wú)誤的傳輸，并對(duì)收集到的信息傳輸給應(yīng)用層。同時(shí)，網(wǎng)絡(luò)層"云計(jì)算"技術(shù)的應(yīng)用確保建立實(shí)用、適用、可靠和高效的信息化系統(tǒng)和智能化信息共享平臺(tái)，實(shí)現(xiàn)對(duì)各種信息的共享和優(yōu)化管理。網(wǎng)絡(luò)通信技術(shù)主要實(shí)現(xiàn)物聯(lián)網(wǎng)數(shù)據(jù)信息和控制信息的雙向傳遞、路由和控制，重點(diǎn)包括低速近距離無(wú)線通信技術(shù)、低功耗路由、自組織通信、無(wú)線接入M2M通信增強(qiáng)、IP承載技術(shù)、網(wǎng)絡(luò)傳送技術(shù)、異構(gòu)網(wǎng)絡(luò)融合接入技術(shù)以及認(rèn)知無(wú)線電技術(shù)。通信網(wǎng)絡(luò)是實(shí)現(xiàn)“物聯(lián)網(wǎng)”必不可少的基礎(chǔ)設(shè)施，安置在動(dòng)物、植物、機(jī)器和物品上的電子介質(zhì)產(chǎn)生的數(shù)字信號(hào)可隨時(shí)隨地通過(guò)無(wú)處不在的通信網(wǎng)絡(luò)傳送出去。只有實(shí)現(xiàn)各種傳感網(wǎng)絡(luò)的互聯(lián)、廣域的數(shù)據(jù)交互和多方共享，以及規(guī)模性的應(yīng)用，才能真正建立一個(gè)有效的物聯(lián)網(wǎng)。3.應(yīng)用層應(yīng)用層主要解決信息處理和人機(jī)界面的問(wèn)題，也即輸入輸出控制終端。例如，手機(jī)、智能家居的控制器等等，主要通過(guò)數(shù)據(jù)處理及解決方案來(lái)提供人們所需的信息服務(wù)。應(yīng)用層針對(duì)的是直接用戶，為用戶提供豐富的服務(wù)及功能，用戶也可以通過(guò)終端在應(yīng)用層定制自己需要的服務(wù)：比如查詢信息、監(jiān)視信息、控制信息等等。8.1.3物聯(lián)網(wǎng)的關(guān)鍵技術(shù)1.射頻識(shí)別技術(shù)（RFID）射頻識(shí)別（RFID）技術(shù)也稱為電子標(biāo)簽，是一種無(wú)線通信技術(shù)，可以通過(guò)無(wú)線電信號(hào)識(shí)別特定目標(biāo)并讀寫相關(guān)數(shù)據(jù)，而不需要在識(shí)別系統(tǒng)與特定目標(biāo)之間建立機(jī)械或者光學(xué)接觸，因此，它是一種非接觸式的自動(dòng)識(shí)別技術(shù)。射頻識(shí)別系統(tǒng)主要由電子標(biāo)簽、讀寫器和天線等部分組成。標(biāo)簽：由耦合元件及芯片組成，每個(gè)標(biāo)簽具有唯一的電子編碼，附著在物體上標(biāo)識(shí)目標(biāo)對(duì)象；閱讀器：讀取(有時(shí)還可以寫入)標(biāo)簽信息的設(shè)備，可設(shè)計(jì)為手持式或固定式；天線：在標(biāo)簽和讀取器間傳遞射頻信號(hào)。2.傳感器技術(shù)傳感器技術(shù)同計(jì)算機(jī)技術(shù)與通信一起被稱為信息技術(shù)的三大支柱。國(guó)家標(biāo)準(zhǔn)對(duì)傳感器的定義為：能感受規(guī)定的被測(cè)量件并按照一定的規(guī)律轉(zhuǎn)換成可用信號(hào)的器件或裝置，通常由敏感元件和轉(zhuǎn)換元件組成。傳感器是一種檢測(cè)裝置,能感受到被測(cè)量的信息，并能將檢測(cè)感受到的信息，按一定規(guī)律變換成為電信號(hào)或其他所需形式的信息輸出，以滿足信息的傳輸、處理、存儲(chǔ)、顯示、記錄和控制等要求。它是實(shí)現(xiàn)自動(dòng)檢測(cè)和自動(dòng)控制的首要環(huán)節(jié)。從物聯(lián)網(wǎng)角度看，傳感技術(shù)是衡量一個(gè)國(guó)家信息化程度的重要標(biāo)志，作為第二屆杭州物聯(lián)網(wǎng)暨傳感技術(shù)應(yīng)用高峰論壇，推進(jìn)我國(guó)傳感器產(chǎn)業(yè)化快速發(fā)展。傳感技術(shù)是關(guān)于從自然信源獲取信息，并對(duì)之進(jìn)行處理和識(shí)別的一門多學(xué)科交叉的現(xiàn)代科學(xué)與工程技術(shù)。物聯(lián)網(wǎng)中的傳感器與傳統(tǒng)傳感器相比較，最大的不同在于物聯(lián)網(wǎng)中的傳感器一般具有一定的智能性，比如它可以把信號(hào)傳遞出去，通過(guò)與傳感器連接的傳輸介質(zhì)將傳感器感知得到的信號(hào)傳遞給處理中心進(jìn)行判斷處理，因此物聯(lián)網(wǎng)中的傳感器通常被稱為“智能傳感器”。3.嵌入式技術(shù)嵌入式技術(shù)是指以應(yīng)用為中心，以計(jì)算機(jī)技術(shù)為基礎(chǔ)，軟硬件可裁剪，適應(yīng)應(yīng)用系統(tǒng)對(duì)功能、可靠性、成本、體積、功耗嚴(yán)格要求的專用計(jì)算機(jī)系統(tǒng)。嵌入式是一種專用的計(jì)算機(jī)系統(tǒng)，作為裝置或設(shè)備的一部分。通常，嵌入式系統(tǒng)是一個(gè)控制程序存儲(chǔ)在ROM中的嵌入式處理器控制板。事實(shí)上，所有帶有數(shù)字接口的設(shè)備，如手表、微波爐、錄像機(jī)、汽車等，都使用嵌入式系統(tǒng)，有些嵌入式系統(tǒng)還包含操作系統(tǒng)，但大多數(shù)嵌入式系統(tǒng)都是由單個(gè)程序?qū)崿F(xiàn)整個(gè)控制邏輯。物理網(wǎng)與嵌入式系統(tǒng)關(guān)系密切，無(wú)論是智能傳感器、無(wú)線網(wǎng)絡(luò)，還是計(jì)算機(jī)技術(shù)中信息顯示和處理，都包含了大量嵌入式系統(tǒng)和應(yīng)用。相比于傳統(tǒng)的嵌入式系統(tǒng)，物聯(lián)網(wǎng)中的嵌入式技術(shù)更為復(fù)雜，對(duì)系統(tǒng)的實(shí)時(shí)性以及計(jì)算精讀要求更高。4.無(wú)線通信技術(shù)無(wú)線通信是利用電磁波信號(hào)可以在自由空間中傳播的特性進(jìn)行信息交換的一種通信方式。在移動(dòng)中實(shí)現(xiàn)的無(wú)線通信又通稱為移動(dòng)通信，人們把二者合稱為無(wú)線移動(dòng)通信。無(wú)線通信是利用電磁波信號(hào)可以在自由空間中傳播的特性進(jìn)行信息交換的一種通信方式，近些年信息通信領(lǐng)域中，發(fā)展最快、應(yīng)用最廣的就是無(wú)線通信技術(shù)。在移動(dòng)中實(shí)現(xiàn)的無(wú)線通信又通稱為移動(dòng)通信，人們把二者合稱為無(wú)線移動(dòng)通信。無(wú)線通信主要包括微波通信和衛(wèi)星通信。微波是一種無(wú)線電波，它傳送的距離一般只有幾十千米。但微波的頻帶很寬，通信容量很大。微波通信每隔幾十千米要建一個(gè)微波中繼站。衛(wèi)星通信是利用通信衛(wèi)星作為中繼站在地面上兩個(gè)或多個(gè)地球站之間或移動(dòng)體之間建立微波通信聯(lián)系。5.中間件技術(shù)中間件技術(shù)在物聯(lián)網(wǎng)系統(tǒng)中發(fā)揮著不可替代的作用，可以說(shuō)是物聯(lián)網(wǎng)系統(tǒng)的靈魂。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，各種各樣的應(yīng)用軟件需要在各種平臺(tái)之間進(jìn)行移植，或者一個(gè)平臺(tái)需要支持多種應(yīng)用軟件和管理多種應(yīng)用系統(tǒng)，軟、硬件平臺(tái)和應(yīng)用系統(tǒng)之間需要可靠和高效的數(shù)據(jù)傳遞或轉(zhuǎn)換，使系統(tǒng)的協(xié)同性得以保證。由于中間件技術(shù)仍處于發(fā)展階段，對(duì)其并沒(méi)有統(tǒng)一的精確定義。目前公認(rèn)的說(shuō)法是：中間件是一種獨(dú)立的系統(tǒng)軟件或服務(wù)程序，分布式應(yīng)用軟件借助這種軟件在不同的技術(shù)之間共享資源。中間件位于客戶機(jī)/服務(wù)器的操作系統(tǒng)之上，管理計(jì)算資源和網(wǎng)絡(luò)通信。從中間件的定義可以看出，中間件是一類軟件，而非一種軟件；中間件不僅僅實(shí)現(xiàn)互連，還要實(shí)現(xiàn)應(yīng)用之間的互操作；中間件是基于分布式處理的軟件，定義中特別強(qiáng)調(diào)了其網(wǎng)絡(luò)通信功能。物聯(lián)網(wǎng)中間件是業(yè)務(wù)應(yīng)用程序和底層數(shù)據(jù)獲取設(shè)備之間的橋梁，它封裝RFID讀寫器管理、數(shù)據(jù)管理、時(shí)間管理等通用功能。利用中間件技術(shù)，實(shí)現(xiàn)軟件復(fù)用，降低應(yīng)用系統(tǒng)的開發(fā)成本，縮短開發(fā)周期。6.人工智能技術(shù)人工智能（ArtificialIntelligence，AI）是研究人類只能活動(dòng)的規(guī)律，它是研究如何讓計(jì)算機(jī)去完成以往需要人的腦力才能勝任的工作，訓(xùn)練計(jì)算機(jī)能夠模擬人類的智能行為和智能思考的技術(shù)理論。人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器，該領(lǐng)域的研究包括機(jī)器人、語(yǔ)言識(shí)別、圖像識(shí)別、自然語(yǔ)言處理和專家系統(tǒng)等。人工智能對(duì)于物聯(lián)網(wǎng)上產(chǎn)生的推動(dòng)作用：一是基于深度學(xué)習(xí)等技術(shù)使物聯(lián)網(wǎng)應(yīng)用顯得更智能、更人性化，極大拓寬物聯(lián)網(wǎng)的應(yīng)用范圍、應(yīng)用深度和智能程度；二是在工業(yè)生產(chǎn)上通過(guò)應(yīng)用機(jī)器人、深度學(xué)習(xí)等技術(shù)結(jié)合，實(shí)現(xiàn)產(chǎn)品生產(chǎn)過(guò)程精準(zhǔn)化控制、減小產(chǎn)品缺陷、提高產(chǎn)品精度，有助于高精度、小型化、智能化的芯片和感應(yīng)器件的研發(fā)生產(chǎn)。通過(guò)網(wǎng)絡(luò)連接大量不同的設(shè)備及裝置，嵌入在各個(gè)產(chǎn)品中的傳感器不斷地將新數(shù)據(jù)上傳至云端服務(wù)器；云計(jì)算提供虛擬化彈性擴(kuò)展的資源，通過(guò)大數(shù)據(jù)分析、深度學(xué)習(xí)等技術(shù)，從海量原始數(shù)據(jù)中獲取業(yè)務(wù)潛在的知識(shí)、規(guī)律并反過(guò)來(lái)指導(dǎo)生產(chǎn)，推動(dòng)生產(chǎn)方式的優(yōu)化調(diào)整或業(yè)務(wù)的變革，在節(jié)能減排、農(nóng)業(yè)生產(chǎn)、智慧醫(yī)療、自動(dòng)駕駛等領(lǐng)域得到廣泛應(yīng)用。8.1.4物聯(lián)網(wǎng)的發(fā)展技術(shù)物聯(lián)網(wǎng)的問(wèn)世是社會(huì)進(jìn)步的產(chǎn)物，符合經(jīng)濟(jì)文化發(fā)展的方向，物聯(lián)網(wǎng)技術(shù)在幫助人類提高生產(chǎn)效率的同時(shí)，能夠便捷人類的社會(huì)生活，促進(jìn)人與地球和諧共生及可持續(xù)發(fā)展。世界各國(guó)都非常重視物聯(lián)網(wǎng)的發(fā)展與更新，物聯(lián)網(wǎng)涉及下一代信息網(wǎng)絡(luò)的關(guān)鍵技術(shù)，一些國(guó)家已投入巨大成本研究物聯(lián)網(wǎng)產(chǎn)業(yè)；我國(guó)政府也高度重視物聯(lián)網(wǎng)產(chǎn)業(yè)的創(chuàng)新，目前對(duì)于物聯(lián)網(wǎng)的研究，全球仍處于探索和應(yīng)用并存的階段，要實(shí)現(xiàn)全球性的萬(wàn)物互聯(lián)，還有很長(zhǎng)的路要走。8.1.5物聯(lián)網(wǎng)的應(yīng)用1.自動(dòng)駕駛早期提出的“自動(dòng)駕駛”概念主要是指人類通過(guò)無(wú)線電波下發(fā)指令遙控車輛的方向盤、離合器、制動(dòng)器等機(jī)械部件來(lái)控制汽車行駛。隨著物聯(lián)網(wǎng)和人工智能技術(shù)發(fā)展，依靠高精度的傳感器、實(shí)時(shí)可靠的通信系統(tǒng)以及通過(guò)深度學(xué)習(xí)越來(lái)越成熟的控制程序，一個(gè)集環(huán)境感知、車輛智能控制、輔助駕駛等功能于一體的自動(dòng)駕駛系統(tǒng)，使機(jī)動(dòng)車輛可以在沒(méi)有人類主動(dòng)的操作下自動(dòng)安全上路行駛。百度、谷歌等公司都已經(jīng)有試驗(yàn)車型運(yùn)行。2.智能銷售智慧零售通過(guò)運(yùn)用互聯(lián)網(wǎng)、物聯(lián)網(wǎng)技術(shù)，感知消費(fèi)者的消費(fèi)習(xí)慣，預(yù)測(cè)消費(fèi)趨勢(shì)，引導(dǎo)生產(chǎn)制造，為消費(fèi)者提供多樣化、個(gè)性化的產(chǎn)品和服務(wù)?，F(xiàn)在很多無(wú)人超市就利用了人臉識(shí)別、貨物識(shí)別、軌跡識(shí)別等物聯(lián)網(wǎng)技術(shù)。在其他一些零售店內(nèi)，應(yīng)用了智能零售系統(tǒng)的店鋪還能通過(guò)人臉識(shí)別自動(dòng)分析會(huì)員信息，并推薦相關(guān)產(chǎn)品。3.智能家居智能家居通過(guò)物聯(lián)網(wǎng)技術(shù)將家中的音視頻設(shè)備、照明系統(tǒng)、窗簾控制、空調(diào)控制、網(wǎng)絡(luò)家電等設(shè)備連接到一起，提供家電控制、照明控制、電話遠(yuǎn)程控制、室內(nèi)外遙控、防盜報(bào)警、環(huán)境監(jiān)測(cè)、暖通控制、紅外轉(zhuǎn)發(fā)以及可編程定時(shí)控制等多種功能和手段?，F(xiàn)在智能家居應(yīng)用最普遍的就是智能音箱了，比如天貓精靈、小度在家、Alexa等。4.智慧物流智慧物流是指通過(guò)智能硬件、物聯(lián)網(wǎng)、大數(shù)據(jù)等智慧化技術(shù)與手段，提高物流系統(tǒng)分析決策和智能執(zhí)行的能力，提升整個(gè)物流系統(tǒng)的智能化、自動(dòng)化水平。目前已經(jīng)應(yīng)用在智能分揀設(shè)備、智能快遞柜、無(wú)人配送車等領(lǐng)域。8.1.6物聯(lián)網(wǎng)的安全挑戰(zhàn)物聯(lián)網(wǎng)在給人們的生活帶來(lái)巨大便利的同時(shí)，也面臨著諸多的挑戰(zhàn)。物聯(lián)網(wǎng)除了具有傳統(tǒng)網(wǎng)絡(luò)的安全問(wèn)題之外，還會(huì)產(chǎn)生新的安全問(wèn)題。1.僵尸網(wǎng)絡(luò)的攻擊近年來(lái)，物聯(lián)網(wǎng)設(shè)備中的僵尸網(wǎng)絡(luò)有所增加。當(dāng)黑客遠(yuǎn)程控制連網(wǎng)設(shè)備并將其用于非法目的時(shí)，就會(huì)出現(xiàn)一個(gè)僵尸網(wǎng)絡(luò)。企業(yè)會(huì)在不知情的情況下將其設(shè)備作為僵尸網(wǎng)絡(luò)的一部分進(jìn)行配置。問(wèn)題是許多組織缺乏實(shí)時(shí)安全解決方案來(lái)跟蹤此類問(wèn)題。2.更多的物聯(lián)設(shè)備傳統(tǒng)互利網(wǎng)應(yīng)用中，安全人員只專注于保護(hù)移動(dòng)設(shè)備和計(jì)算機(jī)。如今，物聯(lián)網(wǎng)設(shè)備激增。目前全球聯(lián)網(wǎng)設(shè)備數(shù)百億臺(tái)。越來(lái)越多的物聯(lián)網(wǎng)設(shè)備意味著企業(yè)的安全漏洞越來(lái)越多，這對(duì)安全人員來(lái)說(shuō)是一個(gè)日益嚴(yán)峻的挑戰(zhàn)。3.薄弱的數(shù)據(jù)加密盡管加密是防止黑客訪問(wèn)數(shù)據(jù)的一個(gè)很好的方法，但它也是物聯(lián)網(wǎng)安全的主要挑戰(zhàn)之一。這些設(shè)備缺乏傳統(tǒng)計(jì)算機(jī)所具備的存儲(chǔ)和處理能力。其結(jié)果是攻擊數(shù)量增加，黑客可以輕松操縱為保護(hù)數(shù)據(jù)而設(shè)計(jì)的算法。除非企業(yè)解決了這個(gè)問(wèn)題，否則加密就不會(huì)成為安全資產(chǎn)。4.小規(guī)模攻擊盡管安全人員專注于防止大規(guī)模攻擊，但實(shí)際上，小規(guī)模攻擊可能是更嚴(yán)重的物聯(lián)網(wǎng)安全挑戰(zhàn)之一。小規(guī)模攻擊更難檢測(cè)到，并且很容易在企業(yè)不知情的情況下發(fā)生。黑客可以破壞常見的企業(yè)技術(shù)，例如打印機(jī)和攝像頭。8.2.1大數(shù)據(jù)技術(shù)的基本概念1.大數(shù)據(jù)定義大數(shù)據(jù)是需要新的處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)?！叩录{（Gartner）咨詢有限公司大數(shù)據(jù)指的是大小超出常規(guī)的數(shù)據(jù)庫(kù)工具獲取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集。 ——麥肯錫公司大數(shù)據(jù)一般會(huì)涉及兩種或兩種以上的數(shù)據(jù)形式，它需要收集超過(guò)100TB(1TB=2*0B)的數(shù)據(jù)，并且是高速實(shí)時(shí)數(shù)據(jù)流;或者是從小數(shù)據(jù)開始，但數(shù)據(jù)每年增長(zhǎng)速率至少為60%。 ——國(guó)際數(shù)據(jù)公司8.2大數(shù)據(jù)技術(shù)以上對(duì)于大數(shù)據(jù)的描述都體現(xiàn)了數(shù)據(jù)量之大，大到無(wú)法通過(guò)人工或計(jì)算機(jī)在合理的時(shí)間內(nèi)達(dá)到截取、管理、處理并整理成為人們所能解讀的形式。因此我們可以把大數(shù)據(jù)理解為：大數(shù)據(jù)是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。2.大數(shù)據(jù)特征大量：大數(shù)據(jù)的特征首先就是數(shù)據(jù)規(guī)模大。隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)技術(shù)的發(fā)展，人和事物的所有軌跡都可以被記錄下來(lái)，數(shù)據(jù)呈現(xiàn)出爆發(fā)性增長(zhǎng)。2.大數(shù)據(jù)特征多樣：數(shù)據(jù)來(lái)源的廣泛性，決定了數(shù)據(jù)形式的多樣性。大數(shù)據(jù)可以分為三類，一是結(jié)構(gòu)化數(shù)據(jù)，如財(cái)務(wù)系統(tǒng)數(shù)據(jù)、信息管理系統(tǒng)數(shù)據(jù)、醫(yī)療系統(tǒng)數(shù)據(jù)等,其特點(diǎn)是數(shù)據(jù)間因果關(guān)系強(qiáng);一是非結(jié)構(gòu)化的數(shù)據(jù)，如視頻、圖片、音頻等，其特點(diǎn)是數(shù)據(jù)間沒(méi)有因果關(guān)系;三是半結(jié)構(gòu)化數(shù)據(jù)，如HTML文檔、郵件、網(wǎng)頁(yè)等，其特點(diǎn)是數(shù)據(jù)間的因果關(guān)系弱。2.大數(shù)據(jù)特征高速：數(shù)據(jù)的增長(zhǎng)速度和處理速度是大數(shù)據(jù)高速性的重要體現(xiàn)。與以往的報(bào)紙、書信等傳統(tǒng)數(shù)據(jù)載體生產(chǎn)傳播方式不同，在大數(shù)據(jù)時(shí)代，大數(shù)據(jù)的交換和傳播主要是通過(guò)互聯(lián)網(wǎng)和云計(jì)算等方式實(shí)現(xiàn)的,其生產(chǎn)和傳播數(shù)據(jù)的速度是非常迅速的。另外，大數(shù)據(jù)還要求處理數(shù)據(jù)的響應(yīng)速度要快，例如，上億條數(shù)據(jù)的分析必須在幾秒內(nèi)完成。數(shù)據(jù)的輸人、處理與丟棄必須立刻見效，幾乎無(wú)延遲。2.大數(shù)據(jù)特征價(jià)值：大數(shù)據(jù)的核心特征是價(jià)值，其實(shí)價(jià)值密度的高低和數(shù)據(jù)總量的大小是成反比的，即數(shù)據(jù)價(jià)值密度越高數(shù)據(jù)總量越小，數(shù)據(jù)價(jià)值密度越低數(shù)據(jù)總量越大。任何有價(jià)值的信息的提取依托的就是海量的基礎(chǔ)數(shù)據(jù)。當(dāng)然目前大數(shù)據(jù)背景下有個(gè)未解決的問(wèn)題，如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地在海量數(shù)據(jù)中完成數(shù)據(jù)的價(jià)值提純。2.大數(shù)據(jù)特征特征內(nèi)涵大量（Volume）數(shù)據(jù)量的存儲(chǔ)單位從過(guò)去的GB到TB，甚至達(dá)到TB，EB。多樣（Variety）數(shù)據(jù)類型從過(guò)去的單一到復(fù)雜多樣，包括結(jié)構(gòu)性數(shù)據(jù)、非結(jié)構(gòu)性數(shù)據(jù)等等。高速（Velocity）大數(shù)據(jù)采集和處理速度較快，能夠滿足實(shí)時(shí)性應(yīng)用的計(jì)算要求。價(jià)值(Value)將原始數(shù)據(jù)經(jīng)過(guò)采集、清洗、提取以及分析后得到的數(shù)據(jù)具有較高的價(jià)值和意義。8.2.2

大數(shù)據(jù)技術(shù)體系從數(shù)據(jù)在信息系統(tǒng)中的生命周期看，大數(shù)據(jù)從數(shù)據(jù)源開始，經(jīng)過(guò)分析、挖掘到最終獲得價(jià)值一般需要經(jīng)過(guò)6個(gè)主要環(huán)節(jié)，包括數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、資源管理與服務(wù)協(xié)調(diào)、計(jì)算引擎、數(shù)據(jù)分析和數(shù)據(jù)可視化1.數(shù)據(jù)收集層由直接跟數(shù)據(jù)源對(duì)接的模塊構(gòu)成，負(fù)責(zé)將數(shù)據(jù)源中的數(shù)據(jù)近實(shí)時(shí)或?qū)崟r(shí)收集到一起。2.數(shù)據(jù)存儲(chǔ)層主要負(fù)責(zé)海量結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)（比如MySQL）和文件系統(tǒng)（比如Linux文件系統(tǒng)）：因在存儲(chǔ)容量、擴(kuò)展性及容錯(cuò)性等方面的限制，很難適應(yīng)大數(shù)據(jù)應(yīng)用場(chǎng)景。大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)存儲(chǔ)層的擴(kuò)展性、容錯(cuò)性及存儲(chǔ)模型等有較高要求。3.資源管理與服務(wù)協(xié)調(diào)層為了解決存在的資源利用率低、運(yùn)維成本高和數(shù)據(jù)共享困難等問(wèn)題，在集群中引入資源管理與服務(wù)協(xié)調(diào)層。4.計(jì)算引擎層針對(duì)不同應(yīng)用場(chǎng)景，單獨(dú)構(gòu)建一種計(jì)算引擎，每種計(jì)算引擎只專注于解決某一類問(wèn)題，進(jìn)而形成了多樣化的計(jì)算引擎?？傮w上講，可按照對(duì)時(shí)間性能的要求，將計(jì)算引擎分為三類：批處理：對(duì)時(shí)間要求最低，一般處理時(shí)間為分鐘到小時(shí)級(jí)別，甚至天級(jí)別，它追求的是高吞吐率，即單位時(shí)間內(nèi)處理的數(shù)據(jù)量盡可能大，典型的應(yīng)用有搜索引擎構(gòu)建索引、批量數(shù)據(jù)分析等。交互式處理：對(duì)時(shí)間要求比較高，一般要求處理時(shí)間為秒級(jí)別，這類系統(tǒng)需要跟人進(jìn)行交互，因此會(huì)提供類似SQL的語(yǔ)言便于用戶使用，典型的應(yīng)用有數(shù)據(jù)查詢、參數(shù)化報(bào)表生成等。流處理：對(duì)時(shí)間要求最高，一般處理延遲在秒級(jí)以內(nèi)，典型的應(yīng)用有廣告系統(tǒng)、輿情監(jiān)測(cè)等。5.數(shù)據(jù)分析層數(shù)據(jù)分析層是指直接跟用戶的應(yīng)用程序進(jìn)行對(duì)接，為其提供易操作易使用的數(shù)據(jù)處理工具。如應(yīng)用程序API、類SQL查詢語(yǔ)言、數(shù)據(jù)挖掘SDK等。6.數(shù)據(jù)可視化層數(shù)據(jù)可視化層是運(yùn)用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換為圖形或圖像在屏幕上顯示出來(lái)，并進(jìn)行交互處理的理論、方法和技術(shù)。8.2.3

大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)是指伴隨著大數(shù)據(jù)的采集、存儲(chǔ)、分析和應(yīng)用的相關(guān)技術(shù)，是一系列使用非傳統(tǒng)的工具來(lái)對(duì)大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，從而獲得分析和預(yù)測(cè)結(jié)果的一系列數(shù)據(jù)處理和分析的技術(shù)。討論大數(shù)據(jù)技術(shù)時(shí)，需要首先了解大數(shù)據(jù)的基本處理流程，主要包括數(shù)據(jù)采集、存儲(chǔ)、分析和結(jié)果呈現(xiàn)等環(huán)節(jié)。數(shù)據(jù)經(jīng)過(guò)預(yù)處理以后，會(huì)被存放到文件系統(tǒng)或數(shù)據(jù)庫(kù)系統(tǒng)中進(jìn)行存儲(chǔ)與管理，然后利用數(shù)據(jù)挖掘工具對(duì)數(shù)據(jù)進(jìn)行處理分析，尋找數(shù)據(jù)的內(nèi)在分布規(guī)律，最后采用可視化工具為用戶呈現(xiàn)分析結(jié)果。在整個(gè)數(shù)據(jù)處理過(guò)程中，還必須注意隱私保護(hù)和數(shù)據(jù)安全問(wèn)題。1.大數(shù)據(jù)采集技術(shù)大數(shù)據(jù)采集技術(shù)是指通過(guò)RFID數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)的技術(shù)。因?yàn)閿?shù)據(jù)源多種多樣，數(shù)據(jù)量大，產(chǎn)生速度快，所以大數(shù)據(jù)采集技術(shù)也面臨著許多技術(shù)挑戰(zhàn)，必須保證數(shù)據(jù)采集的可靠性和高效性，還要避免重復(fù)數(shù)據(jù)。2.大數(shù)據(jù)預(yù)處理技術(shù)大數(shù)據(jù)預(yù)處理技術(shù)主要是指完成對(duì)已接收數(shù)據(jù)的辨析、抽取、清洗、填補(bǔ)、平滑、合并、規(guī)格化及檢查一致性等操作。因獲取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取的主要目的是將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的結(jié)構(gòu)，以達(dá)到快速分析處理的目的。通常數(shù)據(jù)預(yù)處理包含3個(gè)部分：數(shù)據(jù)清理、數(shù)據(jù)集成和變換及數(shù)據(jù)規(guī)約。1）數(shù)據(jù)清理數(shù)據(jù)清理主要包含遺漏數(shù)據(jù)處理（缺少感興趣的屬性）、噪聲數(shù)據(jù)處理（數(shù)據(jù)中存在錯(cuò)誤或偏離期望值的數(shù)據(jù)）和不一致數(shù)據(jù)處理。遺漏數(shù)據(jù)可用全局常量、屬性均值、可能值填充或者直接忽略該數(shù)據(jù)等方法處理。噪聲數(shù)據(jù)可用分箱（對(duì)原始數(shù)據(jù)進(jìn)行分組，然后對(duì)每一組內(nèi)的數(shù)據(jù)進(jìn)行平滑處理）、聚類、計(jì)算機(jī)人工檢查和回歸等方法去除噪聲。1）數(shù)據(jù)清理數(shù)據(jù)清理主要包含遺漏數(shù)據(jù)處理（缺少感興趣的屬性）、噪聲數(shù)據(jù)處理（數(shù)據(jù)中存在錯(cuò)誤或偏離期望值的數(shù)據(jù)）和不一致數(shù)據(jù)處理。遺漏數(shù)據(jù)可用全局常量、屬性均值、可能值填充或者直接忽略該數(shù)據(jù)等方法處理。噪聲數(shù)據(jù)可用分箱（對(duì)原始數(shù)據(jù)進(jìn)行分組，然后對(duì)每一組內(nèi)的數(shù)據(jù)進(jìn)行平滑處理）、聚類、計(jì)算機(jī)人工檢查和回歸等方法去除噪聲。2）數(shù)據(jù)集成和變換數(shù)據(jù)集成是指把多個(gè)數(shù)據(jù)源中的數(shù)據(jù)整合并存儲(chǔ)到一個(gè)一致的數(shù)據(jù)庫(kù)中。這一過(guò)程中需要著重解決3個(gè)問(wèn)題：模式匹配、數(shù)據(jù)冗余、數(shù)據(jù)值沖突檢測(cè)與處理。由于來(lái)自多個(gè)數(shù)據(jù)集合的數(shù)據(jù)在命名上存在差異，因此等價(jià)的實(shí)體常具有不同的名稱。對(duì)來(lái)自多個(gè)實(shí)體的不同數(shù)據(jù)進(jìn)行匹配是處理數(shù)據(jù)集成的首要問(wèn)題。數(shù)據(jù)冗余可能來(lái)源于數(shù)據(jù)屬性命名的不一致，可以利用皮爾遜積矩來(lái)衡量數(shù)值屬性，對(duì)于離散數(shù)據(jù)可以利用卡方檢驗(yàn)來(lái)檢測(cè)兩個(gè)屬性之間的關(guān)聯(lián)。數(shù)據(jù)值沖突問(wèn)題主要表現(xiàn)為，來(lái)源不同的統(tǒng)一實(shí)體具有不同的數(shù)據(jù)值。數(shù)據(jù)變換的主要過(guò)程有平滑、聚集、數(shù)據(jù)泛化、規(guī)范化及屬性構(gòu)造等。3）數(shù)據(jù)規(guī)約數(shù)據(jù)規(guī)約主要包括數(shù)據(jù)方聚集、維規(guī)約、數(shù)據(jù)壓縮、數(shù)值規(guī)約和概念分層等。使用數(shù)據(jù)規(guī)約技術(shù)可以實(shí)現(xiàn)數(shù)據(jù)集的規(guī)約表示，使得數(shù)據(jù)集變小的同時(shí)仍然近于保持原數(shù)據(jù)的完整性。在規(guī)約后的數(shù)據(jù)集上進(jìn)行挖掘，依然能夠得到與使用原數(shù)據(jù)集時(shí)近乎相同的分析結(jié)果。3.大數(shù)據(jù)存儲(chǔ)及管理技術(shù)在大數(shù)據(jù)時(shí)代，從多種途徑獲得的原始數(shù)據(jù)常常缺乏一致性，結(jié)構(gòu)混雜，并且數(shù)據(jù)不斷增長(zhǎng)，這造成了單機(jī)系統(tǒng)的性能不斷下降，即使不斷提升硬件配置也難以跟上數(shù)據(jù)增長(zhǎng)的速度。這導(dǎo)致傳統(tǒng)的處理和存儲(chǔ)技術(shù)失去可行性。大數(shù)據(jù)存儲(chǔ)及管理技術(shù)重點(diǎn)研究復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)，解決大數(shù)據(jù)的可存儲(chǔ)、可表示、可處理、可靠性及有效傳輸?shù)葞讉€(gè)關(guān)鍵問(wèn)題。4.大數(shù)據(jù)處理模式大數(shù)據(jù)的處理模式可以分為流處理模式和批處理模式兩種。批處理是先存儲(chǔ)后處理，而流處理則是直接處理。1）批處理模式谷歌公司在2004年提出的MapReduce編程模型是最具代表性的批處理模式。MapReduce模型首先將用戶的原始數(shù)據(jù)源進(jìn)行分塊，然后分別交給不同的Map任務(wù)去處理。Map任務(wù)從輸入中解析出鍵/值（key/value）對(duì)集合，然后對(duì)這些集合執(zhí)行用戶自行定義的Map函數(shù)以得到中間結(jié)果，并將該結(jié)果寫入本地硬盤。Reduce任務(wù)從硬盤上讀取數(shù)據(jù)后，會(huì)根據(jù)key值進(jìn)行排序，將具有相同key值的數(shù)據(jù)組織在一起。最后，用戶自定義的Reduce函數(shù)會(huì)作用于這些排好序的結(jié)果，并輸出最終結(jié)果。MapReduce的核心設(shè)計(jì)思想有兩點(diǎn)：一是將問(wèn)題分而治之，把待處理的數(shù)據(jù)分成多個(gè)模塊分別交給多個(gè)Map任務(wù)去并發(fā)處理。二是用計(jì)算推導(dǎo)數(shù)據(jù)而不是用數(shù)據(jù)推導(dǎo)計(jì)算，從而有效地避免數(shù)據(jù)傳輸過(guò)程中產(chǎn)生的大量通信開銷。4.大數(shù)據(jù)處理模式大數(shù)據(jù)的處理模式可以分為流處理模式和批處理模式兩種。批處理是先存儲(chǔ)后處理，而流處理則是直接處理。2）流處理模式在流處理模式中，數(shù)據(jù)的價(jià)值會(huì)隨著時(shí)間的流逝而不斷減少。因此，其主要目標(biāo)就是盡可能快地對(duì)最新的數(shù)據(jù)做出分析并給出結(jié)果。流處理模式將數(shù)據(jù)視為流，將源源不斷的數(shù)據(jù)組成數(shù)據(jù)流。當(dāng)新的數(shù)據(jù)到來(lái)時(shí)就立刻處理并返回所需的結(jié)果，因此，流處理模式更加適合于對(duì)實(shí)時(shí)性要求較高的應(yīng)用，如金融市場(chǎng)的交易行為、事務(wù)的實(shí)時(shí)統(tǒng)計(jì)等。5.大數(shù)據(jù)分析及挖掘技術(shù)大數(shù)據(jù)處理的核心就是數(shù)據(jù)分析，通過(guò)數(shù)據(jù)分析提取出更多智能的、有價(jià)值的數(shù)據(jù)信息。大數(shù)據(jù)分析技術(shù)是利用分布式編程模型和計(jì)算框架，結(jié)合如分類、聚類、回歸分析等機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的分析和計(jì)算的。6.數(shù)據(jù)可視化數(shù)據(jù)可視化是將數(shù)據(jù)以不同的視覺(jué)表現(xiàn)形式展現(xiàn)在不同系統(tǒng)中，使得操作者能夠清晰直觀地看出數(shù)據(jù)的內(nèi)在規(guī)律，幫助人們更好地理解數(shù)據(jù)，掌握數(shù)據(jù)的本質(zhì)。8.2.4

大數(shù)據(jù)技術(shù)的發(fā)展和現(xiàn)狀當(dāng)前大數(shù)據(jù)技術(shù)的研究發(fā)展?fàn)顩r主要體現(xiàn)在基礎(chǔ)理論、關(guān)鍵技術(shù)、應(yīng)用實(shí)踐、數(shù)據(jù)安全等四個(gè)方面。在基礎(chǔ)理論方面，目前相關(guān)專家與研究人員尚未解決一些基本的理論問(wèn)題。例如當(dāng)前學(xué)術(shù)界對(duì)于大數(shù)據(jù)技術(shù)的科學(xué)定義、結(jié)構(gòu)模型、數(shù)據(jù)理論體系等基本問(wèn)題并未有確切的認(rèn)識(shí)和判定標(biāo)準(zhǔn)，在數(shù)據(jù)質(zhì)量和數(shù)據(jù)計(jì)算效率的評(píng)估活動(dòng)中，也缺乏一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，這就直接造成了技術(shù)人員在數(shù)據(jù)質(zhì)量評(píng)價(jià)活動(dòng)中工作效率低下的問(wèn)題。在關(guān)鍵技術(shù)研究方面，大數(shù)據(jù)的數(shù)據(jù)格式的轉(zhuǎn)化、數(shù)據(jù)轉(zhuǎn)移和數(shù)據(jù)處理等問(wèn)題，變?yōu)樨叫杞鉀Q的核心問(wèn)題。在應(yīng)用實(shí)踐研究方面，目前大數(shù)據(jù)在實(shí)際生活應(yīng)用主要體現(xiàn)為數(shù)據(jù)管理、數(shù)據(jù)搜索分析和數(shù)據(jù)集成，這些也都處于研究的初期。在數(shù)據(jù)安全方面，大數(shù)據(jù)的發(fā)展也導(dǎo)致數(shù)據(jù)的安全漏洞數(shù)量及類型逐年上升，黑客的攻擊手段也日趨復(fù)雜，因此用戶隱私和數(shù)據(jù)保護(hù)問(wèn)題仍然是今后的研究重點(diǎn)之一8.2.5

大數(shù)據(jù)技術(shù)的應(yīng)用大數(shù)據(jù)的價(jià)值本質(zhì)上體現(xiàn)為：提供了一種人類認(rèn)識(shí)復(fù)雜系統(tǒng)的新思維和新手段。在網(wǎng)絡(luò)信息技術(shù)大發(fā)展背景之下，數(shù)據(jù)使得現(xiàn)象成為可量化的信息元素。通過(guò)對(duì)網(wǎng)絡(luò)數(shù)據(jù)的重新審視，為我們提供了一個(gè)重新認(rèn)識(shí)現(xiàn)實(shí)世界的新方法，甚至是一個(gè)滲透到生活中所有領(lǐng)域的新的世界觀。大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)及其廣泛應(yīng)用也為信息化時(shí)代高校思想政治教育工作提供了新的方向，為社會(huì)各個(gè)領(lǐng)域的創(chuàng)新提供了新的思路。當(dāng)前大數(shù)據(jù)技術(shù)已經(jīng)融入社會(huì)生活的各個(gè)領(lǐng)域之中，極大地促進(jìn)了社會(huì)的生產(chǎn)和科技的進(jìn)步，同時(shí)改變了人們的生活方式。1.思政教育改革大數(shù)據(jù)可促進(jìn)高校思政教育形式的多樣化。傳統(tǒng)的思政教育大多以書本、廣播、電視等形式進(jìn)行內(nèi)容的傳播，容易導(dǎo)致信息量不足、傳遞不及時(shí)等情況，很難達(dá)到思想引領(lǐng)的切實(shí)目的?，F(xiàn)如今，教師可以有多種渠道獲得學(xué)生對(duì)現(xiàn)實(shí)問(wèn)題的看法、關(guān)注傾向及思想狀態(tài)等，可根據(jù)數(shù)據(jù)分析結(jié)果合理調(diào)整和選擇課程內(nèi)容、課程脈絡(luò)、課程案例素材等，使講授內(nèi)容與學(xué)生身心發(fā)展更具貼合度。此外，借助大數(shù)據(jù)技術(shù)的線上學(xué)習(xí)方式得到迅速發(fā)展，替代課堂教學(xué)的新模式逐漸產(chǎn)生，思政教育已經(jīng)逐步從平面教材走向了網(wǎng)絡(luò)平臺(tái)。如“慕課”“課堂派”“翻轉(zhuǎn)課堂”等更具交互性的電子媒介，既豐富了學(xué)生的自主學(xué)習(xí)途徑，也可提升學(xué)生的獨(dú)立思考能力，加深對(duì)知識(shí)的理解和領(lǐng)會(huì)。大數(shù)據(jù)技術(shù)在高校思政教育中應(yīng)用的理論研究已有一定基礎(chǔ)。理論界對(duì)大數(shù)據(jù)技術(shù)應(yīng)用于高校思政教育的現(xiàn)實(shí)價(jià)值形成了普遍共識(shí)，認(rèn)為利用大數(shù)據(jù)技術(shù)的諸多優(yōu)勢(shì)為高校思政教育創(chuàng)新發(fā)展提供了新的方向。諸多學(xué)者認(rèn)為，雖然尚不能定論大數(shù)據(jù)的應(yīng)用到底能夠在高校思政教育中產(chǎn)生多大的推動(dòng)作用，但是運(yùn)用大數(shù)據(jù)在保持思政教育的核心作用、把握時(shí)代潮流、增強(qiáng)數(shù)據(jù)安全意識(shí)等方面至關(guān)重要。2.電商銷售大數(shù)據(jù)技術(shù)在日常生活中的電商和零售業(yè)也有很多應(yīng)用。商家在產(chǎn)品上架之前可以對(duì)影響購(gòu)買者購(gòu)買能力的一些重要因素進(jìn)行預(yù)測(cè)。例如，在超市中我們可以利用大數(shù)據(jù)技術(shù)對(duì)顧客購(gòu)買商品的關(guān)聯(lián)性進(jìn)行分析，典型的包括對(duì)超市中啤酒和尿布銷售量的關(guān)聯(lián)情況進(jìn)行分析以達(dá)到更好的銷售效果；在電商銷售領(lǐng)域，商家利用大數(shù)據(jù)技術(shù)對(duì)用戶的喜好以及近期的關(guān)鍵字進(jìn)行識(shí)別，精準(zhǔn)推送商品廣告，提高商品曝光度。另外，還可以將大數(shù)據(jù)技術(shù)應(yīng)用到營(yíng)銷活動(dòng)管理、客戶忠誠(chéng)度分析、供應(yīng)鏈管理和分析、市場(chǎng)和用戶細(xì)分方面，并將分析結(jié)果應(yīng)用于銷售中。3.政府辦公通過(guò)運(yùn)用大數(shù)據(jù)分析手段，政府可以快速分析群眾所需以及了解群眾意見，同時(shí)能夠?qū)Ψ彪s的數(shù)據(jù)進(jìn)行高效的整理和計(jì)算，進(jìn)一步提高辦公效率。在政府的環(huán)保監(jiān)管工作中，政府可以將霧霾監(jiān)測(cè)歷史數(shù)據(jù)、集成氣象記錄、遙感、企業(yè)或者汽車廢氣排放清單和環(huán)保策略的執(zhí)法數(shù)據(jù)整合形成一個(gè)霧霾案例數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)可以采用大數(shù)據(jù)技術(shù)進(jìn)行分析，得出規(guī)律以便及時(shí)開展霧霾預(yù)警或者制定出相對(duì)有效的霧霾緩解策略，等等。4.節(jié)能減排通過(guò)運(yùn)用大數(shù)據(jù)分析技術(shù)，能夠幫助能源部門分析能源使用規(guī)律，更好地制定能源使用策略。以電能為例，我們可以利用傳感器對(duì)每個(gè)電網(wǎng)內(nèi)的電壓、電流、頻率等重要指標(biāo)和重要操作進(jìn)行記錄。這樣，除能夠有效預(yù)防安全事故外，還可以分析發(fā)電、電能供應(yīng)、電力需求以及電力消耗這四者的關(guān)系，以便制定合理用電收費(fèi)標(biāo)準(zhǔn)。如區(qū)分企業(yè)和個(gè)人用戶或不同用戶類型的分時(shí)段用電計(jì)劃，以減少電能浪費(fèi)。所以將大數(shù)據(jù)技術(shù)應(yīng)用于能源領(lǐng)域?qū)τ谀茉吹墓?jié)約和國(guó)家可持續(xù)發(fā)展具有重要意義。5.應(yīng)對(duì)大范圍突發(fā)事件大數(shù)據(jù)技術(shù)能夠在較短時(shí)間內(nèi)處理大規(guī)模的數(shù)據(jù)，其強(qiáng)大的計(jì)算能力為應(yīng)對(duì)社會(huì)層面大范圍的突發(fā)事件提供了新的思路。2020年新型冠狀病毒疫情席卷全球，給人類社會(huì)帶來(lái)了極大的沖擊和影響，通過(guò)使用大數(shù)據(jù)分析技術(shù)，可以迅速排查出確診病例的時(shí)空伴隨者，快速地掌握密切接觸者的流動(dòng)情況，大幅度提高疫情防控工作的效率。8.2.6

大數(shù)據(jù)技術(shù)的安全挑戰(zhàn)1.大數(shù)據(jù)平臺(tái)服務(wù)用戶眾多、場(chǎng)景多樣，傳統(tǒng)安全機(jī)制的性能難以滿足需求大數(shù)據(jù)場(chǎng)景下，數(shù)據(jù)從多個(gè)渠道大量匯聚，數(shù)據(jù)類型、用戶角色和應(yīng)用需求更加多樣化，訪問(wèn)控制面臨諸多新的問(wèn)題。首先，多源數(shù)據(jù)的大量匯聚增加了訪問(wèn)控制策略制定及授權(quán)管理的難度，過(guò)度授權(quán)和授權(quán)不足現(xiàn)象嚴(yán)重。其次，數(shù)據(jù)多樣性、用戶角色和需求的細(xì)化增加了客體的描述困難，傳統(tǒng)訪問(wèn)控制方案中往往采用數(shù)據(jù)屬性（如身份證號(hào)）來(lái)描述訪問(wèn)控制策略中的客體，非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)無(wú)法采取同樣的方式進(jìn)行精細(xì)化描述，導(dǎo)致無(wú)法準(zhǔn)確為用戶指定其可以訪問(wèn)的數(shù)據(jù)范圍，難以滿足最小授權(quán)原則。大數(shù)據(jù)復(fù)雜的數(shù)據(jù)存儲(chǔ)和流動(dòng)場(chǎng)景使得數(shù)據(jù)加密的實(shí)現(xiàn)變得異常困難，海量數(shù)據(jù)的密鑰管理也是亟待解決的難題。2.大數(shù)據(jù)平臺(tái)的大規(guī)模分布式存儲(chǔ)和計(jì)算模式導(dǎo)致安全配置難度成倍增長(zhǎng)開源Hadoop生態(tài)系統(tǒng)的認(rèn)證、權(quán)限管理、加密、審計(jì)等功能均通過(guò)對(duì)相關(guān)組件的配置來(lái)完成，無(wú)配置檢查和效果評(píng)價(jià)機(jī)制。同時(shí)，大規(guī)模的分布式存儲(chǔ)和計(jì)算架構(gòu)也增加了安全配置工作的難度，對(duì)安全運(yùn)維人員的技術(shù)要求較高，一旦出錯(cuò)，會(huì)影響整個(gè)系統(tǒng)的正常運(yùn)行。據(jù)Shodan互聯(lián)網(wǎng)設(shè)備搜索引擎的分析顯示，大數(shù)據(jù)平臺(tái)服務(wù)器配置不當(dāng)，已經(jīng)導(dǎo)致全球大量數(shù)據(jù)泄露或存在數(shù)據(jù)泄露風(fēng)險(xiǎn)，泄露案例最多的國(guó)家分別是美國(guó)和中國(guó)。近年針對(duì)Hadoop平臺(tái)的勒索攻擊事件，在整個(gè)攻擊過(guò)程中并沒(méi)有涉及常規(guī)漏洞，而是利用平臺(tái)的不安全配置，輕而易舉地對(duì)數(shù)據(jù)進(jìn)行操作。3.傳統(tǒng)隱私保護(hù)技術(shù)因大數(shù)據(jù)超強(qiáng)的分析能力面臨失效的可能在大數(shù)據(jù)環(huán)境下，企業(yè)對(duì)多來(lái)源、多類型數(shù)據(jù)集進(jìn)行關(guān)聯(lián)分析和深度挖掘，可以復(fù)原匿名化數(shù)據(jù)，從而獲得個(gè)人身份信息和有價(jià)值的敏感信息。因此，為個(gè)人信息圈定一個(gè)“固定范圍”的傳統(tǒng)思路在大數(shù)據(jù)時(shí)代已不再適用。在傳統(tǒng)的隱私保護(hù)技術(shù)中，數(shù)據(jù)收集者針對(duì)單個(gè)數(shù)據(jù)集孤立地選擇隱私參數(shù)來(lái)保護(hù)隱私信息。而在大數(shù)據(jù)環(huán)境下，由于個(gè)體以及其他的相互關(guān)聯(lián)的個(gè)體和團(tuán)體的數(shù)據(jù)分布廣泛，數(shù)據(jù)集之間的關(guān)聯(lián)性也大大增加，從而增加了數(shù)據(jù)集融合之后的隱私泄露風(fēng)險(xiǎn)。傳統(tǒng)的隱私保護(hù)技術(shù)如k-匿名和差分隱私等并沒(méi)有考慮到這種情況。4.數(shù)據(jù)采集環(huán)節(jié)成為影響決策分析的新風(fēng)險(xiǎn)點(diǎn)在數(shù)據(jù)采集環(huán)節(jié)，大數(shù)據(jù)體量大、種類多、來(lái)源復(fù)雜的特點(diǎn)為數(shù)據(jù)的真實(shí)性和完整性校驗(yàn)帶來(lái)困難，目前，尚無(wú)嚴(yán)格的數(shù)據(jù)真實(shí)性和可信度鑒別和監(jiān)測(cè)手段，無(wú)法識(shí)別并剔除掉虛假甚至惡意的數(shù)據(jù)信息。若黑客利用網(wǎng)絡(luò)攻擊向數(shù)據(jù)采集端注入臟數(shù)據(jù)，會(huì)破壞數(shù)據(jù)真實(shí)性，故意將數(shù)據(jù)分析的結(jié)果引向預(yù)設(shè)的方向，進(jìn)而實(shí)現(xiàn)操縱分析結(jié)果的攻擊目的。8.3.1云計(jì)算的概念目前人們常使用的有阿里云、百度云、華為云、騰訊云等，不經(jīng)意間“云”出現(xiàn)在大眾的視野中。在不使用文件數(shù)據(jù)時(shí)，可以將這些文件上傳云保存，需要使用的時(shí)候下載下來(lái)，“云”實(shí)質(zhì)上是一個(gè)網(wǎng)絡(luò)，使用者隨時(shí)可以獲取“云”上的資源。云計(jì)算（CloudComputing）是分布式計(jì)算的一種，一些人狹義地將云計(jì)算定義為效用計(jì)算（UtilityComputing）的最新版本，通過(guò)互聯(lián)網(wǎng)提供虛擬服務(wù)器，是一種提供資源的網(wǎng)絡(luò)。其他人則廣義地認(rèn)為在防火墻之外操作的任何東西都是“在云端”。8.3云計(jì)算如圖所示，云計(jì)算是與計(jì)算機(jī)信息技術(shù)、軟件、互聯(lián)網(wǎng)相關(guān)的一種服務(wù)，云計(jì)算將各種計(jì)算資源集合起來(lái)，通過(guò)軟件實(shí)現(xiàn)自動(dòng)化管理，快速為用戶提供所需要的各種資源。云計(jì)算不是一種全新的網(wǎng)絡(luò)技術(shù)，而是一種全新的網(wǎng)絡(luò)應(yīng)用概念。它的核心就是互聯(lián)網(wǎng)，通過(guò)互聯(lián)網(wǎng)，云計(jì)算作為應(yīng)用提供給用戶，通過(guò)分布式計(jì)算等技術(shù)，使計(jì)算由多臺(tái)設(shè)備（非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器）共同完成。而用戶不必知道如何運(yùn)作，服務(wù)器在哪里。8.3.2

云計(jì)算的基本框架1.基礎(chǔ)設(shè)施層（IaaS）基礎(chǔ)架構(gòu)，或稱基礎(chǔ)設(shè)施（Infrastructure）是云的基礎(chǔ)。它由服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)磁盤等物理資產(chǎn)組成。在使用IaaS時(shí)，用戶并不實(shí)際控制底層基礎(chǔ)架構(gòu)，而是控制操作系統(tǒng)、存儲(chǔ)和部署應(yīng)用程序等。通過(guò)IaaS這種模式，用戶可以從供應(yīng)商那里獲得他所需要的計(jì)算或者存儲(chǔ)等資源來(lái)裝載相關(guān)的應(yīng)用，并只需為其所租用的那部分資源進(jìn)行付費(fèi)，而同時(shí)這些基礎(chǔ)設(shè)施煩瑣的管理工作則交給IaaS供應(yīng)商來(lái)負(fù)責(zé)。IaaS層服務(wù)向PaaS層、SaaS層提供開放API接口調(diào)用。2.平臺(tái)層（PaaS）PaaS是一種云計(jì)算模型，它為客戶提供一個(gè)完整的云平臺(tái)（硬件、軟件和基礎(chǔ)架構(gòu)），以用于開發(fā)、運(yùn)行和管理應(yīng)用程序，而無(wú)須考慮在本地構(gòu)建和維護(hù)該平臺(tái)通常會(huì)帶來(lái)的成本、復(fù)雜性和不靈活性。PaaS提供商將服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)、操作系統(tǒng)軟件、數(shù)據(jù)庫(kù)、開發(fā)工具等一切工具都托管在其數(shù)據(jù)中心上。通常，客戶可以支付固定費(fèi)用來(lái)為指定數(shù)量的客戶提供指定數(shù)量的資源，客戶也可以選擇“按使用量付費(fèi)”定價(jià)模式以僅為他們使用的資源付費(fèi)。如果PaaS客戶必須構(gòu)建和管理自己的本地平臺(tái)，那么這兩種選擇都能讓PaaS客戶以更低的成本更快地構(gòu)建、測(cè)試、部署運(yùn)行、更新和擴(kuò)展應(yīng)用程序。PaaS解決方案包含三個(gè)主要部分：（1）云基礎(chǔ)架構(gòu)，包括虛擬機(jī)(VM)、操作系統(tǒng)軟件、存儲(chǔ)、網(wǎng)絡(luò)、防火墻；（2）用于構(gòu)建、部署和管理應(yīng)用程序的軟件；（3）圖形用戶界面（GUI），開發(fā)團(tuán)隊(duì)可以在其中完成整個(gè)應(yīng)用程序生命周期內(nèi)的所有工作。3.軟件服務(wù)層（SaaS）軟件服務(wù)層為商用軟件提供基于網(wǎng)絡(luò)的訪問(wèn)。由云提供商開發(fā)和維護(hù)云應(yīng)用軟件，提供自動(dòng)軟件更新，并通過(guò)互聯(lián)網(wǎng)以即用即付費(fèi)的方式將軟件提供給客戶。由于SaaS層離普通用戶非常接近，所以在SaaS層所使用到的技術(shù)，大多耳熟能詳，下面是其中最主要的五種：（1）HTML：標(biāo)準(zhǔn)的Web頁(yè)面技術(shù)，現(xiàn)在主要以HTML4為主，但是即將推出的HTML5會(huì)在很多方面推動(dòng)Web頁(yè)面的發(fā)展，如視頻和本地存儲(chǔ)等方面。（2）JavaScript：一種用于Web頁(yè)面的動(dòng)態(tài)語(yǔ)言，通過(guò)JavaScript，能夠極大地豐富Web頁(yè)面的功能，最流行的JavaScript框架有jQuery和Prototype。（3）CSS：主要用于控制Web頁(yè)面的外觀，而且能使頁(yè)面的內(nèi)容與其表現(xiàn)形式之間進(jìn)行優(yōu)雅的分離。（4）Flash：業(yè)界最常用的RIA（RichInternetApplications）技術(shù)，能夠在現(xiàn)階段提供HTML等技術(shù)所無(wú)法提供的基于Web的富應(yīng)用，而且在用戶體驗(yàn)方面，非常不錯(cuò)。（5）Silverlight：來(lái)自微軟的RIA技術(shù)，由于其可以使用C#來(lái)進(jìn)行編程，所以對(duì)開發(fā)者非常友好。SaaS是通過(guò)云使用的應(yīng)用軟件，可以使用應(yīng)用程序，而無(wú)須設(shè)置用于運(yùn)行該應(yīng)用程序的基礎(chǔ)架構(gòu)以及維護(hù)該應(yīng)用程序。大多數(shù)Web應(yīng)用程序都被視為SaaS。每個(gè)SaaS產(chǎn)品都包含托管它所需的IaaS資源，并且至少包含運(yùn)行它所需的PaaS組件。8.3.3

云計(jì)算的支撐技術(shù)云計(jì)算系統(tǒng)運(yùn)用了許多技術(shù)，關(guān)鍵技術(shù)有編程模式、海量數(shù)據(jù)管理技術(shù)、分布式海量數(shù)據(jù)存儲(chǔ)技術(shù)、虛擬化技術(shù)、云計(jì)算平臺(tái)管理技術(shù)等。1.虛擬化技術(shù)虛擬化技術(shù)，用戶能以單個(gè)物理硬件系統(tǒng)為基礎(chǔ)創(chuàng)建多個(gè)模擬環(huán)境或?qū)Ｓ觅Y源。在一臺(tái)計(jì)算機(jī)上同時(shí)運(yùn)行多個(gè)邏輯計(jì)算機(jī)，每個(gè)邏輯計(jì)算機(jī)可運(yùn)行不同的操作系統(tǒng)，并且應(yīng)用程序都可以在相互獨(dú)立的空間內(nèi)運(yùn)行而互不影響，從而顯著提高計(jì)算機(jī)的工作效率。云計(jì)算中的虛擬化指的是IaaS層虛擬化解決方案，而不是虛擬機(jī)技術(shù)。IaaS層虛擬化解決方案，要符合IaaS層的基礎(chǔ)特點(diǎn)，除最基礎(chǔ)的虛擬化軟件之外，還包括共享存儲(chǔ)服務(wù)、鏡像服務(wù)、身份認(rèn)證服務(wù)、統(tǒng)一監(jiān)控服務(wù)和收費(fèi)管理等其他配套的服務(wù)。當(dāng)然，既然是IaaS服務(wù)，就必須支持對(duì)外API接口開放，支持定制開發(fā)。虛擬化技術(shù)是一套解決方案。虛擬化創(chuàng)建了網(wǎng)絡(luò)和池化資源，但還需要其他管理軟件和操作系統(tǒng)軟件來(lái)創(chuàng)建用戶接口、置備虛擬機(jī)以及控制/分配資源。虛擬化使用軟件的方法重新定義劃分IT資源，可以實(shí)現(xiàn)IT資源的動(dòng)態(tài)分配、靈活調(diào)度、跨域共享，提高IT資源利用率，使IT資源能夠真正成為社會(huì)基礎(chǔ)設(shè)施，滿足各行各業(yè)中靈活多變的應(yīng)用需求。虛擬化技術(shù)指的是軟件層面的實(shí)現(xiàn)虛擬化的技術(shù)，整體上分為開源虛擬化和商業(yè)虛擬化兩大陣營(yíng)。典型的代表有Xen、KVM、WMware、Hyper-V、Docker容器等。Xen和KVM是開源免費(fèi)的虛擬化軟件；WMware是付費(fèi)的虛擬化軟件；Hyper-V是微軟的收費(fèi)虛擬化技術(shù)；Docker是一種容器技術(shù)，屬于一種輕量級(jí)虛擬化技術(shù)。2.分布式海量數(shù)據(jù)存儲(chǔ)分布式存儲(chǔ)最早是由谷歌（Google）提出的，其目的是通過(guò)廉價(jià)的服務(wù)器來(lái)提供適用于大規(guī)模、高并發(fā)場(chǎng)景下的Web訪問(wèn)問(wèn)題。它采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。云計(jì)算系統(tǒng)由大量服務(wù)器組成，同時(shí)為大量用戶服務(wù)，因此云計(jì)算系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù)，用冗余存儲(chǔ)的方式（集群計(jì)算、數(shù)據(jù)冗余和分布式存儲(chǔ)）保證數(shù)據(jù)的可靠性。冗余的方式通過(guò)任務(wù)分解和集群，用低配機(jī)器保證超級(jí)計(jì)算機(jī)的性能，進(jìn)而降低成本，這種方式保證分布式數(shù)據(jù)的高可用、高可靠和經(jīng)濟(jì)性，即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。云計(jì)算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲(chǔ)系統(tǒng)是谷歌的GFS和Hadoop團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)HDFS。HDFS在開始設(shè)計(jì)的時(shí)候，就已經(jīng)明確它的應(yīng)用場(chǎng)景就是大數(shù)據(jù)服務(wù)。主要的應(yīng)用場(chǎng)景有：對(duì)大文件存儲(chǔ)的性能比較高，適合低寫入、多次讀取的業(yè)務(wù)。HDFS采用多副本數(shù)據(jù)保護(hù)機(jī)制，使用普通的X86服務(wù)器就可以保障數(shù)據(jù)的可靠性，不推薦在虛擬化環(huán)境中使用。3.海量數(shù)據(jù)管理技術(shù)云計(jì)算需要對(duì)分布的、海量的數(shù)據(jù)進(jìn)行處理、分析，因此，數(shù)據(jù)管理技術(shù)必須能夠高效地管理大量的數(shù)據(jù)。云計(jì)算系統(tǒng)中的數(shù)據(jù)管理技術(shù)主要是谷歌的BigTable數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開發(fā)的開源數(shù)據(jù)管理模塊HBase。由于云數(shù)據(jù)存儲(chǔ)管理形式不同于傳統(tǒng)的RDBMS數(shù)據(jù)管理方式，如何在規(guī)模巨大的分布式數(shù)據(jù)中找到特定的數(shù)據(jù)，也是云計(jì)算數(shù)據(jù)管理技術(shù)所必須解決的問(wèn)題。同時(shí)，由于管理形式的不同造成傳統(tǒng)的SQL數(shù)據(jù)庫(kù)接口無(wú)法直接移植到云管理系統(tǒng)中來(lái)，目前一些研究在關(guān)注為云數(shù)據(jù)管理提供RDBMS和SQL的接口，如基于Hadoop子項(xiàng)目HBase和Hive等。另外，在云數(shù)據(jù)管理方面，如何保證數(shù)據(jù)安全性和數(shù)據(jù)訪問(wèn)高效性也是研究關(guān)注的重點(diǎn)問(wèn)題之一。4.編程模式云計(jì)算提供了分布式的計(jì)算模式，客觀上要求必須有分布式的編程模式。云計(jì)算采用了一種思想簡(jiǎn)潔的分布式并行編程模型MapReduce。Hadoop是谷歌MapReduce的一個(gè)Java實(shí)現(xiàn)。MapReduce是一種簡(jiǎn)化的分布式編程模式，讓程序自動(dòng)分布到一個(gè)由普通機(jī)器組成的超大集群上并發(fā)執(zhí)行。就如同Java程序員可以不考慮內(nèi)存泄露一樣，MapReduce的Run-Time系統(tǒng)會(huì)解決輸入數(shù)據(jù)的分布細(xì)節(jié)，跨越機(jī)器集群的程序執(zhí)行調(diào)度，處理機(jī)器的失效，并且管理機(jī)器之間的通信請(qǐng)求。這樣的模式允許程序員可以不需要有什么并發(fā)處理或者分布式系統(tǒng)的經(jīng)驗(yàn)，就可以處理超大的分布式系統(tǒng)資源。MapRedu