分布式與云計算系統(tǒng)第9章

1Chapter9:UbiquitousCloudsand

TheInternetofThings

普適云計算、物聯(lián)網(wǎng)與社會網(wǎng)絡(luò)2并行與分布式計算考試安排：考試時間：14周周四78節(jié)（6月4號），地點再通知考試形式：閉卷如何實現(xiàn)一個云計算/大數(shù)據(jù)/并行計算/集群/RMI/分布式系統(tǒng)？39.1支持普適計算的云趨勢分布式計算在系統(tǒng)結(jié)構(gòu)、可擴展性以及應(yīng)用領(lǐng)域等方面迅速改變。集群系統(tǒng)出現(xiàn)在20世紀(jì)90年代，那時在超級計算機前500名的列表中，有很多是以集群結(jié)構(gòu)搭建的大規(guī)模并行處理器（MPP）。到21世紀(jì)初，網(wǎng)格作為一種計算機集群系統(tǒng)進一步集群化的技術(shù)，變得普及和流行起來，然而網(wǎng)格由于在應(yīng)用中缺乏靈活性而沒有得到廣泛應(yīng)用。從2005年起，P2P網(wǎng)絡(luò)廣泛應(yīng)用于文件共享網(wǎng)絡(luò)和在線社會網(wǎng)絡(luò)。構(gòu)建于數(shù)據(jù)中心之上的云計算出現(xiàn)于2007年，云計算仍然處在其發(fā)展的初級階段。云計算反映了最新的技術(shù)發(fā)展趨勢，即通過虛擬化把計算服務(wù)向外擴展到自動化的數(shù)據(jù)中心，以實現(xiàn)彈性和靈活性。4云計算在HPC/HTC和普適計算中的應(yīng)用普適云計算指在任何地點、在任何時間、為了任意目的使用互聯(lián)網(wǎng)資源。云科學(xué)受到按需提供的軟件和服務(wù)思路的影響，其研究進展可以應(yīng)用在高能物理、天文、大氣科學(xué)建模和生物醫(yī)學(xué)等領(lǐng)域赫伯特·西蒙:“信息消耗的成本是顯而易見的：接收者的注意力。因此，信息的富有造就了注意力的匱乏，隨之產(chǎn)生了高效分配注意力的需求，即在可能消耗注意力的信息資源之間分配注意力。”

范內(nèi)瓦·布什:“一種每個人都使用的未來設(shè)備，它是一種機械化的個人私有文檔和知識庫，其名字是‘memex’。在memex設(shè)備中，每個人存儲他的所有書籍、記錄和通信。該設(shè)備是機械化的，支持非?？斓乃俣群土己玫撵`活性來訪問，是每個人記憶力的擴大補充?！?/p>

ComputerSchool,NUDT.Spring,2013567圖9-2SGICycloneHPC云，支持SaaS和IaaS應(yīng)用8NASA和CERN的大規(guī)模私有云美國建立的云平臺稱為Nebula，是由NASA設(shè)計的，旨在為NASA的科學(xué)家在遠程系統(tǒng)上提供氣候模型運行能力。這可以避免大量的NASA用戶就近請求超級計算機而帶來的問題。此外，NASA可以在該數(shù)據(jù)中心云平臺上建立復(fù)雜的天氣模型，這無疑是一種高效的手段。歐盟的云平臺在日內(nèi)瓦由CERN建立。它用于向全球數(shù)以千計的科學(xué)家分發(fā)數(shù)據(jù)、應(yīng)用和計算資源。CERN處理大規(guī)模數(shù)據(jù)集并期望獲得高吞吐率。IT業(yè)界、大企業(yè)和其他政府組織也在建立私有云平臺。在其初始階段，這些云平臺僅對受限用戶群提供服務(wù)。一旦這些云平臺變得成熟和安全，并具備它們聲稱的優(yōu)勢后，將會轉(zhuǎn)為公有云平臺。

9圖9-3NASA正在研發(fā)的Nebula云平臺10靈活和可擴展的云混搭系統(tǒng)在Web應(yīng)用開發(fā)中，混搭系統(tǒng)（CloudMashup）是指一個網(wǎng)頁或者應(yīng)用結(jié)合了從兩個以上的源提供的數(shù)據(jù)、表達或者功能來構(gòu)建新的服務(wù)。混搭系統(tǒng)的主要特征是虛擬化和聚集的混合。在云計算中，云從虛擬機資源池中動態(tài)分配資源來提供計算服務(wù)。盡管AWS和GAE在功能上有諸多不同，但是二者可以相互補充,混合不同的云來動態(tài)建立互聯(lián)云（intercloud）或者云平臺的云（cloudofclouds）。事實上，對于那些不愿意建立自己的企業(yè)級數(shù)據(jù)中心或者私有云的創(chuàng)業(yè)公司來說，云混搭系統(tǒng)為它們提供了一種更加有效和劃算的解決方案。

11圖9-4GAE和AWS云平臺之間的混搭系統(tǒng)

基于“按使用情況來付費”（payperuse）模型，創(chuàng)業(yè)公司可以借助類似于AWS和GAE的公有云平臺實現(xiàn)快速啟動。這不僅減少了由于上市時間長造成的損失，而且可以加快新想法在商業(yè)領(lǐng)域的發(fā)布。由于越來越多的企業(yè)可以相互之間良好的互補，因此當(dāng)下商業(yè)混搭系統(tǒng)非常流行。

12圖9-5云混搭系統(tǒng)的可擴展性能：2GB的數(shù)據(jù)集，執(zhí)行時間隨著虛擬機實例的增長而下降13云混搭系統(tǒng)的優(yōu)勢快速和自動的向下擴展能力能夠減少企業(yè)的運營成本。企業(yè)計算平臺不僅需要提供可擴展的服務(wù)，而且需要提供生存和競爭所需的靈活性。云混搭系統(tǒng)能夠結(jié)合多種平臺或者API，從而提供更加靈活的廣泛服務(wù)：EC2虛擬集群上的可擴展性。GAE接口的靈活性應(yīng)用混搭系統(tǒng)的擴展性和靈活性，私有云平臺的構(gòu)建會變得更加高效，尤其是在用戶或者數(shù)據(jù)快速增長階段。借助模塊化數(shù)據(jù)中心，在地域上廣泛分布的云提供商之間傳輸數(shù)據(jù)帶來的開銷可以減少。14移動云計算平臺Cloudlet

一種低成本基礎(chǔ)設(shè)施，使得移動設(shè)備可以使用云計算。這種思想稱為Cloudlet（云朵），它提供了一個資源豐富的門戶，用于更新移動設(shè)備，使其具有訪問遠程云的能力。門戶是可信的，而且使用虛擬機尋找位置感知的云應(yīng)用。該思想可以應(yīng)用在機會發(fā)現(xiàn)、快速信息處理和交通的智能決策中。廣泛部署的Cloudlet構(gòu)成了分布式云計算平臺，擴展了用戶可用的資源。其基本思想是把Cloudlet用做訪問遠程云的靈活網(wǎng)關(guān)或者門戶。Cloudlet可以在PC、工作站和低成本服務(wù)器上實現(xiàn)。該思想的主要創(chuàng)新是使用基于虛擬機的靈活性處理來自不同移動設(shè)備的請求。15圖9-6基于虛擬機的移動云計算應(yīng)用平臺Cloudlet16Cloudlet是去中心和自管理的。Cloudlet在局域網(wǎng)延遲和帶寬環(huán)境下每次處理少量用戶，而通常的云平臺則是集中式的大規(guī)模數(shù)據(jù)中心。云平臺由專業(yè)的人員管理，需要帶有不間斷電源和冷卻的房間放置大量機器。移動設(shè)備訪問遠程云的主要問題是互聯(lián)網(wǎng)或者廣域網(wǎng)上的高延遲17圖9-7構(gòu)建在CMU的Kimberley原型Cloudlet：快速虛擬機整合18199.2分布式系統(tǒng)和云的性能科研云綜述:未來網(wǎng)格（FutureGrid）20圖9-9未來網(wǎng)格軟件棧21數(shù)據(jù)密集型擴展計算（DISC）大數(shù)據(jù)22圖9-10從編程者的角度比較DISC系統(tǒng)和傳統(tǒng)超級計算機23HPC/HTC系統(tǒng)的性能指標(biāo)過去系統(tǒng)最常用的指標(biāo)Gflops（每秒109次浮點運算）和Tflops（每秒1012次浮點運算），現(xiàn)在的系統(tǒng)常用指標(biāo)是Pflops（每秒1015次浮點運算），將來的系統(tǒng)常用指標(biāo)是Eflops（每秒1018次浮點運算）。目前，已經(jīng)有并行基準(zhǔn)測試程序來評估HPC系統(tǒng)對大規(guī)模問題批處理的性能，常見的基準(zhǔn)程序包括LinpackBenchmark、NAS、Splash和Parkbench等。商用服務(wù)器、集群、數(shù)據(jù)中心和云系統(tǒng)上的HTC性能測試則是一個非常復(fù)雜的問題，因為HTC系統(tǒng)由多個客戶端同時使用。HTC的性能受多個正交因素的影響，有些因素是可測的，而另一些則不可測。這里的基本假設(shè)是大量（百萬或者更多）獨立用戶同時使用云或者數(shù)據(jù)中心的共享資源24基本性能屬性評估MPP、數(shù)據(jù)中心集群和虛擬化云的性能模型有很大的差異。為了適應(yīng)云計算范式的層次結(jié)構(gòu)，IaaS的性能指標(biāo)是PaaS性能模型的基礎(chǔ)。同樣，刻畫PaaS性能的屬性是評價SaaS性能的基礎(chǔ)。一個好的模型應(yīng)該覆蓋所有計算服務(wù)的層次，還應(yīng)該是通用的，可以應(yīng)用在各種具有不同工作負載分布的云平臺上。為了評估云服務(wù)的服務(wù)質(zhì)量，對頂層（SaaS）的影響對底層（PaaS和IaaS）來說應(yīng)該保持透明。系統(tǒng)吞吐量和效率分布式系統(tǒng)或者云平臺的系統(tǒng)吞吐量是指單位時間內(nèi)完成的作業(yè)數(shù)。

25系統(tǒng)吞吐量和效率

多任務(wù)可擴展性

26系統(tǒng)可用性系統(tǒng)可用性（γ），是指系統(tǒng)正常運行時間所占比例，反映了由于軟件升級維護、不可預(yù)期失效造成的影響。系統(tǒng)可用性，即MTTF（平均無故障時間）與MTTF和MTTR（平均修復(fù)時間）之和的比值。安全指數(shù)可用性受到平臺體系結(jié)構(gòu)、所使用的服務(wù)模型、系統(tǒng)脆弱性和對網(wǎng)絡(luò)攻擊抵御能力的影響。云安全受到多個因素的影響，包括用戶保密性、數(shù)據(jù)完整性、訪問控制、防火墻、IDS（入侵檢測系統(tǒng)）、抵御病毒或蠕蟲攻擊的能力、信譽系統(tǒng)、版權(quán)保護、數(shù)據(jù)鎖定、API、數(shù)據(jù)中心安全策略、可信協(xié)商和安全審計服務(wù)。27成本效益云計算的服務(wù)質(zhì)量云服務(wù)質(zhì)量（QualityofCloudServices，QoCS）的混合指標(biāo)θ來評價云平臺的累計性能。28圖9-11刻畫QoCS的5個指標(biāo)的基維亞特圖，3種云服務(wù)模式在三種假設(shè)條件下運行2930MPI和MapReduce性能比較31云平臺和裸機上的MapReduce

329.3物聯(lián)網(wǎng)關(guān)鍵技術(shù)AAAAAA在普適計算中，物聯(lián)網(wǎng)提供了一個由傳感器或者無線電連接設(shè)備組成的網(wǎng)絡(luò)，這些傳感器或者設(shè)備在信息物理空間可被唯一標(biāo)識和定位。它是由無線連接的自配置網(wǎng)絡(luò)，包括無線射頻標(biāo)簽、低成本傳感器網(wǎng)絡(luò)或者電子標(biāo)識。物聯(lián)網(wǎng)的概念源于1999年的自動ID追蹤，結(jié)合了RFID技術(shù)和基于IPv6的互聯(lián)網(wǎng)技術(shù)。每個物體都被賦于唯一可定位的IP地址。借助RFID、WiFi、ZigBee、移動網(wǎng)絡(luò)或者GPS，IP標(biāo)識的物體是可讀的、可被辨識的、可定位、可尋址和可通過互聯(lián)網(wǎng)控制的。

33實現(xiàn)普適計算的物聯(lián)網(wǎng)普適計算是人機交互的后桌面模式，信息的處理融入到日常物體和活動中。在日常生活中，人們會同時使用多個普適設(shè)備，但并不一定知道這些交互設(shè)備的存在。這種思想雖然簡單，但實現(xiàn)很難。如果世界上所有物體都裝備有很小的識別系統(tǒng)，那么我們的日常生活將會發(fā)生一次重大變革。物聯(lián)網(wǎng)系統(tǒng)必須有系統(tǒng)設(shè)計、系統(tǒng)工程和用戶接口。命令行、菜單驅(qū)動或者基于GUI的現(xiàn)代人機交互模式都無法滿足普適計算的需求。適用于普適計算的物聯(lián)網(wǎng)模式已經(jīng)顯現(xiàn)，能夠支持普適計算的設(shè)備有智能手機、平板電腦、傳感器網(wǎng)絡(luò)、RFID標(biāo)識、智能卡、GPS設(shè)備等。34圖9-14物聯(lián)網(wǎng)技術(shù)發(fā)展圖3536RolesofWirelessSensorNetworks37物聯(lián)網(wǎng)體系結(jié)構(gòu)38射頻標(biāo)識（RFID）

RFID對帶有電子標(biāo)簽或者RFID標(biāo)簽的物體進行監(jiān)測和跟蹤。標(biāo)簽可以應(yīng)用在任意物體上，如商品、工具、智能電話、計算機、動物或者人，目的是通過射頻波或者感知信號識別和跟蹤物體。某些標(biāo)簽可以從數(shù)十或者數(shù)百米以外被無線讀取器所讀取。RFID標(biāo)識至少包含兩個主要部分：一部分是集成電路，用來存儲和處理信息，調(diào)制和解調(diào)射頻信號等；另一部分是接受和傳輸無線信號的天線。39RFIDTechnology圖9-16RFID標(biāo)簽和信號通過傳感器網(wǎng)絡(luò)和WiFi網(wǎng)絡(luò)進行讀/寫40RFIDMerchandizeTracking

inDistributionCenter4142傳感器網(wǎng)絡(luò)和ZigBee技術(shù)目前傳感器網(wǎng)絡(luò)大部分是無線的，也稱為無線傳感器網(wǎng)絡(luò)（WirelessSensorNetwork，WSN）。典型的WSN由空間上分布的自動傳感器協(xié)同監(jiān)測物理或者環(huán)境條件，如溫度、聲音、振動、壓力、動作和污染物。無線傳感器網(wǎng)絡(luò)的發(fā)展最早是由軍事應(yīng)用驅(qū)動的，如戰(zhàn)場監(jiān)視等，但它目前已經(jīng)應(yīng)用到很多工業(yè)和民用應(yīng)用領(lǐng)域，包括進度監(jiān)測和控制、機器健康狀態(tài)監(jiān)測、環(huán)境和棲息地監(jiān)測、衛(wèi)生保健、家庭自動化，以及智能交通控制。

WSN是一組帶有通信基礎(chǔ)設(shè)施的特定變頻器，旨在實現(xiàn)各個位置監(jiān)測和記錄條件。

4344ZigBee網(wǎng)絡(luò)是一種高級通信協(xié)議，由IEEE802.15.4標(biāo)準(zhǔn)描述。Zigbee設(shè)備體積較小，是低能耗和基于無線電的傳感器節(jié)點。45TypicalZigbeeArchitecture46Slide46ZigBeeApplications(Wireless

Home-AreaNetworks,WHAN)assetmgtprocesscontrolenvironmentalenergymgtZigBeeWirelessControlthatSimplyWorksRESIDENTIAL/LIGHTCOMMERCIALCONTROLCONSUMERELECTRONICSTVVCRDVD/CDremotesecurityHVAClightingcontrolaccesscontrollawn&gardenirrigationPC&PERIPHERALSINDUSTRIALCONTROLPERSONALHEALTHCAREBUILDINGAUTOMATIONsecurityHVACAMRlightingcontrolaccess

controlmousekeyboardjoystickpatientmonitoringfitnessmonitoringsecurityHVACAMRlightingcontrolaccess

controlsecurityHVACAMRlightingcontrolaccess

controlZigBeeWirelessControlthatSimplyWorkssecurityHVACAMRlightingcontrolaccess

controlsecurityHVAClightingcontrolaccesscontrollawn&gardenirrigationZigBeeWirelessControlthatSimplyWorkssecurityHVACAMRlightingcontrolaccess

controlTVVCRDVD/CDremotesecurityHVAClightingcontrolaccesscontrollawn&gardenirrigationZigBeeWirelessControlthatSimplyWorkssecurityHVACAMRlightingcontrolaccess

controlmousekeyboardjoystickTVVCRDVD/CDremotesecurityHVAClightingcontrolaccesscontrollawn&gardenirrigationZigBeeWirelessControlthatSimplyWorkssecurityHVACAMRlightingcontrolaccess

controlRESIDENTIAL/LIGHTCOMMERCIALCONTROLINDUSTRIALCONTROLRESIDENTIAL/LIGHTCOMMERCIALCONTROLINDUSTRIALCONTROLRESIDENTIAL/LIGHTCOMMERCIALCONTROL47圖9-18一個典型傳感器應(yīng)用模式中的用電管理

48圖9-19說明測量數(shù)據(jù)是如何通過無線傳感器網(wǎng)絡(luò)傳給醫(yī)生或者醫(yī)療專家的例子49全球定位系統(tǒng)（GPS）

24SatellitesofGPSDeployedinOuterspace50GPSOperationPrinciple5152Real-timeGPSTrackingSystemAAA

539.4物聯(lián)網(wǎng)創(chuàng)新應(yīng)用54圖9-21多個合作方商業(yè)領(lǐng)域的供應(yīng)鏈管理55圖9-22智能電網(wǎng)56SupplyChainManagement

supportedbytheInternetofThings.()57信息物理系統(tǒng)（CPS）隨著智能手機、GPS導(dǎo)航和平板電腦的出現(xiàn)，嵌入式系統(tǒng)發(fā)展成為新的智能系統(tǒng)，稱為信息物理系統(tǒng)（CPS）。

CPS系統(tǒng)把計算過程和物理世界結(jié)合起來，形成一個交互式智能嵌入式系統(tǒng)。一個完整的CPS系統(tǒng)包括嵌入式計算機、網(wǎng)絡(luò)監(jiān)測器和對物理過程的智能控制，而人參與到反饋環(huán)中。在物理世界中，CPS必須實時處理人機交互。

58圖9-23CPS系統(tǒng)中三個組成部分交互式智能工作CyberPhysicalSystems

(CPSs)599.5在線社會網(wǎng)絡(luò)和專業(yè)網(wǎng)絡(luò)在線社會網(wǎng)絡(luò)使得大量社會和專業(yè)性的功能在互聯(lián)網(wǎng)上發(fā)展成為可能。通過專用網(wǎng)站，可以方便地建立P2P連接。社會網(wǎng)絡(luò)改變了人們的交互和溝通方式。常用的社會網(wǎng)絡(luò)網(wǎng)站有Facebook、Twiiter、LinkedIn和MySpace等。在線社會網(wǎng)絡(luò)特征在線社會網(wǎng)絡(luò)（OnlineSocialNetwork，OSN）由個人或者組織在互聯(lián)網(wǎng)上形成，這些個人和組織是相關(guān)的、互聯(lián)的，或者由于相同的興趣或相互依賴而相互連接。社會網(wǎng)絡(luò)是表征個體之間的社會關(guān)系的結(jié)構(gòu)。在社會網(wǎng)絡(luò)中，節(jié)點表示人，節(jié)點之間的邊表示諸如好友、親戚或者同事等關(guān)系6061圖9-24社會網(wǎng)絡(luò)圖示例62圖9-252個社會網(wǎng)絡(luò)的圖表示63圖9-26論文引用圖和研究社區(qū)6465圖9-27匿名社會網(wǎng)絡(luò)中的攻擊跟蹤66圖9-282007年11月8日統(tǒng)計的2840萬的Facebook應(yīng)用分布6768圖9-29基于社會引擎服務(wù)器和API的Facebook體系結(jié)構(gòu)69圖9-30Twitter體系結(jié)構(gòu)和訪問協(xié)議Twitter：微博、新聞和提醒服務(wù)平臺7071May19,2012,Xian,China.AllrightsreservedKaiHwangDecember21,2011Prof.KaiHwang,USC/THU云計算與社會網(wǎng)絡(luò)的沖擊云計算是提供未來互聯(lián)網(wǎng)服務(wù)的趨勢。未來互聯(lián)網(wǎng)將不僅覆蓋人和機器，還將覆蓋各種各樣的事物。物聯(lián)網(wǎng)應(yīng)用將利用云計算處理和存儲動態(tài)海量數(shù)據(jù)集。社交網(wǎng)絡(luò)將重塑人際關(guān)系，改變社會結(jié)構(gòu)與商業(yè)模型。72May19,2012,Xian,China.AllrightsreservedKaiHwangDecember21,2011Prof.KaiHwang,USC/THU推動未來互聯(lián)網(wǎng)發(fā)展的技術(shù)創(chuàng)新

可編程網(wǎng)絡(luò)體系結(jié)構(gòu)三網(wǎng)融合：互聯(lián)網(wǎng)、電信網(wǎng)絡(luò)，

和廣播電視網(wǎng)絡(luò)超越TCP/IP的內(nèi)容尋址能力個人化通信協(xié)議智能路由和內(nèi)容分發(fā)安全和隱私保護的新思路服務(wù)遷移和災(zāi)難恢復(fù)超越數(shù)據(jù)加密的海量數(shù)據(jù)保護73May19,2012,Xian,China.AllrightsreservedKaiHwang結(jié)論:

云計算、物聯(lián)網(wǎng)和社交網(wǎng)絡(luò)影響了整個服務(wù)業(yè)，并將推動未來互聯(lián)網(wǎng)的變革，影響全球經(jīng)濟發(fā)展。云計算生態(tài)系統(tǒng)對普適性、計算效能、安全性、可信性、用戶接受度提出了新的要求。物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和云計算將成為工商業(yè)、政府、教育、娛樂等領(lǐng)域應(yīng)用的普遍實踐。74ToProbeFurther:

K.Hwang,G.Fox,andJ.Dongarra,DistributedandCloudComputing,

MorganKauffmannPublishers,Oct.2011N.Mckeown,etal“OpenFlow:Enabl