物聯(lián)網(wǎng)技術(shù)概論（第3版）課件：物聯(lián)網(wǎng)云邊端平臺(tái)技術(shù)

物聯(lián)網(wǎng)云邊端平臺(tái)技術(shù)《物聯(lián)網(wǎng)技術(shù)概論》1《物聯(lián)網(wǎng)技術(shù)概論》第三版2課程提綱云邊端協(xié)同技術(shù)的起源與發(fā)展四邊緣計(jì)算技術(shù)二虛擬化與云計(jì)算技術(shù)一大數(shù)據(jù)管理技術(shù)三云邊協(xié)同數(shù)據(jù)處理技術(shù)五本章小結(jié)六3課程提綱云邊端協(xié)同技術(shù)的起源與發(fā)展四邊緣計(jì)算技術(shù)二虛擬化與云計(jì)算技術(shù)一大數(shù)據(jù)管理技術(shù)三云邊協(xié)同數(shù)據(jù)處理技術(shù)五本章小結(jié)六一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化技術(shù)概念：虛擬化（Virtualization）技術(shù)是一個(gè)廣義的術(shù)語(yǔ)，它通常指能夠使計(jì)算元件在虛擬硬件資源的基礎(chǔ)上運(yùn)行的技術(shù)。虛擬化前虛擬化后軟件必須與硬件相結(jié)合每臺(tái)機(jī)器上只有單一的操作系統(tǒng)鏡像每個(gè)操作系統(tǒng)只有一個(gè)應(yīng)用程序負(fù)載每臺(tái)機(jī)器上有多個(gè)負(fù)載軟件相對(duì)于硬件獨(dú)立未更改過(guò)的應(yīng)用未更改過(guò)的OS虛擬硬件虛擬機(jī)是標(biāo)準(zhǔn)化的軟件容器4一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化技術(shù)優(yōu)勢(shì)：虛擬化前每臺(tái)主機(jī)一個(gè)操作系統(tǒng)軟件硬件緊密地結(jié)合在同一主機(jī)上運(yùn)行多個(gè)應(yīng)用程序通常會(huì)遭遇沖突系統(tǒng)的資源利用率低硬件成本高昂而且不夠靈活虛擬化后打破了操作系統(tǒng)和硬件的互相依賴通過(guò)封裝到到虛擬機(jī)的技術(shù),管理操作系統(tǒng)和應(yīng)用程序?yàn)閱我坏膫€(gè)體強(qiáng)大的安全和故障隔離虛擬機(jī)是獨(dú)立于硬件的,它們能在任何硬件上運(yùn)行5一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)通過(guò)虛擬化來(lái)進(jìn)行服務(wù)器整合意味著用戶能夠?qū)⑦@樣的環(huán)境…6一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)…改造成這樣簡(jiǎn)捷的配置沒(méi)有利用虛擬化軟件之前是300臺(tái)服務(wù)器使用虛擬化軟件后，整合成8臺(tái)服務(wù)器、1個(gè)機(jī)架7一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)分區(qū)在一個(gè)物理機(jī)上運(yùn)行多個(gè)OS更充分利用服務(wù)器資源支持高可用——分區(qū)之間可以組建集群（負(fù)載均衡、雙機(jī)容錯(cuò)）封裝將虛擬機(jī)封裝成與硬件配置無(wú)關(guān)的文件隨時(shí)對(duì)虛擬機(jī)進(jìn)行快照通過(guò)簡(jiǎn)單的文件拷貝對(duì)虛擬機(jī)進(jìn)行遷徙隔離從硬件層面隔離系統(tǒng)故障和安全威脅在虛擬機(jī)之間動(dòng)態(tài)的分配CPU、內(nèi)存等系統(tǒng)資源保證服務(wù)可用虛擬化的關(guān)鍵特征89一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化技術(shù)分類：內(nèi)存（Memory）虛擬化存儲(chǔ)（Storage）虛擬化網(wǎng)絡(luò)（Network）虛擬化桌面（Desktop）虛擬化數(shù)據(jù)（Data）虛擬化……虛擬化管理內(nèi)存虛擬化存儲(chǔ)虛擬化網(wǎng)絡(luò)虛擬化桌面虛擬化數(shù)據(jù)虛擬化虛擬化硬件平臺(tái)…10一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化技術(shù)分類：內(nèi)存（Memory）虛擬化內(nèi)存管理在操作系統(tǒng)中十分復(fù)雜和關(guān)鍵。內(nèi)存虛擬化可以動(dòng)態(tài)為虛擬機(jī)分配內(nèi)存，并維護(hù)真正物理地址和虛擬機(jī)地址之間的映射關(guān)系，還可以允許聯(lián)網(wǎng)的多個(gè)計(jì)算機(jī)共享內(nèi)存池，從而提高整體性能。MachinememoryPhysicalmemoryVirtualmemoryProcess1Process2VM1Process1Process2VM2一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化技術(shù)分類：存儲(chǔ)（Storage）虛擬化存儲(chǔ)虛擬化將多個(gè)硬件資源進(jìn)行抽象化表現(xiàn)，由一個(gè)中央控制臺(tái)進(jìn)行集中控制和管理，同時(shí)保證數(shù)據(jù)集中安全。通過(guò)軟件技術(shù)，存儲(chǔ)虛擬化可以識(shí)別真實(shí)硬件資源的可用容量，而對(duì)于用戶而言是透明的，用戶不會(huì)看到具體的存儲(chǔ)硬件，也不必?fù)?dān)心數(shù)據(jù)的流通過(guò)程。存儲(chǔ)虛擬化是一種集中化管理方式，可以提供存儲(chǔ)硬件的利用率，降低管理成本。11一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化技術(shù)分類：網(wǎng)絡(luò)（Network）虛擬化網(wǎng)絡(luò)虛擬化將軟硬件網(wǎng)絡(luò)資源抽象集成為一個(gè)軟件管理的虛擬網(wǎng)絡(luò)。網(wǎng)絡(luò)虛擬化可以將多個(gè)物理網(wǎng)絡(luò)合并為一個(gè)基于軟件的虛擬網(wǎng)絡(luò)，也可以將一個(gè)物理網(wǎng)絡(luò)劃分為獨(dú)立的虛擬網(wǎng)絡(luò)。網(wǎng)絡(luò)虛擬化可以減少成本，縮短網(wǎng)絡(luò)配置時(shí)間，增強(qiáng)網(wǎng)絡(luò)的安全性。12一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化技術(shù)分類：桌面（Desktop）虛擬化桌面虛擬化將計(jì)算機(jī)桌面環(huán)境和操作系統(tǒng)進(jìn)行虛擬化，使其與訪問(wèn)桌面的物理設(shè)備分離開。通過(guò)桌面虛擬化，用戶可以使用其他設(shè)備通過(guò)網(wǎng)絡(luò)訪問(wèn)該桌面系統(tǒng)，以增強(qiáng)資源管理效率，實(shí)現(xiàn)遠(yuǎn)程辦公，同時(shí)增加數(shù)據(jù)的安全性。13一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化技術(shù)分類：數(shù)據(jù)（Data）虛擬化數(shù)據(jù)虛擬化是一種數(shù)據(jù)管理方法，它集成了不同系統(tǒng)、計(jì)算機(jī)上的數(shù)據(jù)，數(shù)據(jù)的數(shù)據(jù)細(xì)節(jié)（原始結(jié)構(gòu)或存儲(chǔ)位置）對(duì)用戶來(lái)說(shuō)是透明的，又可以為用戶提供整體的數(shù)據(jù)視圖。數(shù)據(jù)虛擬化可以提高數(shù)據(jù)訪問(wèn)效率，減少開發(fā)成本從而提高整體生產(chǎn)力，同時(shí)可以打破數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)的合理有效利用。14一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化的功能優(yōu)化整合：簡(jiǎn)化IT基礎(chǔ)架構(gòu)，提高利用率，降低成本簡(jiǎn)化管理--VC；業(yè)務(wù)連續(xù)性保障--HA，VMotion、FT資源均衡使用及動(dòng)態(tài)優(yōu)化--DRS和DPM增強(qiáng)的安全性15一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化的功能簡(jiǎn)化管理7編程接口虛擬機(jī)和服務(wù)器管理1虛擬機(jī)部署2虛擬機(jī)遷移3資源管理4系統(tǒng)監(jiān)控5安全和訪問(wèn)控制6集中統(tǒng)一管理通過(guò)虛擬化控制平臺(tái)VC實(shí)現(xiàn)：集中管理統(tǒng)一部署16一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化的功能VMwareHA確保系統(tǒng)高可用VMwareHA是什么?VMwareHA就是發(fā)生服務(wù)器故障時(shí)在其他的物理服務(wù)器上自動(dòng)重啟虛擬機(jī)客戶優(yōu)勢(shì)對(duì)所有的應(yīng)用實(shí)現(xiàn)了高可用性，并且成本很低不需要完全一致的重復(fù)硬件比傳統(tǒng)的集群有更高的成本優(yōu)勢(shì)，同時(shí)易于使用和操作資源池X17一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化的功能VMwareVMotion實(shí)現(xiàn)虛擬機(jī)的動(dòng)態(tài)遷移,而服務(wù)不中斷資源池業(yè)務(wù)需求客戶優(yōu)勢(shì)零宕機(jī)時(shí)間:進(jìn)行有計(jì)劃的服務(wù)器維護(hù)和升級(jí)遷移工作負(fù)載，資源利用率最大化服務(wù)器的持續(xù)可用性,完整的交易集成18一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化的功能VMwareFaultTolerance實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)系統(tǒng)的容錯(cuò)在不同的主機(jī)上同步運(yùn)行相同的虛擬機(jī)出現(xiàn)硬件故障時(shí)，所有虛擬機(jī)均可實(shí)現(xiàn)零宕機(jī)時(shí)間、零數(shù)據(jù)損失故障切換零宕機(jī)時(shí)間、零數(shù)據(jù)損失無(wú)需復(fù)雜的集群或?qū)Ｓ糜布袘?yīng)用程序和操作系統(tǒng)通用的單一機(jī)制VMwarevSphere?操作系統(tǒng)應(yīng)用程序操作系統(tǒng)應(yīng)用程序操作系統(tǒng)應(yīng)用程序X19一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化的功能資源均衡優(yōu)化：DRSDRS是什么?跨資源池動(dòng)態(tài)平衡計(jì)算資源基于預(yù)先設(shè)定的規(guī)則智能分配資源對(duì)客戶的優(yōu)勢(shì)基于業(yè)務(wù)優(yōu)先級(jí)分配IT資源簡(jiǎn)化運(yùn)行，大幅度提高系統(tǒng)管理員的生產(chǎn)率動(dòng)態(tài)添加硬件資源而避免在繁忙時(shí)段服務(wù)器的過(guò)載動(dòng)態(tài)硬件維護(hù)能力動(dòng)態(tài)、智能地分配IT資源來(lái)滿足業(yè)務(wù)部門不同需求資源池業(yè)務(wù)需求圍繞業(yè)務(wù)進(jìn)行組織和規(guī)劃而不是您的硬件!20一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化的功能分布式電源管理DPM資源池業(yè)務(wù)需求關(guān)閉群集需要的資源越少，就將工作負(fù)載整合到越少的服務(wù)器上將不需要的服務(wù)器置于待機(jī)模式工作負(fù)載需要增加時(shí)，再恢復(fù)服務(wù)器在線狀態(tài)保證服務(wù)級(jí)別的同時(shí)減少電力消耗虛擬機(jī)不中斷、不停機(jī)支持三種喚醒協(xié)議：1、智能平臺(tái)管理接口(IPMI)2、IntegratedLights-Out(iLO)3、網(wǎng)絡(luò)喚醒(WOL)21一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化的功能增強(qiáng)的數(shù)據(jù)保護(hù)VCBVCB(VMware整合備份)是什么?集中的、無(wú)代理的虛擬機(jī)備份將備份移出虛擬機(jī)減少備份代理和數(shù)量消除生產(chǎn)虛擬機(jī)的備份負(fù)載充分利用虛擬機(jī)快照功能支持SAN、iSCSI和NAS和主流的第三方的備份產(chǎn)品預(yù)集成客戶優(yōu)勢(shì)任意的備份窗口集中的、文件級(jí)的備份實(shí)現(xiàn)了簡(jiǎn)單、可靠的數(shù)據(jù)保護(hù)集中的數(shù)據(jù)

遷移器22一、虛擬化與云計(jì)算技術(shù)1.1虛擬化技術(shù)虛擬化的功能增強(qiáng)的數(shù)據(jù)保護(hù)VCBVCB(VMware整合備份)是什么?集中的、無(wú)代理的虛擬機(jī)備份將備份移出虛擬機(jī)減少備份代理和數(shù)量消除生產(chǎn)虛擬機(jī)的備份負(fù)載充分利用虛擬機(jī)快照功能支持SAN、iSCSI和NAS和主流的第三方的備份產(chǎn)品預(yù)集成客戶優(yōu)勢(shì)任意的備份窗口集中的、文件級(jí)的備份實(shí)現(xiàn)了簡(jiǎn)單、可靠的數(shù)據(jù)保護(hù)集中的數(shù)據(jù)

遷移器2324一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)發(fā)展：定義:基于虛擬化和數(shù)據(jù)中心技術(shù)，通過(guò)互聯(lián)網(wǎng)為云平臺(tái)用戶提供按需供給和彈性的計(jì)算和存儲(chǔ)資源。主要優(yōu)勢(shì):靈活性：快速擴(kuò)大或縮小規(guī)模，靈活滿足計(jì)算需求低成本：按使用付費(fèi)，大限度地降低硬件和IT成本可用性：通過(guò)任意設(shè)備，隨時(shí)隨地全天候訪問(wèn)云系統(tǒng)簡(jiǎn)易性：無(wú)需IT

部門管理服務(wù)器和更新軟件25一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)層次：軟件即服務(wù)（SoftwareasaService，SaaS）平臺(tái)即服務(wù)（PlatformasaService,PaaS）基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService,IaaS）專用通用一、虛擬化與云計(jì)算技術(shù)它們有什么區(qū)別呢？1.2云計(jì)算技術(shù)IBM的軟件架構(gòu)師AlbertBarron曾經(jīng)使用披薩作為比喻IaaS：他人提供廚房、爐子、煤氣，你使用這些基礎(chǔ)設(shè)施，來(lái)烤你的披薩。26一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)PaaS：除了基礎(chǔ)設(shè)施，他人還提供披薩餅皮。你只要把自己的配料灑在餅皮上，讓他幫你烤出來(lái)就行了。也就是說(shuō)，你要做的就是設(shè)計(jì)披薩的味道（海鮮披薩或者雞肉披薩），他人提供平臺(tái)服務(wù)，讓你把自己的設(shè)計(jì)實(shí)現(xiàn)。27一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)SaaS：他人直接做好了披薩，不用你的介入，到手的就是一個(gè)成品。你要做的就是把它賣出去，最多再包裝一下，印上你自己的Logo。28一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)基礎(chǔ)設(shè)施即服務(wù)IaaS基礎(chǔ)架構(gòu)即服務(wù)（InfrastructureasaService，IaaS）指的是以服務(wù)的形式來(lái)提供計(jì)算資源、存儲(chǔ)、網(wǎng)絡(luò)等基礎(chǔ)IT架構(gòu)。用戶通常能夠根據(jù)具體應(yīng)用需求，通過(guò)自助訂購(gòu)等方式來(lái)購(gòu)買所需的虛擬IT資源，并通過(guò)Web界面、WebService等方式對(duì)虛擬IT資源進(jìn)行配置、監(jiān)控、管理。IaaS除了提供虛擬IT資源外，還在云架構(gòu)內(nèi)部實(shí)現(xiàn)了負(fù)載均衡、錯(cuò)誤監(jiān)控與恢復(fù)、災(zāi)難備份等保障性功能，將用戶從IT基礎(chǔ)設(shè)施建設(shè)、維護(hù)的工作中解脫出來(lái)，同時(shí)也為用戶節(jié)省了大量建設(shè)、運(yùn)營(yíng)成本。IaaS平臺(tái)的主要提供商:VMware、Citrix、Redhat、Microsoft、Amazon等。29一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)平臺(tái)即服務(wù)PaaS：平臺(tái)即服務(wù)（PlatformasaService,PaaS）是指以服務(wù)形式向開發(fā)人員提供應(yīng)用程序開發(fā)及部署平臺(tái)，讓他們可利用此平臺(tái)來(lái)開發(fā)、部署和管理應(yīng)用程序。PaaS平臺(tái)一般包括數(shù)據(jù)庫(kù)、中間件及開發(fā)測(cè)試工具，并且都以服務(wù)形式通過(guò)互聯(lián)網(wǎng)提供。Paas可通過(guò)遠(yuǎn)程Web服務(wù)使用數(shù)據(jù)存儲(chǔ)服務(wù)，還可以使用可視化的API，甚至還允許開發(fā)者混合并匹配適合應(yīng)用的其他平臺(tái)。用戶或者廠商基于PaaS平臺(tái)可以快速開發(fā)自己所需要的應(yīng)用和產(chǎn)品。同時(shí)，PaaS平臺(tái)可以幫助開發(fā)者更好地搭建基于SOA架構(gòu)的企業(yè)應(yīng)用。主流的PaaS平臺(tái):GoogleAppEngine、AmazonWebService、F、MicrosoftWindowsAzurePlatform等。30一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)軟件即服務(wù)SaaS：SaaS通過(guò)Internet向終端用戶提供應(yīng)用軟件的模式，廠商將應(yīng)用軟件統(tǒng)一部署在自己的服務(wù)器上，客戶可以根據(jù)自己的實(shí)際需求，通過(guò)互聯(lián)網(wǎng)向廠商定購(gòu)所需的應(yīng)用軟件、服務(wù)，并按定購(gòu)的服務(wù)多少和時(shí)間長(zhǎng)短向廠商支付費(fèi)用，并通過(guò)互聯(lián)網(wǎng)獲得廠商提供的技術(shù)支持。相比傳統(tǒng)軟件使用方式而言，SaaS不僅減少或取消了傳統(tǒng)的軟件授權(quán)費(fèi)用，而且廠商將應(yīng)用軟件部署在統(tǒng)一的服務(wù)器上，免除了最終用戶在服務(wù)器硬件、網(wǎng)絡(luò)安全設(shè)備和軟件升級(jí)維護(hù)上的支出，客戶不需要個(gè)人電腦和互聯(lián)網(wǎng)連接之外的其他IT投資，就可以通過(guò)互聯(lián)網(wǎng)獲得所需軟件和服務(wù)，大大降低了軟件使用成本。代表性的SaaS服務(wù)提供商：Google、Microsoft、S、Netsuite等。31一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)軟件即服務(wù)SaaS：SaaS通過(guò)Internet向終端用戶提供應(yīng)用軟件的模式，廠商將應(yīng)用軟件統(tǒng)一部署在自己的服務(wù)器上，客戶可以根據(jù)自己的實(shí)際需求，通過(guò)互聯(lián)網(wǎng)向廠商定購(gòu)所需的應(yīng)用軟件、服務(wù)，并按定購(gòu)的服務(wù)多少和時(shí)間長(zhǎng)短向廠商支付費(fèi)用，并通過(guò)互聯(lián)網(wǎng)獲得廠商提供的技術(shù)支持。相比傳統(tǒng)軟件使用方式而言，SaaS不僅減少或取消了傳統(tǒng)的軟件授權(quán)費(fèi)用，而且廠商將應(yīng)用軟件部署在統(tǒng)一的服務(wù)器上，免除了最終用戶在服務(wù)器硬件、網(wǎng)絡(luò)安全設(shè)備和軟件升級(jí)維護(hù)上的支出，客戶不需要個(gè)人電腦和互聯(lián)網(wǎng)連接之外的其他IT投資，就可以通過(guò)互聯(lián)網(wǎng)獲得所需軟件和服務(wù)，大大降低了軟件使用成本。代表性的SaaS服務(wù)提供商：Google、Microsoft、S、Netsuite等。32一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)應(yīng)用案例紐約時(shí)報(bào)使用亞馬遜云計(jì)算服務(wù)在不到24個(gè)小時(shí)的時(shí)間里處理了1100萬(wàn)篇文章，累計(jì)花費(fèi)240美元。如果用自己的服務(wù)器，需要數(shù)月和多得多的費(fèi)用33一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)應(yīng)用案例Google（Iaas,paas,saas）

Google搜索引擎建立在分布在30多個(gè)站點(diǎn)、超過(guò)200萬(wàn)臺(tái)服務(wù)器構(gòu)成的云計(jì)算設(shè)施的支撐之上，這些設(shè)施的數(shù)量正在迅猛增長(zhǎng)。googlemap,googledoc,gmail目前，Google已經(jīng)允許第三方在Google的云計(jì)算中通過(guò)GoogleAppEngine運(yùn)行大型并行應(yīng)用程序。3435一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)部署模式：公有云混合云由若干企業(yè)和用戶共享使用的云計(jì)算。在公有云中，用戶所需的服務(wù)由獨(dú)立的、第三方云提供商提供。公有云與私有云的混合由某個(gè)企業(yè)獨(dú)立構(gòu)建和使用的云環(huán)境，是為企業(yè)或組織所專屬的云計(jì)算環(huán)境。私有云36一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)部署模式：公有云公有云計(jì)算系統(tǒng)以Amazon、Google、Rackspace、S、Microsoft等公司推出的產(chǎn)品為代表，向用戶提供了豐富多彩的IT服務(wù)和商業(yè)應(yīng)用。例如Amazon公司為應(yīng)用開發(fā)者提供的彈性的、可靠的、自助的IaaS服務(wù)平臺(tái)AmazonEC2；Google公司、Microsoft公司分別推出的GoogleAppEngine、MicrosoftAzurePlatform則以PaaS的形式為應(yīng)用開發(fā)者提供開放的應(yīng)用開發(fā)、運(yùn)行環(huán)境；在SaaS領(lǐng)域，則以Google公司的Gmail/GoogleDocs、Microsoft公司的MicrosoftOnlineServices為代表，這類公有云產(chǎn)品直接為終端用戶提供在線郵件、在線辦公等應(yīng)用領(lǐng)域的軟件服務(wù)。3637一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)部署模式：私有云私有云是針對(duì)單個(gè)機(jī)構(gòu)的需求而特別定制的云計(jì)算系統(tǒng)。例如，一些金融機(jī)構(gòu)的業(yè)務(wù)支撐平臺(tái)、政府機(jī)構(gòu)內(nèi)部使用的公共政務(wù)平臺(tái)、企業(yè)內(nèi)部的私有IT服務(wù)平臺(tái)等。私有云計(jì)算系統(tǒng)通常是自封閉的系統(tǒng)，只允許機(jī)構(gòu)內(nèi)部人員、應(yīng)用系統(tǒng)使用，信息安全性較高。一般來(lái)講，私有云計(jì)算系統(tǒng)都會(huì)基于一些成熟的云計(jì)算解決方案來(lái)搭建。例如VMWare公司的vSphere、RedHat公司的EnterpriseVirtualization、Microsoft公司的Hyper-V虛擬化等。通過(guò)采用虛擬化操作系統(tǒng)和網(wǎng)絡(luò)技術(shù)，能夠降低機(jī)構(gòu)內(nèi)部使用服務(wù)器和網(wǎng)絡(luò)設(shè)備的數(shù)量，提高IT資源的利用率和IT基礎(chǔ)設(shè)施的可用度，并使機(jī)構(gòu)內(nèi)部IT資源的管理更為明晰。38一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)部署模式：混合云

為了更好地實(shí)現(xiàn)公司業(yè)務(wù)的高效處理，越來(lái)越多的企業(yè)采用公共云用來(lái)補(bǔ)充現(xiàn)有的本地部署數(shù)據(jù)中心和私有云架構(gòu)中的不足，混合云逐漸被業(yè)界提了出來(lái)。上圖描述了一個(gè)簡(jiǎn)單的混合云架構(gòu)，主要包括一個(gè)單一的私有云和一個(gè)單一的公有云，并利用安全連接(專線或虛擬專用網(wǎng)絡(luò)VPN)將私有云和公有云相連，保證了網(wǎng)絡(luò)傳輸過(guò)程中的安全性。特點(diǎn)：1.在混合云上，結(jié)合了私有云和公有云不同的優(yōu)勢(shì)，并彌補(bǔ)了他們各自的不足；2.將一些敏感數(shù)據(jù)或是運(yùn)行關(guān)鍵性的工作負(fù)載放在私有云上面；而一般的工作或是需要擴(kuò)展的工作放在公有云上面，以便有需求時(shí)能夠進(jìn)行擴(kuò)展來(lái)應(yīng)對(duì)日常的應(yīng)用負(fù)載模式。39一、虛擬化與云計(jì)算技術(shù)云計(jì)算技術(shù)部署模式：混合云高性能低能耗、低成本優(yōu)勢(shì)極易擴(kuò)展靈活易用混合云突破了私有云的硬件限制，利用公有云的可擴(kuò)展性，可以隨時(shí)獲取更高的計(jì)算能力。1.混合云能夠?qū)①Y源和工作負(fù)載從本地遷移到云，反之亦然。2.對(duì)于開發(fā)和測(cè)試，混合云使開發(fā)人員能夠輕松搞定新的虛擬機(jī)和應(yīng)用程序，無(wú)需IT運(yùn)維人員的協(xié)助。3.混合云還提供了各種各樣的服務(wù)，如大數(shù)據(jù)分析、物聯(lián)網(wǎng)等，企業(yè)可以隨時(shí)使用這些服務(wù)，而不需要自己去構(gòu)建?；旌显评谩凹从眉锤丁痹朴?jì)算資源來(lái)消除購(gòu)買本地資源的需求，從而使得企業(yè)可以便捷地將應(yīng)用程序和數(shù)據(jù)放在最適合的平臺(tái)上，獲得最佳的利益組合。混合云平臺(tái)下，私有云和公有云同時(shí)協(xié)調(diào)工作，在私有云里可以實(shí)現(xiàn)特定的業(yè)務(wù)處理，并在無(wú)須購(gòu)買額外硬件的情況下，在需求高峰期充分利用公有云的資源來(lái)完成數(shù)據(jù)處理需求。1.2云計(jì)算技術(shù)40一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)前沿：（1）超融合技術(shù)在同一套單元設(shè)備中不僅具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器虛擬化等資源和技術(shù)，而且還包括緩存加速、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮、備份軟件、快照技術(shù)等元素，而多節(jié)點(diǎn)可以通過(guò)網(wǎng)絡(luò)聚合起來(lái)，實(shí)現(xiàn)模塊化的無(wú)縫橫向擴(kuò)展，形成統(tǒng)一的資源池。集成系統(tǒng)融合架構(gòu)超融合架構(gòu)模塊化資源池統(tǒng)一程序接口發(fā)展歷程定義關(guān)鍵技術(shù)一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)前沿：（1）超融合技術(shù)圖中單個(gè)節(jié)點(diǎn)為X86服務(wù)器架構(gòu)，基于節(jié)點(diǎn)構(gòu)建分布式存儲(chǔ)。HCI具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器虛擬化等資源和技術(shù)，同時(shí)包括緩存加速、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮、備份軟件、快照技術(shù)等，多節(jié)點(diǎn)可以通過(guò)網(wǎng)絡(luò)聚合起來(lái)，實(shí)現(xiàn)模塊化的無(wú)縫橫向擴(kuò)展（scale-out），形成統(tǒng)一的資源池客戶端便可以直接此形式的數(shù)據(jù)中心進(jìn)行交互。關(guān)鍵廠商1、NUTANIX

2、SMARTX3、華為FusionStorage4、深信服4142一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)前沿：（2）云邊端融合技術(shù)云計(jì)算和邊緣計(jì)算的融合可以更好地滿足各種需求場(chǎng)景的匹配，最大化其應(yīng)用價(jià)值。云邊端融合技術(shù)在內(nèi)容分發(fā)網(wǎng)絡(luò)、工業(yè)互聯(lián)網(wǎng)、能源、智能家居、智慧交通、安防監(jiān)控、農(nóng)業(yè)生產(chǎn)、醫(yī)療保健及云游戲等方面有著廣泛的應(yīng)用前景。43一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)前沿：（2）云邊端融合技術(shù)云計(jì)算適用于非實(shí)時(shí)、長(zhǎng)周期數(shù)據(jù)、業(yè)務(wù)決策場(chǎng)景，而邊緣計(jì)算在實(shí)時(shí)性、短周期數(shù)據(jù)、本地決策等場(chǎng)景方面有不可替代的作用。兩者在網(wǎng)絡(luò)、業(yè)務(wù)、應(yīng)用、智能等方面的協(xié)同將有助于支撐更廣泛的場(chǎng)景與更大的價(jià)值創(chuàng)造。來(lái)自：《邊緣計(jì)算架構(gòu)2.0》白皮書44一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)前沿：（2）云邊端融合技術(shù)可穿戴設(shè)備是可以集成到衣服中或作為植入物或配件戴在身上的、帶有微控制器的智能電子設(shè)備。而交互式可穿戴認(rèn)知輔助的應(yīng)用正成為邊緣計(jì)算的受益者之一。利用邊緣計(jì)算，可以在不犧牲準(zhǔn)確性的情況下將設(shè)備端到端延遲減少了60％至70％來(lái)自：Anempiricalstudyoflatencyinanemergingclassofedgecomputingapplicationsforwearablecognitiveassistance44應(yīng)用場(chǎng)景1：可穿戴計(jì)算45一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)前沿：（2）云邊端融合技術(shù)基于Cloudlet的物聯(lián)網(wǎng)隱私系統(tǒng)。隱私中介程序在傳感器擁有者信任的區(qū)域內(nèi)執(zhí)行，并實(shí)施隱私策略，對(duì)傳感數(shù)據(jù)流進(jìn)行處理——TheEmergenceofEdgeComputing45應(yīng)用場(chǎng)景2：物聯(lián)網(wǎng)隱私保護(hù)4546一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)前沿：（3）人工智能驅(qū)動(dòng)下的云計(jì)算技術(shù)在人工智能驅(qū)動(dòng)下的云計(jì)算技術(shù)即為智慧計(jì)算，它是云計(jì)算、大數(shù)據(jù)和人工智能深度學(xué)習(xí)的統(tǒng)合。計(jì)算機(jī)行業(yè)逐步由自動(dòng)化和信息化向智能化轉(zhuǎn)變，人臉識(shí)別、自動(dòng)對(duì)話、智能制造、自動(dòng)駕駛、臨床診斷等智能技術(shù)日益成熟并開始被大規(guī)模應(yīng)用。這些智能應(yīng)用都基于海量的歷史數(shù)據(jù)發(fā)展而來(lái)，后臺(tái)系統(tǒng)運(yùn)行在云平臺(tái)上，并采用深度學(xué)習(xí)技術(shù)不斷優(yōu)化，都是智慧計(jì)算的具體應(yīng)用形態(tài)。人臉識(shí)別云計(jì)算技術(shù)前沿：（3）人工智能驅(qū)動(dòng)下的云計(jì)算技術(shù)一、虛擬化與云計(jì)算技術(shù)47自動(dòng)駕駛一、虛擬化與云計(jì)算技術(shù)云計(jì)算技術(shù)前沿：（3）人工智能驅(qū)動(dòng)下的云計(jì)算技術(shù)4849一、虛擬化與云計(jì)算技術(shù)1.2云計(jì)算技術(shù)云計(jì)算技術(shù)前沿：（4）智能運(yùn)維技術(shù)在大數(shù)據(jù)云計(jì)算時(shí)代，傳統(tǒng)的運(yùn)維方法難以支撐業(yè)務(wù)需求與規(guī)模的不斷擴(kuò)張。智能運(yùn)維（ArtficialIntelligenceforOperations，AIOps），是一種將大數(shù)據(jù)、人工智能或機(jī)器學(xué)習(xí)技術(shù)賦能傳統(tǒng)IT運(yùn)維管理的平臺(tái)（技術(shù)）。智能運(yùn)維通過(guò)機(jī)器學(xué)習(xí)方法從海量數(shù)據(jù)中進(jìn)行異常檢測(cè)與診斷，及早報(bào)告給IT部門進(jìn)行快速響應(yīng)和補(bǔ)救或無(wú)需人工干預(yù)進(jìn)行主動(dòng)止損，并且不斷學(xué)習(xí)改進(jìn)模型，適應(yīng)環(huán)境變化，從而實(shí)現(xiàn)更快的問(wèn)題解決時(shí)間，解放人力。服務(wù)（云＋邊）用戶（終端用戶+服務(wù)提供商）工程師（開發(fā)者+操作者）一、虛擬化與云計(jì)算技術(shù)智能運(yùn)維技術(shù)-資源統(tǒng)一監(jiān)控網(wǎng)絡(luò)管理主機(jī)系統(tǒng)管理中間件管理應(yīng)用系統(tǒng)管理數(shù)據(jù)庫(kù)管理1.網(wǎng)絡(luò)自動(dòng)發(fā)現(xiàn)360度雷達(dá)掃描視圖多協(xié)議多算法自動(dòng)調(diào)整自動(dòng)發(fā)現(xiàn)詳情多協(xié)議并發(fā)發(fā)現(xiàn)，效率高自動(dòng)發(fā)現(xiàn)與建模2.網(wǎng)絡(luò)設(shè)備性能管理全局性能監(jiān)測(cè)設(shè)備負(fù)荷TOPN排名實(shí)時(shí)性能監(jiān)控3.網(wǎng)絡(luò)拓?fù)涔芾砣滞負(fù)湟晥D、拓?fù)浞謱右晥D拓?fù)湓噲D可自定義編輯分布式拓?fù)淠Ｊ酵負(fù)浒l(fā)現(xiàn)深入，2、3層拓?fù)?.網(wǎng)絡(luò)流量管理全局流量監(jiān)測(cè)鏈路流量TOPN排名重要鏈路流量信息應(yīng)用流量分析5.網(wǎng)絡(luò)故障管理網(wǎng)絡(luò)管理：通過(guò)多種協(xié)議的主動(dòng)管理方式，實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)設(shè)備性能參數(shù)，快速發(fā)現(xiàn)故障，及時(shí)發(fā)出告警自動(dòng)發(fā)現(xiàn)設(shè)備性能管理網(wǎng)絡(luò)故障管理機(jī)房監(jiān)控管理網(wǎng)絡(luò)拓?fù)涔芾?0一、虛擬化與云計(jì)算技術(shù)智能運(yùn)維技術(shù)-資源統(tǒng)一監(jiān)控網(wǎng)絡(luò)管理服務(wù)器管理中間件管理基礎(chǔ)服務(wù)管理數(shù)據(jù)庫(kù)管理機(jī)房監(jiān)控管理1.業(yè)務(wù)視圖（以業(yè)務(wù)角度管理IT）2.非代理監(jiān)控方式3.實(shí)時(shí)性能分析

網(wǎng)絡(luò)實(shí)時(shí)性能分析

主機(jī)性能實(shí)時(shí)分析4.關(guān)鍵進(jìn)程監(jiān)控管理5.應(yīng)用指標(biāo)TOP10總結(jié)應(yīng)用系統(tǒng)管理：對(duì)網(wǎng)絡(luò)內(nèi)的主機(jī)、操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件等應(yīng)用系統(tǒng)的故障檢測(cè)和性能管理。1.事件關(guān)聯(lián)分析2.根源性告警設(shè)置3.智能化告警處理告警通知

智能告警處理，避免告警風(fēng)暴4.告警詳細(xì)信息展示5.經(jīng)驗(yàn)知識(shí)庫(kù)維護(hù)管理告警事件管理：將IT環(huán)境中的事件統(tǒng)一搜集，經(jīng)過(guò)智能分析與過(guò)濾，形成告警事件，并予以通知和展示。應(yīng)用監(jiān)控管理告警設(shè)置平臺(tái)統(tǒng)一告警平臺(tái)性能狀態(tài)51一、虛擬化與云計(jì)算技術(shù)智能運(yùn)維技術(shù)-資源統(tǒng)一監(jiān)控網(wǎng)絡(luò)管理主機(jī)系統(tǒng)管理中間件管理應(yīng)用系統(tǒng)管理數(shù)據(jù)庫(kù)管理機(jī)房監(jiān)控管理機(jī)房監(jiān)控管理：全面的機(jī)房動(dòng)力環(huán)境元素的監(jiān)控，形成多維匯總報(bào)表數(shù)據(jù)，通過(guò)Portal統(tǒng)一展現(xiàn)，1.溫濕度、UPS、市電等統(tǒng)一顯示2.告警數(shù)據(jù)集成顯示3.機(jī)房管理系統(tǒng)頁(yè)面集成4.統(tǒng)一事件管理5.統(tǒng)一機(jī)房監(jiān)控對(duì)比6.實(shí)時(shí)機(jī)房性能數(shù)據(jù)展示52一、虛擬化與云計(jì)算技術(shù)智能運(yùn)維技術(shù)-業(yè)務(wù)系統(tǒng)掌控Page5353一、虛擬化與云計(jì)算技術(shù)智能運(yùn)維技術(shù)-問(wèn)題高效解決異常事件即時(shí)告警，定位故障萬(wàn)一出了事要能快速定位，解決看看設(shè)備之間的關(guān)聯(lián)關(guān)系，追查故障，排除影響查看維護(hù)記錄，尋求相關(guān)知識(shí)幫助排除問(wèn)題，恢復(fù)業(yè)務(wù)54一、虛擬化與云計(jì)算技術(shù)智能運(yùn)維技術(shù)-運(yùn)維水平提升手工化的設(shè)備健康檢查耗時(shí)費(fèi)力，依賴命令檢查技術(shù)門檻高，缺乏有效監(jiān)督和提醒，問(wèn)題發(fā)現(xiàn)不及時(shí)，巡檢記錄難以統(tǒng)計(jì)、分析。自定義設(shè)定自動(dòng)巡檢范圍、指標(biāo)、頻度以及巡檢報(bào)告表單；自動(dòng)、手動(dòng)兩種方式對(duì)設(shè)備的運(yùn)行狀況進(jìn)行巡檢；自動(dòng)生成巡檢報(bào)告；支持巡檢報(bào)告自動(dòng)發(fā)送功能。自動(dòng)巡檢設(shè)置巡檢報(bào)告55一、虛擬化與云計(jì)算技術(shù)智能運(yùn)維技術(shù)-運(yùn)維水平提升這臺(tái)設(shè)備是誰(shuí)負(fù)責(zé)？什么時(shí)候采購(gòu)的？什么時(shí)候過(guò)保？如果對(duì)這臺(tái)設(shè)備進(jìn)行變更，會(huì)對(duì)其他設(shè)備及業(yè)務(wù)造成什么影響？向?qū)Х绞酵瓿膳渲脤?dǎo)入、自動(dòng)發(fā)現(xiàn)、權(quán)限配置、關(guān)聯(lián)關(guān)系設(shè)定等系列CMDB的構(gòu)建工作；可自定義擴(kuò)展配置項(xiàng)屬性；圖形化設(shè)置并展示配置項(xiàng)間關(guān)系；可定義配置項(xiàng)審計(jì)任務(wù)，并進(jìn)行自動(dòng)化審計(jì)操作，生成審計(jì)報(bào)告；實(shí)現(xiàn)CMDB與資源管理的雙向關(guān)聯(lián)。配置關(guān)系視圖配置項(xiàng)定義56一、虛擬化與云計(jì)算技術(shù)智能運(yùn)維技術(shù)-運(yùn)維水平提升人員的經(jīng)驗(yàn)和技能該如何進(jìn)行復(fù)制？如何形成知識(shí)庫(kù)，達(dá)成經(jīng)驗(yàn)積累？同類事件再次發(fā)生時(shí)，如何找出歷史的解決方法供參考？實(shí)現(xiàn)知識(shí)在事件處理過(guò)程中積累，一步勾選添加知識(shí)庫(kù)；實(shí)現(xiàn)知識(shí)生命周期管理，包括新建、審批、發(fā)布等；按照個(gè)人需要可自定義知識(shí)查詢視圖；支持知識(shí)評(píng)級(jí)管理，價(jià)值排名，且與績(jī)效掛鉤。知識(shí)一覽及詳情添加知識(shí)57一、虛擬化與云計(jì)算技術(shù)智能運(yùn)維技術(shù)-建設(shè)結(jié)果可視化管理需要可視化5859課程提綱云邊端協(xié)同技術(shù)的起源與發(fā)展四邊緣計(jì)算技術(shù)二虛擬化與云計(jì)算技術(shù)一大數(shù)據(jù)管理技術(shù)三云邊協(xié)同數(shù)據(jù)處理技術(shù)五本章小結(jié)六60二、邊緣計(jì)算技術(shù)2.1邊緣計(jì)算概述實(shí)時(shí)性不夠帶寬不足能耗較大不利于數(shù)據(jù)安全與隱私傳統(tǒng)云計(jì)算發(fā)展放緩61二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算概述我們需要邊緣計(jì)算建立物理世界和數(shù)字世界的聯(lián)接與互動(dòng)網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)技術(shù)模型驅(qū)動(dòng)的智能分布式架構(gòu)與平臺(tái)智能資產(chǎn)、網(wǎng)關(guān)、系統(tǒng)、服務(wù)提供開發(fā)與部署運(yùn)營(yíng)的服務(wù)框架方案的開發(fā)、集成、驗(yàn)證、發(fā)布等云計(jì)算的協(xié)同發(fā)展擴(kuò)展協(xié)議與拓?fù)?，?shí)時(shí)處理、數(shù)據(jù)處理與分析，分布式智能，安全與隱私保護(hù)等62二、邊緣計(jì)算技術(shù)2.1邊緣計(jì)算概述邊緣計(jì)算的誕生歷史：1998年，Akamai公司提出內(nèi)容分發(fā)網(wǎng)絡(luò)CDN。2005年，美國(guó)韋恩州立大學(xué)提出功能緩存的概念，運(yùn)用到郵箱以節(jié)省延遲和帶寬。2009年，Satyanarayanan等提出Cloudlet的概念，強(qiáng)調(diào)將云服務(wù)器的功能下行至邊緣服務(wù)器。Mollna提出海計(jì)算概念，指的是智能設(shè)備的前端處理。2010年，提出移動(dòng)邊緣計(jì)算，服務(wù)于移動(dòng)用戶，提升移動(dòng)用戶體驗(yàn)。2012年，思科公司提出霧計(jì)算。中國(guó)科學(xué)院提出“海云”計(jì)算，把人類本身、物理世界的設(shè)備和子系統(tǒng)組成的終端稱為海端，更關(guān)注終端連接。2013年，美國(guó)太平洋西北國(guó)家實(shí)驗(yàn)室首次提出邊緣計(jì)算。63二、邊緣計(jì)算技術(shù)2.1邊緣計(jì)算概述邊緣計(jì)算是在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，融合網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力的分布式開放平臺(tái)，就近提供邊緣智能服務(wù)，滿足行業(yè)數(shù)字化在敏捷聯(lián)接、實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)等方面的關(guān)鍵需求。64二、邊緣計(jì)算技術(shù)2.1邊緣計(jì)算概述章魚就是用“邊緣計(jì)算”來(lái)解決實(shí)際問(wèn)題的。作為無(wú)脊椎動(dòng)物中智商最高的一種動(dòng)物，章魚擁有巨量的神經(jīng)元，但60%分布在章魚的八條腿（腕足）上，腦部?jī)H有40%。65二、邊緣計(jì)算技術(shù)2.1邊緣計(jì)算概述章魚在捕獵時(shí)異常靈巧迅速，腕足之間配合極好，從不會(huì)纏繞打結(jié)。這得益于他們類似分布式計(jì)算的“多個(gè)小腦+一個(gè)大腦”。而人類的邊緣計(jì)算，也屬于一種分布計(jì)算。在網(wǎng)絡(luò)邊緣的只能網(wǎng)關(guān)就近處理采集到的數(shù)據(jù)，而不需要將大量的數(shù)據(jù)上傳到云平臺(tái)。66二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)計(jì)算遷移計(jì)算遷移最早起源于Mahadev提出的CyberForaging計(jì)算技術(shù)，其核心思想是將資源受限的移動(dòng)終端的工作任務(wù)轉(zhuǎn)移到附近更強(qiáng)大的機(jī)器上進(jìn)行計(jì)算，從而減少終端上的計(jì)算量，提高性能。在移動(dòng)邊緣計(jì)算中，計(jì)算遷移主要包括遷移環(huán)境感知、任務(wù)劃分、遷移決策、任務(wù)上傳、MEC服務(wù)器執(zhí)行、結(jié)果返回等六大步驟。67二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)5G通信技術(shù)2018年6月14日，電信運(yùn)營(yíng)商、網(wǎng)絡(luò)設(shè)備廠商、終端和芯片廠商、互聯(lián)網(wǎng)企業(yè)等產(chǎn)業(yè)各方高度關(guān)注的5G獨(dú)立組網(wǎng)功能標(biāo)準(zhǔn)正式凍結(jié)，加上2017年12月完成的非獨(dú)立組網(wǎng)NR標(biāo)準(zhǔn)，5G已經(jīng)完成了第一階段全功能標(biāo)準(zhǔn)化工作，這標(biāo)志著全球首個(gè)真正意義上完整的5G國(guó)際標(biāo)準(zhǔn)正式出臺(tái)。68二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)5G通信技術(shù)5G移動(dòng)網(wǎng)絡(luò)與早期的2G、3G和4G移動(dòng)網(wǎng)絡(luò)一樣，5G網(wǎng)絡(luò)是數(shù)字蜂窩網(wǎng)絡(luò)。作為下一代蜂窩網(wǎng)絡(luò)，5G網(wǎng)絡(luò)以5GNR(NewRadio)統(tǒng)一空中接口（unifiedairinterface）為基礎(chǔ)，為滿足未來(lái)十年及以后不斷擴(kuò)展的全球連接需求而設(shè)計(jì)。5GNR技術(shù)旨在支持各種設(shè)備類型、服務(wù)和部署，并將充分利用各種可用頻段和各類頻譜。69二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)5G通信技術(shù)5G關(guān)鍵技術(shù)主要介紹以下6點(diǎn)：超密集異構(gòu)網(wǎng)絡(luò)新型多天線傳輸毫米波終端直通網(wǎng)絡(luò)切片非正交多址接入技術(shù)70二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)5G通信技術(shù)關(guān)鍵技術(shù)1：超密集異構(gòu)網(wǎng)絡(luò)4G中已經(jīng)通過(guò)大規(guī)模部署小蜂窩來(lái)構(gòu)建密集異構(gòu)網(wǎng)絡(luò)。隨著萬(wàn)物互聯(lián)時(shí)代的到來(lái)，數(shù)據(jù)流量將出現(xiàn)井噴式的增長(zhǎng)，并主要分布在室內(nèi)和熱點(diǎn)地區(qū)。為了滿足更高數(shù)據(jù)傳輸速率的要求，5G將進(jìn)一步構(gòu)建超密集異構(gòu)網(wǎng)絡(luò)來(lái)滿足流量需求。71二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)5G通信技術(shù)關(guān)鍵技術(shù)2：新型多天線傳輸先進(jìn)的多輸入多輸出（Multiple-InputMultiple-Output，MIMO）技術(shù)是蜂窩系統(tǒng)實(shí)現(xiàn)更高頻譜效率的核心。通過(guò)在發(fā)射端和接收端分別使用多個(gè)天線，可以成倍地提高系統(tǒng)信道容量。4G中MIMO技術(shù)最多支持8天線，而5G中MIMO可以實(shí)現(xiàn)16/32/64/128，甚至更大規(guī)模。72二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)5G通信技術(shù)關(guān)鍵技術(shù)3：毫米波世界不同地區(qū)現(xiàn)有頻段主要集中在3GHZ以下，頻譜資源擁擠，而高頻段頻譜資源豐富，也能實(shí)現(xiàn)更高的傳輸速率。毫米波段，在30到300GHz之間，頻譜帶寬比4G高了10倍以上，適合5G通信系統(tǒng)。73二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)5G通信技術(shù)關(guān)鍵技術(shù)4：終端直通（device-to-devicecommunication，D2D）D2D技術(shù)能夠在用戶設(shè)備之間直接交換數(shù)據(jù)流量，除了幫助建立直接連接外，無(wú)需使用基站或核心網(wǎng)絡(luò)。D2D通信支持基于用戶鄰近度的新使用模式，包括社交網(wǎng)絡(luò)應(yīng)用、點(diǎn)對(duì)點(diǎn)內(nèi)容共享以及在沒(méi)有網(wǎng)絡(luò)覆蓋的情況下的公共安全通信。D2D通信技術(shù)可以提高區(qū)域頻譜效率，提升蜂窩網(wǎng)絡(luò)覆蓋范圍、減少端到端延遲并降低功耗。74二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)5G通信技術(shù)關(guān)鍵技術(shù)5：網(wǎng)絡(luò)切片5G網(wǎng)絡(luò)將面向不同的應(yīng)用場(chǎng)景，比如，超高清視頻、VR、大規(guī)模物聯(lián)網(wǎng)、車聯(lián)網(wǎng)等，不同的場(chǎng)景對(duì)網(wǎng)絡(luò)的移動(dòng)性、安全性、時(shí)延、可靠性的要求是不一樣的，因此，需要將一張物理網(wǎng)絡(luò)分成多個(gè)虛擬網(wǎng)絡(luò)，每個(gè)虛擬網(wǎng)絡(luò)面向不同的應(yīng)用場(chǎng)景需求。75二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)5G通信技術(shù)關(guān)鍵技術(shù)6：非正交多址接入技術(shù)（Non-OrthogonalMultipleAccess，NOMA）NOMA可以利用不同的路徑損耗的差異來(lái)對(duì)多路發(fā)射信號(hào)進(jìn)行疊加，從而提高信號(hào)增益。它能夠讓同一小區(qū)覆蓋范圍的所有移動(dòng)設(shè)備都能獲得最大的可接入帶寬，可以解決由于大規(guī)模連接帶來(lái)的網(wǎng)絡(luò)挑戰(zhàn)。NOMA的另一優(yōu)點(diǎn)是，無(wú)需知道每個(gè)信道的CSI（信道狀態(tài)信息），從而有望在高速移動(dòng)場(chǎng)景下獲得更好的性能，并能組建更好的移動(dòng)節(jié)點(diǎn)回程鏈路。76二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)邊緣計(jì)算編程模型邊緣計(jì)算的編程效率不如已廣泛采用大量編程框架的云計(jì)算的編程效率。邊緣計(jì)算中海量邊緣設(shè)備種類繁雜，分別運(yùn)行著不同的平臺(tái)，傳統(tǒng)的編程方式無(wú)法適應(yīng)邊緣環(huán)境下應(yīng)用需求，需要開發(fā)新型編程模型，如firework模型。77二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)邊緣計(jì)算編程模型firework模型將來(lái)自多個(gè)利益相關(guān)方的數(shù)據(jù)融合為一個(gè)虛擬的共享數(shù)據(jù)集，該數(shù)據(jù)集是數(shù)據(jù)和數(shù)據(jù)所有者預(yù)定義功能的集合，并使用隱私保護(hù)功能來(lái)保護(hù)數(shù)據(jù)隱私，只向目標(biāo)用戶分享敏感知識(shí)，防止資料泄漏。firework模型將應(yīng)用分解為子服務(wù)，用戶可以直接訂閱中間數(shù)據(jù)，并利用現(xiàn)有的子服務(wù)組合新的應(yīng)用。firework模型為服務(wù)提供商和終端用戶提供一個(gè)易于使用的編程接口。78二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)新型網(wǎng)絡(luò)技術(shù)邊緣計(jì)算將計(jì)算推到靠近數(shù)據(jù)源的邊緣設(shè)備上，網(wǎng)絡(luò)拓?fù)淇赡苁歉叨葎?dòng)態(tài)變化的，導(dǎo)致網(wǎng)絡(luò)中存在很多突發(fā)流量，而服務(wù)請(qǐng)求者對(duì)計(jì)算或服務(wù)實(shí)時(shí)性要求較高，并且要保證時(shí)間的準(zhǔn)確性和數(shù)據(jù)的完整性，因此需要好的服務(wù)發(fā)現(xiàn)與快速配置機(jī)制。針對(duì)這個(gè)問(wèn)題，一些新型網(wǎng)絡(luò)架構(gòu)（命名數(shù)據(jù)網(wǎng)絡(luò)（NamedDataNetworking，NDN）、軟件定義網(wǎng)絡(luò)（SoftwareDefinedNetworking，SDN）等）可以應(yīng)用到邊緣計(jì)算場(chǎng)景中。79二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)新型網(wǎng)絡(luò)技術(shù)（1）命名數(shù)據(jù)網(wǎng)絡(luò)NDNNDN提出將互聯(lián)網(wǎng)架構(gòu)的焦點(diǎn)從當(dāng)前的“where”（位置）更改為“what”（內(nèi)容），以命名內(nèi)容（數(shù)據(jù)）而不是IP為中心來(lái)解決這些挑戰(zhàn)。NDN包中的名稱可以命名任何東西——端點(diǎn)、電影或書籍中的數(shù)據(jù)塊、打開某些燈光的命令等等。這種概念上的簡(jiǎn)單改變?cè)试SNDN網(wǎng)絡(luò)使用幾乎所有已經(jīng)經(jīng)過(guò)測(cè)試的互聯(lián)網(wǎng)工程特性來(lái)解決更廣泛的問(wèn)題，不僅包括端到端通信，還包括內(nèi)容分發(fā)和控制問(wèn)題。80二、邊緣計(jì)算技術(shù)2.2邊緣計(jì)算關(guān)鍵技術(shù)新型網(wǎng)絡(luò)技術(shù)（2）軟件定義網(wǎng)絡(luò)SDN在現(xiàn)在的TCP/IP網(wǎng)絡(luò)中，根據(jù)預(yù)定義的策略配置網(wǎng)絡(luò)和重新配置網(wǎng)絡(luò)以響應(yīng)故障、負(fù)載和變化都很困難。更困難的是，目前的網(wǎng)絡(luò)也是垂直集成的:控制平面和數(shù)據(jù)平面捆綁在一起。SDN是一種新興的范式，它引入網(wǎng)絡(luò)編程能力，將網(wǎng)絡(luò)的控制邏輯與底層路由器和交換機(jī)分離，打破了垂直集成，促進(jìn)網(wǎng)絡(luò)控制（邏輯上）的集中化。81二、邊緣計(jì)算技術(shù)2.3邊緣計(jì)算的優(yōu)缺點(diǎn)優(yōu)點(diǎn)低成本。低時(shí)延?？煽啃愿??？蓴U(kuò)展性高。缺點(diǎn)新的攻擊方式。更多本地硬件。異構(gòu)互操作性。算法難以更新。82二、邊緣計(jì)算技術(shù)2.3邊緣計(jì)算的優(yōu)缺點(diǎn)是邊緣計(jì)算的基礎(chǔ)。所聯(lián)接物理對(duì)象的多樣性及應(yīng)用場(chǎng)景的多樣性，需要邊緣計(jì)算具備豐富的聯(lián)接功能聯(lián)接性擁有大量、實(shí)時(shí)、完整的數(shù)據(jù)，可基于數(shù)據(jù)全生命周期進(jìn)行管理與價(jià)值創(chuàng)造，也面臨數(shù)據(jù)實(shí)時(shí)性等挑戰(zhàn)數(shù)據(jù)第一入口需要考慮通過(guò)軟硬件集成與優(yōu)化，以適配工業(yè)現(xiàn)場(chǎng)相對(duì)惡劣的工作條件與運(yùn)行環(huán)境約束性實(shí)際部署天然具備分布式特征，要求支持分布式計(jì)算與存儲(chǔ)、分布式資源的動(dòng)態(tài)調(diào)度與統(tǒng)一管理等能力分布性是行業(yè)數(shù)字化轉(zhuǎn)型的重要基礎(chǔ)。作為其關(guān)鍵承載，需要支持在聯(lián)接、數(shù)據(jù)、管理、控制、應(yīng)等方面的協(xié)同融合性智能手表智能手機(jī)家用電腦三、大數(shù)據(jù)管理技術(shù)2.4邊緣計(jì)算的智能設(shè)備智能傳感器傳感器實(shí)時(shí)或定時(shí)采集設(shè)備、環(huán)境、子系統(tǒng)的狀態(tài)信息后，就地實(shí)現(xiàn)對(duì)數(shù)據(jù)的歸類、分析、封裝，減少數(shù)據(jù)上傳后再計(jì)算分析的時(shí)間和資源消耗，提高系統(tǒng)監(jiān)測(cè)效率。83可編程邏輯控制器（PLC）

PLC本質(zhì)上就是一臺(tái)具備編程、運(yùn)算、控制、輸出等能力的智能電腦，只是根據(jù)工業(yè)生產(chǎn)、行業(yè)應(yīng)用的需求進(jìn)行了適應(yīng)性融合設(shè)計(jì)。PLC同樣在邊緣端低延時(shí)、高效率地管理、控制設(shè)備運(yùn)行。

邊緣智能路由器實(shí)現(xiàn)將有線/4G全網(wǎng)通聯(lián)網(wǎng)方式、高速路由、WIFI支持、本地存儲(chǔ)、設(shè)備監(jiān)測(cè)及前端設(shè)備控制等功能集合一體，豐富的行業(yè)接口和應(yīng)用功能接口，支持對(duì)復(fù)雜功能的邊緣設(shè)備的一站式接入，提高數(shù)據(jù)通信的集中化水平和高效率。84二、邊緣計(jì)算技術(shù)2.5邊緣計(jì)算的業(yè)界案例CloudletCloudlet于2009年由卡內(nèi)基梅隆大學(xué)教授Satyanarayanan提出，到現(xiàn)在一直在不斷發(fā)展，成為學(xué)術(shù)界相對(duì)成熟的邊緣計(jì)算系統(tǒng)之一。Cloudlet在云和邊緣設(shè)備之間增加了“Cloudlet”層。Cloudlet層位于邊緣設(shè)備附近，是一個(gè)資源豐富的微型數(shù)據(jù)中心，可以像云一樣為局域網(wǎng)用戶提供計(jì)算服務(wù)，因此又被稱為“小朵云”或“盒子匯總的數(shù)據(jù)中心”（DataCenterinabox）。85二、邊緣計(jì)算技術(shù)2.5邊緣計(jì)算的業(yè)界案例ParaDropParaDrop是由威斯康星大學(xué)麥迪遜分校開發(fā)的開源邊緣計(jì)算平臺(tái)。ParaDrop在網(wǎng)絡(luò)的“極端邊緣”處啟用邊緣計(jì)算，如Wi-Fi路由器上，它們距離數(shù)據(jù)源僅有一跳。Paradrop作為計(jì)算平臺(tái)非常靈活。開發(fā)人員可以使用他們?cè)谠朴?jì)算環(huán)境中使用的任何編程語(yǔ)言，庫(kù)和框架。此外，基于Linux容器技術(shù)構(gòu)建的Paradrop提供了一個(gè)類似于云服務(wù)提供商的運(yùn)行時(shí)環(huán)境。86課程提綱云邊端協(xié)同技術(shù)的起源與發(fā)展四邊緣計(jì)算技術(shù)二虛擬化與云計(jì)算技術(shù)一大數(shù)據(jù)管理技術(shù)三云邊協(xié)同數(shù)據(jù)處理技術(shù)五本章小結(jié)六三、大數(shù)據(jù)管理技術(shù)3.1大數(shù)據(jù)管理技術(shù)概念大數(shù)據(jù)主要特征不僅來(lái)源于我們的主動(dòng)獲取，更來(lái)源于信息系統(tǒng)的自然產(chǎn)生珠穆朗瑪峰8.8公里協(xié)和飛機(jī)15公里歐洲電子對(duì)撞機(jī)1年數(shù)據(jù)量-CD存儲(chǔ)約20公里VolumeVolumeVarietyVolume多樣性VeracityVolume真實(shí)性VelocityVolume時(shí)效性海量性數(shù)據(jù)規(guī)模指數(shù)級(jí)增長(zhǎng)，2020年前全球數(shù)據(jù)量大約2年翻1倍(2000年800TB，2012年2.7ZB，2020年預(yù)計(jì)44ZB)人類所獲得數(shù)據(jù)中，90%為過(guò)去2年內(nèi)所產(chǎn)生從文本數(shù)據(jù)為主發(fā)展到以視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)為主用1臺(tái)最快的商用計(jì)算機(jī)僅把1PB數(shù)據(jù)讀入內(nèi)存就要約6天時(shí)間用4000臺(tái)計(jì)算機(jī)對(duì)1PB數(shù)據(jù)排序就需約6小時(shí)充斥著大量偽數(shù)據(jù)、無(wú)效數(shù)據(jù)、過(guò)時(shí)數(shù)據(jù)ValueVolume潛在價(jià)值大數(shù)據(jù)價(jià)值密度低87三、大數(shù)據(jù)管理技術(shù)3.1大數(shù)據(jù)管理技術(shù)概念簡(jiǎn)單來(lái)說(shuō)，大數(shù)據(jù)管理是對(duì)大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的組織，管理和治理。大數(shù)據(jù)管理與數(shù)據(jù)生命周期管理（datalifecyclemanagement，DLM）的思想密切相關(guān)，DLM是一種基于策略的方法，用于管理數(shù)據(jù)在生命周期中的流動(dòng)：從創(chuàng)建到存儲(chǔ)到它過(guò)時(shí)被安全刪除，如圖中所示。88三、大數(shù)據(jù)管理技術(shù)3.1大數(shù)據(jù)管理技術(shù)概念I(lǐng)DC發(fā)布的《數(shù)字時(shí)代2025》中指出，到2025年全球數(shù)據(jù)量預(yù)計(jì)達(dá)175ZB，這樣龐大的數(shù)據(jù)量如果利用好能夠提供巨大價(jià)值。公司、政府機(jī)構(gòu)及其他組織可以采用大數(shù)據(jù)管理策略來(lái)幫助他們處理大型、多樣化、快速變化的數(shù)據(jù)集，并從各種來(lái)源的數(shù)據(jù)集中找到有價(jià)值的信息。89三、大數(shù)據(jù)管理技術(shù)3.2大數(shù)據(jù)管理系統(tǒng)在大數(shù)據(jù)時(shí)代，不斷增長(zhǎng)的數(shù)據(jù)量、快速處理數(shù)據(jù)（數(shù)據(jù)速度）的需求以及數(shù)據(jù)類型、結(jié)構(gòu)和來(lái)源的多樣性給我們帶來(lái)了全新的挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)已經(jīng)捉襟見(jiàn)肘。高效數(shù)據(jù)存儲(chǔ)和處理的需求促使多種新的大數(shù)據(jù)系統(tǒng)被開發(fā)出來(lái)，這些系統(tǒng)通常被分為三個(gè)陣營(yíng)：Hadoop相關(guān)系統(tǒng)（涵蓋高級(jí)語(yǔ)言和結(jié)構(gòu)化查詢語(yǔ)言（SQL））已成為多數(shù)大數(shù)據(jù)應(yīng)用的實(shí)際解決方案；數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMSs）和NoSQL數(shù)據(jù)庫(kù)在線上事務(wù)及分析中被廣泛使用；在大數(shù)據(jù)領(lǐng)域，人們對(duì)于圖數(shù)據(jù)、流數(shù)據(jù)和復(fù)雜科學(xué)數(shù)據(jù)的特殊處理需要產(chǎn)生了對(duì)專用系統(tǒng)的需求。90三、大數(shù)據(jù)管理技術(shù)3.2大數(shù)據(jù)管理系統(tǒng)Hadoop相關(guān)系統(tǒng)Hadoop是一個(gè)開源的分布式框架，可以實(shí)現(xiàn)在由大量服務(wù)器組成的集群上，通過(guò)分布式的計(jì)算模型和存儲(chǔ)模型處理大數(shù)據(jù)集。Hadoop具有高容錯(cuò)性，可靠性，可擴(kuò)展性等優(yōu)勢(shì)。91三、大數(shù)據(jù)管理技術(shù)3.2大數(shù)據(jù)管理系統(tǒng)Hadoop相關(guān)系統(tǒng)隨著以Hadoop為中心的系統(tǒng)在工業(yè)界取得了巨大的成功，各種各樣在Hadoop上開發(fā)的系統(tǒng)出現(xiàn)了，主要有以下兩類。Hadoop的高級(jí)語(yǔ)言。此類系統(tǒng)開發(fā)有兩個(gè)目標(biāo)。第一個(gè)目標(biāo)是簡(jiǎn)化HadoopMapReduce作業(yè)的開發(fā)并自動(dòng)優(yōu)化它們的執(zhí)行，從而使開發(fā)人員能夠?qū)Ｗ⒂诰幊踢壿?。（如PigLatin、ApacheTez、Twill）第二個(gè)目標(biāo)是為了滿足不斷增長(zhǎng)的實(shí)時(shí)數(shù)據(jù)提取的需求。（如Spark）Hadoop的SQL。為了解決實(shí)時(shí)查詢數(shù)據(jù)的問(wèn)題，此類系統(tǒng)將SQL接口添加到Hadoop中。（如ApacheHbase、ApacheTajo、ApacheTajo、SparkSQL）92三、大數(shù)據(jù)管理技術(shù)3.2大數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)最典型的數(shù)據(jù)結(jié)構(gòu)是表，由二維表及其之間的聯(lián)系所組成的一個(gè)數(shù)據(jù)組織。優(yōu)點(diǎn)：

1、易于維護(hù)：都是使用表結(jié)構(gòu)，格式一致；

2、使用方便：SQL語(yǔ)言通用，可用于復(fù)雜查詢；

3、復(fù)雜操作：支持SQL，可用于一個(gè)表以及多個(gè)表之間非常復(fù)雜的查詢。

缺點(diǎn)：

1、讀寫性能比較差，尤其是海量數(shù)據(jù)的高效率讀寫；

2、固定的表結(jié)構(gòu)，靈活度稍欠；

3、高并發(fā)讀寫需求，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)來(lái)說(shuō)，硬盤I/O是一個(gè)很大的瓶頸。關(guān)系數(shù)據(jù)庫(kù)93三、大數(shù)據(jù)管理技術(shù)3.2大數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)庫(kù)非關(guān)系數(shù)據(jù)庫(kù)非關(guān)系型數(shù)據(jù)庫(kù)嚴(yán)格上不是一加粗樣式種數(shù)據(jù)庫(kù)，應(yīng)該是一種數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)方法的集合，可以是文檔或者鍵值對(duì)等優(yōu)點(diǎn)：

1、格式靈活：存儲(chǔ)數(shù)據(jù)的格式可以是key,value形式、文檔形式、圖片形式等等，文檔形式、圖片形式等等，使用靈活，應(yīng)用場(chǎng)景廣泛，而關(guān)系型數(shù)據(jù)庫(kù)則只支持基礎(chǔ)類型。

2、速度快：nosql可以使用硬盤或者隨機(jī)存儲(chǔ)器作為載體，而關(guān)系型數(shù)據(jù)庫(kù)只能使用硬盤；

3、高擴(kuò)展性；

4、成本低：nosql數(shù)據(jù)庫(kù)部署簡(jiǎn)單，基本都是開源軟件。缺點(diǎn)：

1、不提供sql支持，學(xué)習(xí)和使用成本較高；

2、無(wú)事務(wù)處理；

3、數(shù)據(jù)結(jié)構(gòu)相對(duì)復(fù)雜，復(fù)雜查詢方面稍欠。94三、大數(shù)據(jù)管理技術(shù)3.2大數(shù)據(jù)管理系統(tǒng)專用系統(tǒng)在學(xué)術(shù)界、工業(yè)界和管理界中越來(lái)越多地使用圖數(shù)據(jù)、流數(shù)據(jù)和科學(xué)數(shù)據(jù)，這促使了許多專用系統(tǒng)的產(chǎn)生。與通用的大數(shù)據(jù)系統(tǒng)相比，這些專用系統(tǒng)的設(shè)計(jì)是為了在執(zhí)行復(fù)雜查詢或分析特定數(shù)據(jù)類型時(shí)提供更好的性能。95三、大數(shù)據(jù)管理技術(shù)3.2大數(shù)據(jù)管理系統(tǒng)專用系統(tǒng)圖數(shù)據(jù)圖數(shù)據(jù)庫(kù)，如Neo4j；分布式圖處理系統(tǒng)，GooglePregel，Giraph、Graphx、HaLoop。流數(shù)據(jù)開源社區(qū)的流分析系統(tǒng)（如ApacheStorm、SparkStreaming和Samza）工業(yè)界的流分析系統(tǒng)（如IBM的InfoSphereStreams和TIBCO）。科學(xué)數(shù)據(jù)SciDB（一個(gè)用于管理PB級(jí)科學(xué)數(shù)據(jù)的分析數(shù)據(jù)庫(kù)）。MAKER、WorkQueue（為促進(jìn)基因組數(shù)據(jù)大規(guī)模并行處理而開發(fā)的系統(tǒng)）。96三、大數(shù)據(jù)管理技術(shù)3.3大數(shù)據(jù)管理挑戰(zhàn)數(shù)據(jù)孤島：在大多數(shù)組織中，不同的業(yè)務(wù)部門將信息存儲(chǔ)在各自的數(shù)據(jù)庫(kù)中，同時(shí)不同數(shù)據(jù)庫(kù)中可能存在相似但不完全相同的信息，形成了“數(shù)據(jù)孤島”的現(xiàn)象。不斷增長(zhǎng)的數(shù)據(jù)存儲(chǔ)：數(shù)據(jù)量較小的時(shí)候，修復(fù)破損記錄非常容易，但是對(duì)于一家擁有數(shù)百萬(wàn)客戶的全國(guó)性大企業(yè)來(lái)說(shuō)，則大大加大了復(fù)雜性。數(shù)據(jù)和體系結(jié)構(gòu)的復(fù)雜性：企業(yè)通常同時(shí)具有結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)并且數(shù)據(jù)可能以各種不同的格式存儲(chǔ)。97三、大數(shù)據(jù)管理技術(shù)3.3大數(shù)據(jù)管理挑戰(zhàn)確保數(shù)據(jù)質(zhì)量：人為錯(cuò)誤是另一大問(wèn)題。當(dāng)數(shù)據(jù)驅(qū)動(dòng)的組織使用人工輸入的信息作為主要業(yè)務(wù)決策的基礎(chǔ)時(shí)，簡(jiǎn)單的錯(cuò)字可能會(huì)帶來(lái)災(zāi)難性的后果。數(shù)據(jù)專家短缺：訓(xùn)練有素的數(shù)據(jù)專業(yè)人員缺乏，能夠傳遞價(jià)值的數(shù)據(jù)專家有限。數(shù)據(jù)安全性和完整性：大量通信鏈路及互聯(lián)節(jié)點(diǎn)存在，黑客可能利用任何漏洞對(duì)數(shù)據(jù)管理系統(tǒng)及數(shù)據(jù)本身進(jìn)行攻擊。大數(shù)據(jù)處理成本：從數(shù)據(jù)采集階段開始，大數(shù)據(jù)管理就需要大量費(fèi)用。9899課程提綱云邊端協(xié)同技術(shù)的起源與發(fā)展四邊緣計(jì)算技術(shù)二虛擬化與云計(jì)算技術(shù)一大數(shù)據(jù)管理技術(shù)三云邊協(xié)同數(shù)據(jù)處理技術(shù)五本章小結(jié)六四、云邊端協(xié)同技術(shù)的起源與發(fā)展4.1云邊協(xié)同概念13邊緣計(jì)算邊緣計(jì)算是指靠近物或數(shù)據(jù)源頭的一側(cè)，采用網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力為一體的開放平臺(tái)云計(jì)算對(duì)于網(wǎng)絡(luò)帶寬，云服務(wù)器計(jì)算能力有著較高的需求，可以把云計(jì)算的一部分任務(wù)放到邊緣端以進(jìn)行高效計(jì)算云邊協(xié)同2云計(jì)算指的是通過(guò)網(wǎng)絡(luò)將巨大的數(shù)據(jù)計(jì)算處理程序分解，然后經(jīng)過(guò)中心服務(wù)器分析處理云計(jì)算100四、云邊端協(xié)同技術(shù)的起源與發(fā)展4.1云邊協(xié)同概念中國(guó)工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟AII在其2017年發(fā)布的《工業(yè)互聯(lián)網(wǎng)平臺(tái)白皮書（2017）》中關(guān)于工業(yè)互聯(lián)網(wǎng)平臺(tái)功能架構(gòu)圖的描述中，已經(jīng)初步呈現(xiàn)了邊云協(xié)同的理念。“第一層是邊緣，通過(guò)大范圍、深層次的數(shù)據(jù)采集，以及異構(gòu)數(shù)據(jù)的協(xié)議轉(zhuǎn)換與邊緣處理，構(gòu)建工業(yè)互聯(lián)網(wǎng)平臺(tái)的數(shù)據(jù)基礎(chǔ)。一是通過(guò)各類通信手段接入不同設(shè)備、系統(tǒng)和產(chǎn)品，采集海量數(shù)據(jù)；二是依托協(xié)議轉(zhuǎn)換技術(shù)實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的歸一化和邊緣集成；三是利用邊緣計(jì)算設(shè)備實(shí)現(xiàn)底層數(shù)據(jù)的匯聚處理，并實(shí)現(xiàn)數(shù)據(jù)向云端平臺(tái)的集成?！?01四、云邊端協(xié)同技術(shù)的起源與發(fā)展4.1云邊協(xié)同概念2020年發(fā)布的《邊緣計(jì)算與云計(jì)算協(xié)同白皮書2.0》中指出，“邊云協(xié)同的能力與內(nèi)涵，設(shè)計(jì)IaaS、PaaS、SaaS各層面的全面協(xié)同。ES-IaaS與云端IaaS應(yīng)可實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)、虛擬化資源、安全等的資源協(xié)同；EC-PaaS與云端PaaS應(yīng)可實(shí)現(xiàn)數(shù)據(jù)協(xié)同、智能協(xié)同、應(yīng)用管理協(xié)同、業(yè)務(wù)管理協(xié)同；EC-PaaS與云端SaaS應(yīng)可實(shí)現(xiàn)服務(wù)協(xié)同?！?02四、云邊端協(xié)同技術(shù)的起源與發(fā)展4.2云邊協(xié)同產(chǎn)業(yè)實(shí)踐云邊緣云邊緣：云服務(wù)在邊緣側(cè)的延伸，邏輯上仍是云服務(wù)，它將共有云能力下沉到邊緣數(shù)據(jù)中心及邊緣設(shè)備上，服務(wù)提供依賴于云服務(wù)或需要與云服務(wù)緊密協(xié)同，從而實(shí)現(xiàn)邊緣基礎(chǔ)設(shè)施服務(wù)、邊緣IoT服務(wù)、邊緣數(shù)據(jù)存儲(chǔ)/遷移服務(wù)等。103四、云邊端協(xié)同技術(shù)的起源與發(fā)展4.2云邊協(xié)同產(chǎn)業(yè)實(shí)踐邊緣云邊緣云：在邊緣側(cè)構(gòu)建中小規(guī)模云服務(wù)設(shè)施，服務(wù)能力主要由邊緣云提供，集中式數(shù)據(jù)中心側(cè)主要提供邊緣云的管理調(diào)度能力。邊緣云將網(wǎng)絡(luò)存儲(chǔ)、轉(zhuǎn)發(fā)、計(jì)算等任務(wù)放在邊緣處理，減輕云端壓力并提供全網(wǎng)調(diào)度、算力分發(fā)等云服務(wù)。分布式IDC、多接入邊緣計(jì)算MEC、CDN等屬于此類。104四、云邊端協(xié)同技術(shù)的起源與發(fā)展4.2云邊協(xié)同產(chǎn)業(yè)實(shí)踐新基建與邊緣計(jì)算新型基礎(chǔ)設(shè)施建設(shè)（簡(jiǎn)稱：新基建），涉及諸多產(chǎn)業(yè)鏈，是以新發(fā)展為理念，以技術(shù)創(chuàng)新為驅(qū)動(dòng)，以信息網(wǎng)絡(luò)為基礎(chǔ)，面向高質(zhì)量發(fā)展需要，提供數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新等服務(wù)的基礎(chǔ)設(shè)施體系。新基建七大核心領(lǐng)域與邊緣計(jì)算緊密相關(guān)，為邊緣計(jì)算迎來(lái)了新的風(fēng)口。邊緣計(jì)算將與5G、人工智能大數(shù)據(jù)等技術(shù)協(xié)同發(fā)展，推動(dòng)云邊協(xié)同產(chǎn)業(yè)落地，構(gòu)建萬(wàn)物智能互聯(lián)的時(shí)代。105四、云邊端協(xié)同技術(shù)的起源與發(fā)展4.3云邊協(xié)同挑戰(zhàn)資源難于管理。邊緣平臺(tái)與用戶設(shè)備數(shù)量廣、異構(gòu)型高、分布廣泛，而云-邊-端三者協(xié)同形成混合計(jì)算平臺(tái)，跨度廣，實(shí)時(shí)性要求高，云端對(duì)三者資源的管理具有極大挑戰(zhàn)。任務(wù)卸載復(fù)雜。為了充分發(fā)揮整個(gè)云邊平臺(tái)的計(jì)算力，提高計(jì)算效率和計(jì)算水平，任務(wù)的卸載調(diào)度需要進(jìn)行細(xì)粒度的切割與劃分，這也為云邊協(xié)同應(yīng)用的實(shí)現(xiàn)增加了挑戰(zhàn)。數(shù)據(jù)共享不易。云端與邊緣端共享難度大。邊緣與邊緣之間共享難度大。邊緣與設(shè)備之間共享難度大。開發(fā)調(diào)試不便。云平臺(tái)技術(shù)發(fā)展已較為成熟，開發(fā)者可依照完備的技術(shù)文檔進(jìn)行工作，而云邊協(xié)同環(huán)境中，邊緣設(shè)備平臺(tái)海量異構(gòu)，無(wú)法用傳統(tǒng)的編程語(yǔ)言去實(shí)現(xiàn)應(yīng)用，需要進(jìn)一步探索。106107課程提綱云邊端協(xié)同技術(shù)的起源與發(fā)展四邊緣計(jì)算技術(shù)二虛擬化與云計(jì)算技術(shù)一大數(shù)據(jù)管理技術(shù)三云邊協(xié)同數(shù)據(jù)處理技術(shù)五本章小結(jié)六五、云邊協(xié)同數(shù)據(jù)處理技術(shù)5.1驅(qū)動(dòng)因素傳統(tǒng)云計(jì)算無(wú)法滿足數(shù)據(jù)源用戶的需求，邊緣計(jì)算應(yīng)運(yùn)而生，并發(fā)展到今天的云邊協(xié)同階段，與此同時(shí)，數(shù)據(jù)處理應(yīng)用也隨之改變，逐步適應(yīng)著用戶需求的變化。這一現(xiàn)象背后有很多因素驅(qū)動(dòng)著。這里介紹最重要的三個(gè)因素：數(shù)據(jù)來(lái)源、網(wǎng)絡(luò)通信技術(shù)和數(shù)據(jù)處理模式。108五、云邊協(xié)同數(shù)據(jù)處理技術(shù)5.1驅(qū)動(dòng)因素?cái)?shù)據(jù)來(lái)源大數(shù)據(jù)來(lái)源大致可分為兩類：一類來(lái)源于人類社會(huì)活動(dòng)，另一類來(lái)源于物理實(shí)