云計算和大數(shù)據(jù)技術(shù)-概念應(yīng)用與實戰(zhàn)PPT第一章

1、1 云計算基礎(chǔ)云計算TO大數(shù)據(jù)技術(shù)：概念應(yīng)用與實戰(zhàn) 21世紀(jì)高等院校云計算和大數(shù)據(jù)人才培養(yǎng)規(guī)劃教材人民郵電出版社內(nèi)谷導(dǎo)角幾CONTENTSD云計算基礎(chǔ)1.2 :集群系統(tǒng)概述3.分布式系統(tǒng)中計算和鬱據(jù)的協(xié)作機制4.云計算與物聯(lián)網(wǎng) 為了全球關(guān)注度最高的IT詞匯隨著信息技術(shù)水平的不斷發(fā)展云計算將會成為弓頗未來整個信息系統(tǒng)建設(shè)的主導(dǎo)者。 云計算自具從有2一00體6年化谷的歌信公息司平C臺E和O運埃營里平克臺施，密這特種提全出新云交計付算模概式念會后對，I T云界計產(chǎn)算 已經(jīng)成 生重大的影響。1.1.1云計算簡介第1章云計算基礎(chǔ)4云計算技術(shù)是硬件技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展到一定階段而出現(xiàn)的一 種新的技術(shù)模 型，

2、 通常技術(shù)人員在繪制系統(tǒng)結(jié)構(gòu)圖時用一朵云的符號來表示網(wǎng)絡(luò)， 云計算這個 奇怪的名字就是因此而得名的。云計算并不是對某一項獨立技術(shù)的稱呼， 而是對 實現(xiàn)云計算模式所需要的所有技術(shù)的總稱。分布式計算技術(shù) 數(shù)據(jù)中心技術(shù)虛擬化技術(shù) 云計算平臺技術(shù)網(wǎng)絡(luò)技術(shù) 服務(wù)器技術(shù) 分布式存儲技術(shù)Hadoop、 HPCC、 Storm、Spark等1.1.1云計算簡介第1章云計算基礎(chǔ)5維基百科中對云計算的定義云計算是一種基于互聯(lián)網(wǎng)的計算方式， 通過這種方式， 共享的軟硬件資源和 信息可以按需求提供給計算機和其他設(shè)備， 它就像我們曰常生活中用水和用電一 樣,按需付費,而無需關(guān)心水S電是從何而來的一種資源管理模式。云計算

3、簡介第1章云計算基礎(chǔ)62012年的國務(wù)院政府工作報告將云計算作為國家戰(zhàn)略性新興產(chǎn)業(yè)給出了定義云計算是基于互聯(lián)網(wǎng)的服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng) 來提供動態(tài)、易擴展且經(jīng)常是虛擬化的資源。云計算是傳統(tǒng)計算機和網(wǎng)絡(luò)技術(shù)發(fā) 展融合的產(chǎn)物，它意昧著計算能力也可作為一種商品通過互聯(lián)網(wǎng)進行流通。云計算簡介在云計算時代基本的3種角色資源的 整合運 營者負責(zé)資源的 整合輸出資源的使用者第1章云計算基礎(chǔ)7負 責(zé) 將 資 源 轉(zhuǎn) 變 為 滿 足 客 戶 需 求 的 各種應(yīng)用資源的最終 消費者1.1.2云計算的特點第1章云計算基礎(chǔ)8資源池彈性可擴張按需提供資源服務(wù) 網(wǎng)絡(luò)化的資源接入 鋤化 提高可靠性和

4、安全性1-1-3云計算技術(shù)分類第1章云計算基礎(chǔ)91.按技術(shù)路i紛類資源整合型云計算這種類型的云計算系統(tǒng)在技術(shù)實現(xiàn)方面大多體現(xiàn) 為集群架構(gòu)， 通HW大量節(jié)點的計算資源和存儲 資源整合后輸出。這類系統(tǒng)通常能實現(xiàn)跨節(jié)點弓單 性化的資源池構(gòu)建，核心技術(shù)為分布式計算? 口存 儲技術(shù)。MPk Hadoop. HPCC、Storm等都可 以被分類為資源整合型云計算系統(tǒng)。1-1-3云計算技術(shù)分類第1章云計算基礎(chǔ)10資源切分型云計算這種類型最為典型的就是虛擬化系統(tǒng)， 這類云計算系統(tǒng)通過系 統(tǒng)虛擬化實現(xiàn)對單個服務(wù)器資源的彈性化切分， 從而有效地 用服務(wù)器資源，其核心技術(shù)為虛擬化技術(shù)。優(yōu)點： 用戶的系統(tǒng)可以不做任

5、何改瓣入采用虛擬化技術(shù)的 云系統(tǒng), 是目前應(yīng)用較為廣泛 的技術(shù)， 特別是在桌面云計算 技術(shù)上應(yīng)用得較為成功。缺點: 跨節(jié)點的資源整合代 價較大。KVM、VMware都 是這類技術(shù)的代表。1.1.3云計算技術(shù)分類2、按服務(wù)對象分類公 有 云 : 指 服 務(wù) 對 象 是 面 向 公 眾 的云計算服務(wù)， 公有云對云計算 系統(tǒng)的穩(wěn)定性、安全性和并發(fā)服 務(wù)能力有更高的要求。第1章云計算基礎(chǔ) 私有云： 指主要服務(wù)于某一組織 內(nèi)部的云計算服務(wù)， 其服務(wù)并不 向公眾開放， 如企業(yè)、政府內(nèi)部 的云服務(wù)。1.1.3云計算技術(shù)分類2、按服務(wù)對象分類 混 合 云 ： 公 有 云 和 私 有 云 結(jié) 合 在一起的方式。

6、在這個模式中， 用 戶通常將非企業(yè)關(guān)鍵信息外包， 并 在公有云上處理， 而掌握企業(yè)關(guān)鍵 服務(wù)及數(shù)據(jù)的內(nèi)容則放在私有云上 處理。第1章云計算基礎(chǔ)12社區(qū)云： 是公有云范疇內(nèi)的一個組 成部分。它由眾多利益相仿的組織 掌控及使用， 其目的是實現(xiàn)云計算 的一些優(yōu)勢,例如特定安全要求、共同宗旨等。社區(qū)成員共同使用云 數(shù)據(jù)及應(yīng)用釀。1.1.3云計算技術(shù)分類3、按資源封裝的層次分類(1 )翻設(shè)施即服務(wù):把單 純的計算TO存儲資源不經(jīng)封裝地菌妾通lAfJ過網(wǎng)絡(luò)以服務(wù)的形式 提供的用戶使用。第1章云計算基礎(chǔ)13(2)平臺即服務(wù)：計算存儲資 源經(jīng)封裝后，以辦接口和協(xié)議的形式提供給用戶調(diào)用， 資源的使用 者不再_妾

7、面對底層資源。1-1-3云計算技術(shù)分類第1章云計算基礎(chǔ)143、按資源封裝的層次分類r( 3)軟件即服務(wù):將計算和存儲資源封裝為用戶可以妾使用的應(yīng)用并通 過網(wǎng)絡(luò)提供給用戶,SaaS面向的服務(wù)對象為最終用戶，用戶只是對軟件功 能進行使用，無需了解任何云計算系統(tǒng)的內(nèi)部結(jié)構(gòu)，也不需要用戶具有專 業(yè)的技術(shù)開發(fā)能力。1.1云計算基礎(chǔ)內(nèi)谷導(dǎo)角幾CONTENTS.2 集群系統(tǒng)概述1 . 3 分布式系統(tǒng)中計算和數(shù)據(jù)的協(xié)作機制 1 4云計算與物聯(lián)網(wǎng)1.2集群系統(tǒng)概述第1章云計算基礎(chǔ)16當(dāng)前云計算技術(shù)領(lǐng)域存在兩個主要技術(shù)路線，1是基于集群技術(shù)的云計算資源整合技術(shù)， 另一個是基于虛擬機技術(shù)的云計算資源切分技術(shù)?；诩?/p>

8、群 技術(shù)的云計算資源整合技術(shù)路線分散的計m存儲資源整合輸出，主要依托的技術(shù)為分布式計算技術(shù)。Google、Hadoop. Storm、HPCC等系統(tǒng)都采用了 集群技術(shù)，其資源整合是跨物理節(jié)點的。學(xué)習(xí)集群技術(shù)的基本知識對理解云計I算與大數(shù)據(jù)技術(shù)有很好的作用，只有這樣在學(xué)習(xí)時才能知其所以然。蚜毖漤劃MS璃Uf也玆阜首且#襲_士皆 輩赳紛耍畜鴣 漤趄爾。宙虱每B 貧共y # 掛， 鄱孩貧共W 中爾、印一畝4 坐華社， 去江回 W l a J 奶 宙 遜d 宙 甚 互 荃 掛 鄱 孩 貧 共 印 一 畝 4 丄 荊 竽i t 曷 g 捜 揭 幽 互陰額勒簞R回竽駐1緲導(dǎo)蓽印() 1A寬共印芬用？一軎鴣

9、S趄蓽ZL肫茸賃44竺裏T罷答攤$葺陰鴣窆趄蓽kk 1.2.1集群系統(tǒng)的基本概念集群系顚有以下重翻正: 集群系統(tǒng)的各節(jié)點都是一完整的 系統(tǒng)， 節(jié)點可以是工作站， 也可以是 PC或SMP器； 互聯(lián)網(wǎng)絡(luò)通常使用商品化網(wǎng)絡(luò)，如 以太網(wǎng)、FDDL光纖通道和ATM開關(guān) 等，音P分商用集群系統(tǒng)也采用專用網(wǎng) 絡(luò)互聯(lián)；第1章云計算基礎(chǔ)18網(wǎng)絡(luò)接口與節(jié)點的I/O總線松耦合 相連；各節(jié)點有一1本地磁盤;各節(jié)點有自己的完整的操作系統(tǒng)。1.2.2集群系統(tǒng)系統(tǒng)的分類1 ）高可用性集群系統(tǒng)。2 ）負載均衡集群系統(tǒng)。3）局性能集群系統(tǒng)。4 ）虛擬化集群系統(tǒng)，第1章云計算基礎(chǔ)19內(nèi)谷導(dǎo)角幾CONTENTS1-1云計算基礎(chǔ)1.

10、2 集群系統(tǒng)概述3.分布式系統(tǒng)中計算?口翻居的協(xié)作機制4.云計算與物聯(lián)網(wǎng)1.3分布式系統(tǒng)中計m數(shù)據(jù)的協(xié)作機制第1章云計算基礎(chǔ)21計算?存儲也是云計算系統(tǒng)研究的核心問題，分布式系統(tǒng)中計算?數(shù)據(jù)的協(xié) 作關(guān)系非常重要， 在分布式系統(tǒng)中實施計算都存在計算如何獲得數(shù)據(jù)的問題， 在 面向計算時代這一問題并不突出， 在面向數(shù)據(jù)時代計算W數(shù)據(jù)的協(xié)作機制問題就 成為了必須考慮的問題通常這種機制的實現(xiàn)與系統(tǒng)的架構(gòu)有緊密的關(guān)系， 系統(tǒng) 的基礎(chǔ)架構(gòu)決定了系統(tǒng)計算和醐的基本協(xié)作模式。1.3.1基于計算切分的分布式計算iIM P將大量的節(jié)點通過消息傳遞機 制連接起來，從而使節(jié)點的計算能力聚 集成為強大的高性能計算，主要面

11、向計 算密集的任務(wù)。 MPI撤共API接口，通過MPI_Send() 和MPI_Recv()崇肖息通信函數(shù)實現(xiàn)計算 過禾呈中數(shù)據(jù)的交換。第1章云計算基礎(chǔ)22高性能計算是一種較為典型的面 向計算的系統(tǒng)， 通常處理的是計算密 集型任務(wù)，因此在基于MPI的分布式 系統(tǒng)中并沒有與之匹配的文件系統(tǒng)支 持，計算在發(fā)起前通過NFS等網(wǎng)絡(luò)文 件系統(tǒng)從集中的存儲系統(tǒng)中讀出數(shù)據(jù) 并用于計算。1.3.1基于計算切分的分布式計算第1章云計算基礎(chǔ)23MPI的典型系統(tǒng)架構(gòu)通常將M PI這樣以切分計算實現(xiàn)分布式計算的系_為基于計算切分的分布 式計算系統(tǒng)。這種系統(tǒng)計算?存儲的協(xié)作是通過存儲向計算的遷移來實現(xiàn)的，也 就是說系統(tǒng)

12、先定位計算節(jié)點翔居從集中存儲設(shè)備通過網(wǎng)絡(luò)讀入計算程）字所在 的節(jié)點，在數(shù)據(jù)量不大時這種方法是可行的，但對于海_居1 賣取這種方式會很 低效。1 .3.1基于計算切分的分布式計算 第1章云計算基礎(chǔ) 24MPI的典型系統(tǒng)架構(gòu)讀取數(shù)據(jù)IIi1NFS1.3.2基于計算數(shù)據(jù)切分的混合型分布式計算技術(shù)一網(wǎng)格計算25硬件和網(wǎng)絡(luò)發(fā)展到一定階段后，硬件價格的便宜使大多數(shù)人都有了自己的 個人電腦，但卻出現(xiàn)了一方面一些需要大量計算的任務(wù)資源不夠，另一方面 大量個人電腦閑置的問題。得益于網(wǎng)絡(luò)的發(fā)展網(wǎng)格技術(shù)正好是在這個時期解 決這一矛盾的巧妙方法。人們對網(wǎng)格技術(shù)的普遍理解是:將分布在世界各地 的大量異構(gòu)計算設(shè)備的資源整

13、合起來，構(gòu)建一具有強大計算能力的超級計 算系統(tǒng)。1.3.2基于計算數(shù)據(jù)切分的混合型分布式計算技術(shù)一網(wǎng)格計算26典型網(wǎng)格系統(tǒng)的基本架構(gòu)1.3.3基于數(shù)據(jù)切分的分布式計算技術(shù)第1章云計算基礎(chǔ)27通過數(shù)據(jù)切分實現(xiàn)計算的分布化是面向數(shù)據(jù)技術(shù)的一個重要特征，2003年Google逐步公開了它的系統(tǒng)結(jié)構(gòu)，Google的文件系統(tǒng)GFS實現(xiàn)了在文件系統(tǒng)上 就對數(shù)據(jù)進行了切分，這一點對利用MapReduce實現(xiàn)對數(shù)據(jù)的自動分布式計算非 常重要,文件系統(tǒng)自身就對文件施行了自動的切分完全改變了分布式計算的性質(zhì),MPI、網(wǎng)格計算都沒有相匹配的文件系統(tǒng)支持，從本質(zhì)上看Sd居都是集中存儲的,網(wǎng)格計算雖然有數(shù)據(jù)切分的功能，

14、但只是在集中存儲前提下的切分。具有Sd居切 分功能的文件系統(tǒng)是面向數(shù)據(jù)的分布式系統(tǒng)的基本要求。1.3.3基于數(shù)據(jù)切分的分布式計算技術(shù)第1章云計算基礎(chǔ)282004年Jeffrey Dean 和Sanjay Ghemawat發(fā)表文章描述了Google系統(tǒng)的 MapReduce框架。與MPI不同，這種框架通常不是拆分計算來實現(xiàn)分布式處理, 而是通過拆分?jǐn)?shù)據(jù)來實現(xiàn)對大數(shù)據(jù)的分布式處理，MapReduce框架中分布式文 件系統(tǒng)是整個框架的基礎(chǔ)，這一框架下的文件系統(tǒng)一般將數(shù)據(jù)分為128MB的塊 進行分布式存放，需要對麵腑處理時將計算在各個塊所在的節(jié)點難發(fā)起, 避免了從網(wǎng)絡(luò)上讀取數(shù)據(jù)臟費的大量時間，實現(xiàn)計算

15、主動尋找數(shù)據(jù)的功 能，大大簡化了分布式處理程序設(shè)計的難度。1.3.3基于數(shù)據(jù)切分的分布式計算技術(shù) 第1章云計算基礎(chǔ) 29基于數(shù)據(jù)切分的分布式系統(tǒng)結(jié)構(gòu)1.3.3基于數(shù)據(jù)切分的分布式計算技術(shù)第1章云計算基礎(chǔ)30MapReduce框架使計算在集群節(jié)點中能準(zhǔn)確找到所處理的數(shù)據(jù)所在節(jié)點位 置的飾是是所處理的數(shù)據(jù)具有相同的數(shù)據(jù)類型和處理模式，從而可以通過數(shù)據(jù)的 拆分實現(xiàn)計算向數(shù)據(jù)的遷移，事實上這類面向數(shù)據(jù)系統(tǒng)的負載均衡在其對數(shù)據(jù)進 行分塊時就完成了，系統(tǒng)各節(jié)點的處理壓力與該節(jié)點上的數(shù)據(jù)塊的具體倩況相對 應(yīng)，因此MapReduce框架下某一節(jié)點處理能力低下可能會造成系統(tǒng)的整體等待形 成麵處理的脇。2005年

16、Apache基金會以Google的系統(tǒng)為模板啟動了 Hadoop項目Hado叩完 整地實現(xiàn)了上面描述的面向數(shù)據(jù)切分的分布式計算系統(tǒng)，對應(yīng)的文件系統(tǒng)為 HDFS , Hadoop成為了面向數(shù)據(jù)系統(tǒng)的1被廣恕妾納的標(biāo)準(zhǔn)系統(tǒng)。1.3.3基于數(shù)據(jù)切分的分布式計算技術(shù)第1章云計算基礎(chǔ)313種分布式系統(tǒng)的對比面向計算的 分布式系統(tǒng)混合型分布式系統(tǒng)面向數(shù)據(jù)的分布式系統(tǒng)分布式計算的方法計算拆分麵拆分麵拆分典型的儲存方式集中存儲集中存儲分布式存儲計算與麵的位置 -致性關(guān)系麵向計算 迀移麵向計算遷移計算向謝艇移并栩錦開發(fā)難度難N/A易1.3.3基于數(shù)據(jù)切分的分布式計算技術(shù)第1章云計算基礎(chǔ)32面向計算的分布式系統(tǒng)混

17、合型分布式系統(tǒng)面向數(shù)據(jù)的分布式系統(tǒng)應(yīng)用場景計算密集計算密集數(shù)據(jù)密集數(shù)據(jù)塊均衡普通領(lǐng)域Hadoops Dyname、 Cassandra、Google負載均衡方式CPU鐵均衡CPU鐵均衡，數(shù) 據(jù)塊均衡主要應(yīng)用領(lǐng)域?qū)I(yè)領(lǐng)域?qū)I(yè)領(lǐng)域典型系統(tǒng)MPI ,高性能計算網(wǎng)格計算，高性能 計算1.1云計算基礎(chǔ)內(nèi)谷導(dǎo)角幾CONTENTS1.2集群系統(tǒng)概述3.分布式系統(tǒng)中計算和鬱據(jù)的協(xié)作機制4.云計算與物聯(lián)網(wǎng)1.4云計算與物聯(lián)網(wǎng)第1章云計算基礎(chǔ)34云計mn物聯(lián)網(wǎng)在出現(xiàn)的時間上非常接近，以至于有一段時間云計算?n物聯(lián) 網(wǎng)兩個名詞總是同時出現(xiàn)在各類媒體上。物聯(lián)網(wǎng)的出現(xiàn)部分得益于網(wǎng)絡(luò)的發(fā)展,大量傳感據(jù)的收集需要良好的網(wǎng)絡(luò)

18、環(huán)境，特別是部分圖像數(shù)據(jù)的傳輸更是對 網(wǎng)絡(luò)的性能有較高的要求。在物聯(lián)網(wǎng)技術(shù)中傳感器的大量使用使數(shù)據(jù)的生產(chǎn)實現(xiàn) 自動化，數(shù)據(jù)生產(chǎn)的自動化也是推動當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展的動力之_。1.4云計算與物聯(lián)網(wǎng)第1章云計算基礎(chǔ)35云物聯(lián)網(wǎng)的英文名稱為The Internet of Things,簡稱:IOT。由該名稱可見，物聯(lián)網(wǎng)就是物物相連的互聯(lián)網(wǎng)。這有兩層 意思:第一,物聯(lián)網(wǎng)的核心和翻仍然是互 聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)之上的延伸和 II擴展的一種網(wǎng)絡(luò)；I 第二，其用戶端延伸和擴展到了任何物 |品與物品之間，進行信息交換?通信。因此， 物聯(lián)網(wǎng)的定義是通過射頻 識別(RFID)裝置、紅外感應(yīng)器、 全球定位系統(tǒng)、激光掃描器等信 息傳感設(shè)備， 按約定的協(xié)議， 把 任何物品與互聯(lián)網(wǎng)相連接， 進行 信息交換?口通信，以實現(xiàn)智能化 識別、定位、跟蹤、盤空和管理 的一種網(wǎng)絡(luò)。銀駐s m f煙樅溢蠢震麗煙:、3KO 囲佘棖照熾城+_爾珀6匝一co囤_MK W11觸越 拜 MIW寸_1.4云計算與物聯(lián)網(wǎng)第1章云計算基礎(chǔ)37物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈可以細分為標(biāo)識、感知、處理和信息傳送4個環(huán)節(jié)，每個環(huán)節(jié)的 關(guān)鍵技術(shù)分別為RFID、傳