云計(jì)算和大數(shù)據(jù)技術(shù)-概念應(yīng)用與實(shí)戰(zhàn)PPT第一章.ppt

1、云計(jì)算和大數(shù)據(jù)技術(shù)：概念應(yīng)用與實(shí)戰(zhàn),第1章,云計(jì)算基礎(chǔ),人民郵電出版社,21世紀(jì)高等院校云計(jì)算和大數(shù)據(jù)人才培養(yǎng)規(guī)劃教材,集群系統(tǒng)概述,云計(jì)算基礎(chǔ),分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制,云計(jì)算與物聯(lián)網(wǎng),1.1,1.2,內(nèi)容導(dǎo)航,CONTENTS,1.3,1.4,1.1云計(jì)算技術(shù)概述,自從2006年谷歌公司CEO埃里克施密特提出云計(jì)算概念后，云計(jì)算已經(jīng)成為了全球關(guān)注度最高的IT詞匯。隨著信息技術(shù)水平的不斷發(fā)展，云計(jì)算將會(huì)成為引領(lǐng)未來(lái)整個(gè)信息系統(tǒng)建設(shè)的主導(dǎo)者。 云計(jì)算具有一體化的信息平臺(tái)和運(yùn)營(yíng)平臺(tái)，這種全新交付模式將會(huì)對(duì)IT界產(chǎn)生重大的影響。,1.1.1云計(jì)算簡(jiǎn)介,云計(jì)算技術(shù)是硬件技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展到一

2、定階段而出現(xiàn)的一種新的技術(shù)模型，通常技術(shù)人員在繪制系統(tǒng)結(jié)構(gòu)圖時(shí)用一朵云的符號(hào)來(lái)表示網(wǎng)絡(luò)，云計(jì)算這個(gè)奇怪的名字就是因此而得名的。云計(jì)算并不是對(duì)某一項(xiàng)獨(dú)立技術(shù)的稱呼，而是對(duì)實(shí)現(xiàn)云計(jì)算模式所需要的所有技術(shù)的總稱。,分布式計(jì)算技術(shù) 虛擬化技術(shù) 網(wǎng)絡(luò)技術(shù) 服務(wù)器技術(shù),數(shù)據(jù)中心技術(shù) 云計(jì)算平臺(tái)技術(shù) 分布式存儲(chǔ)技術(shù),Hadoop、HPCC、Storm、Spark等,1.1.1云計(jì)算簡(jiǎn)介,云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過(guò)這種方式，共享的軟硬件資源和信息可以按需求提供給計(jì)算機(jī)和其他設(shè)備，它就像我們?nèi)粘Ｉ钪杏盟陀秒娨粯?，按需付費(fèi)，而無(wú)需關(guān)心水、電是從何而來(lái)的一種資源管理模式。,維基百科中對(duì)云計(jì)算的定義,

3、1.1.1云計(jì)算簡(jiǎn)介,云計(jì)算是基于互聯(lián)網(wǎng)的服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)、易擴(kuò)展且經(jīng)常是虛擬化的資源。云計(jì)算是傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物，它意味著計(jì)算能力也可作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通。,2012年的國(guó)務(wù)院政府工作報(bào)告將云計(jì)算作為國(guó)家戰(zhàn)略性新興產(chǎn)業(yè)給出了定義,1.1.1云計(jì)算簡(jiǎn)介,在云計(jì)算時(shí)代基本的3種角色,1.1.2云計(jì)算的特點(diǎn),資源池彈性可擴(kuò)張,按需提供資源服務(wù),虛擬化,網(wǎng)絡(luò)化的資源接入,提高可靠性和安全性,1.1.3云計(jì)算技術(shù)分類,這種類型的云計(jì)算系統(tǒng)在技術(shù)實(shí)現(xiàn)方面大多體現(xiàn)為集群架構(gòu)，通過(guò)將大量節(jié)點(diǎn)的計(jì)算資源和存儲(chǔ)資源整合后輸出。這類系統(tǒng)通常能實(shí)現(xiàn)跨

4、節(jié)點(diǎn)彈性化的資源池構(gòu)建，核心技術(shù)為分布式計(jì)算和存儲(chǔ)技術(shù)。MPI、Hadoop、HPCC、Storm等都可以被分類為資源整合型云計(jì)算系統(tǒng)。,1、按技術(shù)路線分類,資源整合型云計(jì)算,1.1.3云計(jì)算技術(shù)分類,優(yōu)點(diǎn)：用戶的系統(tǒng)可以不做任何改變接入采用虛擬化技術(shù)的云系統(tǒng)，是目前應(yīng)用較為廣泛的技術(shù)，特別是在桌面云計(jì)算技術(shù)上應(yīng)用得較為成功。,資源切分型云計(jì)算,這種類型最為典型的就是虛擬化系統(tǒng)，這類云計(jì)算系統(tǒng)通過(guò)系統(tǒng)虛擬化實(shí)現(xiàn)對(duì)單個(gè)服務(wù)器資源的彈性化切分，從而有效地利用服務(wù)器資源，其核心技術(shù)為虛擬化技術(shù)。,缺點(diǎn)：跨節(jié)點(diǎn)的資源整合代價(jià)較大。KVM、VMware都是這類技術(shù)的代表。,1.1.3云計(jì)算技術(shù)分類,公有

5、云：指服務(wù)對(duì)象是面向公眾的云計(jì)算服務(wù)，公有云對(duì)云計(jì)算系統(tǒng)的穩(wěn)定性、安全性和并發(fā)服務(wù)能力有更高的要求。,2、按服務(wù)對(duì)象分類,私有云：指主要服務(wù)于某一組織內(nèi)部的云計(jì)算服務(wù)，其服務(wù)并不向公眾開(kāi)放，如企業(yè)、政府內(nèi)部的云服務(wù)。,1.1.3云計(jì)算技術(shù)分類,混合云：是把公有云和私有云結(jié)合在一起的方式。在這個(gè)模式中，用戶通常將非企業(yè)關(guān)鍵信息外包，并在公有云上處理，而掌握企業(yè)關(guān)鍵服務(wù)及數(shù)據(jù)的內(nèi)容則放在私有云上處理。,2、按服務(wù)對(duì)象分類,社區(qū)云：是公有云范疇內(nèi)的一個(gè)組成部分。它由眾多利益相仿的組織掌控及使用，其目的是實(shí)現(xiàn)云計(jì)算的一些優(yōu)勢(shì)，例如特定安全要求、共同宗旨等。社區(qū)成員共同使用云數(shù)據(jù)及應(yīng)用程序。,1.1.3

6、云計(jì)算技術(shù)分類,（ 1 ）基礎(chǔ)設(shè)施即服務(wù)：把單純的計(jì)算和存儲(chǔ)資源不經(jīng)封裝地直接通過(guò)網(wǎng)絡(luò)以服務(wù)的形式提供的用戶使用。,3、按資源封裝的層次分類,（ 2 ）平臺(tái)即服務(wù)：計(jì)算和存儲(chǔ)資源經(jīng)封裝后，以某種接口和協(xié)議的形式提供給用戶調(diào)用，資源的使用者不再直接面對(duì)底層資源。,1.1.3云計(jì)算技術(shù)分類,（3）軟件即服務(wù)：將計(jì)算和存儲(chǔ)資源封裝為用戶可以直接使用的應(yīng)用并通過(guò)網(wǎng)絡(luò)提供給用戶，SaaS面向的服務(wù)對(duì)象為最終用戶，用戶只是對(duì)軟件功能進(jìn)行使用，無(wú)需了解任何云計(jì)算系統(tǒng)的內(nèi)部結(jié)構(gòu)，也不需要用戶具有專業(yè)的技術(shù)開(kāi)發(fā)能力。,3、按資源封裝的層次分類,集群系統(tǒng)概述,分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制,1.1,1.2,內(nèi)容

7、導(dǎo)航,CONTENTS,1.3,1.4,云計(jì)算基礎(chǔ),云計(jì)算與物聯(lián)網(wǎng),1.2集群系統(tǒng)概述,當(dāng)前云計(jì)算技術(shù)領(lǐng)域存在兩個(gè)主要技術(shù)路線，一個(gè)是基于集群技術(shù)的云計(jì)算資源整合技術(shù)，另一個(gè)是基于虛擬機(jī)技術(shù)的云計(jì)算資源切分技術(shù)。基于集群技術(shù)的云計(jì)算資源整合技術(shù)路線將分散的計(jì)算和存儲(chǔ)資源整合輸出，主要依托的技術(shù)為分布式計(jì)算技術(shù)。Google、Hadoop、Storm、HPCC等系統(tǒng)都采用了集群技術(shù)，其資源整合是跨物理節(jié)點(diǎn)的。學(xué)習(xí)集群技術(shù)的基本知識(shí)對(duì)理解云計(jì)算與大數(shù)據(jù)技術(shù)有很好的作用，只有這樣在學(xué)習(xí)時(shí)才能知其所以然。,1.2.1集群系統(tǒng)的基本概念,集群系統(tǒng)是一組獨(dú)立的計(jì)算機(jī)（節(jié)點(diǎn)）的集合體，節(jié)點(diǎn)間通過(guò)高性能的互聯(lián)

8、網(wǎng)絡(luò)連接，各節(jié)點(diǎn)除了作為一個(gè)單一的計(jì)算資源供交互式用戶使用外，還可以協(xié)同工作，并表示為一個(gè)單一的、集中地計(jì)算資源，供并行計(jì)算任務(wù)使用。集群系統(tǒng)是一種造價(jià)低廉、易于構(gòu)建并且具有較好可擴(kuò)放性的體系結(jié)構(gòu)。,1.2.1集群系統(tǒng)的基本概念,網(wǎng)絡(luò)接口與節(jié)點(diǎn)的I/O總線松耦合相連； 各節(jié)點(diǎn)有一個(gè)本地磁盤(pán)； 各節(jié)點(diǎn)有自己的完整的操作系統(tǒng)。,集群系統(tǒng)具有以下重要特征：,集群系統(tǒng)的各節(jié)點(diǎn)都是一個(gè)完整的系統(tǒng)，節(jié)點(diǎn)可以是工作站，也可以是PC或SMP器； 互聯(lián)網(wǎng)絡(luò)通常使用商品化網(wǎng)絡(luò)，如以太網(wǎng)、FDDI、光纖通道和ATM開(kāi)關(guān)等，部分商用集群系統(tǒng)也采用專用網(wǎng)絡(luò)互聯(lián)；,1.2.2集群系統(tǒng)系統(tǒng)的分類,1）高可用性集群系統(tǒng)。,2

9、）負(fù)載均衡集群系統(tǒng)。,3）高性能集群系統(tǒng)。,4）虛擬化集群系統(tǒng)。,集群系統(tǒng)概述,云計(jì)算基礎(chǔ),分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制,1.1,1.2,內(nèi)容導(dǎo)航,CONTENTS,1.3,1.4,云計(jì)算與物聯(lián)網(wǎng),1.3分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制,計(jì)算和存儲(chǔ)也是云計(jì)算系統(tǒng)研究的核心問(wèn)題，分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作關(guān)系非常重要，在分布式系統(tǒng)中實(shí)施計(jì)算都存在計(jì)算如何獲得數(shù)據(jù)的問(wèn)題，在面向計(jì)算時(shí)代這一問(wèn)題并不突出，在面向數(shù)據(jù)時(shí)代計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制問(wèn)題就成為了必須考慮的問(wèn)題。通常這種機(jī)制的實(shí)現(xiàn)與系統(tǒng)的架構(gòu)有緊密的關(guān)系，系統(tǒng)的基礎(chǔ)架構(gòu)決定了系統(tǒng)計(jì)算和數(shù)據(jù)的基本協(xié)作模式。,1.3.1基于計(jì)算切分的分布式計(jì)算

10、,MPI將大量的節(jié)點(diǎn)通過(guò)消息傳遞機(jī)制連接起來(lái)，從而使節(jié)點(diǎn)的計(jì)算能力聚集成為強(qiáng)大的高性能計(jì)算，主要面向計(jì)算密集的任務(wù)。 MPI提供API接口，通過(guò)MPI_Send()和MPI_Recv()等消息通信函數(shù)實(shí)現(xiàn)計(jì)算過(guò)程中數(shù)據(jù)的交換。,高性能計(jì)算是一種較為典型的面向計(jì)算的系統(tǒng)，通常處理的是計(jì)算密集型任務(wù)，因此在基于MPI的分布式系統(tǒng)中并沒(méi)有與之匹配的文件系統(tǒng)支持，計(jì)算在發(fā)起前通過(guò)NFS等網(wǎng)絡(luò)文件系統(tǒng)從集中的存儲(chǔ)系統(tǒng)中讀出數(shù)據(jù)并用于計(jì)算。,1.3.1基于計(jì)算切分的分布式計(jì)算,通常將MPI這樣以切分計(jì)算實(shí)現(xiàn)分布式計(jì)算的系統(tǒng)稱為基于計(jì)算切分的分布式計(jì)算系統(tǒng)。這種系統(tǒng)計(jì)算和存儲(chǔ)的協(xié)作是通過(guò)存儲(chǔ)向計(jì)算的遷移來(lái)實(shí)

11、現(xiàn)的，也就是說(shuō)系統(tǒng)先定位計(jì)算節(jié)點(diǎn)再將數(shù)據(jù)從集中存儲(chǔ)設(shè)備通過(guò)網(wǎng)絡(luò)讀入計(jì)算程序所在的節(jié)點(diǎn)，在數(shù)據(jù)量不大時(shí)這種方法是可行的，但對(duì)于海量數(shù)據(jù)讀取這種方式會(huì)很低效。,MPI的典型系統(tǒng)架構(gòu),1.3.1基于計(jì)算切分的分布式計(jì)算,MPI的典型系統(tǒng)架構(gòu),1.3.2基于計(jì)算和數(shù)據(jù)切分的混合型分布式計(jì)算技術(shù)網(wǎng)格計(jì)算,硬件和網(wǎng)絡(luò)發(fā)展到一定階段后，硬件價(jià)格的便宜使大多數(shù)人都有了自己的個(gè)人電腦，但卻出現(xiàn)了一方面一些需要大量計(jì)算的任務(wù)資源不夠，另一方面大量個(gè)人電腦閑置的問(wèn)題。得益于網(wǎng)絡(luò)的發(fā)展網(wǎng)格技術(shù)正好是在這個(gè)時(shí)期解決這一矛盾的巧妙方法。人們對(duì)網(wǎng)格技術(shù)的普遍理解是：將分布在世界各地的大量異構(gòu)計(jì)算設(shè)備的資源整合起來(lái)，構(gòu)建一個(gè)

12、具有強(qiáng)大計(jì)算能力的超級(jí)計(jì)算系統(tǒng)。,1.3.2基于計(jì)算和數(shù)據(jù)切分的混合型分布式計(jì)算技術(shù)網(wǎng)格計(jì)算,典型網(wǎng)格系統(tǒng)的基本架構(gòu),1.3.3基于數(shù)據(jù)切分的分布式計(jì)算技術(shù),通過(guò)數(shù)據(jù)切分實(shí)現(xiàn)計(jì)算的分布化是面向數(shù)據(jù)技術(shù)的一個(gè)重要特征，2003年Google逐步公開(kāi)了它的系統(tǒng)結(jié)構(gòu)，Google的文件系統(tǒng)GFS實(shí)現(xiàn)了在文件系統(tǒng)上就對(duì)數(shù)據(jù)進(jìn)行了切分，這一點(diǎn)對(duì)利用MapReduce實(shí)現(xiàn)對(duì)數(shù)據(jù)的自動(dòng)分布式計(jì)算非常重要，文件系統(tǒng)自身就對(duì)文件施行了自動(dòng)的切分完全改變了分布式計(jì)算的性質(zhì)，MPI、網(wǎng)格計(jì)算都沒(méi)有相匹配的文件系統(tǒng)支持，從本質(zhì)上看數(shù)據(jù)都是集中存儲(chǔ)的，網(wǎng)格計(jì)算雖然有數(shù)據(jù)切分的功能，但只是在集中存儲(chǔ)前提下的切分。具有數(shù)據(jù)

13、切分功能的文件系統(tǒng)是面向數(shù)據(jù)的分布式系統(tǒng)的基本要求。,1.3.3基于數(shù)據(jù)切分的分布式計(jì)算技術(shù),2004年Jeffrey Dean 和Sanjay Ghemawat發(fā)表文章描述了Google系統(tǒng)的MapReduce框架。與MPI不同，這種框架通常不是拆分計(jì)算來(lái)實(shí)現(xiàn)分布式處理，而是通過(guò)拆分?jǐn)?shù)據(jù)來(lái)實(shí)現(xiàn)對(duì)大數(shù)據(jù)的分布式處理，MapReduce框架中分布式文件系統(tǒng)是整個(gè)框架的基礎(chǔ)，這一框架下的文件系統(tǒng)一般將數(shù)據(jù)分為128MB的塊進(jìn)行分布式存放，需要對(duì)數(shù)據(jù)進(jìn)行處理時(shí)將計(jì)算在各個(gè)塊所在的節(jié)點(diǎn)直接發(fā)起，避免了從網(wǎng)絡(luò)上讀取數(shù)據(jù)所耗費(fèi)的大量時(shí)間，實(shí)現(xiàn)計(jì)算主動(dòng)“尋找”數(shù)據(jù)的功能，大大簡(jiǎn)化了分布式處理程序設(shè)計(jì)的難度。

14、,1.3.3基于數(shù)據(jù)切分的分布式計(jì)算技術(shù),基于數(shù)據(jù)切分的分布式系統(tǒng)結(jié)構(gòu),1.3.3基于數(shù)據(jù)切分的分布式計(jì)算技術(shù),MapReduce框架使計(jì)算在集群節(jié)點(diǎn)中能準(zhǔn)確找到所處理的數(shù)據(jù)所在節(jié)點(diǎn)位置的前提是所處理的數(shù)據(jù)具有相同的數(shù)據(jù)類型和處理模式，從而可以通過(guò)數(shù)據(jù)的拆分實(shí)現(xiàn)計(jì)算向數(shù)據(jù)的遷移，事實(shí)上這類面向數(shù)據(jù)系統(tǒng)的負(fù)載均衡在其對(duì)數(shù)據(jù)進(jìn)行分塊時(shí)就完成了，系統(tǒng)各節(jié)點(diǎn)的處理壓力與該節(jié)點(diǎn)上的數(shù)據(jù)塊的具體情況相對(duì)應(yīng)，因此MapReduce框架下某一節(jié)點(diǎn)處理能力低下可能會(huì)造成系統(tǒng)的整體等待形成數(shù)據(jù)處理的瓶頸。 2005年Apache基金會(huì)以Google的系統(tǒng)為模板啟動(dòng)了Hadoop項(xiàng)目Hadoop完整地實(shí)現(xiàn)了上面描述

15、的面向數(shù)據(jù)切分的分布式計(jì)算系統(tǒng)，對(duì)應(yīng)的文件系統(tǒng)為HDFS，Hadoop成為了面向數(shù)據(jù)系統(tǒng)的一個(gè)被廣泛接納的標(biāo)準(zhǔn)系統(tǒng)。,1.3.3基于數(shù)據(jù)切分的分布式計(jì)算技術(shù),3種分布式系統(tǒng)的對(duì)比,1.3.3基于數(shù)據(jù)切分的分布式計(jì)算技術(shù),續(xù)表,集群系統(tǒng)概述,云計(jì)算基礎(chǔ),分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制,1.1,1.2,內(nèi)容導(dǎo)航,CONTENTS,1.3,1.4,云計(jì)算與物聯(lián)網(wǎng),1.4云計(jì)算與物聯(lián)網(wǎng),云計(jì)算和物聯(lián)網(wǎng)在出現(xiàn)的時(shí)間上非常接近，以至于有一段時(shí)間云計(jì)算和物聯(lián)網(wǎng)兩個(gè)名詞總是同時(shí)出現(xiàn)在各類媒體上。物聯(lián)網(wǎng)的出現(xiàn)部分得益于網(wǎng)絡(luò)的發(fā)展，大量傳感器數(shù)據(jù)的收集需要良好的網(wǎng)絡(luò)環(huán)境，特別是部分圖像數(shù)據(jù)的傳輸更是對(duì)網(wǎng)絡(luò)的性能

16、有較高的要求。在物聯(lián)網(wǎng)技術(shù)中傳感器的大量使用使數(shù)據(jù)的生產(chǎn)實(shí)現(xiàn)自動(dòng)化，數(shù)據(jù)生產(chǎn)的自動(dòng)化也是推動(dòng)當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展的動(dòng)力之一。,1.4云計(jì)算與物聯(lián)網(wǎng),云物聯(lián)網(wǎng)的英文名稱為“The Internet of Things”，簡(jiǎn)稱：IOT。由該名稱可見(jiàn)，物聯(lián)網(wǎng)就是“物物相連的互聯(lián)網(wǎng)”。這有兩層意思：,因此，物聯(lián)網(wǎng)的定義是通過(guò)射頻識(shí)別(RFID)裝置、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接，進(jìn)行信息交換和通信，以實(shí)現(xiàn)智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。,第一，物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)之上的延伸和擴(kuò)展的一種網(wǎng)絡(luò)；,第二，其用戶端延伸和擴(kuò)展到了任何物品與物品之間，進(jìn)行信息交換和通信。,1.4云計(jì)算與物聯(lián)網(wǎng),Xen物聯(lián)網(wǎng)系統(tǒng)需要大量的存儲(chǔ)資源來(lái)保存數(shù)據(jù)，同時(shí)也需要計(jì)算資源來(lái)處理和分析數(shù)據(jù)，當(dāng)前我們所指的物聯(lián)網(wǎng)傳感器連接呈現(xiàn)出以下的特點(diǎn)：,連接傳感器種類多樣,連接的傳感器數(shù)量眾多,連接的傳感器地域廣大,1.4云計(jì)算與物聯(lián)網(wǎng),物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈,物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈可以細(xì)分為標(biāo)識(shí)、感知、處理和信息傳送4個(gè)環(huán)節(jié)，每個(gè)環(huán)節(jié)的關(guān)鍵技術(shù)分別為RFID、傳感器、智能芯片和電信運(yùn)營(yíng)商的無(wú)線傳輸網(wǎng)絡(luò)。云計(jì)算的出現(xiàn)使物聯(lián)網(wǎng)在互聯(lián)網(wǎng)基礎(chǔ)之上延伸和發(fā)展成為