2_云計(jì)算體系結(jié)構(gòu)

1、Cloud Computing郭權(quán) 總目錄云計(jì)算概述云計(jì)算體系及技術(shù)云計(jì)算應(yīng)用云計(jì)算平臺及趨勢- 1 -目錄云計(jì)算體系概述云計(jì)算技術(shù)體系結(jié)構(gòu)云計(jì)算背后采用的具體技術(shù) 云計(jì)算對未來動態(tài)IT架構(gòu)的支撐- 2 -云計(jì)算體系概述- 3 -云計(jì)算的基本原理是通過使計(jì)算分布在大量的分布式計(jì)算機(jī)上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運(yùn)行將更與互聯(lián)網(wǎng)相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問計(jì)算機(jī)和存儲系統(tǒng)。 云計(jì)算發(fā)展路線- 4 -并行計(jì)算集群計(jì)算網(wǎng)格計(jì)算云計(jì)算云計(jì)算體系邏輯結(jié)構(gòu)- 5 -用戶互動 界面系統(tǒng)管理資源工具服務(wù)器服務(wù)目錄監(jiān)控和測定云計(jì)算體系物理結(jié)構(gòu)- 6 -IBM Mo

2、nitoring v.6DB2資源管理?xiàng)?Provisioning Manager v.5.1WebSphere Application Server監(jiān)控Provisioning Baremetal & Xen VMLinux with XenTivoli 監(jiān)控工具虛擬機(jī)虛擬機(jī)虛擬機(jī)虛擬機(jī)數(shù)據(jù)中心 System xApache云計(jì)算基礎(chǔ)設(shè)施，可提供托管或現(xiàn)場解決方案。云計(jì)算體系特點(diǎn)- 7 -通過Internet接入不需要自身具有IT技術(shù)來實(shí)施第三方提供資源共享無多余功能開發(fā)無多余費(fèi)用系統(tǒng)延續(xù)性好Cloud Applications(“Software-as-a-Service”)Cloud P

3、latforms(“Platform-as-a-Service”)Cloud CollaborationCloud StorageCloud Servers/ProcessingCloud MSP目錄云計(jì)算體系概述云計(jì)算技術(shù)體系結(jié)構(gòu)云計(jì)算背后采用的具體技術(shù) 云計(jì)算對未來動態(tài)IT架構(gòu)的支撐- 8 - 9 -云計(jì)算技術(shù)體系結(jié)構(gòu)由于云計(jì)算分為IaaS、PaaS和SaaS三種類型，不同的廠家又提供了不同的解決方案，目前還沒有一個統(tǒng)一的技術(shù)體系結(jié)構(gòu)；綜合不同廠家的方案，給出一個供商榷的云計(jì)算體系結(jié)構(gòu)。這個體系結(jié)構(gòu)如下圖所示，它概括了不同解決方案的主要特征，每一種方案或許只實(shí)現(xiàn)了其中部分功能，或許也還有部

4、分相對次要功能尚未概括進(jìn)來。云計(jì)算技術(shù)體系結(jié)構(gòu)- 11 -云計(jì)算技術(shù)體系結(jié)構(gòu)云計(jì)算技術(shù)體系結(jié)構(gòu)分為4層：物理資源層、資源池層、管理中間件層和SOA構(gòu)建層（如上圖）；物理資源層包括計(jì)算機(jī)、存儲器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件等；資源池層是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池，如計(jì)算資源池、數(shù)據(jù)資源池等。構(gòu)建資源池更多是物理資源的集成和管理工作，例如研究在一個標(biāo)準(zhǔn)集裝箱的空間如何裝下2000個服務(wù)器、解決散熱和故障節(jié)點(diǎn)替換的問題并降低能耗。- 12 -云計(jì)算技術(shù)體系結(jié)構(gòu)管理中間件負(fù)責(zé)對云計(jì)算的資源進(jìn)行管理，并對眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)；SOA構(gòu)建層將云計(jì)算能力

5、封裝成標(biāo)準(zhǔn)的Web Services服務(wù)，并納入到SOA體系進(jìn)行管理和使用，包括服務(wù)注冊、查找、訪問和構(gòu)建服務(wù)工作流等。管理中間件和資源池層是云計(jì)算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。- 13 -云計(jì)算技術(shù)體系結(jié)構(gòu)計(jì)算的管理中間件負(fù)責(zé)資源管理、任務(wù)管理、用戶管理和安全管理等工作。資源管理負(fù)責(zé)均衡地使用云資源節(jié)點(diǎn)，檢測節(jié)點(diǎn)的故障并試圖恢復(fù)或屏蔽之，并對資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì)；任務(wù)管理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象(Image)的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等等；- 14 -云計(jì)算技術(shù)體系結(jié)構(gòu)用戶管理是實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個必不可少

6、的環(huán)節(jié)，包括提供用戶交互接口、管理和識別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對用戶的使用進(jìn)行計(jì)費(fèi)等；安全管理保障云計(jì)算設(shè)施的整體安全，包括身份認(rèn)證、訪問授權(quán)、綜合防護(hù)和安全審計(jì)等。基于上述體系結(jié)構(gòu)，以IaaS云計(jì)算為例，簡述云計(jì)算的實(shí)現(xiàn)機(jī)制，如下圖。云計(jì)算簡化實(shí)現(xiàn)機(jī)制- 16 -云計(jì)算簡化實(shí)現(xiàn)機(jī)制用戶交互接口向應(yīng)用以Web Services方式提供訪問接口，獲取用戶需求。服務(wù)目錄是用戶可以訪問的服務(wù)清單。系統(tǒng)管理模塊負(fù)責(zé)管理和分配所有可用的資源，其核心是負(fù)載均衡。配置工具負(fù)責(zé)在分配的節(jié)點(diǎn)上準(zhǔn)備任務(wù)運(yùn)行環(huán)境。監(jiān)視統(tǒng)計(jì)模塊負(fù)責(zé)監(jiān)視節(jié)點(diǎn)的運(yùn)行狀態(tài)，并完成用戶使用節(jié)點(diǎn)情況的統(tǒng)計(jì)。執(zhí)行過程并不復(fù)雜：用戶交

7、互接口允許用戶從目錄中選取并調(diào)用一個服務(wù)。該請求傳遞給系統(tǒng)管理模塊后，它將為用戶分配恰當(dāng)?shù)馁Y源，然后調(diào)用配置工具來為用戶準(zhǔn)備運(yùn)行環(huán)境。目錄云計(jì)算體系概述云計(jì)算技術(shù)體系結(jié)構(gòu)云計(jì)算背后采用的具體技術(shù) 云計(jì)算對未來動態(tài)IT架構(gòu)的支撐- 17 - 18 -云計(jì)算背后采用的具體技術(shù) 云計(jì)算作為一種新型的計(jì)算模式，還處于早期發(fā)展階段。眾多大小不一、類型各異的提供商提供了各自基于云計(jì)算的應(yīng)用服務(wù)。通過介紹亞馬遜、Google、 IBM這三種典型的云計(jì)算實(shí)現(xiàn)，剖析在“云計(jì)算”背后所采用的具體技術(shù)，解析當(dāng)前云計(jì)算的平臺建設(shè)方法以及應(yīng)用構(gòu)建方式。- 19 -實(shí)例1: Google的云計(jì)算平臺與應(yīng)用 Google的

8、云計(jì)算技術(shù)實(shí)際上是針對Google特定的網(wǎng)絡(luò)應(yīng)用程序而定制的。針對內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)規(guī)模超大的特點(diǎn)，Google提出了一整套基于分布式并行集群方式的基礎(chǔ)架構(gòu)，利用軟件的能力來處理集群中經(jīng)常發(fā)生的節(jié)點(diǎn)失效問題。從2003年開始，Google連續(xù)幾年在計(jì)算機(jī)系統(tǒng)研究領(lǐng)域的最頂級會議與雜志上發(fā)表論文，揭示其內(nèi)部的分布式數(shù)據(jù)處理方法，向外界展示其使用的云計(jì)算核心技術(shù)。- 20 -實(shí)例1: Google的云計(jì)算平臺與應(yīng)用 從其近幾年發(fā)表的論文來看，Google使用的云計(jì)算基礎(chǔ)架構(gòu)模式包括四個相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)。包括：一. Google建立在集群之上的文件系統(tǒng)Google File System二.

9、 針對Google應(yīng)用程序的特點(diǎn)提出的Map/Reduce編程模式三. 分布式的鎖機(jī)制Chubby四. Google開發(fā)的模型簡化的大規(guī)模分布式數(shù)據(jù)庫BigTable。- 21 -一、Google File System 文件系統(tǒng) 為了滿足Google迅速增長的數(shù)據(jù)處理需求，Google設(shè)計(jì)并實(shí)現(xiàn)了Google文件系統(tǒng)（GFS：Google File System）。GFS與過去的分布式文件系統(tǒng)擁有許多相同的目標(biāo)，例如性能、可伸縮性、可靠性以及可用性。然而，它的設(shè)計(jì)還受到Google應(yīng)用負(fù)載和技術(shù)環(huán)境的影響，主要體現(xiàn)在以下四個方面:- 22 -一、 Google File System 文件系

10、統(tǒng) 1. 集群中的節(jié)點(diǎn)失效是一種常態(tài)，而不是一種異常。由于參與運(yùn)算與處理的節(jié)點(diǎn)數(shù)目非常龐大，通常會使用上千個節(jié)點(diǎn)進(jìn)行共同計(jì)算，因此，每時每刻總會有節(jié)點(diǎn)處在失效狀態(tài)。需要通過軟件程序模塊，監(jiān)視系統(tǒng)的動態(tài)運(yùn)行狀況，偵測錯誤，并且將容錯以及自動恢復(fù)系統(tǒng)集成在系統(tǒng)中。2. Google系統(tǒng)中的文件大小與通常文件系統(tǒng)中的文件大小概念不一樣，文件大小通常以G字節(jié)計(jì)。另外文件系統(tǒng)中的文件含義與通常文件不同，一個大文件可能包含大量數(shù)目的通常意義上的小文件。所以，設(shè)計(jì)預(yù)期和參數(shù)，例如I/O操作和塊尺寸都要重新考慮。- 23 -一、 Google File System 文件系統(tǒng) 3. Google文件系統(tǒng)中的文

11、件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同。在Google應(yīng)用（如搜索）中對大部分文件的修改，不是覆蓋原有數(shù)據(jù)，而是在文件尾追加新數(shù)據(jù)。對于這類巨大文件的訪問模式，客戶端對數(shù)據(jù)塊緩存失去了意義，追加操作成為性能優(yōu)化和原子性（把一個事務(wù)看做是一個程序。它要么被完整地執(zhí)行，要么完全不執(zhí)行）保證的焦點(diǎn)。4. 文件系統(tǒng)的某些具體操作不再透明，而且需要應(yīng)用程序的協(xié)助完成，應(yīng)用程序和文件系統(tǒng)API的協(xié)同設(shè)計(jì)提高了整個系統(tǒng)的靈活性。例如，放松了對GFS一致性模型的要求，這樣不用加重應(yīng)用程序的負(fù)擔(dān)，就大大簡化了文件系統(tǒng)的設(shè)計(jì)。還引入了原子性的追加操作，這樣多個客戶端同時進(jìn)行追加的時候，就不需要額外的同步操作了。- 24

12、-一、 Google File System 文件系統(tǒng) 總之，GFS是為Google應(yīng)用程序本身而設(shè)計(jì)的。據(jù)稱，Google已經(jīng)部署了許多GFS集群。有的集群擁有超過1000個存儲節(jié)點(diǎn)，超過300T的硬盤空間，被不同機(jī)器上的數(shù)百個客戶端連續(xù)不斷地頻繁訪問著。下圖給出了Google File System的系統(tǒng)架構(gòu)- 25 -一、 Google File System 文件系統(tǒng) - 26 -一、 Google File System 文件系統(tǒng) 一個GFS集群包含一個主服務(wù)器和多個塊服務(wù)器，被多個客戶端訪問。文件被分割成固定尺寸的塊。在每個塊創(chuàng)建的時候，服務(wù)器分配給它一個不變的、全球惟一的64位塊

13、句柄對它進(jìn)行標(biāo)識。塊服務(wù)器把塊作為linux文件保存在本地硬盤上，并根據(jù)指定的塊句柄和字節(jié)范圍來讀寫塊數(shù)據(jù)。為了保證可靠性，每個塊都會復(fù)制到多個塊服務(wù)器上，缺省保存三個備份。主服務(wù)器管理文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息和文件到塊的映射信息，以及塊當(dāng)前所在的位置。- 27 -一、 Google File System 文件系統(tǒng) GFS客戶端代碼被嵌入到每個程序里，它實(shí)現(xiàn)了Google文件系統(tǒng) API，幫助應(yīng)用程序與主服務(wù)器和塊服務(wù)器通信，對數(shù)據(jù)進(jìn)行讀寫?？蛻舳烁鞣?wù)器交互進(jìn)行元數(shù)據(jù)操作，但是所有的數(shù)據(jù)操作的通信都是直接和塊服務(wù)器進(jìn)行的。客戶端提供的訪問接口類似于POSIX接口，

14、但有一定的修改，并不完全兼容POSIX標(biāo)準(zhǔn)。通過服務(wù)器端和客戶端的聯(lián)合設(shè)計(jì)，Google File System能夠針對它本身的應(yīng)用獲得最大的性能以及可用性效果。- 28 -二、MapReduce分布式編程環(huán)境 為了讓內(nèi)部非分布式系統(tǒng)方向背景的員工能夠有機(jī)會將應(yīng)用程序建立在大規(guī)模的集群基礎(chǔ)之上，Google還設(shè)計(jì)并實(shí)現(xiàn)了一套大規(guī)模數(shù)據(jù)處理的編程規(guī)范Map/Reduce系統(tǒng)。這樣，非分布式專業(yè)的程序編寫人員也能夠?yàn)榇笠?guī)模的集群編寫應(yīng)用程序而不用去顧慮集群的可靠性、可擴(kuò)展性等問題。應(yīng)用程序編寫人員只需要將精力放在應(yīng)用程序本身，而關(guān)于集群的處理問題則交由平臺來處理。- 29 -二、 MapReduc

15、e分布式編程環(huán)境 Map/Reduce通過“Map（映射）”和“Reduce（化簡）”這樣兩個簡單的概念來參加運(yùn)算，用戶只需要提供自己的Map函數(shù)以及Reduce函數(shù)就可以在集群上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。據(jù)稱，Google的文本索引方法，即搜索引擎的核心部分，已經(jīng)通過Map Reduce的方法進(jìn)行了改寫，獲得了更加清晰的程序架構(gòu)。在Google內(nèi)部，每天有上千個Map Reduce的應(yīng)用程序在運(yùn)行。- 30 -三、分布式的鎖機(jī)制Chubby在Google File System(GFS)中，有很多的server，這些server需要選舉其中的一臺作為master server。這其實(shí)是一個

16、很典型的consensus問題，Value就是master server的地址。GFS就是用Chubby來解決的這個問題，所有的server通過Chubby提供的通信協(xié)議到Chubby server上創(chuàng)建同一個文件，當(dāng)然，最終只有一個server能夠獲準(zhǔn)創(chuàng)建這個文件，這個server就成為了master，它會在這個文件中寫入自己的地址，這樣其它的server通過讀取這個文件就能知道被選出的master的地址。- 31 -三、分布式的鎖機(jī)制ChubbyChubby是一個分布式的文件系統(tǒng)。Chubby能夠提供機(jī)制使得client可以在Chubby service上創(chuàng)建文件和執(zhí)行一些文件的基本操作。

17、從更高一點(diǎn)的語義層面上，Chubby是一個lock service，一個針對松耦合的分布式系統(tǒng)的lock service。所謂lock service，就是這個service能夠提供開發(fā)人員經(jīng)常用的“鎖”，“解鎖”功能。通過Chubby，一個分布式系統(tǒng)中的上千個client都能夠?qū)τ谀稠?xiàng)資源進(jìn)行“加鎖”，“解鎖”。那么，Chubby是怎樣實(shí)現(xiàn)這樣的“鎖”功能的？就是通過文件。Chubby中的“鎖”就是文件，創(chuàng)建文件其實(shí)就是進(jìn)行“加鎖”操作，創(chuàng)建文件成功的那個server其實(shí)就是搶占到了“鎖”。用戶通過打開、關(guān)閉和讀取文件，獲取共享鎖或者獨(dú)占鎖；并且通過通信機(jī)制，向用戶發(fā)送更新信息。- 32 -

18、四、分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable 構(gòu)建于上述兩項(xiàng)基礎(chǔ)之上的第三個云計(jì)算平臺就是Google關(guān)于將數(shù)據(jù)庫系統(tǒng)擴(kuò)展到分布式平臺上的BigTable系統(tǒng)。很多應(yīng)用程序?qū)τ跀?shù)據(jù)的組織還是非常有規(guī)則的。一般來說，數(shù)據(jù)庫對于處理格式化的數(shù)據(jù)還是非常方便的，但是由于關(guān)系數(shù)據(jù)庫很強(qiáng)的一致性要求，很難將其擴(kuò)展到很大的規(guī)模。為了處理 Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)，Google構(gòu)建了弱一致性要求的大規(guī)模數(shù)據(jù)庫系統(tǒng)BigTable。據(jù)稱，現(xiàn)在有很多Google的應(yīng)用程序建立在BigTable之上，例如Search History、Maps、Orkut和RSS閱讀器等。- 33 -四、分布

19、式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable 下圖2給出了在BigTable模型中的數(shù)據(jù)模型。數(shù)據(jù)模型包括行列以及相應(yīng)的時間戳，所有的數(shù)據(jù)都存放在表格中的單元里。BigTable的內(nèi)容按照行來劃分，將多個行組成一個小表，保存到某一個服務(wù)器節(jié)點(diǎn)中。這一個小表就被稱為Tablet。以上是Google內(nèi)部云計(jì)算基礎(chǔ)平臺的三個主要部分，除了這三個部分之外，Google還建立了分布式程序的調(diào)度器，分布式的鎖服務(wù)等一系列相關(guān)的云計(jì)算服務(wù)平臺。- 34 -四、分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable - 35 -實(shí)例2: 亞馬遜的彈性計(jì)算云 亞馬遜是互聯(lián)網(wǎng)上最大的在線零售商，但是同時也為獨(dú)立開發(fā)人員以及開發(fā)商提

20、供云計(jì)算服務(wù)平臺。亞馬遜將他們的云計(jì)算平臺稱為彈性計(jì)算云（Elastic Compute Cloud，EC2），它是最早提供遠(yuǎn)程云計(jì)算平臺服務(wù)的公司。- 36 -實(shí)例2: 亞馬遜的彈性計(jì)算云開放的服務(wù)與 Google提供的云計(jì)算服務(wù)不同，Google僅為自己在互聯(lián)網(wǎng)上的應(yīng)用提供云計(jì)算平臺，獨(dú)立開發(fā)商或者開發(fā)人員無法在這個平臺上工作，因此只能轉(zhuǎn)而通過開源的Hadoop軟件支持來開發(fā)云計(jì)算應(yīng)用。亞馬遜的彈性計(jì)算云服務(wù)也和IBM的云計(jì)算服務(wù)平臺不一樣，亞馬遜不銷售物理的云計(jì)算服務(wù)平臺，沒有類似于“藍(lán)云”一樣的計(jì)算平臺。亞馬遜將自己的彈性計(jì)算云建立在公司內(nèi)部的大規(guī)模集群計(jì)算的平臺之上，而用戶可以通過彈

21、性計(jì)算云的網(wǎng)絡(luò)界面去操作在云計(jì)算平臺上運(yùn)行的各個實(shí)例（Instance），而付費(fèi)方式則由用戶的使用狀況決定，即用戶僅需要為自己所使用的計(jì)算平臺實(shí)例付費(fèi)，運(yùn)行結(jié)束后計(jì)費(fèi)也隨之結(jié)束。- 37 -實(shí)例2: 亞馬遜的彈性計(jì)算云開放的服務(wù)彈性計(jì)算云從沿革上來看，并不是亞馬遜公司推出的第一項(xiàng)這種服務(wù)，它由名為亞馬遜網(wǎng)絡(luò)服務(wù)的現(xiàn)有平臺發(fā)展而來。早在2006年3月，亞馬遜就發(fā)布了簡單存儲服務(wù)（Simple Storage Service，S3），這種存儲服務(wù)按照每個月類似租金的形式進(jìn)行服務(wù)付費(fèi)，同時用戶還需要為相應(yīng)的網(wǎng)絡(luò)流量進(jìn)行付費(fèi)。亞馬遜網(wǎng)絡(luò)服務(wù)平臺使用REST（Representational State

22、 Transfer）和簡單對象訪問協(xié)議（SOAP）等標(biāo)準(zhǔn)接口，用戶可以通過這些接口訪問到相應(yīng)的存儲服務(wù)。- 38 -實(shí)例2: 亞馬遜的彈性計(jì)算云開放的服務(wù)2007 年7月，亞馬遜公司推出了簡單隊(duì)列服務(wù)（Simple Queue Service，SQS），這項(xiàng)服務(wù)使托管主機(jī)可以存儲計(jì)算機(jī)之間發(fā)送的消息。通過這一項(xiàng)服務(wù)，應(yīng)用程序編寫人員可以在分布式程序之間進(jìn)行數(shù)據(jù)傳遞，而無須考慮消息丟失的問題。即使消息的接收方還沒有模塊啟動也沒有關(guān)系。服務(wù)內(nèi)部會緩存相應(yīng)的消息，而一旦有消息接收組件被啟動運(yùn)行，則隊(duì)列服務(wù)將消息提交給相應(yīng)的運(yùn)行模塊進(jìn)行處理。同樣的，用戶必須為這種消息傳遞服務(wù)進(jìn)行付費(fèi)使用，計(jì)費(fèi)的規(guī)則與

23、存儲計(jì)費(fèi)規(guī)則類似，依據(jù)消息的個數(shù)以及消息傳遞的大小進(jìn)行收費(fèi)。- 39 -實(shí)例2: 亞馬遜的彈性計(jì)算云開放的服務(wù)在亞馬遜提供上述服務(wù)的時候，并沒有從頭開始開發(fā)相應(yīng)的網(wǎng)絡(luò)服務(wù)組件，而是對公司已有的平臺進(jìn)行優(yōu)化和改造，一方面滿足了本身網(wǎng)絡(luò)零售購物應(yīng)用程序的需求，另一方面也供外部開發(fā)人員使用。在開放了上述的服務(wù)接口之后，亞馬遜公司進(jìn)一步在此基礎(chǔ)上開發(fā)了EC2系統(tǒng)，并且開放給外部開發(fā)人員使用。- 40 -實(shí)例2: 亞馬遜的彈性計(jì)算云靈活的工作模式亞馬遜的云計(jì)算模式沿襲了簡單易用的傳統(tǒng)，并且建立在亞馬遜公司現(xiàn)有的云計(jì)算基礎(chǔ)平臺之上。彈性計(jì)算云用戶使用客戶端通過SOAP over HTTPS協(xié)議來實(shí)現(xiàn)與亞馬

24、遜彈性計(jì)算云內(nèi)部的實(shí)例進(jìn)行交互。使用HTTPS協(xié)議的原因是為了保證遠(yuǎn)端連接的安全性，避免用戶數(shù)據(jù)在傳輸?shù)倪^程中造成泄露。因此，從使用模式上來說，彈性計(jì)算云平臺為用戶或者開發(fā)人員提供了一個虛擬的集群環(huán)境，使得用戶的應(yīng)用具有充分的靈活性，同時也減輕了云計(jì)算平臺擁有者（亞馬遜公司）的管理負(fù)擔(dān)。- 41 -實(shí)例2: 亞馬遜的彈性計(jì)算云靈活的工作模式彈性計(jì)算云中的實(shí)例是一些真正在運(yùn)行中的虛擬機(jī)服務(wù)器，每一個實(shí)例代表一個運(yùn)行中的虛擬機(jī)。對于提供給某一個用戶的虛擬機(jī)，該用戶具有完整的訪問權(quán)限，包括針對此虛擬機(jī)的管理員用戶權(quán)限。虛擬服務(wù)器的收費(fèi)也是根據(jù)虛擬機(jī)的能力進(jìn)行計(jì)算的，因此，實(shí)際上用戶租用的是虛擬的計(jì)算

25、能力，簡化了計(jì)費(fèi)方式。在彈性計(jì)算云中，提供了三種不同能力的虛擬機(jī)實(shí)例，具有不同的收費(fèi)價格。例如，其中默認(rèn)的也是最小的運(yùn)行實(shí)例是的內(nèi)存，1個EC2的計(jì)算單元（1虛擬的計(jì)算核以相關(guān)的計(jì)算單元），160GB的虛擬機(jī)內(nèi)部存儲容量，是一個32 位的計(jì)算平臺，收費(fèi)標(biāo)準(zhǔn)為每個小時10美分。- 42 -實(shí)例2: 亞馬遜的彈性計(jì)算云靈活的工作模式由于用戶在部署網(wǎng)絡(luò)程序的時候，一般會使用超過一個運(yùn)行實(shí)例，需要很多個實(shí)例共同工作。彈性計(jì)算云的內(nèi)部也架設(shè)了實(shí)例之間的內(nèi)部網(wǎng)絡(luò)，使得用戶的應(yīng)用程序在不同的實(shí)例之間可以通信。在彈性計(jì)算云中的每一個計(jì)算實(shí)例都具有一個內(nèi)部的IP地址，用戶程序可以使用內(nèi)部IP地址進(jìn)行數(shù)據(jù)通信，以

26、獲得數(shù)據(jù)通信的最好性 能。每一個實(shí)例也具有外部的地址，用戶可以將分配給自己的彈性IP地址分配給自己的運(yùn)行實(shí)例，使得建立在彈性計(jì)算云上的服務(wù)系統(tǒng)能夠?yàn)橥獠刻峁┓?wù)。當(dāng)然，亞馬遜公司也對網(wǎng)絡(luò)上的服務(wù)流量計(jì)費(fèi)，計(jì)費(fèi)規(guī)則也按照內(nèi)部傳輸以及外部傳輸進(jìn)行分開。- 43 -實(shí)例2: 亞馬遜的彈性計(jì)算云靈活的工作模式總而言之，亞馬遜通過提供彈性計(jì)算云，減少了小規(guī)模軟件開發(fā)人員對于集群系統(tǒng)的維護(hù)，并且收費(fèi)方式相對簡單明了，用戶使用多少資源，只需要為這一部分資源付費(fèi)即可。這種付費(fèi)方式與傳統(tǒng)的主機(jī)托管模式不同。傳統(tǒng)的主機(jī)托管模式讓用戶將主機(jī)放入到托管公司，用戶一般需要根據(jù)最大或者計(jì)劃的容量進(jìn)行付費(fèi)，而不是根據(jù)使用情

27、況進(jìn)行付費(fèi)，而且，可能還需要保證服務(wù)的可靠性、可用性等，付出的費(fèi)用更多，而很多時候，服務(wù)并沒有進(jìn)行滿額資源使用。而根據(jù)亞馬遜的模式，用戶只需要為實(shí)際使用情況付費(fèi)即可。- 44 -實(shí)例2: 亞馬遜的彈性計(jì)算云靈活的工作模式在用戶使用模式上，亞馬遜的彈性計(jì)算云要求用戶要創(chuàng)建基于亞馬遜規(guī)格的服務(wù)器映像（名為亞馬遜機(jī)器映像即亞馬遜 Machine Image, AMI）。彈性計(jì)算云的目標(biāo)是服務(wù)器映像能夠擁有用戶想要的任何一種操作系統(tǒng)、應(yīng)用程序、配置、登錄和安全機(jī)制。通過創(chuàng)建自己的AMI，或者使用亞馬遜預(yù)先為用戶提供的AMI，用戶在完成這一步驟后將AMI上傳到彈性計(jì)算云平臺，然后調(diào)用亞馬遜的應(yīng)用編程接口

28、（API），對AMI進(jìn)行使用與管理。AMI實(shí)際上就是虛擬機(jī)的映像，用戶可以使用它們來完成任何工作，例如運(yùn)行數(shù)據(jù)庫服務(wù)器，構(gòu)建快速網(wǎng)絡(luò)下載的平臺， 提供外部搜索服務(wù)甚至可以出租自己具有特色的AMI而獲得收益。用戶所擁有的多個AMI可以通過通信而彼此合作，就像當(dāng)前的集群計(jì)算服務(wù)平臺一樣。- 45 -實(shí)例2: 亞馬遜的彈性計(jì)算云靈活的工作模式在彈性計(jì)算云的將來發(fā)展過程中，亞馬遜也規(guī)劃了如何在云計(jì)算平臺之上幫助用戶開發(fā)的應(yīng)用程序。亞馬遜認(rèn)為除了它所依賴的網(wǎng)絡(luò)零售業(yè)務(wù)之外，云計(jì)算也是亞馬遜公司的核心價值所在?？梢灶A(yù)見，在將來的發(fā)展過程中，亞馬遜必然會在彈性計(jì)算云的平臺上添加更多的網(wǎng)絡(luò)服務(wù)組件模塊，為用戶

29、構(gòu)建云計(jì)算應(yīng)用提供方便。- 46 -實(shí)例2: 亞馬遜的彈性計(jì)算云靈活的工作模式- 47 -實(shí)例3: IBM藍(lán)云計(jì)算平臺 IBM在2007年11月15日推出了藍(lán)云計(jì)算平臺，為客戶帶來即買即用的云計(jì)算平臺。它包括一系列的云計(jì)算產(chǎn)品，使得計(jì)算不僅僅局限在本地機(jī)器或遠(yuǎn)程服務(wù)器農(nóng)場（即服務(wù)器集群），通過架構(gòu)一個分布式、可全球訪問的資源結(jié)構(gòu)，使得數(shù)據(jù)中心在類似于互聯(lián)網(wǎng)的環(huán)境下運(yùn)行計(jì)算。- 48 -實(shí)例3: IBM藍(lán)云計(jì)算平臺 “藍(lán)云”建立在IBM大規(guī)模計(jì)算領(lǐng)域的專業(yè)技術(shù)基礎(chǔ)上，基于由IBM軟件、系統(tǒng)技術(shù)和服務(wù)支 持的開放標(biāo)準(zhǔn)和開源軟件。簡單地說，“藍(lán)云”基于IBM Almaden研究中心的云基礎(chǔ)架構(gòu)，包括

30、Xen和PowerVM虛擬化、Linux操作系統(tǒng)映像以及Hadoop文件系統(tǒng)與并行構(gòu)建。“藍(lán)云”由IBM Tivoli軟件支持，通過管理服務(wù)器來確保基于需求的最佳性能。這包括通過能夠跨越多服務(wù)器實(shí)時分配資源的軟件，為客戶帶來一種無縫體驗(yàn)，加速性能并確 保在最苛刻環(huán)境下的穩(wěn)定性。- 49 -實(shí)例3: IBM藍(lán)云計(jì)算平臺 下圖演示了藍(lán)云計(jì)算的高層架構(gòu)?？梢钥吹?，藍(lán)云計(jì)算平臺由一個數(shù)據(jù)中心: IBM Tivoli部署管理軟件（Tivoli Provisioning Manager）、IBM Tivoli監(jiān)控軟件（IBM Tivoli Monitoring）、IBM WebSphere應(yīng)用服務(wù)器、IB

31、M DB2數(shù)據(jù)庫以及一些虛擬化的組件共同組成。圖中的架構(gòu)主要描述了云計(jì)算的后臺架構(gòu)，并沒有涉及到前臺的用戶界面。- 50 -實(shí)例3: IBM藍(lán)云計(jì)算平臺 - 51 -實(shí)例3: IBM藍(lán)云計(jì)算平臺 藍(lán)云的硬件平臺并沒有什么特殊的地方，但是藍(lán)云使用的軟件平臺相較于以前的分布式平臺具有不同的地方，主要體現(xiàn)在對與虛擬機(jī)的使用以及對于大規(guī)模數(shù)據(jù)處理軟件Apache Hadoop的部署。Hadoop是網(wǎng)絡(luò)開發(fā)人員根據(jù)Google公司公開的資料開發(fā)出來的類似于Google File System的Hadoop File System以及相應(yīng)的Map/Reduce編程規(guī)范?，F(xiàn)在也正在進(jìn)一步開發(fā)類似于Googl

32、e的Chubby系統(tǒng)以及相應(yīng)的分布式數(shù)據(jù)庫管理系統(tǒng) BigTable。由于Hadoop是開源的，因此可以被用戶單位直接修改，以適合應(yīng)用的特殊需求。IBM的藍(lán)云產(chǎn)品則直接將Hadoop軟件集成到自己本身的云計(jì)算平臺之上。- 52 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的虛擬化從藍(lán)云的結(jié)構(gòu)上我們還可以看出，在每一個節(jié)點(diǎn)上運(yùn)行的軟件棧與傳統(tǒng)的軟件棧一個很大的不同在于藍(lán)云內(nèi)部使用了虛擬化技術(shù)。虛擬化的方式在云計(jì)算中可以在兩個級別上實(shí)現(xiàn)。一個級別是在硬件級別上實(shí)現(xiàn)虛擬化。硬件級別的虛擬化可以使用IBM p系列的服務(wù)器，獲得硬件的邏輯分區(qū)LPAR。邏輯分區(qū)的CPU資源能夠通過IBM Enterprise

33、 Workload Manager來管理。通過這樣的方式加上在實(shí)際使用過程中的資源分配策略，能夠使得相應(yīng)的資源合理地分配到各個邏輯分區(qū)。P系列系統(tǒng)的邏輯分區(qū)最小粒度是1/10顆中央處理器（CPU）。- 53 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的虛擬化虛擬化的另外一個級別可以通過軟件來獲得，在藍(lán)云計(jì)算平臺中使用了Xen虛擬化軟件。Xen也是一個開源的虛擬化軟件，能夠在現(xiàn)有的Linux基礎(chǔ)之上運(yùn)行另外一個操作系統(tǒng)，并通過虛擬機(jī)的方式靈活地進(jìn)行軟件部署和操作。通過虛擬機(jī)的方式進(jìn)行云計(jì)算資源的管理具有特殊的好處。由于虛擬機(jī)是一類特殊的軟件，能夠完全模擬硬件的執(zhí)行，因此能夠在上面運(yùn)行操作系統(tǒng)，進(jìn)而

34、能夠保留一整套運(yùn)行環(huán)境語義。這樣，可以將整個執(zhí)行環(huán)境通過打包的方式傳輸?shù)狡渌锢砉?jié)點(diǎn)上，這樣就能夠使得執(zhí)行環(huán)境與物理環(huán)境隔離，方便整個應(yīng)用程序模塊的部署?？傮w上來說，通過將虛擬化的技術(shù)應(yīng)用到云計(jì)算的平臺，可以獲得一些良好的特性。- 54 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的虛擬化1. 云計(jì)算的管理平臺能夠動態(tài)地將計(jì)算平臺定位到所需要的物理平臺上，而無需停止運(yùn)行在虛擬機(jī)平臺上的應(yīng)用程序，這比采用虛擬化技術(shù)之前的進(jìn)程遷移方法更加靈活。2. 能夠更加有效率地使用主機(jī)資源，將多個負(fù)載不是很重的虛擬機(jī)計(jì)算節(jié)點(diǎn)合并到同一個物理節(jié)點(diǎn)上，從而能夠關(guān)閉空閑的物理節(jié)點(diǎn)，達(dá)到節(jié)約電能的目的。- 55 -實(shí)例3

35、: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的虛擬化3. 通過虛擬機(jī)在不同物理節(jié)點(diǎn)上的動態(tài)遷移，能夠獲得與應(yīng)用無關(guān)的負(fù)載平衡性能。由于虛擬機(jī)包含了整個虛擬化的操作系統(tǒng)以及應(yīng)用程序環(huán)境，因此在進(jìn)行遷移的時候帶著整個運(yùn)行環(huán)境，達(dá)到了與應(yīng)用無關(guān)的目的。4. 在部署上也更加靈活，即可以將虛擬機(jī)直接部署到物理計(jì)算平臺當(dāng)中?？偠灾?，通過虛擬化的方式，云計(jì)算平臺能夠達(dá)到極其靈活的特性，而如果不使用虛擬化的方式則會有很多的局限。- 56 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的存儲結(jié)構(gòu) 藍(lán)云計(jì)算平臺中的存儲體系結(jié)構(gòu)對于云計(jì)算來說也是非常重要的，無論是操作系統(tǒng)，服務(wù)程序還是用戶應(yīng)用程序的數(shù)據(jù)都保存在存儲體系中。云計(jì)算并

36、不排斥任何一種有用的存儲體系結(jié)構(gòu)，而是需要跟應(yīng)用程序的需求結(jié)合起來獲得最好的性能提升。總體上來說，云計(jì)算的存儲體系結(jié)構(gòu)包含類似于Google File System的集群文件系統(tǒng)以及基于塊設(shè)備方式的存儲區(qū)域網(wǎng)絡(luò)SAN兩種方式。- 57 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的存儲結(jié)構(gòu) 在設(shè)計(jì)云計(jì)算平臺的存儲體系結(jié)構(gòu)的時候，不僅僅是需要考慮存儲的容量。實(shí)際上隨著硬盤容量的不斷擴(kuò)充以及硬盤價格的不斷下降，使用當(dāng)前的磁盤技術(shù)，可以很容易通過使用多個磁盤的方式獲得很大的磁盤容量。相較于磁盤的容量，在云計(jì)算平臺的存儲中，磁盤數(shù)據(jù)的讀寫速度是一個更重要的問題。單個磁盤的速度很有可能限制應(yīng)用程序?qū)τ跀?shù)據(jù)的

37、訪問，因此在實(shí)際使用的過程中，需要將數(shù)據(jù)分布到多個磁盤之上，并且通過對于多個磁盤的同時讀寫以達(dá)到提高速度的目的。- 58 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的存儲結(jié)構(gòu) 在云計(jì)算平臺中，數(shù)據(jù)如何放置是一個非常重要的問題，在實(shí)際使用的過程中，需要將數(shù)據(jù)分配到多個節(jié)點(diǎn)的多個磁盤當(dāng)中。而能夠達(dá)到這一目的的存儲技術(shù)趨勢當(dāng)前有兩種方式，一種是使用類似于 Google File System的集群文件系統(tǒng)，另外一種是基于塊設(shè)備的存儲區(qū)域網(wǎng)絡(luò)SAN系統(tǒng)。Google 文件系統(tǒng)我們在前面已經(jīng)做過一定的描述。- 59 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的存儲結(jié)構(gòu) SAN系統(tǒng)也是云計(jì)算平臺的另外一種存儲

38、體系結(jié)構(gòu)選擇，在藍(lán)云平臺上也有一定的體現(xiàn)，IBM也提供SAN的平臺能夠接入到藍(lán)云計(jì)算平臺中。下圖就是一個SAN系統(tǒng)的結(jié)構(gòu)示意圖。- 60 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的存儲結(jié)構(gòu) - 61 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的存儲結(jié)構(gòu) 從圖中可以看到，SAN系統(tǒng)是在存儲端構(gòu)建存儲的網(wǎng)絡(luò)，將多個存儲設(shè)備構(gòu)成一個存儲區(qū)域網(wǎng)絡(luò)。前端的主機(jī)可以通過網(wǎng)絡(luò)的方式訪問后端的存儲設(shè)備。而且，由于提供了塊設(shè)備的訪問方式，與前端操作系統(tǒng)無關(guān)。在SAN連接方式上，可以有多種選擇。一種選擇是使用光纖網(wǎng)絡(luò)，能夠操作快速的光纖磁盤，適合于對性能與可靠性要求比較高的場所。另外一種選擇是使用以太網(wǎng)，采取iSC

39、SI協(xié)議，能夠運(yùn)行在普通的局域網(wǎng)環(huán)境下，從而降低了成本。- 62 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的存儲結(jié)構(gòu) 由于存儲區(qū)域網(wǎng)絡(luò)中的磁盤設(shè)備并沒有與某一臺主機(jī)綁定在一起，而是采用了非常靈活的結(jié)構(gòu)，因此對于主機(jī)來說可以訪問多個磁盤設(shè)備，從而能夠獲得性能的提升。在存儲區(qū)域網(wǎng)絡(luò)中，使用虛擬化的引擎來進(jìn)行邏輯設(shè)備到物理設(shè)備的映射，管理前端主機(jī)到后端數(shù)據(jù)的讀寫。因此虛擬化引擎是存儲區(qū)域網(wǎng)絡(luò)中非常重要的管理模塊。- 63 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的存儲結(jié)構(gòu) SAN系統(tǒng)與分布式文件系統(tǒng)，例如Google File System并不是相互對立的系統(tǒng)，而是在構(gòu)建集群系統(tǒng)的時候可供選擇的兩種

40、方案。其中，在選擇SAN系統(tǒng)的時候，為了應(yīng)用程序的讀寫，還需要為應(yīng)用程序 提供上層的語義接口，此時就需要在SAN之上構(gòu)建文件系統(tǒng)。而Google File System正好是一個分布式的文件系統(tǒng)，因此能夠建立在SAN系統(tǒng)之上?？傮w來說，SAN與分布式文件系統(tǒng)都可以提供類似的功能，例如對于出錯的處理等。至于如何使用還是需要由建立在云計(jì)算平臺之上的應(yīng)用程序來決定。- 64 -實(shí)例3: IBM藍(lán)云計(jì)算平臺“藍(lán)云”中的存儲結(jié)構(gòu) 與Google不同的是，IBM并沒 有基于云計(jì)算提供外部可訪問的網(wǎng)絡(luò)應(yīng)用程序。這主要是由于IBM并不是一個網(wǎng)絡(luò)公司，而是一個IT的服務(wù)公司。當(dāng)然，IBM內(nèi)部以及IBM未來為客戶提供 的軟件服務(wù)會基于云計(jì)算的架構(gòu)。目錄云計(jì)算體系概述云計(jì)算技術(shù)體