MF0933023-莫志剛-云計算技術(shù)和體系結(jié)構(gòu)調(diào)研.ppt

1、云計算體系結(jié)構(gòu),云計算基本原理 云計算是對分布式處理（Distributed Computing）、并行處理（Parallel Computing）和網(wǎng)格計算（Grid Computing）及分布式數(shù)據(jù)庫的改進處理，其前身是利用并行計算解決大型問題的網(wǎng)格計算和將計算資源作為可計量的服務(wù)提供的公用計算，在互聯(lián)網(wǎng)寬帶技術(shù)和虛擬化技術(shù)高速發(fā)展后萌生出云計算。 許多云計算公司和研究人員對云計算采用各種方式進行描述和定義，基于云計算的發(fā)展和我們對云計算的理解，概括性給出云計算的基本原理為：利用非本地或遠程服務(wù)器（集群）的分布式計算機為互聯(lián)網(wǎng)用戶提供服務(wù)（計算、存儲、軟硬件等服務(wù)）。這使得用戶可以將資源切

2、換到需要的應(yīng)用上，根據(jù)需求訪問計算機和存儲系統(tǒng)。云計算可以把普通的服務(wù)器或者PC連接起來以獲得超級計算機計算機的計算和存儲等功能，但是成本更低。云計算真正實現(xiàn)了按需計算，從而有效地提高了對軟硬件資源的利用效率。云計算的出現(xiàn)使高性并行計算不再是科學家和專業(yè)人士的專利，普通的用戶也能通過云計算享受高性能并行計算所帶來的便利，使人人都有機會使用并行機，從而大大提高了工作效率和計算資源的利用率。云計算模式中用戶不需要了解服務(wù)器在哪里，不用關(guān)心內(nèi)部如何運作，通過高速互聯(lián)網(wǎng)就可以透明地使用各種資源。,云計算體系結(jié)構(gòu),云計算是全新的基于互聯(lián)網(wǎng)的超級計算理念和模式，實現(xiàn)云計算需要多種技術(shù)結(jié)合，并且需要用軟件實

3、現(xiàn)將硬件資源進行虛擬化管理和調(diào)度，形成一個巨大的虛擬化資源池，把存儲于個人電腦、移動設(shè)備和其他設(shè)備上的大量信息和處理器資源集中在一起，協(xié)同工作。 按照最大眾化、最通俗理解云計算就是把計算資源都放到互聯(lián)網(wǎng)上，互聯(lián)網(wǎng)即是云計算時代的云。計算資源則包括了計算機硬件資源（如計算機設(shè)備、存儲設(shè)備、服務(wù)器集群、硬件服務(wù)等）和軟件資源（如應(yīng)用軟件、集成開發(fā)環(huán)境、軟件服務(wù)）。 云計算體系結(jié)構(gòu) 云計算平臺是一個強大的“云”網(wǎng)絡(luò)，連接了大量并發(fā)的網(wǎng)絡(luò)計算和服務(wù)，可利用虛擬化技術(shù)擴展每一個服務(wù)器的能力，將各自的資源通過云計算平臺結(jié)合起來，提供超級計算和存儲能力。通用的云計算體系結(jié)構(gòu)如下圖所示：,云計算體系結(jié)構(gòu),云用

4、戶端：提供云用戶請求服務(wù)的交互界面，也是用戶使用云的入口，用戶通過Web瀏覽器可以注冊、登錄及定制服務(wù)、配置和管理用戶。打開應(yīng)用實例與本地操作桌面系統(tǒng)一樣。 服務(wù)目錄：云用戶在取得相應(yīng)權(quán)限（付費或其他限制）后可以選擇或定制的服務(wù)列表，也可以對已有服務(wù)進行退訂的操作，在云用戶端界面生成相應(yīng)的圖標或列表的形式展示相關(guān)的服務(wù)。,云計算體系結(jié)構(gòu),管理系統(tǒng)和部署工具：提供管理和服務(wù)，能管理云用戶，能對用戶授權(quán)、認證、登錄進行管理，并可以管理可用計算資源和服務(wù)，接收用戶發(fā)送的請求，根據(jù)用戶請求并轉(zhuǎn)發(fā)到相應(yīng)的相應(yīng)程序，調(diào)度資源智能地部署資源和應(yīng)用，動態(tài)地部署、配置和回收資源。 監(jiān)控：監(jiān)控和計量云系統(tǒng)資源的使

5、用情況，以便做出迅速反應(yīng)，完成節(jié)點同步配置、負載均衡配置和資源監(jiān)控，確保資源能順利分配給合適的用戶。 服務(wù)器集群：虛擬的或物理的服務(wù)器，由管理系統(tǒng)管理，負責高并發(fā)量的用戶請求處理、大運算量計算處理、用戶Web應(yīng)用服務(wù)，云數(shù)據(jù)存儲時采用相應(yīng)數(shù)據(jù)切割算法采用并行方式上傳和下載大容量數(shù)據(jù)。 用戶可通過云用戶端從列表中選擇所需的服務(wù)，其請求通過管理系統(tǒng)調(diào)度相應(yīng)的資源，并通過部署工具分發(fā)請求、配置Web應(yīng)用。,云計算體系結(jié)構(gòu),云計算服務(wù)層次 在云計算中，根據(jù)其服務(wù)集合所提供的服務(wù)類型，整個云計算服務(wù)集合被劃分成4個層次：應(yīng)用層、平臺層、基礎(chǔ)設(shè)施層和虛擬化層。這4個層次每一層都對應(yīng)著一個子服務(wù)集合，為云計

6、算服務(wù)層次如下圖所示：,云計算體系結(jié)構(gòu),云計算的服務(wù)層次是根據(jù)服務(wù)類型即服務(wù)集合來劃分，與大家熟悉的計算機網(wǎng)絡(luò)體系結(jié)構(gòu)中層次的劃分不同。在計算機網(wǎng)絡(luò)中每個層次都實現(xiàn)一定的功能，層與層之間有一定關(guān)聯(lián)。而云計算體系結(jié)構(gòu)中的層次是可以分割的，即某一層次可以單獨完成一項用戶的請求而不需要其他層次為其提供必要的服務(wù)和支持。 在云計算服務(wù)體系結(jié)構(gòu)中各層次與相關(guān)云產(chǎn)品對應(yīng)。 應(yīng)用層對應(yīng)SaaS軟件即服務(wù)如：Google APPS、SoftWare+Services； 平臺層對應(yīng)PaaS平臺即服務(wù)如：IBM IT Factory、Google APPEngine、F； 基礎(chǔ)設(shè)施層對應(yīng)IaaS基礎(chǔ)設(shè)施即服務(wù)如：

7、Amazo Ec2、IBM Blue Cloud、Sun Grid； 虛擬化層對應(yīng)硬件即服務(wù)結(jié)合Paas提供硬件服務(wù)，包括服務(wù)器集群及硬件檢測等服務(wù)。,云計算體系結(jié)構(gòu),云計算技術(shù)層次 云計算技術(shù)層次和云計算服務(wù)層次不是一個概念，后者從服務(wù)的角度來劃分云的層次，主要突出了云服務(wù)能給我?guī)硎裁?。而云計算的技術(shù)層次主要從系統(tǒng)屬性和設(shè)計思想角度來說明云，是對軟硬件資源在云計算技術(shù)中所充當角色的說明。從云計算技術(shù)角度來分，云計算大約有4部分構(gòu)成：物理資源、虛擬化資源、中間件管理部分和服務(wù)接口，如下圖所示： 服務(wù)接口：統(tǒng)一規(guī)定了在云計算時代使用計算機的各種規(guī)范、云計算服務(wù)的各種標準等，用戶端與云端交互操作

8、的入口，可以完成用戶或服務(wù)注冊，對服務(wù)的定制和使用。,云計算體系結(jié)構(gòu),云計算體系結(jié)構(gòu),服務(wù)管理中間件：在云計算技術(shù)中，中間件位于服務(wù)和服務(wù)器集群之間，提供管理和服務(wù)即云計算體系結(jié)構(gòu)中的管理系統(tǒng)。對標識、認證、授權(quán)、目錄、安全性等服務(wù)進行標準化和操作，為應(yīng)用提供統(tǒng)一的標準化程序接口和協(xié)議，隱藏底層硬件、操作系統(tǒng)和網(wǎng)絡(luò)的異構(gòu)性，統(tǒng)一管理網(wǎng)絡(luò)資源。其用戶管理包括用戶身份驗證、用戶許可、用戶定制管理；資源管理包括負載均衡、資源監(jiān)控、故障檢測等；安全管理包括身份驗證、訪問授權(quán)、安全審計、綜合防護等；映像管理包括映像創(chuàng)建、部署、管理等。 虛擬化資源：指一些可以實現(xiàn)一定操作具有一定功能，但其本身是虛擬而不是

9、真實的資源，如計算池，存儲池和網(wǎng)絡(luò)池、數(shù)據(jù)庫資源等，通過軟件技術(shù)來實現(xiàn)相關(guān)的虛擬化功能包括虛擬環(huán)境、虛擬系統(tǒng)、虛擬平臺。 物理資源：主要指能支持計算機正常運行的一些硬件設(shè)備及技術(shù)，可以是價格低廉的PC，也可以是價格昂貴的服務(wù)器及磁盤陣列等設(shè)備，可以通過現(xiàn)有網(wǎng)絡(luò)技術(shù)和并行技術(shù)、分布式技術(shù)將分散的計算機組成一個能提供超強功能的集群用于計算和存儲等云計算操作。在云計算時代，本地計算機可能不再像傳統(tǒng)計算機那樣需要空間足夠的硬盤、大功率的處理器和大容量的內(nèi)存，只需要一些必要的硬件設(shè)備如網(wǎng)絡(luò)設(shè)備和基本的輸入輸出設(shè)備等。,云計算體系結(jié)構(gòu),典型云計算平臺 云計算的研究吸引了不同技術(shù)領(lǐng)域巨頭，因此對云計算理論及

10、實現(xiàn)架構(gòu)也有所不同。如亞馬遜利用虛擬化技術(shù)提供云計算服務(wù)，推出S3（Simple Storage Service）提供可靠、快速、可擴展的網(wǎng)絡(luò)存儲服務(wù)，而彈性可擴展的云計算服務(wù)器EC2（Elastic Compute Cloud）采用Xen虛擬化技術(shù)，提供一個虛擬的執(zhí)行環(huán)境（虛擬機器），讓用戶通過互聯(lián)網(wǎng)來執(zhí)行自己的應(yīng)用程序。IBM將包括Xen和PowerVM虛擬的Linux 操作系統(tǒng)鏡像與Hadoop并行工作負載調(diào)度。下面以Google公司的云計算核心技術(shù)和架構(gòu)作基本講解。 云計算的先行者Google的云計算平臺能實現(xiàn)大規(guī)模分布式計算和應(yīng)用服務(wù)程序，平臺包括MapReduce分布式處理技術(shù)、H

11、adoop框架、分布式的文件系統(tǒng)GFS、結(jié)構(gòu)化的BigTable存儲系統(tǒng)以及Google其他的云計算支撐要素。 現(xiàn)有的云計算通過對資源層、平臺層和應(yīng)用層的虛擬化以及物理上的分布式集成，將龐大的IT資源整合在一起。更重要的是，云計算不僅僅是資源的簡單匯集，它為我們提供了一種管理機制，讓整個體系作為一個虛擬的資源池對外提供服務(wù)，并賦予開發(fā)者透明獲取資源、使用資源的自由。,云計算體系結(jié)構(gòu),MapReduce分布式處理技術(shù) MapReduce是Google開發(fā)的Java、Python、C+編程工具，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算，也是云計算的核心技術(shù)，一種分布式運算技術(shù)，也是簡化的分布式編程

12、模式，適合用來處理大量數(shù)據(jù)的分布式運算，用于解決問題的程序開發(fā)模型，也是開發(fā)人員拆解問題的方法。 MapReduce模式的思想是將要執(zhí)行的問題拆解成Map（映射）和Reduce（化簡）的方式，先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計算機處理達到分布運算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯整，輸出開發(fā)者需要的結(jié)果。 MapReduce的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，把鍵值對（key/value）映射成新的鍵值對（key/value），形成一系列中間形式的key/value對，然后把它們傳給Reduce（化簡）函數(shù)，把具有相同中間形式key的value合并在一起.

13、map和reduce函數(shù)具有一定的關(guān)聯(lián)性 1. map(k1,v1)-list(k2,v2) 2. reduce(k2,list(v2)-list(v2),云計算體系結(jié)構(gòu),其中v1、v2可以是簡單數(shù)據(jù)，也可以是一組數(shù)據(jù)，對應(yīng)不同的映射函數(shù)規(guī)則。在 Map過程中將數(shù)據(jù)并行，即把數(shù)據(jù)用映射函數(shù)規(guī)則分開，而Reduce則把分開的數(shù)據(jù)用化簡函數(shù)規(guī)則合在一起，也就是說Map是一個分的過程，Reduce則對應(yīng)著合。MapReduce應(yīng)用廣泛，包括簡單計算任務(wù)、海量輸入數(shù)據(jù)、集群計算環(huán)境等，如分布grep、分布排序、單詞計數(shù)、Web連接圖反轉(zhuǎn)、每臺機器的詞矢量、Web訪問日志分析、反向索引構(gòu)建、文檔聚類、機

14、器學習、基于統(tǒng)計的機器翻譯等。,云計算體系結(jié)構(gòu),Hadoop架構(gòu) 在Google發(fā)表MapReduce后，2004年開源社群用Java搭建出一套Hadoop框架，用于實現(xiàn)MapReduce 算法，能夠把應(yīng)用程序分割成許多很小的工作單元，每個單元可以在任何集群節(jié)點上執(zhí)行或重復(fù)執(zhí)行。 此外，Hadoop 還提供一個分布式文件系統(tǒng)GFS（Google file system），是一個可擴展、結(jié)構(gòu)化、具備日志的分布式文件系統(tǒng)，支持大型、分布式大數(shù)據(jù)量的讀寫操作，其容錯性較強。 而分布式數(shù)據(jù)庫（BigTable）是一個有序、稀疏、多維度的映射表，有良好的伸縮性和高可用性，用來將數(shù)據(jù)存儲或部署到各個計算節(jié)

15、點上。 Hadoop 框架具有高容錯性及對數(shù)據(jù)讀寫的高吞吐率，能自動處理失敗節(jié)點，如圖3-5所示為Google Hadoop架構(gòu)。,在架構(gòu)中MapReduce API提供Map和Reduce處理、GFS分布式文件系統(tǒng)和BigTable分布式數(shù)據(jù)庫提供數(shù)據(jù)存取?；贖adoop可以非常輕松和方便完成處理海量數(shù)據(jù)的分布式并行程序，并運行于大規(guī)模集群上。,云計算體系結(jié)構(gòu),Google云計算執(zhí)行過程 云計算服務(wù)方式多種多樣，通過對Google云計算架構(gòu)及技術(shù)的理解，在此我們給出用戶將要執(zhí)行的程序或處理的問題提交云計算的平臺Hadoop，其執(zhí)行過程如下圖所示：,云計算體系結(jié)構(gòu),如圖所示的Google云計

16、算執(zhí)行過程包括以下步驟。 （1）將要執(zhí)行的MPI程序復(fù)制到Hadoop框架中的Master和每一臺Worker機器中。 （2）Master選擇由哪些Worker機器來執(zhí)行Map程序與Reduce程序。 （3）分配所有的數(shù)據(jù)區(qū)塊到執(zhí)行Map程序的Worker機器中進行Map（切割成小塊數(shù)據(jù)）。 （4）將Map后的結(jié)果存入Worker機器。 （5）執(zhí)行Reduce程序的Worker機器，遠程讀取每一份Map結(jié)果，進行混合、匯整與排序，同時執(zhí)行Reduce程序。 （6）將結(jié)果輸出給用戶（開發(fā)者）。 在云計算中為了保證計算和存儲等操作的完整性，充分利用MapReduce的分布和可靠特性，在數(shù)據(jù)上傳和下

17、載過程中根據(jù)各Worker節(jié)點在指定時間內(nèi)反饋的信息判斷節(jié)點的狀態(tài)是正常還是死亡，若節(jié)點死亡則將其負責的任務(wù)分配給別的節(jié)點，確保文件數(shù)據(jù)的完整性。,云計算體系結(jié)構(gòu),云計算應(yīng)用 云計算的表現(xiàn)形式多種多樣，簡單的云計算在人們?nèi)粘＞W(wǎng)絡(luò)應(yīng)用中隨處可見，如騰訊QQ空間提供在線制作Flash圖片，彩字秀提供的個性文字圖片的處理，Google Doc和Google Apps、zoho、用遠程軟件進行Office處理。 對于眾多的服務(wù)，可以將云計算提供的服務(wù)細分為以下7個類型。 （1）SaaS（軟件即服務(wù)）。 軟件廠商將應(yīng)用軟件統(tǒng)一部署在服務(wù)器或服務(wù)器集群上，通過互聯(lián)網(wǎng)提供軟件給用戶。用戶也可以根據(jù)自己實際需

18、要向軟件廠商定制或租用適合自己的應(yīng)用軟件，通過租用方式使用基于Web的軟件來管理企業(yè)經(jīng)營活動。軟件廠商負責管理和維護軟件，對于許多小型企業(yè)來說，SaaS是采用先進技術(shù)的最好途徑，它消除了企業(yè)購買、構(gòu)建和維護基礎(chǔ)設(shè)施和應(yīng)用程序的需要，近年來，SaaS的興起已經(jīng)給傳統(tǒng)軟件企業(yè)帶來強勁的壓力。 在這種模式下，客戶不再像傳統(tǒng)模式那樣花費大量投資用于硬件、軟件、人員，而只需要支出一定的租賃服務(wù)費用，通過互聯(lián)網(wǎng)便可以享受到相應(yīng)的硬件、軟件和維護服務(wù)，享有軟件使用權(quán)和不斷升級，這是網(wǎng)絡(luò)應(yīng)用最具效益的營運模式。,云計算體系結(jié)構(gòu),SaaS通常被用在企業(yè)管理軟件領(lǐng)域、產(chǎn)品技術(shù)和市場，國內(nèi)的廠商以八百客、沃利森為主

19、，主要開發(fā)CRM、ERP等在線應(yīng)用。用友、金蝶等老牌管理軟件廠商也推出在線財務(wù)SaaS產(chǎn)品。國際上其他大型軟件企業(yè)中，微軟提出了Software+SaaS的模式，谷歌推出了與微軟Office競爭的Google Apps，Oracle在收購Sieble升級Sieble on-demand后推出Oracle On-demand，SAP推出了傳統(tǒng)和SaaS的雜交（Hybrid）模式。 （2）平臺即服務(wù)。 平臺即服務(wù)PaaS（Platform as a service）是提供開發(fā)環(huán)境、服務(wù)器平臺、硬件資源等服務(wù)給用戶，用戶可以在服務(wù)提供商的基礎(chǔ)架構(gòu)基礎(chǔ)上開發(fā)開發(fā)程序并通過互聯(lián)網(wǎng)和其服務(wù)器傳給其他用戶。

20、PaaS能夠提供企業(yè)或個人定制研發(fā)的中間件平臺，提供應(yīng)用軟件開發(fā)、數(shù)據(jù)庫、應(yīng)用服務(wù)器、試驗、托管及應(yīng)用服務(wù)，為個人用戶或企業(yè)的團隊協(xié)作。 在云計算服務(wù)中，平臺即服務(wù)包括以下類型服務(wù)。 提供集成開發(fā)環(huán)境。 云服務(wù)提供商開發(fā)、測試、部署、維護應(yīng)用程序等服務(wù)，滿足不同用戶需要的不同開發(fā)周期和集成開發(fā)環(huán)境，多用戶互動測試，版本控制，部署和回滾。,云計算體系結(jié)構(gòu), 集成Web服務(wù)和數(shù)據(jù)庫。 支持SOAP和REST的接口，組成多個網(wǎng)絡(luò)服務(wù)，支持多用戶使用不同數(shù)據(jù)庫的平臺，協(xié)作用戶實現(xiàn)云計算設(shè)計。 支持團隊協(xié)作。 平臺服務(wù)通過共享代碼和預(yù)定義方式，可以界定、更新和跟蹤設(shè)計人員，開發(fā)、測試、質(zhì)量控制完成團隊協(xié)

21、作。 提供實用設(shè)備。 以租用方式提供相應(yīng)設(shè)備（如大型集群系統(tǒng)，存儲系統(tǒng)等）以端到端方式給用戶。 平臺系統(tǒng)比應(yīng)用軟件系統(tǒng)復(fù)雜，是一系列的軟件硬件協(xié)議的系統(tǒng)集合。把平臺獨立于軟件之外來另立為單獨的服務(wù)項目，能夠讓服務(wù)更具有目的化，易于管理和維護。PaaS能給客戶帶來更高性能、更個性化的服務(wù)，也是SaaS今后發(fā)展的趨勢，一個SaaS軟件也能給客戶在互聯(lián)網(wǎng)上提供開發(fā)（自定義）、測試、在線部署應(yīng)用程序的功能，那么這就叫提供平臺服務(wù)PaaS。Salesforce的平臺和八百客的800APP是PaaS的代表產(chǎn)品。PaaS廠商也吸引軟件開發(fā)商在PaaS平臺上開發(fā)、運行并銷售在線軟件。,云計算體系結(jié)構(gòu),（3）按需計算（Utility Computing）。 按需計算，是將多臺服務(wù)器組成的云端計算資源包括計算和存儲，作為計量服務(wù)提供給用戶，由IT領(lǐng)域巨頭如IBM的藍云、Amazon的AWS及提供存儲服務(wù)的虛擬技術(shù)廠商的參與應(yīng)用與云計算結(jié)合的一種商業(yè)模式，它將內(nèi)存、I/O設(shè)備、存儲和計算能力整合成一個虛擬的資源池為整個業(yè)界提供所需要的存儲資源和虛擬化服務(wù)器等服務(wù)。 按需計算用于提供數(shù)據(jù)中心創(chuàng)建的解決方案，幫助企業(yè)用戶創(chuàng)建虛擬的數(shù)據(jù)中心，諸如3Tera的AppLogic，Cohesive Flexible Technologies的按需實現(xiàn)彈性擴展的服務(wù)器。Liqui