云計(jì)算關(guān)鍵技術(shù)及標(biāo)準(zhǔn)化

云計(jì)算關(guān)鍵技術(shù)及標(biāo)準(zhǔn)化分析了云計(jì)算關(guān)鍵的技術(shù)，包括虛擬化/分布式文件系統(tǒng)/分布式數(shù)據(jù)庫等，介紹了相關(guān)云方案實(shí)現(xiàn)，并對(duì)云計(jì)算在IETF/ITU等標(biāo)準(zhǔn)組織的最新研究競(jìng)爭(zhēng)做了說明。1引言云計(jì)算并不是一個(gè)全新的名稱。1961年，圖靈獎(jiǎng)得主JOHNMCCARTHY提出計(jì)算能力將作為一種象水、電一樣的公用事業(yè)提供給用戶。2001年，GOOGLECEOERICSCHMIDT在搜索引擎大會(huì)上首次提出“云計(jì)算”的概念。2004年，AMAZON陸續(xù)推出云計(jì)算服務(wù)，成為少數(shù)幾個(gè)提供9995正常運(yùn)行時(shí)間保證的云計(jì)算供應(yīng)商之一。2007年，隨著IBM，GOOGLE等公司的宣傳，云計(jì)算概念開始獲得全球公眾和媒體的廣泛關(guān)注。云計(jì)算目前并沒有統(tǒng)一的定義。根據(jù)WIKIPEDIA，云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算新方式，通過互聯(lián)網(wǎng)上異構(gòu)、自治的服務(wù)為個(gè)人和企業(yè)用戶提供按需即取的計(jì)算。而BERKELEY大學(xué)則認(rèn)為云計(jì)算是指INTERNET上以服務(wù)發(fā)布的應(yīng)用以及支撐這些服務(wù)的數(shù)據(jù)中心的軟件和硬件。筆者則認(rèn)為，云計(jì)算的概念不僅僅局限于計(jì)算，實(shí)際上直接稱為“云”更加合適，云的本質(zhì)是網(wǎng)絡(luò)為用戶提供的按需即取的服務(wù)SERVICEONDEMAND，包括基于提供計(jì)算能力，存儲(chǔ)能力，以及網(wǎng)絡(luò)能力的各種服務(wù)的組合。正是因?yàn)榉?wù)的按需即取的特性，需要對(duì)應(yīng)于計(jì)算能力、存儲(chǔ)能力、交付能力的各種計(jì)算資源、存儲(chǔ)資源，以及網(wǎng)絡(luò)資源的按需即取的資源池管理和彈性提供。從業(yè)務(wù)提供方式上，云可以提供3種業(yè)務(wù)IAAS將虛擬化的資源直接按需提供給客戶；PAAS在虛擬化的云計(jì)算平臺(tái)上建立支持多種業(yè)務(wù)的應(yīng)用平臺(tái)，再將應(yīng)用接口和開發(fā)環(huán)境、運(yùn)行環(huán)境提供給外部；SAAS在虛擬化的云計(jì)算平臺(tái)上提供按需定制和快速部署的應(yīng)用軟件租用服務(wù)。目前，業(yè)界研究最多的是IAAS和PAAS，本文將針對(duì)IAAS（對(duì)應(yīng)基礎(chǔ)云）和PAAS（對(duì)應(yīng)業(yè)務(wù)云）的關(guān)鍵技術(shù)，實(shí)現(xiàn)方案以及云的標(biāo)準(zhǔn)化進(jìn)行闡述。2關(guān)鍵技術(shù)21虛擬化虛擬化是實(shí)現(xiàn)云計(jì)算的最重要的技術(shù)基礎(chǔ)，虛擬化技術(shù)實(shí)現(xiàn)了物理資源的邏輯抽象和統(tǒng)一表示。通過虛擬化技術(shù)可以提高資源的利用率，并能夠根據(jù)用戶業(yè)務(wù)需求的變化，快速、靈活地進(jìn)行資源部署。211虛擬化平臺(tái)架構(gòu)在云計(jì)算環(huán)境中，通過在物理主機(jī)中同時(shí)運(yùn)行多個(gè)虛擬機(jī)實(shí)現(xiàn)虛擬化。多個(gè)虛擬機(jī)運(yùn)行在虛擬化平臺(tái)上，由虛擬化平臺(tái)實(shí)現(xiàn)對(duì)多個(gè)虛擬機(jī)操作系統(tǒng)的監(jiān)視和多個(gè)虛擬機(jī)對(duì)物理資源的共享。總的來說，我們認(rèn)為虛擬化平臺(tái)是三層結(jié)構(gòu)，最下層是虛擬化層，提供基本的虛擬化能力支持；中間層是控制執(zhí)行層，提供各控制功能的執(zhí)行能力；最上層是管理層，對(duì)執(zhí)行層進(jìn)行策略管理、控制，提供對(duì)虛擬化平臺(tái)統(tǒng)一管理的能力。如圖1所示，虛擬化平臺(tái)應(yīng)該包含虛擬機(jī)監(jiān)視器HYPERVISOR，虛擬資源的管理，虛擬機(jī)遷移，故障恢復(fù)，策略管理（如提供虛擬機(jī)自動(dòng)部署和資源調(diào)配）等功能實(shí)體。各部分具體功能描述如下圖1虛擬化平臺(tái)功能結(jié)構(gòu)（1）虛擬機(jī)管理主要保護(hù)VM的創(chuàng)建、啟動(dòng)、停止、遷移、恢復(fù)和刪除等能力，虛擬機(jī)映像管理，虛擬機(jī)運(yùn)行環(huán)境的自動(dòng)配置和快速部署啟動(dòng)等能力。虛擬機(jī)管理可根據(jù)主機(jī)節(jié)點(diǎn)/虛擬機(jī)的CPU，內(nèi)存，I/O，網(wǎng)絡(luò)等資源使用情況，自動(dòng)地在不同主機(jī)節(jié)點(diǎn)之間遷移VM，使得VM的性能得到保障。也包含主機(jī)節(jié)點(diǎn)的失效保護(hù)，即當(dāng)一個(gè)主機(jī)節(jié)點(diǎn)失效后，該功能實(shí)體能將其上的服務(wù)自動(dòng)轉(zhuǎn)移到其他節(jié)點(diǎn)上繼續(xù)運(yùn)行。（2）高可用CLUSTER用于保證主機(jī)節(jié)點(diǎn)的失效保護(hù)，當(dāng)一個(gè)主機(jī)節(jié)點(diǎn)失效后，CLUSTER自動(dòng)將其上的服務(wù)轉(zhuǎn)移到集群中的其他節(jié)點(diǎn)上繼續(xù)運(yùn)行。該CLUSTER還可具有負(fù)載均衡和存儲(chǔ)集群的能力。（3）動(dòng)態(tài)資源調(diào)配虛擬存儲(chǔ)、網(wǎng)絡(luò)創(chuàng)建、配置、修改和刪除等能力。當(dāng)一個(gè)VM的內(nèi)存、外出或網(wǎng)絡(luò)資源不足時(shí)，可臨時(shí)借用同節(jié)點(diǎn)中其他VM暫時(shí)不使用的同類資源。（4）動(dòng)態(tài)負(fù)載均衡兼顧能源消耗和工作負(fù)載的均衡。根據(jù)策略需要，可開啟/關(guān)閉部分主機(jī)節(jié)點(diǎn)，并遷移關(guān)聯(lián)的VM。（5）管理工具包含虛擬化平臺(tái)需要支持的一套工具，如P2V（PHYSICALTOVIRTUAL），V2P（VIRTUALTOPHYSICAL），VA（VIRTUALAPPLICATION），JEOS（JUSTENOUGHOPERATINGSYSTEM）等。（6）主機(jī)安全用于保證VM運(yùn)行環(huán)境的安全，包含一組軟件，如ANTIVIRUS，IDS等。212虛擬化平臺(tái)部署如圖2所示，在實(shí)際部署中，由于CLUSTER、動(dòng)態(tài)資源分配、主機(jī)安全等與HYPERVISOR關(guān)系密切，可以作為獨(dú)立的軟件部署在主機(jī)節(jié)點(diǎn)之中。其他功能都可以集成在一起，形成VM管理器。這樣進(jìn)行功能分配后，整個(gè)虛擬化平臺(tái)可以分為兩個(gè)軟件包一是HYPERVISORHOSTOS軟件包，駐留在主機(jī)節(jié)點(diǎn)中；二是VM管理器軟件包。兩者之間的接口將被簡(jiǎn)化為配置、簡(jiǎn)單控制、查看和監(jiān)控幾類。圖2虛擬化平臺(tái)系統(tǒng)架構(gòu)圖運(yùn)行VM的主機(jī)利用CLUSTER功能組成一個(gè)高可用的集群系統(tǒng)，當(dāng)其中的某個(gè)節(jié)點(diǎn)失效時(shí)，可無需VM管理器的干涉，自動(dòng)地將失效節(jié)點(diǎn)上的服務(wù)遷移到其他節(jié)點(diǎn)，并為其重新分配存儲(chǔ)和網(wǎng)絡(luò)資源，使得服務(wù)不間斷。VM管理可部署在獨(dú)立的服務(wù)器上，由其負(fù)責(zé)對(duì)虛擬化平臺(tái)的告警、運(yùn)行狀況監(jiān)控、負(fù)載調(diào)整等工作。虛擬化平臺(tái)物理部署如圖3所示。圖3虛擬化平臺(tái)部署圖213虛擬化平臺(tái)的優(yōu)勢(shì)（1）平臺(tái)虛擬化實(shí)現(xiàn)資源最優(yōu)利用。利用虛擬化技術(shù)，在一臺(tái)物理服務(wù)器或一套硬件資源上虛擬出多個(gè)虛擬機(jī)，讓不同的應(yīng)用服務(wù)運(yùn)行在不同的虛擬機(jī)上，在不降低系統(tǒng)魯棒性、安全性和可擴(kuò)展性的同時(shí)，可提高硬件的利用率，減少應(yīng)用對(duì)硬件平臺(tái)的依賴性，從而使得企業(yè)能夠削減資金和運(yùn)營(yíng)成本，同時(shí)改善IT服務(wù)交付，而不用受到有限的操作系統(tǒng)、應(yīng)用程序和硬件選擇范圍的制約。（2）利用虛擬機(jī)與硬件無關(guān)的特性，按需分配資源，實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡。當(dāng)VM監(jiān)測(cè)到某個(gè)計(jì)算節(jié)點(diǎn)的負(fù)載過高時(shí)，可以在不中斷業(yè)務(wù)的情況下，將其遷移到其它負(fù)載較輕的節(jié)點(diǎn)或者在節(jié)點(diǎn)內(nèi)通過重新分配計(jì)算資源。同時(shí)，執(zhí)行緊迫計(jì)算任務(wù)的虛擬機(jī)將得到更多的計(jì)算資源，保證關(guān)鍵任務(wù)的響應(yīng)能力。（3）平臺(tái)虛擬化帶來系統(tǒng)自愈功能，提升系統(tǒng)可靠性。系統(tǒng)服務(wù)器硬件故障時(shí)，可自動(dòng)重啟虛擬機(jī)。消除在不同硬件上恢復(fù)操作系統(tǒng)和應(yīng)用程序安裝所帶來的困難，其中任何物理服務(wù)器均可作為虛擬服務(wù)器的恢復(fù)目標(biāo)，進(jìn)而減少硬件成本和維護(hù)成本。（4）提升系統(tǒng)節(jié)能減排能力。與服務(wù)器管理硬件配合實(shí)現(xiàn)智能電源管理；優(yōu)化虛擬機(jī)資源的實(shí)際運(yùn)行位置，達(dá)到耗電最小化，從而可為運(yùn)營(yíng)商節(jié)省大量電力資源，減少供電成本，節(jié)能減排。22分布式文件系統(tǒng)分布式文件系統(tǒng)是指在文件系統(tǒng)基礎(chǔ)上發(fā)展而來的云存儲(chǔ)分布式文件系統(tǒng)，可用于大規(guī)模集群。主要特性包括（1）高可靠性云存儲(chǔ)系統(tǒng)支持節(jié)點(diǎn)間保存多副本功能，以提供數(shù)據(jù)的可靠性。（2）高訪問性能根據(jù)數(shù)據(jù)重要性和訪問頻率將數(shù)據(jù)分級(jí)多副本存儲(chǔ)，熱點(diǎn)數(shù)據(jù)并行讀寫，提高訪問性能。（3）在線遷移、復(fù)制存儲(chǔ)節(jié)點(diǎn)支持在線遷移、復(fù)制，擴(kuò)容不影響上層應(yīng)用。（4）自動(dòng)負(fù)載均衡可以依據(jù)當(dāng)前系統(tǒng)負(fù)荷將原有節(jié)點(diǎn)上的數(shù)據(jù)搬移到新增的節(jié)點(diǎn)。特有的分片存儲(chǔ)，以塊為最小單位來存儲(chǔ)，存儲(chǔ)和查詢時(shí)所有存儲(chǔ)節(jié)點(diǎn)并行計(jì)算。（5）元數(shù)據(jù)與數(shù)據(jù)分離采取元數(shù)據(jù)與數(shù)據(jù)分離的方式設(shè)計(jì)分布式文件存儲(chǔ)系統(tǒng)。圖4為分布式數(shù)據(jù)庫的系統(tǒng)架構(gòu)。其中圖4分布式數(shù)據(jù)庫架構(gòu)FAC負(fù)責(zé)向用戶提供文件訪問接口，安裝在服務(wù)器端（提供給應(yīng)用以文件操作的API接口；實(shí)現(xiàn)與FLR和FAS的交互，完成數(shù)據(jù)的搬遷）。FAS負(fù)責(zé)文件的調(diào)度和訪問，完成對(duì)磁陣的讀寫操作，對(duì)FAC提供數(shù)據(jù)讀寫功能，完成數(shù)據(jù)的分布式存儲(chǔ)。FLR負(fù)責(zé)元數(shù)據(jù)的管理，保存文件和塊的命名空間，文件到塊的映射，以及每個(gè)塊副本的位置。23分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫能實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡、故障節(jié)點(diǎn)自動(dòng)接管，具有高可靠性、高性能、高可用、高可擴(kuò)展性，在處理PETABYTE級(jí)以上海量結(jié)構(gòu)化數(shù)據(jù)的業(yè)務(wù)上具備明顯性能優(yōu)勢(shì)。圖5為分布式數(shù)據(jù)庫的系統(tǒng)架構(gòu)。其中圖5分布式數(shù)據(jù)庫架構(gòu)（1）PEC解析執(zhí)行服務(wù)器（PARSERSEXECUTINGCONTROLLERS，簡(jiǎn)稱PEC），SQL服務(wù)接入點(diǎn)。負(fù)責(zé)接收客戶的SQL請(qǐng)求，并定向到特定的TABLET服務(wù)器上進(jìn)行數(shù)據(jù)訪問。（2）MASTER主要負(fù)責(zé)數(shù)據(jù)庫的元數(shù)據(jù)管理和調(diào)度工作。（3）TABLETSERVER負(fù)責(zé)保存數(shù)據(jù)庫的子表。（4）SPACE分布式文件系統(tǒng)的鎖服務(wù)功能。主要保證共享訪問時(shí)對(duì)數(shù)據(jù)的獨(dú)占性。24中興通訊COCLOUD增值業(yè)務(wù)云（見圖6）圖6中興通訊COCLOUD增值業(yè)務(wù)云基于上述關(guān)鍵技術(shù)，中興通訊的COCLOUD增值業(yè)務(wù)云服務(wù)棧提供了IAAS，PAAS，SAAS多層次云服務(wù)模式，包括統(tǒng)一開放環(huán)境UOE/MAHUPPAAS云平臺(tái)，云存儲(chǔ)，多業(yè)務(wù)云調(diào)度，ECP，NGCC，VPBX，應(yīng)用工廠等多種云服務(wù)方案。241中興通訊COCLOUD增值業(yè)務(wù)云優(yōu)勢(shì)（1）先進(jìn)的軟件自適應(yīng)自動(dòng)部署方式實(shí)時(shí)監(jiān)控各個(gè)業(yè)務(wù)節(jié)點(diǎn)的資源情況，根據(jù)預(yù)先定制的策略，增加或者減少業(yè)務(wù)節(jié)點(diǎn)，可以自動(dòng)安裝、啟動(dòng)、關(guān)閉業(yè)務(wù)軟件，做到軟件根據(jù)業(yè)務(wù)節(jié)點(diǎn)資源狀況自適應(yīng)部署。（2）靈活高效的業(yè)務(wù)擴(kuò)展方式在已有的云計(jì)算平臺(tái)上通過簡(jiǎn)單的配置后，就可以為新的業(yè)務(wù)分配資源，迅速開展新的業(yè)務(wù)。（3）統(tǒng)一運(yùn)維管理基于云計(jì)算平臺(tái)開展業(yè)務(wù)后，基于同樣的基礎(chǔ)架構(gòu)開展多種業(yè)務(wù)，目前的運(yùn)維管理方式需要轉(zhuǎn)變，不再是煙囪式的建設(shè)和運(yùn)維。統(tǒng)一的云管理平臺(tái)，通過分權(quán)分域的方式，讓維護(hù)人員進(jìn)行業(yè)務(wù)和設(shè)備的管理。（4）自動(dòng)在線升級(jí)功能提供軟件版本中心，通過手工或者自動(dòng)進(jìn)行業(yè)務(wù)版本以及虛擬化軟件版本的升級(jí)。（5）綠色節(jié)能在業(yè)務(wù)層面做到軟件自適應(yīng)自動(dòng)部署，在業(yè)務(wù)閑時(shí)只保留必要的業(yè)務(wù)節(jié)點(diǎn)，減少了虛擬機(jī)資源的使用，減少了資源的消耗；在虛擬化層面，通過資源動(dòng)態(tài)均衡方案和綠色節(jié)能方案相結(jié)合，將虛擬機(jī)部署在恰當(dāng)?shù)奈锢頇C(jī)上，保留必要的備用物理機(jī)之外，將其他的物理機(jī)進(jìn)行節(jié)能管理，從而減少運(yùn)營(yíng)商在業(yè)務(wù)閑時(shí)不必要的能源消耗，實(shí)現(xiàn)綠色數(shù)據(jù)中心。