基于Google的云計(jì)算實(shí)例分析

1、Computer Knowledge and Technology電腦知識(shí)與技術(shù)第5卷第25期(2009年9月基于Google的云計(jì)算實(shí)例分析蔡鍵1,王樹(shù)梅2(1.徐州師范大學(xué)現(xiàn)代教育技術(shù)中心,江蘇徐州221116;2.徐州師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,江蘇徐州221116摘要:首先介紹了云計(jì)算產(chǎn)生的背景、概念、基本原理和體系結(jié)構(gòu),然后以Google系統(tǒng)為例詳細(xì)闡述了云計(jì)算的實(shí)現(xiàn)機(jī)制。云計(jì)算是并行計(jì)算、分布式計(jì)算和網(wǎng)格計(jì)算等計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。Google擁有自己云計(jì)算平臺(tái),提供了云計(jì)算的實(shí)現(xiàn)機(jī)制和基礎(chǔ)構(gòu)架模式。該文闡述了Google云計(jì)算平臺(tái):GFS分布式文件、分布式數(shù)據(jù)庫(kù)BigTab

2、le及Map/Reduce編程模式。最后分析了云計(jì)算發(fā)展所面臨的挑戰(zhàn)。關(guān)鍵詞:云計(jì)算;集群;谷歌文件系統(tǒng);大表;映射/化簡(jiǎn)中圖分類(lèi)號(hào):TP311文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(200925-7093-03Cloud Computing System Instances Based on GoogleCAI Jian1,WANG Shu-mei2(1.Xuzhou Normal University Modern Educational Technology Center,Xuzhou221116,China;2.Xuzhou Normal University,School of

3、Computer Science&Technology,Xuzhou221116,ChinaAbstract:This paper introduces the backgrounds,concept,basic principle and infrastructure of cloud computing firstly.Then it surveys im-plementation mechanism of clouding computing based on the instances of Google.Cloud computing is the system in ent

4、erprises based on the concepts of computer science.These concepts include parallel computing,distributed computing and grid computing.Google has his own platform of cloud computing.It provides implementation mechanism and infrastructure of cloud computing.This paper surveys the platform of cloud com

5、puting:Google File System,Distributed database-BigTable and Map/Reduce.Finally the paper analyse the challenge of cloud computing.Key words:cloud computing;cluster;GFS;bigtable;map/reduce自2007年第4季度開(kāi)始,“云計(jì)算”變成了IT領(lǐng)域新的熱點(diǎn)。而2008年被稱(chēng)為云計(jì)算的元年,Google、Amazon、IBM、微軟等IT 巨頭們以前所未有的速度和規(guī)模推動(dòng)云計(jì)算技術(shù)和產(chǎn)品的普及。本文介紹一些關(guān)于云計(jì)算的一些基

6、本概念及Google提出的云計(jì)算模型及實(shí)現(xiàn)機(jī)制。1云計(jì)算綜述云計(jì)算是并行計(jì)算(Parallel Computing、分布式計(jì)算(Distributed Computing和網(wǎng)格計(jì)算(Grid Computing的發(fā)展,或者說(shuō)是這些計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。云計(jì)算是虛擬化(Virtualization、效用計(jì)算(Utility Computing、IaaS(基礎(chǔ)設(shè)施即服務(wù)、PaaS(平臺(tái)即服務(wù)、SaaS(軟件即服務(wù)等概念混合演進(jìn)并躍升的結(jié)果。1.1云計(jì)算的概念云計(jì)算現(xiàn)在還沒(méi)有統(tǒng)一標(biāo)準(zhǔn)的定義,一些大公司在自己的技術(shù)文檔里給出了自己的定義。例如云計(jì)算在IBM的文檔中對(duì)云計(jì)算的定義是:云計(jì)算一詞用來(lái)描

7、述一個(gè)系統(tǒng)平臺(tái)或者一種類(lèi)型的應(yīng)用程序。一個(gè)云計(jì)算的平臺(tái)按需進(jìn)行動(dòng)態(tài)的部署、配置、重新配置以及撤銷(xiāo)服務(wù)等。而對(duì)云計(jì)算更加通用的的定義是:云計(jì)算是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上,使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲(chǔ)空間和各種軟件服務(wù)。從這個(gè)定義上講可把云計(jì)算看成是“存儲(chǔ)云”與“計(jì)算云”的有機(jī)結(jié)合。存儲(chǔ)云對(duì)第三方用戶(hù)公開(kāi)存儲(chǔ)接口,用戶(hù)通過(guò)這個(gè)接口可以把數(shù)據(jù)存儲(chǔ)到“云”。計(jì)算云通過(guò)并行計(jì)算和虛擬化技術(shù)給用戶(hù)提供計(jì)算力,它的商業(yè)模式是給用戶(hù)提供計(jì)算力。1.2云計(jì)算實(shí)現(xiàn)機(jī)制圖1簡(jiǎn)單的描述了云計(jì)算的實(shí)現(xiàn)機(jī)制。用戶(hù)通過(guò)用戶(hù)交互接口(User interaction inte

8、rface來(lái)請(qǐng)求服務(wù)云。一個(gè)用戶(hù)能夠請(qǐng)求的所有服務(wù)目錄存放在服務(wù)目錄(Services catalog里。系統(tǒng)管理(System manage-ment是用戶(hù)管理計(jì)算機(jī)資源是否可用。服務(wù)提供工具(Provisioningtool用來(lái)處理請(qǐng)求的服務(wù),需要部署服務(wù)配置。監(jiān)控統(tǒng)計(jì)(Monitoring 收稿日期:2009-05-07作者簡(jiǎn)介:蔡鍵,碩士,講師,主研領(lǐng)域?yàn)閳D形圖像處理,網(wǎng)格技術(shù)。圖1云計(jì)算實(shí)現(xiàn)機(jī)制ISSN1009-3044Computer Knowledge and Technology電腦知識(shí)與技術(shù)Vol.5,No.25,September2009,pp.7093-7095,7107

9、E-mail:info Tel:+86-551-56909635690964 Computer Knowledge and Technology 電腦知識(shí)與技術(shù)第5卷第25期(2009年9月and metering 用于對(duì)用戶(hù)服務(wù)進(jìn)行跟蹤測(cè)量,提交給中心服務(wù)器。通過(guò)以上的機(jī)制對(duì)計(jì)算/存儲(chǔ)資源進(jìn)行統(tǒng)一的管理,這些計(jì)算/存儲(chǔ)資源可能是虛擬服務(wù)或者真 實(shí)的。1.3云計(jì)算體系結(jié)構(gòu)一個(gè)云計(jì)算系統(tǒng)就是對(duì)一系列IT 資源的配置,是專(zhuān)門(mén)為了運(yùn)行應(yīng)用程序,而不是分配給其靜態(tài)的應(yīng)用作為客戶(hù)端或服務(wù)器計(jì)算。圖2給出了云計(jì)算的體系結(jié)構(gòu),在這個(gè)模型中云計(jì)算架構(gòu)和服務(wù)都構(gòu)建在面向服務(wù)的體系結(jié)構(gòu)(SOA 框架之上。通過(guò)管理

10、中間件的用戶(hù)管理、映像管理和資源管理對(duì)虛擬化的資源池進(jìn)行管理,從而最終滿(mǎn)足用戶(hù)的云服務(wù)。這個(gè)體系結(jié)構(gòu)中的物理資源相對(duì)廉價(jià)的設(shè)備如x86服務(wù)器。1.4云計(jì)算幾種形式7目前云計(jì)算主要的商用形式有SaaS (軟件即服務(wù)、實(shí)用計(jì)算(Utility Computing 、網(wǎng)絡(luò)服務(wù)、平臺(tái)即服務(wù)、MSP (管理服務(wù)提供商、商業(yè)服務(wù)平臺(tái)、互聯(lián)網(wǎng)整合等。SaaS (軟件即服務(wù):SaaS 的云計(jì)算通過(guò)瀏覽器把程序傳給所需服務(wù)的用戶(hù)。在用戶(hù)眼中看來(lái),這樣會(huì)省去在服務(wù)器和軟件授權(quán)上的開(kāi)支;從供應(yīng)商角度來(lái)看,這樣只需要維持一個(gè)程序就夠了,這樣能夠減少成本,Google Apps 是類(lèi)似這種服務(wù)。實(shí)用計(jì)算(Utility

11、 Computing :這種云計(jì)算是為IT 行業(yè)創(chuàng)造虛擬的數(shù)據(jù)中心使得其能夠把內(nèi)存、I/O 設(shè)備、存儲(chǔ)和計(jì)算能力集中起來(lái)成為一個(gè)虛擬的資源池來(lái)為整個(gè)網(wǎng)絡(luò)提供服務(wù)。網(wǎng)絡(luò)服務(wù):網(wǎng)絡(luò)服務(wù)提供者們能夠提供API 讓開(kāi)發(fā)者能夠開(kāi)發(fā)更多基于互聯(lián)網(wǎng)的應(yīng)用,而不是提供單機(jī)程序。平臺(tái)即服務(wù)(PaaS :這種形式的云計(jì)算把開(kāi)發(fā)環(huán)境作為一種服務(wù)來(lái)提供。你可以使用中間商的設(shè)備來(lái)開(kāi)發(fā)自己的程序并通過(guò)互聯(lián)網(wǎng)和其服務(wù)器傳到用戶(hù)手中。MSP (管理服務(wù)提供商:這種應(yīng)用更多的是面向IT 行業(yè)而不是終端用戶(hù),常用于郵件病毒掃描、程序監(jiān)控等等。商業(yè)服務(wù)平臺(tái):SAAS 和MSP 的混合應(yīng)用,該類(lèi)云計(jì)算為用戶(hù)和提供商之間的互動(dòng)提供了一

12、個(gè)平臺(tái)。比如用戶(hù)個(gè)人開(kāi)支管理系統(tǒng),能夠根據(jù)用戶(hù)的設(shè)置來(lái)管理其開(kāi)支并協(xié)調(diào)其訂購(gòu)的各種服務(wù)?；ヂ?lián)網(wǎng)整合:將互聯(lián)網(wǎng)上提供類(lèi)似服務(wù)的公司整合起來(lái),以便用戶(hù)能夠更方便的比較和選擇自己的服務(wù)供應(yīng)商。1.5云計(jì)算特點(diǎn)8超大規(guī)模:“云”具有相當(dāng)?shù)囊?guī)模,Google 云計(jì)算已經(jīng)擁有100多萬(wàn)臺(tái)服務(wù)器。企業(yè)私有云一般擁有數(shù)百上千臺(tái)服務(wù)器?！霸啤蹦苜x予用戶(hù)前所未有的計(jì)算能力。虛擬化:云計(jì)算支持用戶(hù)在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請(qǐng)求的資源來(lái)自“云”,而不是固定的有形的實(shí)體。應(yīng)用在“云”中某處運(yùn)行,但實(shí)際上用戶(hù)無(wú)需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置。只需要一臺(tái)筆記本或者一個(gè)手機(jī),就可以通過(guò)網(wǎng)絡(luò)服務(wù)來(lái)實(shí)現(xiàn)我們需

13、要的一切,甚至包括超級(jí)計(jì)算這樣的任務(wù)。高可靠性:“云”使用了數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來(lái)保障服務(wù)的高可靠性,使用云計(jì)算比使用本地計(jì)算機(jī)可靠。通用性:云計(jì)算不針對(duì)特定的應(yīng)用,在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用,同一個(gè)“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行。高可擴(kuò)展性:“云”的規(guī)?？梢詣?dòng)態(tài)伸縮,滿(mǎn)足應(yīng)用和用戶(hù)規(guī)模增長(zhǎng)的需要。按需服務(wù):“云”是一個(gè)龐大的資源池,你按需購(gòu)買(mǎi);云可以象自來(lái)水,電,煤氣那樣計(jì)費(fèi)。極其廉價(jià):由于“云”的特殊容錯(cuò)措施可以采用極其廉價(jià)的節(jié)點(diǎn)來(lái)構(gòu)成云,“云”的自動(dòng)化集中式管理使大量企業(yè)無(wú)需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本,“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提

14、升。2Google 云計(jì)算平臺(tái)目前Google 是云計(jì)算的最大使用者,擁有自己的云計(jì)算平臺(tái)。針對(duì)內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)規(guī)模超大的特點(diǎn),Google 提出了一整套基于分布式并行集群方式的基礎(chǔ)架構(gòu)。Google 使用的云計(jì)算基礎(chǔ)架構(gòu)模式主要包括3個(gè)相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)也稱(chēng)之為云計(jì)算三大法寶包括:Google 建立在集群之上的文件系統(tǒng)Google File System ,針對(duì)Google 開(kāi)發(fā)的模型簡(jiǎn)化的大規(guī)模分布式數(shù)據(jù)庫(kù)BigTable 以及由Google 應(yīng)用程序的特點(diǎn)提出的Map/Reduce 編程模式。2.1Google File System 文件系統(tǒng)Google 設(shè)計(jì)并實(shí)現(xiàn)的Googl

15、e 文件系統(tǒng)(GFS ,Google File System 除了與過(guò)去的分布式文件系統(tǒng)擁有許多相同的目標(biāo)如性能、可伸縮性、可靠性以及可用性還受到Google 應(yīng)用負(fù)載和技術(shù)環(huán)境的影響。主要體現(xiàn)在以下四個(gè)方面:集群中的節(jié)點(diǎn)失效是一種常態(tài),而不是一種異常;Google 系統(tǒng)中的文件大小與通常文件系統(tǒng)中的文件大小概念不一樣,文件大小通常以G 字節(jié)計(jì);Google 文件系統(tǒng)中的文件讀寫(xiě)模式和傳統(tǒng)的文件系統(tǒng)不同;文件系統(tǒng)的某些具體操作不再透明,而且需要應(yīng)用程序的協(xié)助完成,應(yīng)用程序和文件系統(tǒng)API 的協(xié)同設(shè)計(jì)提高了整個(gè)系統(tǒng)的靈活性。圖3給出了Google File System 的系統(tǒng)架構(gòu),一個(gè)GFS

16、集群包含一個(gè)主服務(wù)器和多個(gè)塊服務(wù)器,被多個(gè)客戶(hù)端訪(fǎng)問(wèn)。文件被分割成固定尺寸的塊。在每個(gè)塊創(chuàng)建的時(shí)候,服務(wù)器分配給它一個(gè)不變的、全球惟一的64位塊句柄對(duì)它進(jìn)行標(biāo)識(shí)。塊服務(wù)器把塊作為linux 文件保存在本地硬盤(pán)上,并根據(jù)指定的塊句柄和字節(jié)范圍來(lái)讀寫(xiě)塊數(shù)據(jù)。為了保證可靠性,每個(gè)塊都會(huì)復(fù)制到多個(gè)塊服務(wù)器上,缺省保存三個(gè)備份。主服務(wù)器管理文件系統(tǒng)所有的元數(shù)據(jù),包括名字空間、訪(fǎng)問(wèn)控制信息和文件到塊的映射信息,以及塊當(dāng)前所在的位置。GFS 客戶(hù)端代碼被嵌入到每個(gè)程序里,它實(shí)現(xiàn)了Google 文件系統(tǒng)API ,幫助應(yīng)用程序與主服務(wù)器和塊服務(wù)器通信,對(duì)數(shù)據(jù)進(jìn)行讀寫(xiě)?？蛻?hù)端跟主服務(wù)器交互進(jìn)行元數(shù)據(jù)操作,但是所有

17、的數(shù)據(jù)操作的通信都是直接和塊服務(wù)器進(jìn)行的。通過(guò)服務(wù)器端和客戶(hù)端的聯(lián)合設(shè)計(jì),Google File System 能夠針對(duì)它本身的應(yīng)用獲得最大的性能以及可用性效果。圖2云計(jì)算體系結(jié)構(gòu)2.2分布式數(shù)據(jù)庫(kù)管理系統(tǒng)BigTable為了處理Google 內(nèi)部大量的格式化以及半格式化數(shù)據(jù),Google 構(gòu)建了弱一致性要求的大規(guī)模數(shù)據(jù)庫(kù)系統(tǒng)BigTable ?，F(xiàn)在有很多Google 的應(yīng)用程序建立在BigTable 之上,例如Search History 、Maps 、Orkut 和RSS 閱讀器等。圖4給出了BigTable 的數(shù)據(jù)模型。數(shù)據(jù)模型包括行列以及相應(yīng)的時(shí)間戳,所有的數(shù)據(jù)都存放在表格中的單元里。

18、BigTable 的內(nèi)容按照行來(lái)劃分,將多個(gè)行組成一個(gè)小表,保存到某一個(gè)服務(wù)器節(jié)點(diǎn)中。這一個(gè)小表就被稱(chēng)為T(mén)ablet 。BigTable 也是客戶(hù)端和服務(wù)器端的聯(lián)合設(shè)計(jì),圖5給出了BigTable 系統(tǒng)的體系結(jié)構(gòu)。BigTable 系統(tǒng)依賴(lài)于集群系統(tǒng)的底層結(jié)構(gòu),一個(gè)分布式的集群任務(wù)調(diào)度器,一個(gè)GFS 文件系統(tǒng)服務(wù)器和一個(gè)分布式的鎖服務(wù)。BigTable 使用鎖服務(wù)保存根數(shù)據(jù)表格的指針從而獲得表的位置,進(jìn)而對(duì)數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)。BigTable 使用一臺(tái)服務(wù)器作為主服務(wù)器,用來(lái)保存和元數(shù)據(jù)。主服務(wù)器除了管理元數(shù)據(jù)之外,還負(fù)責(zé)對(duì)Tablet 服務(wù)器進(jìn)行遠(yuǎn)程管理與負(fù)載調(diào)配,客戶(hù)端通過(guò)編程接口于主服務(wù)器進(jìn)行

19、元 數(shù)據(jù)通信,與Table 服務(wù)器進(jìn)行數(shù)據(jù)通信。12.3MapReduce (映射化簡(jiǎn)的編程環(huán)境Google 設(shè)計(jì)并實(shí)現(xiàn)了一套大規(guī)模數(shù)據(jù)處理的編程規(guī)范Map/Reduce 系統(tǒng)。這樣,非分布式專(zhuān)業(yè)的程序編寫(xiě)人員也能夠?yàn)榇笠?guī)模的集群編寫(xiě)應(yīng)用程序而不用去顧慮集群的可靠性、可擴(kuò)展性等問(wèn)題。應(yīng)用程序編寫(xiě)人員只需要將精力放在應(yīng)用程序本身,而關(guān)于集群的處理問(wèn)題則交由平臺(tái)來(lái)處理。Map/Reduce 通過(guò)“Map (映射”和“Reduce (化簡(jiǎn)”這樣兩個(gè)簡(jiǎn)單的概念來(lái)參加運(yùn)算,用戶(hù)只需要提供自己的Map 以及Reduce 函數(shù)就可以在集群上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。Map/Reduce 的處理過(guò)程分為Ma

20、p (映射”和“Reduce (化簡(jiǎn)兩個(gè)過(guò)程,其過(guò)程 可表示如下:Map:(in_key,in_valueà(keyj,values|j =1kReduce:(key,value1,valuesà(key,f_value圖6給出了Map/Reduce 機(jī)制實(shí)現(xiàn)的過(guò)程。首先通過(guò)Map 函數(shù)將輸入文件分成大小為64M 文件塊,分到個(gè)塊服務(wù)器進(jìn)行處理。將有相同key的中間結(jié)果分配到同一個(gè)Reduce 函數(shù)進(jìn)行進(jìn)行處理,處理后將最終結(jié)果輸出。3結(jié)論該文討論了云計(jì)算概念、實(shí)現(xiàn)機(jī)制、體系結(jié)構(gòu)及云計(jì)算的幾種 形式和特點(diǎn)。并以Google 為實(shí)例介紹了云計(jì)算的基礎(chǔ)體系結(jié)構(gòu):Google F

21、ile System ,BigTable ,Map/Reduce 。當(dāng)然云計(jì)算平臺(tái)也面臨著諸多挑戰(zhàn),主要包括以下幾個(gè)方面:數(shù)據(jù)安全性與隱私保護(hù):用戶(hù)數(shù)據(jù)的安全問(wèn)題被認(rèn)為是計(jì)算平臺(tái)安全問(wèn)題,云計(jì)算的一個(gè)重要問(wèn)題是計(jì)算平臺(tái)的安全問(wèn)題。云計(jì)算基礎(chǔ)架構(gòu)具有多租戶(hù)的特性,廠商們通常無(wú)法保證兩家不同的用戶(hù)的數(shù)據(jù)實(shí)現(xiàn)物理分隔。另外,考慮到大規(guī)模擴(kuò)展性方面的要求,數(shù)據(jù)物理位置可能得不到保證8。在云計(jì)算平臺(tái)中,每個(gè)人都處在開(kāi)放的環(huán)境中,在云計(jì)算平臺(tái)中提供或者接受服務(wù),這樣很容易使得個(gè)人隱私缺乏必要的關(guān)注,在云計(jì)算中,隱私的保護(hù)也是一個(gè)挑戰(zhàn)。用戶(hù)把自己加密的數(shù)據(jù)連同應(yīng)用程序都放在云計(jì)算運(yùn)營(yíng)公司仍感不安全。在使用云

22、計(jì)算服務(wù)時(shí),用戶(hù)并不清楚自己的數(shù)據(jù)儲(chǔ)存在哪里,用戶(hù)甚至都不知道數(shù)據(jù)位于哪個(gè)國(guó)家。就算用戶(hù)不知道數(shù)據(jù)存儲(chǔ)的位置,云計(jì)算運(yùn)營(yíng)公司也應(yīng)當(dāng)告訴用戶(hù)在發(fā)生災(zāi)難時(shí),用戶(hù)數(shù)據(jù)和服務(wù)將會(huì)面臨什么樣的情況。任何沒(méi)有經(jīng)過(guò)備份的數(shù)據(jù)和應(yīng)用程序都將出現(xiàn)問(wèn)題。用戶(hù)需要了解云計(jì)算運(yùn)營(yíng)公司是否有能力恢復(fù)數(shù)據(jù),以及需要多長(zhǎng)時(shí)間。顯然如何提供機(jī)制保證數(shù)據(jù)的安全性對(duì)于云計(jì)算至關(guān)重要6。數(shù)據(jù)訪(fǎng)問(wèn)和存儲(chǔ)模型:由于現(xiàn)在的大廠商所提供的存儲(chǔ)模型都需要適應(yīng)許多不同的使用場(chǎng)景。因而,它們可能偏向采用基于二進(jìn)制大對(duì)象的簡(jiǎn)單存儲(chǔ)模型或簡(jiǎn)單的層次模型。雖然這帶來(lái)了顯著的靈活性,卻給應(yīng)用邏輯解釋不同數(shù)據(jù)元素之間的關(guān)系增加了負(fù)擔(dān)8。缺乏標(biāo)準(zhǔn)和廠商鎖定

23、:大多數(shù)廠商都定義了基于標(biāo)準(zhǔn)的機(jī)制(HTTP 、REST 和SOAP 等來(lái)訪(fǎng)問(wèn)及使用其服務(wù)。但在云計(jì)算環(huán)境開(kāi)發(fā)服務(wù)方面的標(biāo)準(zhǔn)才剛剛興起,而且現(xiàn)在缺乏一次編寫(xiě)、到處運(yùn)行的功能。服務(wù)互操作性:當(dāng)前云計(jì)算對(duì)于服務(wù)的互操作性支持不夠,這對(duì)于用戶(hù)進(jìn)行跨平臺(tái)的服務(wù),同平臺(tái)不同服務(wù)之間的服務(wù)存在障礙。這些都是云計(jì)算模式所面臨的挑戰(zhàn)。(下轉(zhuǎn)第7107頁(yè)圖3Google File System 系統(tǒng)架構(gòu)圖4BigTable 的數(shù)據(jù)模型圖5Bigtable 系統(tǒng)體系結(jié)構(gòu)圖6Map/Reduce 機(jī)制實(shí)現(xiàn)的過(guò)程(上接第7095頁(yè)參考文獻(xiàn):1陳康,鄭緯民.云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀J.軟件學(xué)報(bào),2009,5:1337

24、-1348.2唐敏.基于自然云的云計(jì)算模型J.中國(guó)科技論文在線(xiàn),2007.3張渝江,岳偉.云計(jì)算叩開(kāi)學(xué)校大門(mén)J.中國(guó)信息技術(shù)教育,2008(12:93-94.4樂(lè)天.云計(jì)算還須邁過(guò)安全關(guān)N.計(jì)算機(jī)世界報(bào),2008-7-28(28.5陳谷.BIM 云計(jì)算和政府云平臺(tái)J.程序員,2008(11:56-576完全解讀“IT 明日之星”云計(jì)算.eNet 硅谷動(dòng)力,2008.收稿日期:2009-03-12.7中國(guó)云計(jì)算.8中國(guó)云計(jì)算.9Baidu.10Barroso LA,Dean J,Holzle U.Web search for a planet:The Google cluster archite

25、cture.IEEE Micro,2003,23(2:22-28.11Ghemawat S,Gobioff H,Leung ST.The Google file system.In:Proc.of the 19th ACM Symp.on Operating Systems Principles.NewYork:ACM Press,2003.29-43.12Dean J,Ghemawat S.MapReduce:Simplified data processing on large clusters.In:Proc.of the 6th Symp.on Operating System13De

26、an J,Ghemawat S.Distributed programming with Mapreduce.In:Oram A,Wilson G,eds.Beautiful Code.Sebastopol:O Reilly14Chang F,Dean J,Ghemawat S,Hsieh WC,Wallach DA,Burrows M,Chandra T,Fikes A,Gruber RE.Bigtable:A distributed storage sys -tem for structured data.In:Proc.of the 7th USENIX Symp.on Operatin

27、g Systems Design and Implementation.在預(yù)處理器和抓包引擎執(zhí)行完之后調(diào)用Snort 報(bào)警和日志子系統(tǒng)時(shí)執(zhí)行。Snort 輸出插件的功能可以分為7個(gè)部分:版權(quán)和頭信息;頭文件、依賴(lài)關(guān)系和全局變量;關(guān)鍵字注冊(cè);參數(shù)分析和函數(shù)列表鏈;數(shù)據(jù)處理,格式化和存儲(chǔ);處理預(yù)處理器參數(shù);清理和退出。下面詳細(xì)描述插件的各功能。1版權(quán)和頭信息現(xiàn)存的每一個(gè)輸出插件都含有鮮明的版權(quán)信息,版權(quán)信息可以由插件開(kāi)發(fā)者自主添加。插件的頭詳細(xì)描述了插件的用途,需要的參數(shù)、結(jié)果以及其他注釋。2頭文件,依賴(lài)關(guān)系和全局變量就絕大部分應(yīng)用而言,文件以及它們之間的依賴(lài)關(guān)系對(duì)程序至關(guān)重要,而且要自釋其意。全局變量在整個(gè)插件的任何部分都可以使用。3關(guān)鍵字注冊(cè)輸出插件通過(guò)配置文件和命令行引用和調(diào)用。用戶(hù)必須為插件定義關(guān)鍵字并把該關(guān)鍵字連接到Snort ,以便分析該關(guān)鍵字時(shí)作相應(yīng)的特殊處理。4參數(shù)分析和函數(shù)列表鏈大部分插件在聲明時(shí)需要傳遞參數(shù),因此有必要寫(xiě)一些代碼來(lái)處理這些數(shù)據(jù)。例如,當(dāng)使用日志功能時(shí),可能需要指定一個(gè)用于存儲(chǔ)日志的日志文件名。除了分析參數(shù),插件還必須鏈接