Google-云計算平臺-解析課件

Google的云計算平臺解析[參與者名單]1Google的云計算平臺解析[參與者名單]11.概論Google的云計算技術(shù)是針對Google特定的網(wǎng)絡(luò)應(yīng)用程序而定制的。針對內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)規(guī)模超大的特點(diǎn)，Google提出了一整套基于分布式并行集群方式的基礎(chǔ)架構(gòu)，利用軟件的能力來處理集群中經(jīng)常發(fā)生的節(jié)點(diǎn)失效問題。21.概論Google的云計算技術(shù)是針對Google特定的網(wǎng)1.概論Google使用的云計算基礎(chǔ)架構(gòu)模式包括四個相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)：建立在集群之上的文件系統(tǒng)GoogleFileSystem針對Google應(yīng)用程序的特點(diǎn)提出的Map/Reduce編程模式分布式的鎖機(jī)制Chubby模型簡化的大規(guī)模分布式數(shù)據(jù)庫BigTable。31.概論Google使用的云計算基礎(chǔ)架構(gòu)模式包括四個相互獨(dú)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：概述為滿足Google迅速增長的數(shù)據(jù)處理需求而建立與其他云系統(tǒng)的共性：性能、可伸縮性、可靠性以及可用性等受到Google應(yīng)用負(fù)載和技術(shù)環(huán)境的影響而設(shè)計的新特性：42.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性集群中的節(jié)點(diǎn)失效是一種常態(tài)，而不是一種異常由于參與運(yùn)算與處理的節(jié)點(diǎn)數(shù)目非常龐大，通常會使用上千個節(jié)點(diǎn)進(jìn)行共同計算，因此，每時每刻總會有節(jié)點(diǎn)處在失效狀態(tài)。需要通過軟件程序模塊，監(jiān)視系統(tǒng)的動態(tài)運(yùn)行狀況，偵測錯誤，并且將容錯以及自動恢復(fù)系統(tǒng)集成在系統(tǒng)中。52.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性Google系統(tǒng)中的文件大小與通常文件系統(tǒng)中的文件大小概念不一樣，文件大小通常以G字節(jié)計。

文件系統(tǒng)中的文件含義與通常文件不同，一個大文件可能包含大量數(shù)目的通常意義上的小文件。所以，設(shè)計預(yù)期和參數(shù)，例如I/O操作和塊尺寸都要重新考慮。62.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性Google文件系統(tǒng)中的文件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同。

在Google應(yīng)用(如搜索)中對大部分文件的修改，不是覆蓋原有數(shù)據(jù)，而是在文件尾追加新數(shù)據(jù)。對文件的隨機(jī)寫是幾乎不存在的。對于這類巨大文件的訪問模式，客戶端對數(shù)據(jù)塊緩存失去了意義，追加操作成為性能優(yōu)化和原子性(把一個事務(wù)看做是一個程序。它要么被完整地執(zhí)行，要么完全不執(zhí)行)保證的焦點(diǎn)。72.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性文件系統(tǒng)的某些具體操作不再透明，而且需要應(yīng)用程序的協(xié)助完成

應(yīng)用程序和文件系統(tǒng)API的協(xié)同設(shè)計提高了整個系統(tǒng)的靈活性。例如，放松了對GFS一致性模型的要求，這樣不用加重應(yīng)用程序的負(fù)擔(dān)，就大大簡化了文件系統(tǒng)的設(shè)計。還引入了原子性的追加操作，這樣多個客戶端同時進(jìn)行追加的時候，就不需要額外的同步操作了。82.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：結(jié)構(gòu)下圖表示了單個GFS的結(jié)構(gòu)。92.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：架構(gòu)下圖表示GoogleFileSystem的系統(tǒng)架構(gòu)。一個GFS集群包含一個主服務(wù)器和多個塊服務(wù)器，被多個客戶端訪問。文件被分割成固定尺寸的塊。在每個塊創(chuàng)建的時候，服務(wù)器分配給它一個不變的、全球惟一的64位塊句柄對它進(jìn)行標(biāo)識。塊服務(wù)器把塊作為linux文件保存在本地硬盤上，并根據(jù)指定的塊句柄和字節(jié)范圍來讀寫塊數(shù)據(jù)。為了保證可靠性，每個塊都會復(fù)制到多個塊服務(wù)器上，缺省保存三個備份。102.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：架構(gòu)下圖表示GoogleFileSystem的系統(tǒng)架構(gòu)。主服務(wù)器管理文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息和文件到塊的映射信息，以及塊當(dāng)前所在的位置。GFS客戶端代碼被嵌入到每個程序里，它實現(xiàn)了Google文件系統(tǒng)API，幫助應(yīng)用程序與主服務(wù)器和塊服務(wù)器通信，對數(shù)據(jù)進(jìn)行讀寫?？蛻舳烁鞣?wù)器交互進(jìn)行元數(shù)據(jù)操作，但是所有的數(shù)據(jù)操作的通信都是直接和塊服務(wù)器進(jìn)行的?？蛻舳颂峁┑脑L問接口類似于POSIX接口，但有一定的修改，并不完全兼容POSIX標(biāo)準(zhǔn)。112.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹MapReduce分布式編程環(huán)境：概述為了讓內(nèi)部非分布式系統(tǒng)方向背景的員工能夠?qū)?yīng)用程序建立在大規(guī)模的集群基礎(chǔ)上非分布式專業(yè)的程序編寫人員可以通過此環(huán)境為大規(guī)模的集群編寫應(yīng)用程序而不用去顧慮集群的可靠性、可擴(kuò)展性等問題。應(yīng)用程序編寫人員只需要將精力放在應(yīng)用程序本身，而關(guān)于集群的處理問題則交由平臺來處理。122.產(chǎn)品介紹MapReduce分布式編程環(huán)境：概述122.產(chǎn)品介紹MapReduce分布式編程環(huán)境：結(jié)構(gòu)通過“Map(映射)”和“Reduce(化簡/規(guī)約)”這樣兩個簡單的概念來參加運(yùn)算Map操作是可以高度并行的，這對高性能要求的應(yīng)用以及并行計算領(lǐng)域的需求非常有用Reduce操作指的是對一個列表的元素進(jìn)行適當(dāng)?shù)暮喜?，得到最終的結(jié)果132.產(chǎn)品介紹MapReduce分布式編程環(huán)境：結(jié)構(gòu)132.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：介紹是基于分布式平臺的數(shù)據(jù)庫系統(tǒng)由于一般的關(guān)系數(shù)據(jù)庫的強(qiáng)一致性要求，很難將其擴(kuò)展到很大的規(guī)模為了處理Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)，BigTable是一種具有弱一致性要求的大規(guī)模數(shù)據(jù)庫系統(tǒng)142.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：介2.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結(jié)構(gòu)152.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結(jié)2.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結(jié)構(gòu)上圖示BigTable模型中的數(shù)據(jù)模型

數(shù)據(jù)模型包括行列以及相應(yīng)的時間戳，所有的數(shù)據(jù)都存放在表格中的單元里。BigTable的內(nèi)容按照行來劃分，將多個行組成一個小表，保存到某一個服務(wù)器節(jié)點(diǎn)中。這一個小表就被稱為Tablet。162.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結(jié)3.Google的云應(yīng)用

特點(diǎn)：基于其自身的云計算基礎(chǔ)設(shè)施應(yīng)用了Web2.0技術(shù)具有強(qiáng)大的多用戶交互能力173.Google的云應(yīng)用特點(diǎn)：173.Google的云應(yīng)用

例子：GoogleDocs基于Web的編輯工具與MicrosoftOffice相近的編輯界面易用的文檔權(quán)限管理以及多用戶操作記錄適用于多人協(xié)作編輯、項目進(jìn)度監(jiān)控等多種應(yīng)用183.Google的云應(yīng)用例子：GoogleDocs184.問題及展望問題：Google的云計算平臺是私有的環(huán)境，特別是Google的云計算基礎(chǔ)設(shè)施還沒有開放出來。除了開放有限的應(yīng)用程序接口之外，Google并沒有將云計算的內(nèi)部基礎(chǔ)設(shè)施共享給外部的用戶使用，上述的所有基礎(chǔ)設(shè)施都是私有的。194.問題及展望問題：194.問題及展望問題：部分應(yīng)用缺乏可行的發(fā)展模式，如被關(guān)閉的GoogleWave近期爆出的FCC(FederalCommunicationsCommission)對google云服務(wù)信息安全性的質(zhì)疑，也讓用戶對其安全性打了問號204.問題及展望問題：204.問題及展望展望：平臺以及接口的進(jìn)一步開放更強(qiáng)壯的云盈利模式更多方便快捷的云應(yīng)用……214.問題及展望展望：21謝謝！22謝謝！22Google的云計算平臺解析[參與者名單]23Google的云計算平臺解析[參與者名單]11.概論Google的云計算技術(shù)是針對Google特定的網(wǎng)絡(luò)應(yīng)用程序而定制的。針對內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)規(guī)模超大的特點(diǎn)，Google提出了一整套基于分布式并行集群方式的基礎(chǔ)架構(gòu)，利用軟件的能力來處理集群中經(jīng)常發(fā)生的節(jié)點(diǎn)失效問題。241.概論Google的云計算技術(shù)是針對Google特定的網(wǎng)1.概論Google使用的云計算基礎(chǔ)架構(gòu)模式包括四個相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)：建立在集群之上的文件系統(tǒng)GoogleFileSystem針對Google應(yīng)用程序的特點(diǎn)提出的Map/Reduce編程模式分布式的鎖機(jī)制Chubby模型簡化的大規(guī)模分布式數(shù)據(jù)庫BigTable。251.概論Google使用的云計算基礎(chǔ)架構(gòu)模式包括四個相互獨(dú)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：概述為滿足Google迅速增長的數(shù)據(jù)處理需求而建立與其他云系統(tǒng)的共性：性能、可伸縮性、可靠性以及可用性等受到Google應(yīng)用負(fù)載和技術(shù)環(huán)境的影響而設(shè)計的新特性：262.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性集群中的節(jié)點(diǎn)失效是一種常態(tài)，而不是一種異常由于參與運(yùn)算與處理的節(jié)點(diǎn)數(shù)目非常龐大，通常會使用上千個節(jié)點(diǎn)進(jìn)行共同計算，因此，每時每刻總會有節(jié)點(diǎn)處在失效狀態(tài)。需要通過軟件程序模塊，監(jiān)視系統(tǒng)的動態(tài)運(yùn)行狀況，偵測錯誤，并且將容錯以及自動恢復(fù)系統(tǒng)集成在系統(tǒng)中。272.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性Google系統(tǒng)中的文件大小與通常文件系統(tǒng)中的文件大小概念不一樣，文件大小通常以G字節(jié)計。

文件系統(tǒng)中的文件含義與通常文件不同，一個大文件可能包含大量數(shù)目的通常意義上的小文件。所以，設(shè)計預(yù)期和參數(shù)，例如I/O操作和塊尺寸都要重新考慮。282.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性Google文件系統(tǒng)中的文件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同。

在Google應(yīng)用(如搜索)中對大部分文件的修改，不是覆蓋原有數(shù)據(jù)，而是在文件尾追加新數(shù)據(jù)。對文件的隨機(jī)寫是幾乎不存在的。對于這類巨大文件的訪問模式，客戶端對數(shù)據(jù)塊緩存失去了意義，追加操作成為性能優(yōu)化和原子性(把一個事務(wù)看做是一個程序。它要么被完整地執(zhí)行，要么完全不執(zhí)行)保證的焦點(diǎn)。292.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性文件系統(tǒng)的某些具體操作不再透明，而且需要應(yīng)用程序的協(xié)助完成

應(yīng)用程序和文件系統(tǒng)API的協(xié)同設(shè)計提高了整個系統(tǒng)的靈活性。例如，放松了對GFS一致性模型的要求，這樣不用加重應(yīng)用程序的負(fù)擔(dān)，就大大簡化了文件系統(tǒng)的設(shè)計。還引入了原子性的追加操作，這樣多個客戶端同時進(jìn)行追加的時候，就不需要額外的同步操作了。302.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：結(jié)構(gòu)下圖表示了單個GFS的結(jié)構(gòu)。312.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：架構(gòu)下圖表示GoogleFileSystem的系統(tǒng)架構(gòu)。一個GFS集群包含一個主服務(wù)器和多個塊服務(wù)器，被多個客戶端訪問。文件被分割成固定尺寸的塊。在每個塊創(chuàng)建的時候，服務(wù)器分配給它一個不變的、全球惟一的64位塊句柄對它進(jìn)行標(biāo)識。塊服務(wù)器把塊作為linux文件保存在本地硬盤上，并根據(jù)指定的塊句柄和字節(jié)范圍來讀寫塊數(shù)據(jù)。為了保證可靠性，每個塊都會復(fù)制到多個塊服務(wù)器上，缺省保存三個備份。322.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：架構(gòu)下圖表示GoogleFileSystem的系統(tǒng)架構(gòu)。主服務(wù)器管理文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息和文件到塊的映射信息，以及塊當(dāng)前所在的位置。GFS客戶端代碼被嵌入到每個程序里，它實現(xiàn)了Google文件系統(tǒng)API，幫助應(yīng)用程序與主服務(wù)器和塊服務(wù)器通信，對數(shù)據(jù)進(jìn)行讀寫?？蛻舳烁鞣?wù)器交互進(jìn)行元數(shù)據(jù)操作，但是所有的數(shù)據(jù)操作的通信都是直接和塊服務(wù)器進(jìn)行的?？蛻舳颂峁┑脑L問接口類似于POSIX接口，但有一定的修改，并不完全兼容POSIX標(biāo)準(zhǔn)。332.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹MapReduce分布式編程環(huán)境：概述為了讓內(nèi)部非分布式系統(tǒng)方向背景的員工能夠?qū)?yīng)用程序建立在大規(guī)模的集群基礎(chǔ)上非分布式專業(yè)的程序編寫人員可以通過此環(huán)境為大規(guī)模的集群編寫應(yīng)用程序而不用去顧慮集群的可靠性、可擴(kuò)展性等問題。應(yīng)用程序編寫人員只需要將精力放在應(yīng)用程序本身，而關(guān)于集群的處理問題則交由平臺來處理。342.產(chǎn)品介紹MapReduce分布式編程環(huán)境：概述122.產(chǎn)品介紹MapReduce分布式編程環(huán)境：結(jié)構(gòu)通過“Map(映射)”和“Reduce(化簡/規(guī)約)”這樣兩個簡單的概念來參加運(yùn)算Map操作是可以高度并行的，這對高性能要求的應(yīng)用以及并行計算領(lǐng)域的需求非常有用Reduce操作指的是對一個列表的元素進(jìn)行適當(dāng)?shù)暮喜?，得到最終的結(jié)果352.產(chǎn)品介紹MapReduce分布式編程環(huán)境：結(jié)構(gòu)132.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：介紹是基于分布式平臺的數(shù)據(jù)庫系統(tǒng)由于一般的關(guān)系數(shù)據(jù)庫的強(qiáng)一致性要求，很難將其擴(kuò)展到很大的規(guī)模為了處理Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)，BigTable是一種具有弱一致性要求的大規(guī)模數(shù)據(jù)庫系統(tǒng)362.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：介2.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結(jié)構(gòu)372.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結(jié)2.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結(jié)構(gòu)上圖示BigTable模型中的數(shù)據(jù)模型

數(shù)據(jù)模型包括行列以及相應(yīng)的時間戳，