云計(jì)算及應(yīng)用課件：Google文件系統(tǒng)GFS

云計(jì)算的核心技術(shù)谷歌技術(shù)“三寶”：MapReduce、GFS和BigTable谷歌在03到06年間連續(xù)發(fā)表了三篇很有影響力的文章，分別是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系統(tǒng)領(lǐng)域的頂級(jí)會(huì)議，在計(jì)算機(jī)學(xué)會(huì)推薦會(huì)議里屬于A類。SOSP在單數(shù)年舉辦，而OSDI在雙數(shù)年舉辦。TheGoogleFileSystem.SOSP’03MapReduce:SimplifiedDataProcessingonLargeClusters.OSDI'04.Bigtable:ADistributedStorageSystemforStructuredData.OSDI'06.Google文件系統(tǒng)GFS

系統(tǒng)架構(gòu)

容錯(cuò)機(jī)制

系統(tǒng)管理技術(shù)Google業(yè)務(wù)

全球最大搜索引擎、GoogleMaps、GoogleEarth、Gmail、YouTube等數(shù)據(jù)量巨大，且面向全球用戶提供實(shí)時(shí)服務(wù)

Google云計(jì)算平臺(tái)技術(shù)架構(gòu)

文件存儲(chǔ)，GoogleDistributedFileSystem，GFS

并行數(shù)據(jù)處理MapReduce

分布式鎖Chubby

分布式結(jié)構(gòu)化數(shù)據(jù)表BigTable

分布式存儲(chǔ)系統(tǒng)Megastore

分布式監(jiān)控系統(tǒng)Dapper

秘密武器：云計(jì)算平臺(tái)！GFS設(shè)計(jì)動(dòng)機(jī)

Google需要一個(gè)支持海量存儲(chǔ)的文件系統(tǒng)

購(gòu)置昂貴的分布式文件系統(tǒng)與硬件？

為什么不使用當(dāng)時(shí)現(xiàn)存的文件系統(tǒng)？

Google所面臨的問(wèn)題與眾不同

不同的工作負(fù)載，不同的設(shè)計(jì)優(yōu)先級(jí)（廉價(jià)、不可靠的硬件）

需要設(shè)計(jì)與Google應(yīng)用和負(fù)載相符的文件系統(tǒng)是否可以在一堆廉價(jià)且不可靠的硬件上構(gòu)建可靠的分布式文件系統(tǒng)？GFS將容錯(cuò)的任務(wù)交給文件系統(tǒng)完成，利用軟件的方法解決系統(tǒng)可靠性問(wèn)題，使存儲(chǔ)的成本成倍下降。GFS將服務(wù)器故障視為正?，F(xiàn)象，并采用多種方法，從多個(gè)角度，使用不同的容錯(cuò)措施，確保數(shù)據(jù)存儲(chǔ)的安全、保證提供不間斷的數(shù)據(jù)存儲(chǔ)服務(wù)

GFS架構(gòu)是怎樣的？系統(tǒng)架構(gòu)Client（客戶端）：應(yīng)用程序的訪問(wèn)接口

Master（主服務(wù)器）：管理節(jié)點(diǎn)，在邏輯上只有一個(gè)，保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)整個(gè)文件系統(tǒng)的管理ChunkServer（數(shù)據(jù)塊服務(wù)器）：負(fù)責(zé)具體的存儲(chǔ)工作。數(shù)據(jù)以文件的形式存儲(chǔ)在ChunkServer上實(shí)現(xiàn)機(jī)制

客戶端首先訪問(wèn)Master節(jié)點(diǎn)，獲取交互的ChunkServer信息，然后訪問(wèn)這些ChunkServer，完成數(shù)據(jù)存取工作。這種設(shè)計(jì)方法實(shí)現(xiàn)了控制流和數(shù)據(jù)流的分離。

Client與Master之間只有控制流，而無(wú)數(shù)據(jù)流，極大地降低了Master的負(fù)載。

Client與ChunkServer之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)Chunk進(jìn)行分布式存儲(chǔ)，Client可以同時(shí)訪問(wèn)多個(gè)ChunkServer，從而使得整個(gè)系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。

GFS特點(diǎn)有哪些？GFS特點(diǎn)采用中心服務(wù)器模式

可以方便地增加ChunkServer

Master掌握系統(tǒng)內(nèi)所有ChunkServer的情況，方便進(jìn)行負(fù)載均衡

不存在元數(shù)據(jù)的一致性問(wèn)題不緩存數(shù)據(jù)

文件操作大部分是流式讀寫(xiě)，不存在大量重復(fù)讀寫(xiě)，使用Cache對(duì)性能提高不大

ChunkServer上數(shù)據(jù)存取使用本地文件系統(tǒng)，若讀取頻繁，系統(tǒng)具有Cache

從可行性看，Cache與實(shí)際數(shù)據(jù)的一致性維護(hù)也極其復(fù)雜在用戶態(tài)下實(shí)現(xiàn)

利用POSIX編程接口存取數(shù)據(jù)降低了實(shí)現(xiàn)難度，提高通用性

POSIX接口提供功能更豐富

用戶態(tài)下有多種調(diào)試工具

Master和ChunkServer都以進(jìn)程方式運(yùn)行，單個(gè)進(jìn)程不影響整個(gè)操作系統(tǒng)

GFS和操作系統(tǒng)運(yùn)行在不同的空間，兩者耦合性降低只提供專用接口

降低實(shí)現(xiàn)的難度

對(duì)應(yīng)用提供一些特殊支持

降低復(fù)雜度

Google文件系統(tǒng)GFS

系統(tǒng)架構(gòu)

容錯(cuò)機(jī)制

系統(tǒng)管理技術(shù)Master容錯(cuò)

MasterNameSpace，文件系統(tǒng)目錄結(jié)構(gòu)

Chunk與文件名的映射Chunk副本的位置信息(默認(rèn)有三個(gè)副本)

NameSpace，文件系統(tǒng)目錄結(jié)構(gòu)

Chunk與文件名的映射Chunk副本的位置信息Master單個(gè)Master，對(duì)于前兩種元數(shù)據(jù)，GFS通過(guò)操作日志來(lái)提供容錯(cuò)功能

第三種元數(shù)據(jù)信息保存在各個(gè)ChunkServer上，Master故障時(shí)，磁盤恢復(fù)

GFS還提供了Master遠(yuǎn)程的實(shí)時(shí)備份,防止Master徹底死機(jī)的情況ChunkServer容錯(cuò)

采用副本方式實(shí)現(xiàn)ChunkServer容錯(cuò)

每一個(gè)Chunk有多個(gè)存儲(chǔ)副本（默認(rèn)為三個(gè)），分布存儲(chǔ)在不同的ChunkServer上用戶態(tài)的GFS不會(huì)影響ChunkServer的穩(wěn)定性

副本的分布策略需要考慮多種因素，如網(wǎng)絡(luò)的拓?fù)?、機(jī)架的分布、磁盤的利用率等

對(duì)于每一個(gè)Chunk，必須將所有的副本全部寫(xiě)入成功，才視為成功寫(xiě)入盡管一份數(shù)據(jù)需要存儲(chǔ)三份，好像磁盤空間的利用率不高，但綜合比較多種因素，加之磁盤的成本不斷下降，采用副本無(wú)疑是最簡(jiǎn)單、最可靠、最有效，而且實(shí)現(xiàn)的難度也最小的一種方法。Simple,andgoodenough!

GFS中的每一個(gè)文件被劃分成多個(gè)Chunk，Chunk的默認(rèn)大小是64MBChunkServer存儲(chǔ)的是Chunk的副本，副本以文件的形式進(jìn)行存儲(chǔ)每個(gè)Chunk又劃分為若干Block（64KB），每個(gè)Block對(duì)應(yīng)一個(gè)32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個(gè)Block錯(cuò)誤，則轉(zhuǎn)移至其他Chunk副本）Google文件系統(tǒng)GFS

系統(tǒng)架構(gòu)

容錯(cuò)機(jī)制

系統(tǒng)管理技術(shù)大規(guī)模集群安裝技術(shù)故障檢測(cè)技術(shù)

節(jié)點(diǎn)動(dòng)態(tài)加入技術(shù)

節(jié)能技術(shù)

新的ChunkServer加入時(shí)，只需裸機(jī)加入，大大減少GFS維護(hù)工作量

GFS構(gòu)建在不可靠廉價(jià)計(jì)算機(jī)之上的文件系統(tǒng)，由于節(jié)點(diǎn)數(shù)目眾多，故障發(fā)生十分頻繁

Google采用了多種機(jī)制降低服務(wù)器能耗，如采用蓄電池代替昂貴的UPS系統(tǒng)管理技術(shù)GFS集群中通常有非常多的節(jié)點(diǎn)，需要相應(yīng)的技術(shù)