google云計(jì)算原理2.ppt

1、Google在線文檔,Google云計(jì)算應(yīng)用場(chǎng)景,1,Google地圖,Google云計(jì)算應(yīng)用場(chǎng)景,2,Google郵件,Google云計(jì)算應(yīng)用場(chǎng)景,3,Google日歷,Google云計(jì)算應(yīng)用場(chǎng)景,4,Google Wave 信息分享、協(xié)作、發(fā)布平臺(tái),Google云計(jì)算應(yīng)用場(chǎng)景,5,隸屬于PaaS的Google云計(jì)算 屬于部署在云端的應(yīng)用執(zhí)行環(huán)境 支持Python和Java兩種語(yǔ)言 通過(guò)SDK提供Google的各種服務(wù)，如圖形、MAIL和數(shù)據(jù)存儲(chǔ)等 用戶可快速、廉價(jià)（可免費(fèi)使用限定的流量和存儲(chǔ)）地部署自己開(kāi)發(fā)的應(yīng)用（如創(chuàng)新的網(wǎng)站、游戲等）,Google云計(jì)算應(yīng)用場(chǎng)景,6,應(yīng)用場(chǎng)景特點(diǎn),Goo

2、gle云計(jì)算應(yīng)用場(chǎng)景,應(yīng)用（功能實(shí)現(xiàn)）在云端 存儲(chǔ)在云端 計(jì)算在云端,7,Google云計(jì)算平臺(tái)技術(shù)架構(gòu) 文件存儲(chǔ)，Google Distributed File System，GFS 并行數(shù)據(jù)處理MapReduce 分布式鎖Chubby 結(jié)構(gòu)化數(shù)據(jù)表BigTable,Google如何實(shí)現(xiàn)？,8,Google云計(jì)算原理,分布式文件系統(tǒng)GFS Google Distributed File System,9,什么是文件系統(tǒng)？ FAT, FAT32, NTFS, EXT, 用于持久地存儲(chǔ)數(shù)據(jù)的系統(tǒng) 通常覆蓋在底層的物理存儲(chǔ)介質(zhì)上 硬盤、CD、磁帶等 數(shù)據(jù)組織的基本單元：文件 具有文件名（1.txt

3、） 通常支持層次化嵌套（目錄結(jié)構(gòu)）,文件系統(tǒng)基礎(chǔ),10,文件路徑 文件與目錄的結(jié)合，用于定位文件 絕對(duì)路徑，/home/aaron/foo.txt 相對(duì)路徑，docs/someFile.doc 規(guī)范路徑 定位文件的最短絕對(duì)路徑 /home/aaron/foo.txt, /home/./home/aaron/./foo.txt 所有規(guī)范路徑的集合構(gòu)成了文件系統(tǒng)的目錄結(jié)構(gòu),文件系統(tǒng)基礎(chǔ),11,文件系統(tǒng)的存儲(chǔ)內(nèi)容 主要內(nèi)容：用戶的實(shí)際數(shù)據(jù) 元數(shù)據(jù)：驅(qū)動(dòng)器元數(shù)據(jù)與文件元數(shù)據(jù),文件系統(tǒng)基礎(chǔ),12,文件分塊存儲(chǔ),文件系統(tǒng)基礎(chǔ),13,文件系統(tǒng)設(shè)計(jì)的考慮因素 最小存儲(chǔ)單元 較小可減少浪費(fèi)空間，較大則可提高文件

4、順序讀取速度（隨機(jī)訪問(wèn)呢？） 文件系統(tǒng)的設(shè)計(jì)目標(biāo)是提高訪問(wèn)速度還是提高使用率？ 文件系統(tǒng)的安全性 多用戶環(huán)境下的文件安全 讀/寫(xiě)權(quán)限分配 文件附帶訪問(wèn)控制列表（ACL） 文件系統(tǒng)緩存 提高文件系統(tǒng)讀寫(xiě)效率,文件系統(tǒng)基礎(chǔ),14,Google需要一個(gè)支持海量存儲(chǔ)的文件系統(tǒng) 購(gòu)置昂貴的分布式文件系統(tǒng)與硬件？,Google設(shè)計(jì)GFS的動(dòng)機(jī),是否可以在一堆廉價(jià)且不可靠的硬件上構(gòu)建可靠的分布式文件系統(tǒng)？,15,為什么不使用當(dāng)時(shí)現(xiàn)存的文件系統(tǒng)？ Google所面臨的問(wèn)題與眾不同 不同的工作負(fù)載，不同的設(shè)計(jì)優(yōu)先級(jí)（廉價(jià)、不可靠的硬件） 需要設(shè)計(jì)與Google應(yīng)用和負(fù)載相符的文件系統(tǒng),Google設(shè)計(jì)GFS的動(dòng)

5、機(jī),16,GFS的假設(shè)與目標(biāo),硬件出錯(cuò)是正常而非異常 系統(tǒng)應(yīng)當(dāng)由大量廉價(jià)、易損的硬件組成 必須保持文件系統(tǒng)整體的可靠性 主要負(fù)載是流數(shù)據(jù)讀寫(xiě) 主要用于程序處理批量數(shù)據(jù)，而非與用戶的交互或隨機(jī)讀寫(xiě) 數(shù)據(jù)寫(xiě)主要是“追加寫(xiě)”，“插入寫(xiě)”非常少 需要存儲(chǔ)大尺寸的文件 存儲(chǔ)的文件尺寸可能是GB或TB量級(jí)，而且應(yīng)當(dāng)能支持存儲(chǔ)成千上萬(wàn)的大尺寸文件,17,將文件劃分為若干塊（Chunk）存儲(chǔ) 每個(gè)塊固定大?。?4M） 通過(guò)冗余來(lái)提高可靠性 每個(gè)數(shù)據(jù)塊至少在3個(gè)數(shù)據(jù)塊服務(wù)器上冗余 數(shù)據(jù)塊損壞概率？ 通過(guò)單個(gè)master來(lái)協(xié)調(diào)數(shù)據(jù)訪問(wèn)、元數(shù)據(jù)存儲(chǔ) 結(jié)構(gòu)簡(jiǎn)單，容易保持元數(shù)據(jù)一致性 無(wú)緩存 Why?,GFS的設(shè)計(jì)思路

6、,18,單一Master, 若干ChunkServer,GFS的架構(gòu),1、文件存儲(chǔ)方式 2、數(shù)據(jù)讀寫(xiě)流程,GFS的架構(gòu)有什么問(wèn)題嗎？,19,20,分布式系統(tǒng)設(shè)計(jì)告訴我們： 這是單點(diǎn)故障 這是性能瓶頸 GFS的解決辦法 單點(diǎn)故障問(wèn)題,單一Master問(wèn)題,采用多個(gè)（如3個(gè)）影子Master節(jié)點(diǎn)進(jìn)行熱備，一旦主節(jié)點(diǎn)損壞，立刻選舉一個(gè)新的主節(jié)點(diǎn)服務(wù),21,GFS的解決辦法 性能瓶頸問(wèn)題,單一Master問(wèn)題,盡可能減少數(shù)據(jù)存取中Master的參與程度,不使用Master讀取數(shù)據(jù)，僅用于保存元數(shù)據(jù),客戶端緩存元數(shù)據(jù),采用大尺寸的數(shù)據(jù)塊（64M）,數(shù)據(jù)修改順序交由Primary Chunk Server

7、完成,Simple, and good enough!,22,存儲(chǔ)元數(shù)據(jù) 文件系統(tǒng)目錄管理與加鎖 與ChunkServer進(jìn)行周期性通信 發(fā)送指令，搜集狀態(tài)，跟蹤數(shù)據(jù)塊的完好性 數(shù)據(jù)塊創(chuàng)建、復(fù)制及負(fù)載均衡 對(duì)ChunkServer的空間使用和訪問(wèn)速度進(jìn)行負(fù)載均衡，平滑數(shù)據(jù)存儲(chǔ)和訪問(wèn)請(qǐng)求的負(fù)載 對(duì)數(shù)據(jù)塊進(jìn)行復(fù)制、分散到ChunkServer上 一旦數(shù)據(jù)塊冗余數(shù)小于最低數(shù)，就發(fā)起復(fù)制操作,Master節(jié)點(diǎn)的任務(wù),23,垃圾回收 在日志中記錄刪除操作，并將文件改名隱藏 緩慢地回收隱藏文件 與傳統(tǒng)文件刪除相比更簡(jiǎn)單、更安全 陳舊數(shù)據(jù)塊刪除 探測(cè)陳舊的數(shù)據(jù)塊，并刪除,Master節(jié)點(diǎn)的任務(wù),24,采用中

8、心服務(wù)器模式 可以方便地增加Chunk Server Master掌握系統(tǒng)內(nèi)所有Chunk Server的情況，方便進(jìn)行負(fù)載均衡 不存在元數(shù)據(jù)的一致性問(wèn)題,GFS架構(gòu)的特點(diǎn),25,不緩存數(shù)據(jù) GFS的文件操作大部分是流式讀寫(xiě)，不存在大量的重復(fù)讀寫(xiě)，使用Cache對(duì)性能提高不大 Chunk Server上的數(shù)據(jù)存取使用本地文件系統(tǒng)，如果某個(gè)Chunk讀取頻繁，文件系統(tǒng)具有Cache 從可行性看，Cache與實(shí)際數(shù)據(jù)的一致性維護(hù)也極其復(fù)雜,GFS架構(gòu)的特點(diǎn),?,26,在用戶態(tài)下實(shí)現(xiàn) 直接利用Chunk Server的文件系統(tǒng)存取Chunk，實(shí)現(xiàn)簡(jiǎn)單 用戶態(tài)應(yīng)用調(diào)試較為簡(jiǎn)單，利于開(kāi)發(fā) 用戶態(tài)的GFS

9、不會(huì)影響Chunk Server的穩(wěn)定性 提供專用的訪問(wèn)接口 未提供標(biāo)準(zhǔn)的POSIX訪問(wèn)接口 降低GFS的實(shí)現(xiàn)復(fù)雜度,GFS架構(gòu)的特點(diǎn),27,GFS的容錯(cuò)方法,GFS的容錯(cuò)機(jī)制 Chunk Server容錯(cuò) 每個(gè)Chunk有多個(gè)存儲(chǔ)副本（通常是3個(gè)），分別存儲(chǔ)于不通的服務(wù)器上 每個(gè)Chunk又劃分為若干Block（64KB），每個(gè)Block對(duì)應(yīng)一個(gè)32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個(gè)Block錯(cuò)誤，則轉(zhuǎn)移至其他Chunk副本）,28,GFS的容錯(cuò)方法,GFS的容錯(cuò)機(jī)制 Master容錯(cuò) 三類元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、Chunk與文件名的映射以及Chunk副本的位置信息 前兩類通過(guò)日志提供容錯(cuò)，Chunk副本信息存儲(chǔ)于Chunk Server，Master出現(xiàn)故障時(shí)可恢復(fù),29,GFS的性能,30,超過(guò)50個(gè)GFS集群 每個(gè)集