




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、Google在線文檔,Google云計(jì)算應(yīng)用場(chǎng)景,1,Google地圖,Google云計(jì)算應(yīng)用場(chǎng)景,2,Google郵件,Google云計(jì)算應(yīng)用場(chǎng)景,3,Google日歷,Google云計(jì)算應(yīng)用場(chǎng)景,4,Google Wave 信息分享、協(xié)作、發(fā)布平臺(tái),Google云計(jì)算應(yīng)用場(chǎng)景,5,隸屬于PaaS的Google云計(jì)算 屬于部署在云端的應(yīng)用執(zhí)行環(huán)境 支持Python和Java兩種語(yǔ)言 通過SDK提供Google的各種服務(wù),如圖形、MAIL和數(shù)據(jù)存儲(chǔ)等 用戶可快速、廉價(jià)(可免費(fèi)使用限定的流量和存儲(chǔ))地部署自己開發(fā)的應(yīng)用(如創(chuàng)新的網(wǎng)站、游戲等),Google云計(jì)算應(yīng)用場(chǎng)景,6,應(yīng)用場(chǎng)景特點(diǎn),Goo
2、gle云計(jì)算應(yīng)用場(chǎng)景,應(yīng)用(功能實(shí)現(xiàn))在云端 存儲(chǔ)在云端 計(jì)算在云端,7,Google云計(jì)算平臺(tái)技術(shù)架構(gòu) 文件存儲(chǔ),Google Distributed File System,GFS 并行數(shù)據(jù)處理MapReduce 分布式鎖Chubby 結(jié)構(gòu)化數(shù)據(jù)表BigTable,Google如何實(shí)現(xiàn)?,8,Google云計(jì)算原理,分布式文件系統(tǒng)GFS Google Distributed File System,9,什么是文件系統(tǒng)? FAT, FAT32, NTFS, EXT, 用于持久地存儲(chǔ)數(shù)據(jù)的系統(tǒng) 通常覆蓋在底層的物理存儲(chǔ)介質(zhì)上 硬盤、CD、磁帶等 數(shù)據(jù)組織的基本單元:文件 具有文件名(1.txt
3、) 通常支持層次化嵌套(目錄結(jié)構(gòu)),文件系統(tǒng)基礎(chǔ),10,文件路徑 文件與目錄的結(jié)合,用于定位文件 絕對(duì)路徑,/home/aaron/foo.txt 相對(duì)路徑,docs/someFile.doc 規(guī)范路徑 定位文件的最短絕對(duì)路徑 /home/aaron/foo.txt, /home/./home/aaron/./foo.txt 所有規(guī)范路徑的集合構(gòu)成了文件系統(tǒng)的目錄結(jié)構(gòu),文件系統(tǒng)基礎(chǔ),11,文件系統(tǒng)的存儲(chǔ)內(nèi)容 主要內(nèi)容:用戶的實(shí)際數(shù)據(jù) 元數(shù)據(jù):驅(qū)動(dòng)器元數(shù)據(jù)與文件元數(shù)據(jù),文件系統(tǒng)基礎(chǔ),12,文件分塊存儲(chǔ),文件系統(tǒng)基礎(chǔ),13,文件系統(tǒng)設(shè)計(jì)的考慮因素 最小存儲(chǔ)單元 較小可減少浪費(fèi)空間,較大則可提高文件
4、順序讀取速度(隨機(jī)訪問呢?) 文件系統(tǒng)的設(shè)計(jì)目標(biāo)是提高訪問速度還是提高使用率? 文件系統(tǒng)的安全性 多用戶環(huán)境下的文件安全 讀/寫權(quán)限分配 文件附帶訪問控制列表(ACL) 文件系統(tǒng)緩存 提高文件系統(tǒng)讀寫效率,文件系統(tǒng)基礎(chǔ),14,Google需要一個(gè)支持海量存儲(chǔ)的文件系統(tǒng) 購(gòu)置昂貴的分布式文件系統(tǒng)與硬件?,Google設(shè)計(jì)GFS的動(dòng)機(jī),是否可以在一堆廉價(jià)且不可靠的硬件上構(gòu)建可靠的分布式文件系統(tǒng)?,15,為什么不使用當(dāng)時(shí)現(xiàn)存的文件系統(tǒng)? Google所面臨的問題與眾不同 不同的工作負(fù)載,不同的設(shè)計(jì)優(yōu)先級(jí)(廉價(jià)、不可靠的硬件) 需要設(shè)計(jì)與Google應(yīng)用和負(fù)載相符的文件系統(tǒng),Google設(shè)計(jì)GFS的動(dòng)
5、機(jī),16,GFS的假設(shè)與目標(biāo),硬件出錯(cuò)是正常而非異常 系統(tǒng)應(yīng)當(dāng)由大量廉價(jià)、易損的硬件組成 必須保持文件系統(tǒng)整體的可靠性 主要負(fù)載是流數(shù)據(jù)讀寫 主要用于程序處理批量數(shù)據(jù),而非與用戶的交互或隨機(jī)讀寫 數(shù)據(jù)寫主要是“追加寫”,“插入寫”非常少 需要存儲(chǔ)大尺寸的文件 存儲(chǔ)的文件尺寸可能是GB或TB量級(jí),而且應(yīng)當(dāng)能支持存儲(chǔ)成千上萬(wàn)的大尺寸文件,17,將文件劃分為若干塊(Chunk)存儲(chǔ) 每個(gè)塊固定大小(64M) 通過冗余來(lái)提高可靠性 每個(gè)數(shù)據(jù)塊至少在3個(gè)數(shù)據(jù)塊服務(wù)器上冗余 數(shù)據(jù)塊損壞概率? 通過單個(gè)master來(lái)協(xié)調(diào)數(shù)據(jù)訪問、元數(shù)據(jù)存儲(chǔ) 結(jié)構(gòu)簡(jiǎn)單,容易保持元數(shù)據(jù)一致性 無(wú)緩存 Why?,GFS的設(shè)計(jì)思路
6、,18,單一Master, 若干ChunkServer,GFS的架構(gòu),1、文件存儲(chǔ)方式 2、數(shù)據(jù)讀寫流程,GFS的架構(gòu)有什么問題嗎?,19,20,分布式系統(tǒng)設(shè)計(jì)告訴我們: 這是單點(diǎn)故障 這是性能瓶頸 GFS的解決辦法 單點(diǎn)故障問題,單一Master問題,采用多個(gè)(如3個(gè))影子Master節(jié)點(diǎn)進(jìn)行熱備,一旦主節(jié)點(diǎn)損壞,立刻選舉一個(gè)新的主節(jié)點(diǎn)服務(wù),21,GFS的解決辦法 性能瓶頸問題,單一Master問題,盡可能減少數(shù)據(jù)存取中Master的參與程度,不使用Master讀取數(shù)據(jù),僅用于保存元數(shù)據(jù),客戶端緩存元數(shù)據(jù),采用大尺寸的數(shù)據(jù)塊(64M),數(shù)據(jù)修改順序交由Primary Chunk Server
7、完成,Simple, and good enough!,22,存儲(chǔ)元數(shù)據(jù) 文件系統(tǒng)目錄管理與加鎖 與ChunkServer進(jìn)行周期性通信 發(fā)送指令,搜集狀態(tài),跟蹤數(shù)據(jù)塊的完好性 數(shù)據(jù)塊創(chuàng)建、復(fù)制及負(fù)載均衡 對(duì)ChunkServer的空間使用和訪問速度進(jìn)行負(fù)載均衡,平滑數(shù)據(jù)存儲(chǔ)和訪問請(qǐng)求的負(fù)載 對(duì)數(shù)據(jù)塊進(jìn)行復(fù)制、分散到ChunkServer上 一旦數(shù)據(jù)塊冗余數(shù)小于最低數(shù),就發(fā)起復(fù)制操作,Master節(jié)點(diǎn)的任務(wù),23,垃圾回收 在日志中記錄刪除操作,并將文件改名隱藏 緩慢地回收隱藏文件 與傳統(tǒng)文件刪除相比更簡(jiǎn)單、更安全 陳舊數(shù)據(jù)塊刪除 探測(cè)陳舊的數(shù)據(jù)塊,并刪除,Master節(jié)點(diǎn)的任務(wù),24,采用中
8、心服務(wù)器模式 可以方便地增加Chunk Server Master掌握系統(tǒng)內(nèi)所有Chunk Server的情況,方便進(jìn)行負(fù)載均衡 不存在元數(shù)據(jù)的一致性問題,GFS架構(gòu)的特點(diǎn),25,不緩存數(shù)據(jù) GFS的文件操作大部分是流式讀寫,不存在大量的重復(fù)讀寫,使用Cache對(duì)性能提高不大 Chunk Server上的數(shù)據(jù)存取使用本地文件系統(tǒng),如果某個(gè)Chunk讀取頻繁,文件系統(tǒng)具有Cache 從可行性看,Cache與實(shí)際數(shù)據(jù)的一致性維護(hù)也極其復(fù)雜,GFS架構(gòu)的特點(diǎn),?,26,在用戶態(tài)下實(shí)現(xiàn) 直接利用Chunk Server的文件系統(tǒng)存取Chunk,實(shí)現(xiàn)簡(jiǎn)單 用戶態(tài)應(yīng)用調(diào)試較為簡(jiǎn)單,利于開發(fā) 用戶態(tài)的GFS
9、不會(huì)影響Chunk Server的穩(wěn)定性 提供專用的訪問接口 未提供標(biāo)準(zhǔn)的POSIX訪問接口 降低GFS的實(shí)現(xiàn)復(fù)雜度,GFS架構(gòu)的特點(diǎn),27,GFS的容錯(cuò)方法,GFS的容錯(cuò)機(jī)制 Chunk Server容錯(cuò) 每個(gè)Chunk有多個(gè)存儲(chǔ)副本(通常是3個(gè)),分別存儲(chǔ)于不通的服務(wù)器上 每個(gè)Chunk又劃分為若干Block(64KB),每個(gè)Block對(duì)應(yīng)一個(gè)32bit的校驗(yàn)碼,保證數(shù)據(jù)正確(若某個(gè)Block錯(cuò)誤,則轉(zhuǎn)移至其他Chunk副本),28,GFS的容錯(cuò)方法,GFS的容錯(cuò)機(jī)制 Master容錯(cuò) 三類元數(shù)據(jù):命名空間(目錄結(jié)構(gòu))、Chunk與文件名的映射以及Chunk副本的位置信息 前兩類通過日志提供容錯(cuò),Chunk副本信息存儲(chǔ)于Chunk Server,Master出現(xiàn)故障時(shí)可恢復(fù),29,GFS的性能,30,超過50個(gè)GFS集群 每個(gè)集
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 高三地理上學(xué)期第一次月考試卷
- 62 選擇性必修3 素養(yǎng)加強(qiáng)課10 PCR技術(shù)與電泳相關(guān)問題
- 2025年廣東省中考地理真題(含答案)
- 采石場(chǎng)環(huán)保治理與經(jīng)營(yíng)權(quán)轉(zhuǎn)讓合同
- 非銀行支付機(jī)構(gòu)短信催收服務(wù)協(xié)議
- 素描系統(tǒng)教學(xué)課件
- 恐龍教學(xué)課件模板
- 國(guó)家電網(wǎng)電氣安全工作知識(shí)相關(guān)試題測(cè)試卷
- 2024-2025學(xué)年江蘇省百校聯(lián)考高一下學(xué)期5月月考英語(yǔ)試題及答案
- 汶川地震教學(xué)課件
- 《中華人民共和國(guó)學(xué)前教育法》專題培訓(xùn)
- 國(guó)開(四川)2024年秋《社會(huì)學(xué)概論》形考任務(wù)1-2答案終結(jié)性考核答案
- SAP S4HANA 用戶操作手冊(cè)-FICO-006-財(cái)務(wù)月結(jié)
- 電商平臺(tái)供應(yīng)鏈管理技術(shù)分析
- 燃油燃燒器常見故障現(xiàn)象的原因分析及排除方法
- 北京匯文中學(xué)初一新生分班(摸底)語(yǔ)文考試模擬試卷(10套試卷帶答案解析)
- DL∕T 901-2017 火力發(fā)電廠煙囪(煙道)防腐蝕材料
- GB/T 4074.1-2024繞組線試驗(yàn)方法第1部分:一般規(guī)定
- MOOC 集成電路設(shè)計(jì)基礎(chǔ)-華中科技大學(xué) 中國(guó)大學(xué)慕課答案
- 數(shù)學(xué)分析教學(xué)課件
- 地震反演原理課件
評(píng)論
0/150
提交評(píng)論