推薦案例第三天1.2分布式存儲系統(tǒng)_第1頁
推薦案例第三天1.2分布式存儲系統(tǒng)_第2頁
推薦案例第三天1.2分布式存儲系統(tǒng)_第3頁
推薦案例第三天1.2分布式存儲系統(tǒng)_第4頁
推薦案例第三天1.2分布式存儲系統(tǒng)_第5頁
已閱讀5頁，還剩36頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

分布 系主要內用戶行為系 架主要內用戶行為系 架概用戶行為數 基本要可擴展容錯HadoopDistributedFile離線數 系統(tǒng)，支持PB級數實時結構化數 ，支持PB級數據規(guī)構建在HDFS之上，將文 在HDFS主要內用戶行為系 架HDFS是什么源自 的于2003年10HDFS是GFS克隆HadoopDistributedFile運行在大量普通廉價機器上，提供容錯HDFS優(yōu)高容副本丟失后，自動恢數據位 給計算框GB、TB、甚至PB級數10K+節(jié)點規(guī)HDFS優(yōu)寫入，多HDFS缺比如毫占用NameNode大量內尋道時間超 時僅支持50

HDFSHDFS

HDFSHDFSActive

Standby當ActiveHDFS架

文件切Fsimage與NameNode兩個重要fsimage：元數據鏡像文件（保存文件系統(tǒng) 樹 系統(tǒng)中，比如NFS、JournalNode元數據鏡內存中保存一 內存中的鏡像合并fsimage與Edits文件過大將導致NameNode重啟速度StandbyNamenodeHDFS數據塊默認數據塊大小為64MB，可配若文件大小不到64MB，則單獨存成一個數據傳輸時間超過尋道時間（高吞吐率一個文 方 默認情況下每個block有三個副HDFS內部機制HDFS內部機制—HDFS內部機制HDFS內部機制—讀HDFS內部機制—物理拓

每個機架通常有16-64HDFS內部機制—副本放置策問題擇節(jié)點這幾份數據？Block副本1: 的節(jié)點副本2:其他副本:隨機挑

HDFS內部機制—可靠性策 ?文件完整的 –CRC32校的 –Datanode定期向 NameNode掛況 ?元數據NameNode掛況NameNodeFSImage（文件系統(tǒng)鏡像）NameNodeEditlog（操作日志多主備NameNode實時切主要內用戶行為系 架HBase是什么HBase是ApacheHadoop生態(tài)系統(tǒng)中的重要 Hbase地 HBase與HBase與HDFSHBase表的特大：一個表可以有數十億行，上百萬列面向列：面向列（族）的和權限控制，列（族）獨立 數據類型單一：Hbase中的數據都是字符串，沒有類型HBase數據模 ColumnRow HBaseHBase每一行與每個columnfamily由一個或者ColumnHBase基本名稱為“Contents”的column 名稱為“anchor”的columnRowRow"contents:Column"anchor:"com.apacw""<html>…"<html>…名稱為"anchor:"APACHE n.www m"CNNca"CNN.com"<html>…"<html>…"<html>…ByteColumn擁有一個名稱每一行有一個版RowRow"contents:Column"anchor:"com.apacw""<html>…"<html>…"anchor:"APACHE n.www "CNN"anchor:my.look.ca"CNN.com"<html>…"<html>…"<html>…每個rowkey默認值?系統(tǒng)時間類型為ValueByteHBaseschema可以有多個每個表可由多個ColumnFamilyHBaseDynamicColumn（不屬于schema的RowKey是主HBaseHBaseHBaseHBaseHBase基本?包 HBase的接口， cache來加快對HBase保證任何時候，集群中只有一個存貯所有Region的尋實 Regionserver的上線和下線信息。并實時通知給HBase的schema和table元數為Regionserver分配負責Regionserver的負載均發(fā)現失效的Regionserver并重新分配其上的管理用戶對table的增刪改查操RegionRegion region，處理對這些region的IO請Regionserver負責切分在運行過程中變得過大的HDFS與HDFS與HBase主要內用戶行為系 架用戶行為系 架

用戶行 系數

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論