Hadoop體系架構(gòu)概述備份學習教案

1、會計學1Hadoop體系架構(gòu)概述備份體系架構(gòu)概述備份第1頁/共23頁第2頁/共23頁HDFS(Hadoop Distributed File System)Map/Reduce(Job Scheduling/Execution System)Hbase(Column Database)Pig(Data Flow)Hive(SQL)SqoopETL ToolsBI ReportingRDBMSAvroSerialization)Zookeeper(Coordination)Hadoop整體框架整體框架第3頁/共23頁第4頁/共23頁 第5頁/共23頁第6頁/共23頁第7頁/共23頁第8頁/共23

2、頁ClientMetaData opsWriteNameNodeMetaData(Name, replicas, )ClientDataNodesDataNodesBlock opsReadBlockssReplicationNameNode同DataNode都是可以架設(shè)在普通商品機上，一個典型的HDFS集群中部署一個專用機做為NameNode，其余的機器部署為DataNode。雖然，這個體系結(jié)構(gòu)并不排除把一個機器做為多個DataNode節(jié)點，但是這樣的情況在實際部署中很少發(fā)生。單NameNode結(jié)構(gòu)極大的簡化了集群的系統(tǒng)結(jié)構(gòu)，NameNode主管并且存儲所有的HDFS的元數(shù)據(jù)（MetaDat

3、a），系統(tǒng)中用戶數(shù)據(jù)絕不會流過NameNode節(jié)點。第9頁/共23頁第10頁/共23頁第11頁/共23頁第12頁/共23頁第13頁/共23頁6 write5 remotewrite4 localwrite3 readUserProgramTaskTracerTaskTracerTaskTracerTaskTracerTaskTracerChunk1Chunk2Chunkn1 fork1 fork2assignmapOutputOutputInputfiles1 fork2assignreduceJobTracerMapphaseIntermediate files(on local disk)

4、ReducephaseOutputfilesMap/Reduce處理過程處理過程第14頁/共23頁第15頁/共23頁第16頁/共23頁第17頁/共23頁第18頁/共23頁Row keyTime stampColumn family AColumn akeytnt1value1在創(chuàng)建一張表時，必須定義行鍵名及所需列族的列族名，理論上一張表在創(chuàng)建時可以無限制地定義列族個數(shù)，而時間戳會由系統(tǒng)自動生成。列無需在創(chuàng)建表時定義，可以在使用時隨意定義使用，一個列族下同樣可以無限制的定義列的個數(shù)。雖然，HBase中可以任意的定義列族個數(shù)及附屬列的個數(shù)，但是只需能夠保證任意一列不為空時，該行即為有效行。第19頁/共23頁Row keyTime stampColumn familyColumnValuekeytnColumn family Akeyt1Column family AColumn avalue1第20頁/共23頁MemstoreStorefileStorefile單一鍵值TableRegionStore包含零個或多個包含一個或多個包含一個或多個包含一個達到一定閾值時寫入硬盤文件個數(shù)達到一定閾值時合并文件大小達到一定閾值時分裂Hbase物理存儲過程物理存儲過程第21頁/共23頁Hfile的文件結(jié)構(gòu)的文件結(jié)構(gòu)Data Block 1Data Block NMeta Block 1M