大數(shù)據(jù)應(yīng)用技術(shù)介紹

大數(shù)據(jù)應(yīng)用技術(shù)介紹2014年2月現(xiàn)在是1頁\一共有37頁\編輯于星期五Hadoop生態(tài)系統(tǒng)現(xiàn)在是2頁\一共有37頁\編輯于星期五Hadoop生態(tài)系統(tǒng)SubProject描述common分布式文件系統(tǒng)和通用I/O的組件與接口（序列化，JavaRPC和持久化數(shù)據(jù)結(jié)構(gòu)）Avro支持高效的跨語言RPC和持久數(shù)據(jù)存儲的序列化系統(tǒng)MapReduce分布式數(shù)據(jù)處理模型和執(zhí)行環(huán)境，運行在大型商用機集群HDFS分布式文件系統(tǒng)，用于大型商用機集群PIGPig是SQL-like語言，是在MapReduce上構(gòu)建的一種高級查詢語言，把一些運算編譯進MapReduce模型的Map和Reduce中，并且用戶可以定義自己的功能。Hive分布式、按列存儲的數(shù)據(jù)倉庫。Hive管理HDFS中存儲的數(shù)據(jù)，并提供基于SQL的查詢語言（由運行時引擎翻譯成MapReduce作業(yè)）Hbase分布式、按列存儲的數(shù)據(jù)庫。HBase使用HDFS作為底層存儲，同時支持MapReduce的批量式計算和點查詢（隨機讀?。㈱ooKeeper分布式、可用性高的協(xié)調(diào)服務(wù)。提供類似分布式鎖的基礎(chǔ)服務(wù)。Sqoop在數(shù)據(jù)庫和HDFS之間高效傳輸數(shù)據(jù)的工具Flume分布式、可靠、和高可用的海量日志聚合的系統(tǒng)。ChukwaChukwa是基于Hadoop的大集群監(jiān)控系統(tǒng)，由yahoo貢獻?，F(xiàn)在是3頁\一共有37頁\編輯于星期五Hadoop介紹HDFSMapReduce現(xiàn)在是4頁\一共有37頁\編輯于星期五HDFS特點存儲大文件百兆以上級別文件百萬級文件由于億級別文件流式處理數(shù)據(jù)一次寫多次多模式支持追加操作廉價的硬件環(huán)境普通pcserver組成集群環(huán)境現(xiàn)在是5頁\一共有37頁\編輯于星期五HDFS缺點低延時讀操作高吞吐量而非低延時Hbase解決了這個問題大量小數(shù)據(jù)文件最好每個文件大于100M多次寫只支持一次寫只支持在文件尾部添加，不支持隨機寫現(xiàn)在是6頁\一共有37頁\編輯于星期五HDFS部署結(jié)構(gòu)現(xiàn)在是7頁\一共有37頁\編輯于星期五HDFS讀寫過程現(xiàn)在是8頁\一共有37頁\編輯于星期五MapReduce部署結(jié)構(gòu)JobTracker管理集群資源和Job調(diào)度TaskTracker管理Task運行現(xiàn)在是9頁\一共有37頁\編輯于星期五MapReduce計算模型Inputk1,v1Mapk2,v2Reducek3,v3Output現(xiàn)在是10頁\一共有37頁\編輯于星期五MapReduce擴展接口InputFormatMapperPartitionerReducerOutputFormat現(xiàn)在是11頁\一共有37頁\編輯于星期五Map現(xiàn)在是12頁\一共有37頁\編輯于星期五Reduce現(xiàn)在是13頁\一共有37頁\編輯于星期五MapReduce實例現(xiàn)在是14頁\一共有37頁\編輯于星期五MapReduce內(nèi)部結(jié)構(gòu)現(xiàn)在是15頁\一共有37頁\編輯于星期五Hadoop2.0引入一個新的資源管理系統(tǒng)YARNHDFS單點故障得以解決HDFSFederationHDFS快照通過NFS訪問HDFS支持Window系統(tǒng)現(xiàn)在是16頁\一共有37頁\編輯于星期五Hadoop1VSHadoop2現(xiàn)在是17頁\一共有37頁\編輯于星期五集群資源管理Hadoop介紹現(xiàn)在是18頁\一共有37頁\編輯于星期五Yarn運行原理圖現(xiàn)在是19頁\一共有37頁\編輯于星期五Hbase介紹1高可靠性2高效性3面向列4可伸縮5可在廉價PCServer搭建大規(guī)模結(jié)構(gòu)化存儲集群現(xiàn)在是20頁\一共有37頁\編輯于星期五Hbase體系結(jié)構(gòu)現(xiàn)在是21頁\一共有37頁\編輯于星期五HBase系統(tǒng)架構(gòu)圖現(xiàn)在是22頁\一共有37頁\編輯于星期五HBase部件說明Client：

使用HBaseRPC機制與HMaster和HRegionServer進行通信

Client與HMaster進行通信進行管理類操作

Client與HRegionServer進行數(shù)據(jù)讀寫類操作

Zookeeper：

ZookeeperQuorum存儲-ROOT-表地址、HMaster地址

HRegionServer把自己以Ephedral方式注冊到Zookeeper中，HMaster隨時感知各個HRegionServer的健康狀況

Zookeeper避免HMaster單點問題

HMaster：

HMaster沒有單點問題，HBase中可以啟動多個HMaster，通過Zookeeper的MasterElection機制保證總有一個Master在運行

主要負責Table和Region的管理工作：

1管理用戶對表的增刪改查操作

2管理HRegionServer的負載均衡，調(diào)整Region分布

3RegionSplit后，負責新Region的分布

4在HRegionServer停機后，負責失效HRegionServer上Region遷移

現(xiàn)在是23頁\一共有37頁\編輯于星期五Table&RegionTable隨著記錄增多不斷變大，會自動分裂成多份Splits，成為Regions一個region由[startkey，endkey)表示不同region會被Master分配給相應(yīng)的RegionServer進行管理現(xiàn)在是24頁\一共有37頁\編輯于星期五HregionServer現(xiàn)在是25頁\一共有37頁\編輯于星期五-ROOT-&.META..META.記錄用戶表的Region信息，同時，.META.也可以有多region-ROOT-記錄.META.表的Region信息，但是，-ROOT-只有一個regionZookeeper中記錄了-ROOT-表的location客戶端訪問數(shù)據(jù)的流程：

Client->Zookeeper->-ROOT-->.META.->用戶數(shù)據(jù)表多次網(wǎng)絡(luò)操作，不過client端有cache緩存現(xiàn)在是26頁\一共有37頁\編輯于星期五HBase數(shù)據(jù)模型RowKey：Table主鍵，Table中記錄按照RowKey排序

Timestamp：

每次對數(shù)據(jù)操作對應(yīng)的時間戳，也即數(shù)據(jù)的versionnumber

ColumnFamily：列簇，一個table在水平方向有一個或者多個列簇，列簇可由任

意多個Column組成，列簇支持動態(tài)擴展，無須預(yù)定義數(shù)量及

類型，二進制存儲，用戶需自行進行類型轉(zhuǎn)換現(xiàn)在是27頁\一共有37頁\編輯于星期五HbaseShell現(xiàn)在是28頁\一共有37頁\編輯于星期五Hbaseshell現(xiàn)在是29頁\一共有37頁\編輯于星期五Hbase與RDBMS數(shù)據(jù)類型：Hbase只有簡單的字符串類型。數(shù)據(jù)操作：Hbase只有很簡單的插入、查詢、刪除、清空操作，沒有復(fù)雜的表和表之間的關(guān)系。存儲模式：Hbase是基于列式存儲，每個列族由幾個文件保存，不同列族的文件是分離的。數(shù)據(jù)維護：更新操作是替換版本，刪除只是邏輯標記可伸縮性：現(xiàn)在是30頁\一共有37頁\編輯于星期五參考資料現(xiàn)在是31頁\一共有37頁\編輯于星期五Lucene搜索結(jié)構(gòu)現(xiàn)在是32頁\一共有37頁\編輯于星期五基于文檔的搜索Tika是一個內(nèi)容抽取的工具集合。支持work，ppt，execl，PDF等現(xiàn)在是33頁\一共有37頁\編輯于星期五大數(shù)據(jù)統(tǒng)計Elasticsearch：開源的分布式實時搜索系統(tǒng)，結(jié)合Hbase實現(xiàn)海量數(shù)據(jù)存儲和檢索，同時提供索引數(shù)據(jù)統(tǒng)計功能，滿足海量數(shù)據(jù)的實時統(tǒng)計要求。ya主要功能特點realtimedistributedhighavailabilitydocumentorientedschemafreerestfulapi索引數(shù)據(jù)統(tǒng)計min、max、sum、avg。s