Hbase學(xué)習(xí)筆記

1、參考書籍： Hadoop in action, 吳超沉思錄1.Hbase簡介1.面向列的分布式數(shù)據(jù)庫2. 以HDFS作為文件系統(tǒng)3. 利用MapReduce處理Hbase中海量數(shù)據(jù)4. ZookKeeper作為協(xié)調(diào)工具5. sqoop提供Hbase到關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)導(dǎo)入功能6. Hive和pig提供高層語言支持如HSQL2. 偽分布式安裝準(zhǔn)備： 安裝Hadoop 詳細(xì)見上一篇日志： hadoop分布式安裝hbase版本： 安裝目錄 /usr/local步驟：1.   2. 重命名： mv hbase-0.94.7-security hbase

2、3. 配置環(huán)境變量hbase_home  (vi /etc/profile)4. 修改配置文件1. hbase_home/conf/hbase_env.sh 修改java_home export JAVA_HOME=/usr/local/jdk/ 修改zookeeper（最后一行） export HBASE_MANAGES_ZK=true（使用Hbase托管的ZooKeeper）2. hbase_home/conf/hbase-site.xml文件 configuration 中加入：<property> <name>hbase.rootdir</nam

3、e> <value>hdfs:/hadoop0:9000/hbase</value></property><property> <name></name> <value>true</value></property><property> <name></name> <value>hadoop0</value></property><property> <name>dfs.replicat

4、ion</name> <value>1</value></property>5. 啟動(dòng)hbase先啟動(dòng)hadoop(start-all.sh)啟用hbase (start-hbase.sh)jps查看進(jìn)程 （HMaster,HRegionServer, HQuorumPeer）http:/hadoop0:60010可以查看管理界面，如下：6. 進(jìn)程說明：HMaster: 管理Hbase table的DDL操作給region分配工作HResionServer： 原則上每個(gè)slave對應(yīng)一個(gè)HRegionServerHQuorumPeer： ZooK

5、eeper的守護(hù)進(jìn)程，此處我們使用的是Hbase內(nèi)置的ZooKeeper（在hbase-env.sh中有配置） 3. 分布式安裝準(zhǔn)備條件： hadoop分布式環(huán)境已安裝，查看 hadoop分布式安裝hadoop0主機(jī)上hbase偽分布已安裝完成安裝：1. scp -rp /usr/local/hbase hadoop1:/usr/local2. 在hadoop0上更改hbase_home/conf/regionservers 將localhost更改為hadoop13. 在hadoop0上啟動(dòng)hbase4. jps查看，如下：hadoop0上進(jìn)程：  h

6、adoop1上進(jìn)程：同理可通過 hostname:60010訪問hbase管理界面，同分布式安裝部分4. 數(shù)據(jù)模型1. Hbase數(shù)據(jù)庫采用了和Bigtable非常類似的數(shù)據(jù)類型，表格是稀疏的；1. row key 行鍵，table的主鍵2. timestamp 時(shí)間戳，數(shù)據(jù)操作時(shí)對應(yīng)的時(shí)間戳，可以看成數(shù)據(jù)的version number3. Column Family 列簇，每個(gè)family可以由任意多個(gè)column組成，列名是<族名>:<標(biāo)簽>形式；一個(gè)表格的族名時(shí)固定的，除非使用管理員權(quán)限來改變表格的族名； 不過可以在任何時(shí)候添加新的標(biāo)簽；eg：course對于表來

7、說是一個(gè)有兩個(gè)列的列族（該列族由兩個(gè)列組成math和art）；rowkeynameTimeStampcoursemathartwishwisht1t2t3979397987699rainraint410090     4.兩張?zhí)厥獾谋? -ROOT- 和 .META.作用如下：（即-ROOT-記錄.META.的region信息,.META.記錄用戶表的region信息）關(guān)系如下：基本操作  （注意操作后不要加分號，習(xí)慣了sql，總是在后面加分號，然后發(fā)現(xiàn)執(zhí)行語句后都一直沒有反應(yīng)，去掉分號后成功）(表名和列名都需要加引號,不區(qū)分單雙引號

8、)Hbase shell，是Hbase的命令行工具,命令行中執(zhí)行hbase shell即可進(jìn)入hbase shell命令行 1） list  查看hbase中所有表2） 創(chuàng)建表： create '表名','列簇1','列簇2'.create 'student', 'name','grade','course'在管理界面中查看student3）describe 查看表結(jié)構(gòu)describe '表名' eg: describe 

9、9;student'hbase(main):003:0> describe "student"DESCRIPTION ENABLED 'student', NAME => 'course', DATA_BLOCK_ENCODING = true > 'NONE', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '3', COMPRESSION => 

10、9;NONE', MIN _VERSIONS => '0', TTL => '2147483647', KEEP_DELETED _CELLS => 'false', BLOCKSIZE => '65536', IN_MEMORY => 'false', ENCODE_ON_DISK => 'true', BLOCKCACHE => 'true', NAME => 'grade', DATA_BLOCK_ENCO

11、DING => 'NONE', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '3', COMPRESSION => 'NONE', MIN_V ERSIONS => '0', TTL => '2147483647', KEEP_DELETED_C ELLS => 'false', BLOCKSIZE => '65536',

12、 IN_MEMORY => 'false', ENCODE_ON_DISK => 'true', BLOCKCACHE => ' true', NAME => 'name', DATA_BLOCK_ENCODING => 'NO NE', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0 ', VERSIONS => '3', COMPRESSION => 'NO

13、NE', MIN_VERS IONS => '0', TTL => '2147483647', KEEP_DELETED_CELL S => 'false', BLOCKSIZE => '65536', IN_MEMORY => 'f alse', ENCODE_ON_DISK => 'true', BLOCKCACHE => 'tru e'4）插入數(shù)據(jù)和查看數(shù)據(jù)put '表名','行鍵名','

14、列名','value','列名2','value2','family:列名1','value3'.put 'student','wish','name:','wish' 查詢數(shù)據(jù)：get '表名','行名'get 'student','wish'插入更多數(shù)據(jù)hbase(main):004:0> put 'student','wish'

15、,'course:English','100'hbase(main):005:0> put 'student','wish','course:Chinese','60'hbase(main):006:0> put 'student','rain','course:Chinese','100'hbase(main):007:0> put 'student','rain','course:English','200'查看表中數(shù)據(jù)： scan 'student'其他get例子：get 'student','wish','course'get 'student','wish',&