Hbase2

1、HBase的基础架构

1、HMaster
功能：

1. 监控RegionServer
2. 处理RegionServer故障转移
3. 处理元数据的变更
4. 处理region的分配或移除
5. 在空闲时间进行数据的负载均衡
6. 通过Zookeeper发布自己的位置给客户端
   2、RegionServer
   功能：
7. 负责存储HBase的实际数据
8. 处理分配给它的Region
9. 刷新缓存到HDFS
10. 维护HLog
11. 执行压缩
12. 负责处理Region分片
    组件：
13. Write-Ahead logs
    HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。
14. HFile
    这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。
15. Store
    HFile存储在Store中，一个Store对应HBase表中的一个列族。
16. MemStore
    顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL中之后，RegsionServer会在内存中存储键值对。
17. Region
    Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。

2、HBase常用shell操作

1、进入HBase客户端命令操作界面

$ bin/hbase shell

2、查看帮助命令

hbase(main):001:0> help

3、查看当前数据库中有哪些表

hbase(main):002:0> list

4、创建一张表

创建user表，包含info、data两个列族
hbase(main):010:0> create ‘user’, ‘info’, ‘data’

或者
hbase(main):010:0> create ‘user’, {NAME => ‘info’, VERSIONS => ‘3’}，{NAME => ‘data’}

5、添加数据操作

向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsan
hbase(main):011:0> put ‘user’, ‘rk0001’, ‘info:name’, ‘zhangsan’
向user表中插入信息，row key为rk0001，列族info中添加gender列标示符，值为female
hbase(main):012:0> put ‘user’, ‘rk0001’, ‘info:gender’, ‘female’

向user表中插入信息，row key为rk0001，列族info中添加age列标示符，值为20
hbase(main):013:0> put ‘user’, ‘rk0001’, ‘info:age’, 20

向user表中插入信息，row key为rk0001，列族data中添加pic列标示符，值为picture
hbase(main):014:0> put ‘user’, ‘rk0001’, ‘data:pic’, ‘picture’
查看数据

6、查询数据操作

1、通过rowkey进行查询

获取user表中row key为rk0001的所有信息
hbase(main):015:0> get ‘user’, ‘rk0001’

2、查看rowkey下面的某个列族的信息

获取user表中row key为rk0001，info列族的所有信息
hbase(main):016:0> get ‘user’, ‘rk0001’, ‘info’

3、查看rowkey指定列族指定字段的值

获取user表中row key为rk0001，info列族的name、age列标示符的信息
hbase(main):017:0> get ‘user’, ‘rk0001’, ‘info:name’, ‘info:age’

4、查看rowkey指定多个列族的信息

获取user表中row key为rk0001，info、data列族的信息
hbase(main):018:0> get ‘user’, ‘rk0001’, ‘info’, ‘data’

或者你也可以这样写
hbase(main):019:0> get ‘user’, ‘rk0001’, {COLUMN => [‘info’, ‘data’]}
或者你也可以这样写，也行
hbase(main):020:0> get ‘user’, ‘rk0001’, {COLUMN => [‘info:name’, ‘data:pic’]}

5、指定rowkey与列值查询

获取user表中row key为rk0001，cell的值为zhangsan的信息
hbase(main):030:0> get ‘user’, ‘rk0001’, {FILTER => “ValueFilter(=, ‘binary:zhangsan’)”}

6、指定rowkey与列值模糊查询

获取user表中row key为rk0001，列标示符中含有a的信息
hbase(main):031:0> get ‘user’, ‘rk0001’, {FILTER => “(QualifierFilter(=,‘substring:a’))”}

继续插入一批数据
hbase(main):032:0> put ‘user’, ‘rk0002’, ‘info:name’, ‘fanbingbing’
hbase(main):033:0> put ‘user’, ‘rk0002’, ‘info:gender’, ‘female’
hbase(main):034:0> put ‘user’, ‘rk0002’, ‘info:nationality’, ‘中国’
hbase(main):035:0> get ‘user’, ‘rk0002’, {FILTER => “ValueFilter(=, ‘binary:中国’)”}

7、查询所有数据

查询user表中的所有信息
scan ‘user’

8、列族查询

查询user表中列族为info的信息
scan ‘user’, {COLUMNS => ‘info’}
scan ‘user’, {COLUMNS => ‘info’, RAW => true, VERSIONS => 5}
scan ‘user’, {COLUMNS => ‘info’, RAW => true, VERSIONS => 3}

9、多列族查询

查询user表中列族为info和data的信息
scan ‘user’, {COLUMNS => [‘info’, ‘data’]}
scan ‘user’, {COLUMNS => [‘info:name’, ‘data:pic’]}

10、指定列族与某个列名查询

查询user表中列族为info、列标示符为name的信息
scan ‘user’, {COLUMNS => ‘info:name’}

11、指定列族与列名以及限定版本查询

查询user表中列族为info、列标示符为name的信息,并且版本最新的5个
scan ‘user’, {COLUMNS => ‘info:name’, VERSIONS => 5}

12、指定多个列族与按照数据值模糊查询

查询user表中列族为info和data且列标示符中含有a字符的信息
scan ‘user’, {COLUMNS => [‘info’, ‘data’], FILTER => “(QualifierFilter(=,‘substring:a’))”}

13、rowkey的范围值查询

查询user表中列族为info，rk范围是[rk0001, rk0003)的数据
scan ‘people’, {COLUMNS => ‘info’, STARTROW => ‘rk0001’, ENDROW => ‘rk0003’}

14、指定rowkey模糊查询

查询user表中row key以rk字符开头的
scan ‘user’,{FILTER=>“PrefixFilter(‘rk’)”}

15、指定数据范围值查询

查询user表中指定范围的数据
scan ‘user’, {TIMERANGE => [1392368783980, 1392380169184]}

7、更新数据操作

1、更新数据值
更新操作同插入操作一模一样，只不过有数据就更新，没数据就添加

2、更新版本号
将user表的f1列族版本号改为5
hbase(main):050:0> alter ‘user’, NAME => ‘info’, VERSIONS => 5

8、删除数据以及删除表操作

1、指定rowkey以及列名进行删除
删除user表row key为rk0001，列标示符为info:name的数据
hbase(main):045:0> delete ‘user’, ‘rk0001’, ‘info:name’
2、指定rowkey，列名以及字段值进行删除
删除user表row key为rk0001，列标示符为info:name，timestamp为1392383705316的数据
delete ‘user’, ‘rk0001’, ‘info:name’, 1392383705316

3、删除一个列族
删除一个列族：
alter ‘user’, NAME => ‘f1’, METHOD => ‘delete’ 或 alter ‘user’, ‘delete’ => ‘f1’

4、清空表数据
hbase(main):017:0> truncate ‘user’

5、删除表
首先需要先让该表为disable状态，使用命令：
hbase(main):049:0> disable ‘user’
然后才能drop这个表，使用命令：
hbase(main):050:0> drop ‘user’
(注意：如果直接drop表，会报错：Drop the named table. Table must first be disabled)

9、统计一张表有多少行数据

hbase(main):053:0> count ‘user’