HBase原理、基本概念、基本架构-3

基本原理、基本概念和基本架构-3

HBase是Apache Hadoop的数据库，可以提供对大数据的随机和实时读写访问。HBase的目标是存储和处理大数据。HBase是一种开源、分布式、多版本和面向列的存储模型。它存储松散的数据。

HBase特性：

1高可靠性

2高效率

3列定向

4可扩展

5可以在廉价的PC服务器上构建大规模结构化存储集群。

HBase是Google BigTable的开源实现,的说法相互对应如下：

Google 　　　　　　　　　　 HBase

文件系统GFS HDFS

海量数据处理MapReduce Hadoop MapReduce

协作服务管理胖胖的动物园管理员

HBase关系图：

HBase位于结构化存储层，围绕着HBase，并且支持HBase的每个组件：Hadoop部件　　　　　　　　　　　　作用.

HDFS高度可靠的底层存储支持

MapReduce的高性能计算能力

动物园管理员稳定的服务和故障转移机制

PigHive高级语言支持，方便数据统计。

Sqoop提供RDBMS数据导入，方便传统数据库向HBase迁移。

访问HBase的接口

方式　　　　　　　　　　　　特点　　　　　　　　　　　　　　场合

本机Java应用编程接口是最传统和最有效的Hadoop MapReduce作业，用于并行处理HBase表数据。

HBase外壳最简单的接口hbase管理使用

节俭网关使用节俭序列化支持多语言异构系统在线访问HBase表数据。

Rest Gateway取消了对Rest风格的Http API访问的语言限制

PigPig拉丁六十编程语言处理数据统计。

蜂巢很简单，就像

HBase 数据模型

组件描述：

行关键字：表中的表主键行关键字记录按行关键字排序。

时间戳：数据上每个操作对应的时间戳，即数据的版本号。

族：列簇。表格在水平方向上有一个或多个列簇。列簇可以由任意数量的列组成。列群集支持动态扩展，无需预定义数量和类型以及二进制存储。用户需要自己转换类型。

TableRegion

1.表随着记录的增加而不断变大，它会自动拆分成多个split，成为Regions。

2.区域由[startkey，endkey]表示

3.不同的区域将由主服务器分配给相应的区域服务器进行管理。

两张特殊表：-ROOT- .META.。META。记录用户表的区域信息。与此同时。META。也可以有多个区域。

-ROOT-记录的区域信息。META。表，但是-ROOT-只有一个区域。

Zookeeper记录了-ROOT- table的位置。

客户端访问数据的过程：

客户端-zookeeper-root-meta-用户数据表

很多网络操作，但是客户端有缓存缓存。

HBase 系统架构图

组件描述Client：

使用HBase RPC机制与主机和服务器通信

客户端与HMaster通信，进行管理类操作。

客户端HRegionServer数据读写类操作的Zookeeper：

动物园管理员仲裁存储根表地址和主地址。

HRegionServer在Zookeeper中将自己注册为Ephedral，并且HMaster在任何时候都知道每个HRegion。

Server的健康状况
Zookeeper避免HMaster单点问题

HMaster：
HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master在运行
主要负责Table和Region的管理工作：
1 管理用户对表的增删改查操作
2 管理HRegionServer的负载均衡，调整Region分布
3 Region Split后，负责新Region的分布
4 在HRegionServer停机后，负责失效HRegionServer上Region迁移

HRegionServer：
HBase中最核心的模块，主要负责响应用户I/O请求，向HDFS文件系统中读写数据

HRegionServer管理一些列HRegion对象；
每个HRegion对应Table中一个Region，HRegion由多个HStore组成；
每个HStore对应Table中一个Column Family的存储；
Column Family就是一个集中的存储单元，故将具有相同IO特性的Column放在一个Column Family会更高效

HStore：
HBase存储的核心。由MemStore和StoreFile组成。
MemStore是Sorted Memory Buffer。用户写入数据的流程：

Client写入 - 存入MemStore，一直到MemStore满 - Flush成一个StoreFile，直至增长到一定阈值 - 出发Compact合并操作 - 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 - 当StoreFiles Compact后，逐步形成越来越大的StoreFile - 单个StoreFile大小超过一定阈值后，触发Split操作，把当前Region Split成2个Region，Region会下线，新Split出的2个孩子Region会被HMaster分配到相应的HRegionServer上，使得原先1个Region的压力得以分流到2个Region上
由此过程可知，HBase只是增加数据，有所得更新和删除操作，都是在Compact阶段做的，所以，用户写操作只需要进入到内存即可立即返回，从而保证I/O高性能。

HLog
引入HLog原因：
在分布式系统环境中，无法避免系统出错或者宕机，一旦HRegionServer以外退出，MemStore中的内存数据就会丢失，引入HLog就是防止这种情况
工作机制：
每个HRegionServer中都会有一个HLog对象，HLog是一个实现Write Ahead Log的类，每次用户操作写入Memstore的同时，也会写一份数据到HLog文件，HLog文件定期会滚动出新，并删除旧的文件(已持久化到StoreFile中的数据)。当HRegionServer意外终止后，HMaster会通过Zookeeper感知，HMaster首先处理遗留的HLog文件，将不同region的log数据拆分，分别放到相应region目录下，然后再将失效的region重新分配，领取到这些region的HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复。

HBase存储格式
HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，格式主要有两种：
1 HFile HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile
2 HLog File，HBase中WAL（Write Ahead Log） 的存储格式，物理上是Hadoop的Sequence File

HFile

图片解释：
HFile文件不定长，长度固定的块只有两个：Trailer和FileInfo
Trailer中指针指向其他数据块的起始点
File Info中记录了文件的一些Meta信息，例如：AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等
Data Index和Meta Index块记录了每个Data块和Meta块的起始点
Data Block是HBase I/O的基本单元，为了提高效率，HRegionServer中有基于LRU的Block Cache机制
每个Data块的大小可以在创建一个Table的时候通过参数指定，大号的Block有利于顺序Scan，小号Block利于随机查询
每个Data块除了开头的Magic以外就是一个个KeyValue对拼接而成, Magic内容就是一些随机数字，目的是防止数据损坏

HFile里面的每个KeyValue对就是一个简单的byte数组。这个byte数组里面包含了很多项，并且有固定的结构。

KeyLength和ValueLength：两个固定的长度，分别代表Key和Value的长度
Key部分：Row Length是固定长度的数值，表示RowKey的长度，Row 就是RowKey
Column Family Length是固定长度的数值，表示Family的长度
接着就是Column Family，再接着是Qualifier，然后是两个固定长度的数值，表示Time Stamp和Key Type（Put/Delete）
Value部分没有这么复杂的结构，就是纯粹的二进制数据

HLog File

HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，timestamp是“写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。
HLog Sequece File的Value是HBase的KeyValue对象，即对应HFile中的KeyValue

参考文章 http://www.searchtb.com/2011/01/understanding-hbase.html

参考文章 http://my.oschina.net/u/923508/blog/393766

参考文章 http://www.cnblogs.com/shitouer/archive/2012/06/04/2533518.html