HBase实战 | HBase Rowkey 设计指南
本文来自于2018年12月25日在 HBase生态+Spark社区钉钉大群直播,本群每周二下午18点-19点之间进行 HBase+Spark技术分享。
主题: HBase rowkey设计规范
讲师:明惠——阿里云HBase业务架构师
PPT下载地址:https://yq.aliyun.com/download/3233?utm_content=g_1000034553
回放观看地址:https://yq.aliyun.com/live/784?utm_content=g_1000034554
以下是本次直播内容简介:
为什么Rowkey这么重要
RowKey 到底是什么
我们常说看一张 HBase 表设计的好不好,就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么?RowKey 的特点如下:
- 类似于 MySQL、Oracle中的主键,用于标示的行;
- 完全是由用户指定的一串不重复的字符串;
- HBase 中的数据永远是根据 Rowkey 的字典排序来排序的。
RowKey的作用
- 读写数据时通过 RowKey 找到对应的 Region;
- MemStore 中的数据按 RowKey 字典顺序排序;
- HFile 中的数据按 RowKey 字典顺序排序。
Rowkey对查询的影响
如果我们的 RowKey 设计为 uid+phone+name,那么这种设计可以很好的支持以下的场景:
uid = 111 AND phone = 123 AND name = iteblog
uid = 111 AND phone = 123
uid = 111 AND phone = 12?
uid = 111
难以支持的场景:
phone = 123 AND name = iteblog
phone = 123
name = iteblog
Rowkey对Region划分影响
HBase 表的数据是按照 Rowkey 来分散到不同 Region,不合理的 Rowkey 设计会导致热点问题。热点问题是大量的 Client 直接访问集群的一个或极少数个节点,而集群中的其他节点却处于相对空闲状态。
如上图,Region1 上的数据是 Region 2 的5倍,这样会导致 Region1 的访问频率比较高,进而影响这个 Region 所在机器的其他 Region。
RowKey设计技巧
我们如何避免上面说到的热点问题呢?这就是这章节谈到的三种方法。
避免热点的方法 - Salting
这里的加盐不是密码学中的加盐,而是在rowkey 的前面增加随机数。具体就是给 rowkey 分配一个随机前缀 以使得它和之前排序不同。分配的前缀种类数量应该和你想使数据分散到不同的 region 的数量一致。 如果你有一些 热点 rowkey 反复出现在其他分布均匀的 rwokey 中,加盐是很有用的。考虑下面的例子:它将写请求分散到多个 RegionServers,但是对读造成了一些负面影响。
假如你有下列 rowkey,你表中每一个 region 对应字母表中每一个字母。 以 'a' 开头是同一个region, 'b'开头的是同一个region。在表中,所有以 'f'开头的都在同一个 region, 它们的 rowkey 像下面这样:
foo0001
foo0002
foo0003
foo0004
相关文章