HBase实战 | HBase Rowkey 设计指南

本文来自于2018年12月25日在 HBase生态+Spark社区钉钉大群直播，本群每周二下午18点-19点之间进行 HBase+Spark技术分享。

主题： HBase rowkey设计规范
讲师：明惠——阿里云HBase业务架构师
PPT下载地址：https://yq.aliyun.com/download/3233?utm_content=g_1000034553
回放观看地址：https://yq.aliyun.com/live/784?utm_content=g_1000034554

以下是本次直播内容简介：

为什么Rowkey这么重要

RowKey 到底是什么

我们常说看一张 HBase 表设计的好不好，就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么？RowKey 的特点如下：

• 类似于 MySQL、Oracle中的主键，用于标示的行；
• 完全是由用户指定的一串不重复的字符串；
• HBase 中的数据永远是根据 Rowkey 的字典排序来排序的。

RowKey的作用

• 读写数据时通过 RowKey 找到对应的 Region；
• MemStore 中的数据按 RowKey 字典顺序排序；
• HFile 中的数据按 RowKey 字典顺序排序。

Rowkey对查询的影响

如果我们的 RowKey 设计为 uid+phone+name，那么这种设计可以很好的支持以下的场景：

uid = 111 AND phone = 123 AND name = iteblog

uid = 111 AND phone = 123

uid = 111 AND phone = 12?

uid = 111

难以支持的场景：

phone = 123 AND name = iteblog

phone = 123

name = iteblog

Rowkey对Region划分影响

HBase 表的数据是按照 Rowkey 来分散到不同 Region，不合理的 Rowkey 设计会导致热点问题。热点问题是大量的 Client 直接访问集群的一个或极少数个节点，而集群中的其他节点却处于相对空闲状态。

如上图，Region1 上的数据是 Region 2 的5倍，这样会导致 Region1 的访问频率比较高，进而影响这个 Region 所在机器的其他 Region。

RowKey设计技巧

我们如何避免上面说到的热点问题呢？这就是这章节谈到的三种方法。

避免热点的方法 - Salting

这里的加盐不是密码学中的加盐，而是在rowkey 的前面增加随机数。具体就是给 rowkey 分配一个随机前缀 以使得它和之前排序不同。分配的前缀种类数量应该和你想使数据分散到不同的 region 的数量一致。 如果你有一些 热点 rowkey 反复出现在其他分布均匀的 rwokey 中，加盐是很有用的。考虑下面的例子：它将写请求分散到多个 RegionServers，但是对读造成了一些负面影响。

假如你有下列 rowkey，你表中每一个 region 对应字母表中每一个字母。 以 'a' 开头是同一个region, 'b'开头的是同一个region。在表中，所有以 'f'开头的都在同一个 region， 它们的 rowkey 像下面这样：

foo0001
foo0002
foo0003
foo0004