HBase实战 | HBase Rowkey 设计指南

2020-05-22 00:00:00 查询 数据 用户 设计 热点

本文来自于2018年12月25日在 HBase生态+Spark社区钉钉大群直播,本群每周二下午18点-19点之间进行 HBase+Spark技术分享。

主题: HBase rowkey设计规范
讲师:明惠——阿里云HBase业务架构师
PPT下载地址:yq.aliyun.com/download/
回放观看地址:yq.aliyun.com/live/784?

以下是本次直播内容简介:

为什么Rowkey这么重要

RowKey 到底是什么



我们常说看一张 HBase 表设计的好不好,就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么?RowKey 的特点如下:

  • 类似于 MySQL、Oracle中的主键,用于标示的行;
  • 完全是由用户指定的一串不重复的字符串;
  • HBase 中的数据永远是根据 Rowkey 的字典排序来排序的。

RowKey的作用

  • 读写数据时通过 RowKey 找到对应的 Region;
  • MemStore 中的数据按 RowKey 字典顺序排序;
  • HFile 中的数据按 RowKey 字典顺序排序。

Rowkey对查询的影响

如果我们的 RowKey 设计为 uid+phone+name,那么这种设计可以很好的支持以下的场景:

uid = 111 AND phone = 123 AND name = iteblog

uid = 111 AND phone = 123

uid = 111 AND phone = 12?

uid = 111

难以支持的场景:

phone = 123 AND name = iteblog

phone = 123

name = iteblog

Rowkey对Region划分影响

HBase 表的数据是按照 Rowkey 来分散到不同 Region,不合理的 Rowkey 设计会导致热点问题。热点问题是大量的 Client 直接访问集群的一个或极少数个节点,而集群中的其他节点却处于相对空闲状态。



如上图,Region1 上的数据是 Region 2 的5倍,这样会导致 Region1 的访问频率比较高,进而影响这个 Region 所在机器的其他 Region。

RowKey设计技巧

我们如何避免上面说到的热点问题呢?这就是这章节谈到的三种方法。

避免热点的方法 - Salting

这里的加盐不是密码学中的加盐,而是在rowkey 的前面增加随机数。具体就是给 rowkey 分配一个随机前缀 以使得它和之前排序不同。分配的前缀种类数量应该和你想使数据分散到不同的 region 的数量一致。 如果你有一些 热点 rowkey 反复出现在其他分布均匀的 rwokey 中,加盐是很有用的。考虑下面的例子:它将写请求分散到多个 RegionServers,但是对读造成了一些负面影响。

假如你有下列 rowkey,你表中每一个 region 对应字母表中每一个字母。 以 'a' 开头是同一个region, 'b'开头的是同一个region。在表中,所有以 'f'开头的都在同一个 region, 它们的 rowkey 像下面这样:

foo0001
foo0002
foo0003
foo0004

相关文章