ZNBase分布式存储的负载均衡

2022-03-29 00:00:00 分布式 节点 压力 副本 租约
导读
ZNBase 是浪潮开源的 NewSQL 分布式数据库,拥有强一致、高可用的分布式架构。在高负载的情况下,分布式数据库能够将负载压力平衡到不同的物理机节点上,充分利用不同节点的资源。本文将介绍 ZNBase 在面对高负载存储过程中采用的负载均衡策略。

负载均衡

作为分布式数据库,为了更有效利用不同物理机节点的资源, 避免服务器性能的浪费,在数据库高负载的情况下需要尽量将压力平衡到各个物理机节点上。这也是分布式数据库的研究重点之一。
云溪数据库 ZNBase 在存储上采用三副本策略,即每份数据默认同时存在三个节点中,每个副本为一个 Replica。数据库在进行读写时,其中一份副本会获得一定时间内的租约,成为 lease,该 lease 的节点即为该 range 的 leaseholder。系统的读写都是通过 leaseholder 进行的,leaseholder 会将对该副本的读写同步到其他的 Replica。
ZNBase 在启动时会创建 StoreReblancer,用于自适应的对副本进行均衡。ZNBase 通过对 Replica 以及 lease 进行迁移以平衡数据库的压力负载。StoreReblancer 会以 10 秒的周期反复执行,如果存储的压力超过阈值,则会循环对每个 range 分两个部分进行平衡,包括租约平衡和副本平衡。
图 1-1 负载均衡基本流程图

租约平衡

ZNBase 会维护当前节点存储的副本,其中的 lease 会维护该副本的 QPS(每秒查询率),并按照 QPS 降序进行排序。压力不够阈值的 range,不进行平衡。StoreReblancer 会循环遍历一个 range 的多个副本,排除本地的,排除压力不符合阈值的,排除不正常的,排除 zone 限制的副本,选择剩下的副本转移租约。租期的选举和迁移不涉及到 replica 的复制和传输。 
对于需要迁移的 range 来说,StoreReblancer 对其租约迁移的副本选取规则如下:
  1. 非本地副本。

  2. 当前 store 拥有的租期是合法的。

  3. 判断租期转移后本地 range 的 QPS 可以转到阈值以内。

  4. 待迁移的 replica 的 raftStatus 领先于候选的 replica 的 raftStatus

  5. 满足 zone(分区信息)的约束条件 。一些表可能会带有租期的限制条件,规定了该数据表的副本所在的结点,以及租期所在的结点。对于固定了租期的数据表,StoreReblancer 不会迁移其 range 的租期。

Lease 选取的基本流程如图 1-2 所示:
图1-2 待选取 lease 流程
如果当它的 QPS 大于当前的阈值范围,数据库会将其租约转移到该存储该副本的其他节点上。因为数据库是直接对 leaseholder 进行读写,并由 leaseholder 同步到其他副本,故当节点负载过大时,只要将较大读写负载的副本租约转换到其他节点,就可以把该部分的压力均衡出去。

副本平衡

如果保存某副本的三台节点压力负载都不符合 lease 的迁出条件时,数据库会选择将该副本同步到三副本以外的节点,然后将 lease 迁出,以动态平衡压力。系统会对需要平衡的 range 进行筛选,对于压力没有达到阈值的 range 或迁移后对该 store 的 QPS 影响较小时,则不会进行平衡操作。 
系统首先设定目标 store 数量,通常等于 range 的副本数。循环一个 range 的多个副本,排除本地副本后,如果副本所在的 store 压力符合阈值,或者不存在,将该 store 放入目标数组。 
如果目标数组的目标数量不足,则继续从其他所有 store 中选择,直到符合目标数量。选择 Store 目标数组的过程需要符合 zone(分区)限制,容量限制,压力阈值限制,并排序。如果还是不足,则放弃平衡。同时,副本的迁移应该满足多样性的限制,多样性指副本所在的多级分区的分散程度,副本所在的多级分区越分散,多样性分值越高。在选择目标 store 时,需要将新的多样性分值同原来的多样性分值进行比较,如果不如以前,则放弃平衡。 
ZNBase 会循环目标数组,计算新的租约和压力值,然后选择目标数组进行副本迁移。迁移过程首先用 batch 命令,副本收到命令,并发送快照。

热数据分裂

如果同时对某副本的数据进行大量的读写,压力负载是由于该副本引起时,单纯的迁移 lease 或者 replica 都无法较好的调节该情况。该部分功能由 splitQueue 进行管理。ZNBase 会选择对热点数据的 range 进行分裂,从而把压力从单个 range 上分开,该步骤会导致创建新的 replica,从而分散了压力和流量。创建新的 replica 之后的均衡仍由 store-reblancer 进行。数据库会在 range 分裂后再进行 reblance。当压力降低后,系统会自动进行 range 的合并。

总结

以上就是 ZNBase 在处理高负载存储时采用的负载均衡策略,通过租约平衡、副本平衡与热数据分裂三种不同维度的均衡策略,避免了单个节点在高负载情况下出现性能瓶颈,提升了数据库系统的读写性能。 

相关文章