昆仑分布式数据库Sequence功能及其实现机制

2022-01-12 00:00:00 序列 数据 数据库 字段 节点

昆仑分布式数据库(下文简称昆仑或者昆仑数据库)的计算节点源自PostgreSQL,因此继承了PostgreSQL的Sequence功能,本文介绍昆仑分布式数据库的Sequence的功能用法、用例和实现。

 

用法和用例

 

昆仑数据库的Sequence与MySQL的autoincrement(自增列)相比,其功能更加强大和灵活。主要体现在以下几方面:


1. 昆仑的Sequence与表是多对多的关系,而MySQL的自增列与表是1对1关系


具体来说,昆仑数据库的每个表可以有任意数量的sequence列使用相同或者不同的sequence产生序列值;


并且每一个sequence可以被任意多个表的任意多个列使用来产生ID值。


而MySQL的每个表多只能有一个自增列并且这个自增列只能被这个表使用(这是废话,但是为了内容对称还是要提一下)。


2. 可以在任何时候调整sequence的初始值,大值,步长,范围等属性然后继续使用,然后sequence就会按照新的属性产生新序列值。


3. 不依赖索引,清空表后序列值不回绕。


4. 昆仑数据库集群多个计算节点直接或者间接使用同一个sequence 都可以产生全局的序列值。


让我们看一个例子,首先创建一个表t1,t1的主键列serial类型标明它使用一个隐式创建的sequence来产生字段值,所以插入时候可以不为它指定字段值。


create table t1(a serial primary key, b int);



然后创建sequence seq_b,准备用seq_b来产生字段值。创建时可以可选地指定sequence的属性,不指定就使用默认值。


create sequence seq_b;


先执行这个语句插入9行,显式调用seq_b产生字段值。


insert into t1(b) values(nextval('seq_b'));


可以看到t1的数据如下:


select*from t1;




然后创建表t2,它的b和c列都使用seq_b产生缺省字段值,并且其主键列也适用隐式sequence来产生字段值。


create table t2(a serial primary key, b int default nextval('seq_b'), c int default nextval('seq_b'));


由于t2的所有字段都有缺省值,所以用如下语句插入表t2 3行。


insert into t2 default values;


查看t2的数据,可以看到每行b和c字段是使用seq_b依次产生的字段值,并且从seq_b上次产生的9之后开始产生序列值。


select*from t2;



后,还可以使用 select nextval('seq_b'); 这样的语句来直接产生序列值。

 

修改sequence元数据及其他

 

可以使用ALTER SEQUENCE 语句来修改sequence的属性,也可以使用ALTER TABLE ... ALTER COLUMN ... SET seqoptions 语句来修改列的隐式sequence的属性。


还可以使用上述alter table语句restart一个sequence。并且可以使用lastval()函数获得sequence上次返回的值。


 

sequence实现

 

昆仑数据库的sequence实现继承了PostgreSQL原有的sequence机制。


为了使sequence数据具备容灾能力并且能够被任意数量的计算节点同时使用,因此sequence的与序列值分发有关的数值数据存储在存储节点的mysql.sequences表中,每行对应一个sequence。


一个sequence的元数据具体存储在哪个存储集群中,是在创建sequence时由计算节点动态分配的。


sequence的其他元数据存储在计算节点,可以使用下面的语句查看sequence在计算节点中的元数据:


select t2.relname, t2.oid, seqstart, seqincrement, seqmax, seqmin, seqcache, seqcycle from pg_sequence t1, pg_class t2 where t1.seqrelid = t2.oid;



可以看到 t1和t2的主键列的隐式sequence分别是t1_a_seq和 t2_a_seq,还有显式创建的seq_b ,这些sequence的数值元数据所在的存储集群分别是1,2,1。


同时,可以看到sequence的基本元数据也存储在pg_class元数据表中,而其特有属性存储在pg_sequence表中。


分别连接到编号为1和2的shard查看这3个sequence在这两个存储集群的mysql.sequence表中的数值元数据,可以看到以下信息:


 

当使用一个sequence或者其预约的数值范围用尽时,一个计算节点CN就会通过其cluster_log_applier进程到这个sequence所在的存储集群中去reserve (curval, cur_val + max(10, seqcache)) 这个范围的字段值,然后CN使用这个reserve的范围来为这个sequence分发序列值,直到再次用尽。


这样,即使有多个计算节点使用同一个sequence来分发序列值,仍然可以保持高性能并且保持所有计算节点分发的序列值都。


结语


通俗来讲,如果对数据库的读和写都在同一个数据库服务器中操作,业务系统性能会降低。 

为了提升业务系统性能,优化用户体验,可以通过做主从复制来减轻主数据库的负载。 

而且如果主数据库宕机,可快速将业务系统切换到从数据库上,可避免数据丢失。

点击阅读原文

推荐阅读

KunlunBase架构介绍
KunlunBase技术优势介绍
KunlunBase技术特点介绍
KunlunBase集群基本概念介绍

END

昆仑数据库是一个HTAP NewSQL分布式数据库管理系统,可以满足用户对海量关系数据的存储管理和利用的全方位需求。
应用开发者和DBA的使用昆仑数据库的体验与单机MySQL和单机PostgreSQL几乎完全相同,因为首先昆仑数据库支持PostgreSQL和MySQL双协议,支持标准SQL:2011的 DML 语法和功能以及PostgreSQL和MySQL对标准 SQL的扩展。同时,昆仑数据库集群支持水平弹性扩容,数据自动拆分,分布式事务处理和分布式查询处理,健壮的容错容灾能力,完善直观的监测分析告警能力,集群数据备份和恢复等 常用的DBA 数据管理和操作。所有这些功能无需任何应用系统侧的编码工作,也无需DBA人工介入,不停服不影响业务正常运行。
昆仑数据库具备全面的OLAP 数据分析能力,通过了TPC-H和TPC-DS标准测试集,可以实时分析新的业务数据,帮助用户发掘出数据的价值。昆仑数据库支持公有云和私有云环境的部署,可以与docker,k8s等云基础设施无缝协作,可以轻松搭建云数据库服务。
请访问 http://www.kunlunbase.com/ 获取更多信息并且下载昆仑数据库软件、文档和资料。
KunlunBase项目已开源
【GitHub:】
https://github.com/zettadb
【Gitee:】
https://gitee.com/zettadb

相关文章