华为云数据库内核专家为您揭秘：GaussDB(for MySQL)并行查询有多快？

2022-05-05 00:00:00 查询 并行 华为 计算 多核

近期，华为云数据库团队推出了专家技术解读系列，该系列基于GaussDB产品，每期围绕1个核心技术点进行深度剖析。上期由华为瑞典研究所数据库Lab首席科学家吕漫漪女士解读《GaussDB(for MySQL)云栈垂直集成的力量有多大？》，本期将由华为云数据库内核专家饶珑辉针对吕漫漪文章中介绍的GaussDB(for MySQL)关键特性之“并行查询”（PQ: Parallel Query）进行详细解读。

一般来讲，数据库有两个非常广泛的应用场景，分别是“事务处理”和“查询分析”。开源MySQL作为国内使用多的关系型数据库之一，很早在5.1版本就开始支持事务处理的场景。随着技术演进，开源MySQL在版本更新迭代过程中不但持续增强事务处理能力，并且新的MySQL 8.0版本已经开始支持许多查询分析型的特性，比如Window function、CTE、Hash Join、列直方图、并行COUNT计算等等。

华为云GaussDB(for MySQL) 作为华为新一代高性能企业级分布式关系型数据库，根植MySQL开源社区，不但继承了开源的所有查询分析特性，还面向企业级应用查询负载开发了许多增强特性，如并行查询、查询计算下推(NDP: Near Data Processing)等等。

在传统数据解决方案中，“事务处理”和“查询分析”分别放在不同类型的库上完成，这是因为事务处理以数据增、删、改，以及小数据查询为主，更加注重实时响应、高吞吐和事务性要求。而“查询分析”以大数据量复杂计算为主，更加注重数据容量扩展性、复杂计算能力等。下图展示的是传统数据解决方案：OLTP数据库满足在线事务处理需求，OLAP数据仓库满足分析型查询需求。

客户需要什么样的数据库？

当前业界对数据库的普遍需求是：实时响应、高吞吐、满足事务性、良好的扩展性以及支持复杂查询。这对于使用者而言有很多好处：首先是降低部署成本，用户只需要部署一套数据库集群即可；其次是解决了数据迁移时延的问题，更新和查询运行在同一套集群中；还有就是支持事务性查询，满足一致性、原则性、隔离性和持久性要求，查询结果会更加准确。

针对用户需求，华为云原生数据库GaussDB(for MySQL)通过技术创新，具备了同时满足事务处理和查询分析的能力。GaussDB(for MySQL)是一款兼容MySQL语法的OLTP事务关系型数据库，架构上采用了计算和存储分离的设计，计算资源和存储资源可以分别进行独立在线扩展。存储层使用了华为自研分布式存储系统DFV（数据功能虚拟化: Data Function Virtualisation），大可以扩展到128TB容量，单个计算节点大规格可支持64核CPU，512G的内存容量，多可以支持1个写节点和15个只读节点。

除了强大的资源扩展能力，GaussDB(for MySQL)针对事务处理和查询分析分别作了优化，极大增强了事务读写和查询分析的能力。本文将重点介绍增强的查询分析能力之一：并行查询。

查询分析提升之道：释放CPU多核计算资源

众所周知，软件计算能力的提升一方面得益于CPU硬件能力的增强，另一方面也得益于软件设计层面能够充分利用CPU的计算资源。当前处理器普遍采用多核设计，如GaussDB(for MySQL)单个节点多可以支持64核的CPU。单线程查询的方式至多能用满一个核的CPU资源，性能提升程度有限，远远无法满足企业大数据量查询场景下对降低时延的要求。因此，复杂的查询分析型计算过程必须考虑充分利用CPU的多核计算资源，让多个核参与到并行计算任务中才能大幅度提升查询计算的处理效率。

下图是使用CPU多核资源并行计算一个表的count(*)过程的例子：表数据进行切块后分发给多个核进行并行计算，每个核计算部分数据得到一个中间count(*)结果，并在后阶段将所有中间结果进行聚合得到终结果。

GaussDB(for MySQL)查询分析提升秘笈：并行查询

GaussDB(for MySQL)支持并行执行的查询方式，用于降低分析型查询场景的处理时间，满足企业级应用对查询低时延的要求。如前面所述，并行查询的基本实现原理是将查询任务进行切分并分发到多个CPU核上进行计算，充分利用CPU的多核计算资源来缩短查询时间。并行查询的性能提升倍数，理论上与CPU的核数正相关，就是说并行度越高能够使用的CPU核数就越多，性能提升的倍数也就越高。

下图展示的是：在GaussDB(for MySQL)的64U实例上查询100G数据量的COUNT(*)查询耗时，不同的查询并发度分别对应不同耗时，并发度越高对应的查询耗时越短。

GaussDB(for MySQL)支持多种类型的并行查询算子，以满足客户各种不同复杂查询场景。当前新版本（2021-9）已经支持的并行查询场景包括：

  • 主键查询、二级索引查询
  • 主键扫描、索引扫描、范围扫描、索引等值查询，索引逆向查询
  • 并行条件过滤（where/having）、投影计算
  • 并行多表JOIN（包括HashJoin、NestLoopJoin、SemiJoin等）查询
  • 并行聚合函数运算，包括SUM/AVG/COUNT/BIT_AND/BIT_OR/BIT_XOR等
  • 并行表达式运算，包括算术运算、逻辑运算、一般函数运算及混合运算等
  • 并行分组group by、排序order by、limit/offset、distinct运算
  • 并行UNION、子查询、视图查询
  • 并行分区表查询
  • 并行查询支持的数据类型包括：整型、字符型、时间类型、浮点型等等
  • 其他查询

下图是GaussDB(for MySQL)并行查询针对TPC-H的22条查询场景所做的性能测试结果，测试数据量为100G，并发线程数据是32。下图展示了并行查询相比传统MySQL单线程查询的性能提升情况：32并行执行下，单表复杂查询高提升26倍性能，普遍提升20+倍性能。多表JOIN复杂查询高提升近27倍性能，普遍提升10+倍性能。子查询性能也有较大提升。

总而言之，GaussDB(for MySQL)并行查询充分调用了CPU的多核计算资源，极大降低了分析型查询场景的处理时间，大幅度提升了数据库性能，可以很好的满足客户多种复杂查询场景的低时延要求。目前，GaussDB(for MySQL)并行查询功能已经全网上线，更多并行查询场景正在不断解锁中，欢迎大家前往华为云官网体验

Ps：看完觉得还不过瘾？下期将由我们另一位专家为大家带来GaussDB(for MySQL) “并行DDL” 技术解读，更多精彩，敬请期待！

饶珑辉，华为云数据库内核专家。十年以上数据库内核研发经验，精通MySQL内核原理和源码。负责华为云数据库GaussDB(for MySQL)的高性能SQL查询引擎功能规划、设计和研发。
来源 https://zhuanlan.zhihu.com/p/405650503

相关文章