性能提升100倍！GaussDB(for MySQL)近数据处理(NDP)解锁查询新姿势

林舒，20年以上数据库内核研发经验。原IBMDB2数据库内核专家，专长数据库内核性能优化、SQL查询优化、MPP分布式数据仓库技术等。现就职于华为加拿大研究所，全程参与了RDS for MySQL以及GaussDB(for MySQL)的研发工作，熟悉GaussDB(for MySQL) 全栈技术。负责NDP的总体架构设计和实现，并成功落地上线。拥有多项技术发明专利，并co-author了SIGMOD 2020 Taurus( GaussDB(for MySQL)) Paper，目前专注于下一代云数据库智能优化器的研究。

业务增长对数据库吞吐量和响应能力提出新挑战

随着企业和政府机构将其应用程序迁移到云端，对基于云的数据库即服务（DBaaS）产品的需求也在迅速增长。传统上的DBaaS产品，是云服务提供商基于现有的数据库软件本身，将常规数据库部署在云端虚拟机上，使用的是本地或者云存储。这种方法易于实施，但是未能提供足够的性能和可扩展性，而且由于需要复制数据，存储成本也很高。

为了应对这些挑战，云服务提供商开始构建新的云原生关系数据库系统，专门为云基础架构设计，通常采用将计算和存储分离到独立扩展的分布式层的设计。这种方法具有多种优势，包括数据库存储的自动扩展、按使用付费功能、跨多个AZ部署的高可靠性以及故障快速切换和恢复。这些云原生设计还有助于减少只读副本的数据更新时延，并提高硬件共享和可扩展性。华为云数据库GaussDB(for MySQL)，正是具备上述优势的一款云原生分布式数据库。

由于计算和存储节点通过网络通信，网络带宽和延迟往往成为瓶颈。为了克服这一挑战，GaussDB(for MySQL)通过从数据库节点中去除写页面的操作并将检查点操作向下推送到存储节点，以优化与写入相关的网络流量。GaussDB(for MySQL)数据库节点向存储节点发送REDO日志，而不是数据页。因为REDO日志（记录对数据页的修改）通常比修改的数据页小得多, 所以这种方法减少了网络流量。存储节点（也称为页面存储）能够根据REDO日志构建数据库页面，并可以响应数据库节点的请求，将页面返回到数据库节点。

在传统数据库中，SQL执行引擎从存储中获取数据，并执行包括投影、谓词计算和聚合在内的步骤。对于经常涉及大型表扫描的分析查询，SQL执行引擎必须从存储中读取大量数据页。当存储节点与计算分离，通过网络通讯时，大表扫描会转化为增加的网络流量。一个典型的例子是对一个非常大的表进行计数查询，查询对象表的所有页面必须从页面存储池(Page stores)发送到要计数的数据库节点，之后，数据库节点将丢弃这些页面中的大部分，因为缓冲区池不能装载这么多数据页，这是对网络带宽资源的浪费。华为云创新的NDP（Near Data Processing，近数据处理，简称NDP）方案解决了这一问题。

GaussDB(for MySQL)近数据处理（NDP）详解

NDP的设计思路是避免在分布式系统中移动数据，并让数据处理在其所存储的地方进行。在云原生数据库中，存储节点通常由大量性能强大的服务器组成，这些存储节点上的CPU资源经常利用率较低，这就为近数据处理（NDP）提供了一个的机会。

GaussDB(for MySQL)的NDP功能将选定的SQL操作下推到页面存储中，页面存储过滤掉不必要的数据，只将匹配的数据子集返回给数据库节点进一步处理。例如，要处理计数查询，页数据存储可以计数行，并将计数而不是实际数据页返回到数据库节点。这样就避免了大量的网络流量，使用此技术也提升了查询响应时间。

GaussDB(for MySQL)可以将三种SQL操作推送到页面存储：列投影、谓词计算和聚合。

• 列投影：页面存储通过仅保留查询所需的列并丢弃其余列，从而减少行的长度。
• 谓词计算：页数据存储仅保留满足谓词的行，并丢弃不满足谓词的行。
• 聚合：页面根据查询中聚合函数的要求，将多行聚合到单行中，并丢弃原始行。

这三种SQL操作可以以任何组合出现在NDP中。例如，NDP操作可能仅包含列投影，也可能包含所有三个SQL操作。让我们看看一个示例SQL查询：

sele ctsum(salary)
from worker
where age< 40 and
join_date>= date ‘2010-01-01’ and
join_date< date ‘2010-01-01’ + interval ‘1’ year