2022 DTCC 专场13-SQL审计与SQL优化（PPT）

在数据库建设方面，性能优化一直都是永恒的热点话题，而大家老生常谈的更多的可能就是SQL调优，基于开源、国产数据库大-发展的背景下，用户可能会越来越多的接触PostgreSQL或者其分支，本次分享将结合PostgreSQL数据库的特点，聊聊一些SQL优化的小技巧。

杭州美创科技股份有限公司二线DBA，具有8年以上的PostgreSQL数据库工作经验。具备丰富的行业经验与技术积累，所服务的对象包括大型运营商、金融机构、政府机关以及制造业等多个行业客户。对于数据库技术具有深刻的理解；精通PostgreSQL、Greenplum和国产数据库等多种数据库。擅长数据库迁移升级、故障诊断、性能调优、灾难恢复、SQL开发优化等。

优化器作为数据库的“大脑”，对数据库性能表现起着至关重要的作用。传统的SQL优化技术经历了数十年的发展日益成熟，但随着技术的飞速发展，亟需突破的瓶颈问题也层出不穷，比如编译时优化的局限性、单一执行计划的限制、缺乏全局负载优规划、缺少自适应自演化的机制等诸多挑战等。上述难题很难通过传统的方法得到解决，本次我们将与听众分享开务是如何解决SQL优化问题，以及对SQL优化技术的展望构想。
分享提纲：
1、SQL优化基本概念及传统优化器架构介绍
2、传统SQL优化技术所面临的挑战与现有解决方案局限性分析
3、自治SQL优化技术的参考架构、生态和机制
分享要点：
1、编译与运行时优化策略
2、面向工作负载的全局优化技术
3、分布式多模数据库的查询优化技术

浪潮开务数据库创新研究院院长，西电-浪潮联合创新实验室指导委员会主席，北京大学计算机硕士，累积近20年数据库、大数据分析和人工智能的研发经验。曾任IBM技术主管（Senior Technical Staff Member）、IBM主机机器学习平台全球首席架构师、IBM中国开发中心数据与人工智能实验室技术委员会主席、IBM中国开发中心DB2研发技术负责人等职，在美国和中国拥有数据库与人工智能专利30余项。

在B站Presto不仅用来做ADHOC查询，同时我们也有大量ETL任务跑在Presto引擎上，随着业务的快速增长对集群的稳定性和性能带来了不少挑战，本次分享主要介绍我们优化中三个点：1.介绍B站如何利用缓存来对Presto 引擎进行查询提速，Presto存算分离架构容易受到慢DN和Slow RPC的影响，利用Alluxio的多级存储管理能力，通过将热数据缓存到计算引擎侧，不仅提升了查询性能，也提升了查询的稳定性 2.构建启发式索引来对查询进行提速，Presto、Hive以及Spark使用统一的格式吐出了字段级别的血缘信息，通过对热Column构建index，实现在coordinator和worker端分别进行index过滤，极大的提升查询性能，目前我们支持Min-Max、Bitmap、BloomFilter、BTree 索引 3. 利用Presto on Spark拓宽了Presto在超大查询方面的能力，基于语句历史信息，我们针对一些受限制的大查询，自动的通过apache kyuubi调度到Spark引擎来跑，利用Spark on yarn的横向资源扩展能力，极大的解决了Presto资源不足的问题。

2016年4月至2020年8月在携程大数据离线团队，工作期间主要从事离线引擎的二次开发与优化工作，包括：开发了数据治理系统实现自动将冷数据移动到Archive 存储介质，清理TTL分区数据，清理过期零时表等功能；主导了HDFS EC在携程的落地为公司节省大量成本；基于HBO优化Spark driver和executor的内存配置等。
2020年8月至今在B站大数据离线团队，工作期间主要负责Presto计算引擎以及Alluxio分布式内存文件系统的优化和运维工作，随着业务的飞速增长，在稳定性、性能、可用性方面做了不少的改造和优化。

近年来随着国产化转型需求，分布式事务数据库逐渐成为国产化替代过程中的必经趋势。在使用分布式事务数据库的过程中，数据分片方案及性能优化面向传统企业用户时存在需要耗费大量资源的情况，包含学习门槛、学习成本、运维成本等方面。本次分享将从如何使用分布式事务数据库的角度，结合业务特征分享如何进行数据库调优。
分享大纲：
1.分布式事务数据库架构分类
2.自动化数据分片方案陷阱
3.分布式事务数据库优化内容
4.分布式事务数据库优化实践
分享要点：了解分布式事务数据库分片方案设计方法论、分布式事务数据库优化内容等。

精通分布式事务数据库产品原理，曾参与金融标准化技术委员会《分布式数据库技术金融应用技术架构标准》、工信部信息通信研究院《金融分布式事务数据库标准》和《关系型云数据库应用白皮书》的编写，为行业标准的制定作出重大贡献，并多次受邀作为嘉宾出席各类大会，发表精彩演讲。