2020DTCC大会 专场7 金融行业数据库技术实践（下）PPT

2014年，工商银行开始推广使用MySQL。到了今天，生产环境的MySQL节点数量已经发展到近万个；应用场景也从外围低等级应用，推广到核心高等级应用。此次与大家分享，为承接核心业务数据存储的重担，工商银行在MySQL应用治理方面的思路和方案。

工商银行小兵一枚，2014年开始接触MySQL，将MySQL 5.5、5.7版本引入工行。负责MySQL架构设计，开发规范，以及相关技术培训工作。

当前，以5G、人工智能、数据中心为代表的新基建和数据要素备受瞩目，而在新冠肺炎疫情下的产业发展模式和市场结构变化被数字化、网络化、智能化以及国际形势更加深刻的影响，当前银行核心交易系统主要是被少数几家厂商垄断，如何突破重围，构建基于分布式数据库的银行佳实践，成为易鲸捷公司努力的方向，本次演讲主要介绍易鲸捷公司在银行核心交易系统商用的心路历程。

2017年至今在易鲸捷公司担任售前总监及首席解决方案架构师职位，参与并主导两家银行核心交易系统方案规划与编写。多年来一直从事国产数据库行业，深耕国内数据库市场，对数据库技术发展方向有深刻理解。

HBase是Hadoop开源体系核心的技术组件，已经在很多企业得到了广泛应用，但K/V存储方式限制了海量数据的使用模式，因此业界不断推出新的索引技术，丰富HBase的交互模式。Pharos V0.3版本是基于HBase的查询解决方案，突破了前续版本仅限于二级索引的思路，提供了更为丰富的查询优化手段。本次分享将以具体银行业务场景为例，介绍基于Pharos的整体解决方案，并对其中的关键技术实现原理进行具体说明。其中包括，通过特定的时间线分区方式，解决访问热点集中造成性能下降，同时保留HBase主键查询的高性能优势；引入“逻辑桶”，优雅实现“数据索引同分布”，彻底解决同类方案在Region分裂时出现的可用性问题；增加“布隆索引”，缩小海量数据下高选择性查询的扫描范围，大幅提升查询性能。分享提纲：a. 介绍Pharos的定位、发展历程，简述新版本的重要改进；b. 介绍银行传票查询业务的主要痛点和基于Pharos的整体解决方案；c. 结合HBase Region分裂机制，介绍 “逻辑桶”的设计思路、原理；d. 介绍Bloom Filter原理以及Bloom Index的设计思路，讲解如何提升“高选择性”数据查询性能。分享要点：1、引入“逻辑桶”，优雅实现“数据索引同分布”本地化索引的重要前提是“数据索引同分布”，但HBase的Region分裂机制会破坏这一前提。以往的同类技术大多是在分裂时点重新维护索引主键，以重新达到同分布的效果，但I/O开销大且有一定的时间延迟，显得较为笨重并影响系统的可用性。Pharos引入“逻辑桶”概念，通过动态调整“逻辑桶”与Region的关系，维持“逻辑桶”内部数据索引稳定性，避免了大量索引主键变更操作，优雅兼容Region分裂。2、增加Bloom Index，提升“高选择性”数据的查询性能海量数据下，在返回记录数量相同的情况下，高选择性查询要扫描更大范围的数据。在百亿级别数据下，即使索引也是海量数据，扫描成本总体依旧较高，直接查询难以满足低延时需求。通过Bloom Filter用少量空间键存储数据位置，可以避免大量的I/O扫描，显著提升响应速度。

光大银行领域架构师，Pharos主要架构设计与开发者，曾任职IBM全球资讯服务部从事技术咨询工作，具有十余年数据领域研发及咨询经验。目前负责光大银行数据领域相关系统的日常架构设计、评审及内部研发等工作，对分布式数据库、Hadoop基础架构等方向有浓厚兴趣。

此次分享主要介绍了银联分布式关系型数据库服务UPDRDB（DRDS for MySQL）的关键部分LAMOST分布式存储引擎的开发演进历程。UPDRDB是一种设计用于高性能、低成本和高兼容性的联机分布式数据库，采用中间件与分布式存储引擎结合的新型分布式架构，且能够为业务系统提供在线不停机的弹性扩缩容服务。分布式存储引擎LAMOST帮助UPDRDB实现了对复杂DML语句、DDL语句的全面支持，是实现高兼容性的主要环节。由于业界的相关资料较为匮乏，在MySQL存储引擎开发过程中难免经历各种磕磕碰碰，本次分享将从系统架构、接口实现、调用逻辑、重点问题等几个方面进行介绍和总结。

数据库研发工程师，加入中国银联以来参与自研数据库中间件UPSQL-Proxy、自研分布式数据库UPDRDB的设计开发工作，对数据库中间件、分布式数据库、数据库存储引擎有较深入了解。现为云算中心UPSQL-Proxy核心开发成员、UPDRDB存储引擎LAMOST研发负责人，致力于打造金融行业领先的分布式数据库产品。