2020DTCC大会 专场8 分布式数据库实践（上）PPT

伴随着移动互联网、车联网、物联网的不断发展，不仅仅是人类在产生数据，电脑、汽车、可穿戴设备等各种智能设备都成为了数据生产者，甚至比人类产生的数据规模更为庞大。面对超海量的数据，传统数据库在处理规模和速度上已经捉襟见肘，而大数据领域的产品虽然百花齐放，但基本是解决某一特定问题而生的。实际应用场景中，往往需要多个组件配合使用。因此，对万亿以上规模的数据，进行查询、统计、分析、更新的需求越来越迫切。本次演讲主题为《万亿数据库核心存储引擎的实现与应用》，是基于录信在大数据领域的一些实践和经验，分析超海量数据检索分析所面临的难点和痛点，以及我们所做的一些尝试和研究，探讨新一代大数据检索分析型数据库的架构实现。分享提纲：a. 背景介绍以及海量检索分析的痛点；b. 录信检索分析型数据库的设计和架构思路；c. 针对万亿规模数据量的数据库实现方案和优化内容；d. 产品的应用场景介绍。

拥有十年行业经验，曾任职新浪、酷六、阿里与腾讯。开源软件Mdrill和Jstorm核心Committer。曾多次受邀作为嘉宾出席各类大会，并发表了精彩演讲，有着丰富的学识和经验。现携同录信团队在深耕超万亿规模下大数据搜索与统计服务的道路上砥砺前行。

数字化时代，数据管理成为企业核心竞争力，将数据虚拟化、数据资产化是发掘数据价值的关键能力。逻辑数据仓库就是新一代的企业级数据仓库，它采用全数据的分析，基于传统企业数据仓库与大数据和云计算的融合，在云环境下采用DaaS（包含数据集成，数据存储和计算，数据服务，数据管理，平台管理）来支撑用户的数字化基础设施的建设。

南开大学硕士，超过20年数据库产品开发、设计经验，参与设计了安全数据库、GBase 8a 列存储数据库， GBase 8a MPP Cluster大规模并行数据库集群、GBase UP 大数据融合平台，并负责下一代数据平台产品的理论研究与设计，获得十几项数据库发明专利。

自从Google发布Spanner论文后，国内外相继推出相关数据库产品或服务来解决数据库的可扩展问题。随着字节跳动业务的不断发展，相应的也对存储系统的可扩展、一致性、事务以及隔离性提出了更高的要求。我们从公司内部大规模对象存储索引系统的存储需求出发，首先构建了基于Raft协议的可扩展性的强一致分布式KV数据库，然后在其上构建了带全局二级索引的表格系统，以满足业务对更丰富的接口和更灵活的查询的需求。本次分享将介绍我们在构建此类系统中碰到的问题、解决方案以及技术演进。

8年数据库和存储系统相关工作经验，先后参与OceanBase，对象存储，HBase等相关系统开发。在字节跳动先后负责数据库中间件，MySQL DRC以及分布式KV，在线表格系统研发。

Oracle兼容性是业务客户从Oracle生态迁移到PolarDB生态的步也是至关重要的一步，PolarDB通过不断沉淀支持大量实际业务的真实Oracle兼容性功能，确保客户业务可以真正做到平滑迁移。同时PolarDB带给Oracle生态客户的不仅仅是上的来的问题，PolarDB在成本、性能、可用性、扩展性等云能力方面也给用户带来更高的业务价值。

从事OLTP数据库和OLAP数据库产品的研发工作10余年，现为阿里云PolarDB-O数据库内核北京研发负责人

分布式事务，归根结底是多数据节点的数据一致性问题。近几年随着服务治理、微服务大行其道，跨服务的分布式事务越来越多地出现在生产场景中。目前业界主流方案有基于消息队列和柔性事务，各自在性能、业务侵入性等方面存在无法忽视的缺陷。网易公司从06年开始自研分布式数据库DDB，前后推出了秀品、考拉、严选等电商应用，在分布式事务领域有丰富的理论实践经验。这次给大家带来我们新研发的一种结合流计算技术来实现分布式事务的方案（SMT），通过分享我们会看到这项方案在性能、业务侵入性、可用性方面的卓越表现。分享提纲：•概念解释，引出问题1、名词解释（库内事务，库外事务，ACID，Externally Consistency）；2、现有的分布式事务方案列举。•分析和点评业界公认的几种分布式事务方案3、两阶段提交方案解析与点评；4、消息队列方案分析与点评；5、柔性事务（TCC）方案分析与点评；6、无侵入的TCC方案分析与点评。•SMT方案解析，架构和实现概述，与其他方案的对比7、SMT架构与模块拆解；8、SMT补偿机制实现；9、SMT锁机制实现；10、各方案对比和总结。

来自网易数据科学中心，中间件和数据库专家，入职以来先后负责分布式数据库DDB，网易数据运河NDC，RDS等项目，目前是在线数据部门负责人和架构师，主导数据库中间件的各类项目研发。专注于分布式系统架构与数据库技术，热衷于构建高效的，高性能的分布式后台应用。