2020 DTCC大会 专场 13：分布式数据库实践（下） PPT

随着云计算技术进一步普及，企业生产经营中逐渐形成对数据进行高效、安全的计算、存储与分析等需求，持续向分布式大规模、数字化转型。在探索安全可控的金融科技产品，加强银行业信息安全建设，以及数字化升级的趋势浪潮下，国内众多金融政企机构纷纷开始探索对国产分布式数据库的迁移应用，并推进系统的分布式、数字化改造升级。TDSQL是腾讯自研的金融级分布式数据库，具有数据一致、高性能、高可用、弹性扩展、自动化容灾切换等特性，至今已为微众银行、富途证券、华夏银行，以及多家省部级机构等超过600家金融政企机构提供国产分布式数据库服务，拥有大量分布式数据库佳实践。本次分享将深入解读分布式数据库架构原理、应用场景和以及改造实践经验。
分享要点：
首先，通过介绍TDSQL服务体系架构，分享金融级分布式数据库系统架构原理与优势特性设计研发经验;
其次，基于大量金融政企机构实践服务经验，分析系统数据库向国产分布式数据库迁移转型的痛点、解决方案思路以及佳实践。

拥有多年分布式数据库系统研发经验，目前在TDSQL团队负责集群管理以及数据库内核方面研发，同时拥有大量金融行业客户迁移割接案例经验。

随着业务规模的持续增长，公司数据走过了一条从商业数据库到开源到分库分表的演进道路。近年来随着一致性协议与分布式事务技术的发展与技术中台定位的明确，业界纷纷走向分布式数据库研发之路。本次分享将介绍同程艺龙在分布式列式存储数据库方向所做技术选型，技术特性实现，及业务推广经验。
分享提纲：
1、为什么选择列存数据库 : 业界数据库发展趋势及技术选型；
2、架构及技术特性介绍： 架构设计与列存特性的技术实现；
3、在公司业务应用：业务痛点及产品推广；
4、未来技术：对未来技术路径的一点思考。
分享要点：
1、总结了数据库发展趋势及进行列存技术选型的原因；
2、列存的设计与实现：主要描述基于rocksdb引擎层kv的列存编码细节及列存实现原理；
3、业务痛点介绍，业务场景分析，及产品推广经验分享。

2009年参加工作，目前就职于同程艺龙，构造了微信流量级的电子商务搜索平台及分布式数据库方向负责人，从事于分布式数据库，搜索引擎方向。

eBay Marketing Feeds为eBay在Google、Facebook、Bing、Pinterest等各个广告渠道做广告提供数据支持。Feeds架构有着近十年的历史，目前承担着每天为eBay在不同国家的站点同步数以十亿计的商品数据的任务。Feeds应用了多种数据处理中间件（Hadoop, Spark, Cassandra, Couchbase, Kafka, …），通过Batch和Streaming的方式处理并同步数据。与此同时它还需要支持的各种查询需求，例如高性能KV查询和更新，Multiple Index查询需求，按需的数据查询分析等等。
Feeds的架构经过多次迭代，从代基于Teradata的ETL结构，到第二代是基于Hadoop生态圈和Kafka、Cassandra （NoSQL）等技术的Lambda架构，到新的第三代使用NewSQL (HTAP数据库) 作为核心组件的架构的尝试。第二代Lambda架构让Feeds有能力同时协调批流数据，做到海量数据和实时性的平衡，但随着数据来源和维度越来越复杂，新的一些问题也越来越明显。例如同一条数据会同时出现在批流上，我们需要在数据经过各种中间件之后，保证数据的终一致性。又例如我们希望能实时地根据数据不同维度进行查询，而不仅仅是批量查询一些数据。这些问题在Lambda架构下是很难解决的，这其中很大一个因素是没有一个可以满足我们多种应用场景的数据中间件。
在新的架构下，我们尝试使用HTAP(Hybyrd Transactional Analytical Process)数据库去解决实际需求，统一散布在各个中间件中的数据，用一个数据库满足多种业务和技术需求，终我们使用TiDB这种NewSQL作为新架构的核心构建。在本次演讲中我们将详细讲解Feeds平台面临的业务和技术挑战，为什么要从第二代的Lambda架构进化为第三代的架构，架构演进中碰到的挑战和解决方案等，希望通过我们的分享，为以HTAP/NewSQL作为技术选型的同行带来思考和帮助。

2017年加入eBay，现负责eBay商品推荐广告平台的在线和离线大数据平台。平台广泛使用各种开源大数据项目，包括 Hadoop，Spark，Kafka，Cassandra，Couchbase，Elasticsearch，TiDB 等，同时负责平台数据系统和基础架构管理，长期从事大数据和分布式系统工作，热衷于尝试新技术解决各种数据处理过程中遇到的问题。

DDB是网易自06年开始研发的分布式数据库，在公司内外有很多大体量应用案例，过去DDB经历了软件到平台化，自动化部署到云化的转变，近两年随着应用体量的进一步膨胀，用户迫切需要底层数据库具有多活和单元化的解决方案，为此DDB又经历了平台化到单元化的转变，这次分享首先带大家回顾一下DDB过去十年几次重大的架构升级，其次围绕单元化场景下DDB的功能形态，双向同步实现，一致性保障，数据校验等方面，说明DDB在单元化上做出的解决方案
分享大纲：
1、DDB简介；
2、DDB Timeline；
3、从中间件模式到代理模式的架构升级；
4、从软件到PaaS的模式转变；
5、DDB两地三中心方案；
6、DDB多活方案；
7、单元化下的双向同步实现；
8、单元化下的数据一致性保障；
9、总结。

来自网易数据科学中心，目前是网易分布式数据库DDB和网易数据运河NDC的项目负责人，对数据库以及相关中间件的设计和研发有丰富经验。

爱奇艺从2010年开始开展大数据业务，基于Hive + MySQL打造了代OLAP数据分析平台。随着业务的快速发展和数据量的急剧增长，基于Hive的离线分析已经无法满足业务对数据实时性的需求。多年来我们逐渐引入Kylin、Impala、Kudu、Druid、ElasticSearch等不同的数据存储/查询引擎，演化出离线数仓、实时数仓、流式数仓等不同OLAP形态，满足不同业务场景下的多样化需求。
本次分享将介绍爱奇艺如何从单一的离线分析架构发展成提供离线分析、实时查询等包含众多查询引擎的OLAP体系，以及基于这些服务打造的智能SQL引擎、实时分析平台等
分享提纲：
结合爱奇艺业务具体例子，介绍OLAP体系的演变过程，并逐一介绍各引擎的适用场景，及如何推动业务架构升级介绍落地过程中的遇到的性能、稳定性等问题及优化经验OLAP平台化方面的一些实践，比如统一的SQL入口、实时分析平台等来展望：OLAP体系的后续演变、智能SQL引擎的规划等
分享要点：
首先，介绍传统架构的不足、各OLAP引擎的优缺点
其次，介绍落地过程中的遇到的坑及优化经验，如Impala存储计算分离、Kudu监控调优经验、Druid KIS实践等
后，为了更好的管理并提升用户使用体验，我们在OLAP平台化方面做了一些尝试，比如爱奇艺自研的智能SQL引擎、实时分析平台
演讲适合听众范围：
1.大数据产品用户，如广告、推荐工程师，了解架构演进的业务价值
2.大数据服务提供方/运维人员，了解相关的实践经验

负责爱奇艺大数据OLAP服务，推进公司内OLAP体系架构升级，从Hive+MySQL离线模式演变为Hive、Kylin、Impala、Kudu、Druid、ElasticSearch等一套完善的OLAP服务矩阵，满足业务多样化、实时化的数据分析需求