2020SACC专场十二：数据架构设计（PPT下载）

NDC是网易自研的面向数据库的数据传输服务，支持异构数据迁移、同步和数据订阅，支持到大数据实时同步和机房单元化，自2018年上线以来很好地满足了考拉，网易云音乐等业务对数据总线服务的诉求，这次分享给大家带来NDC的核心能力介绍，一拉多推的架构演进，聊聊NDC怎样从简单的满足数据库传输需求到现在逐渐演变为数据库和大数据领域的公共基础设施，以及NDC结合数据湖技术可以发挥怎样的数据底座价值。
分享提纲：
NDC介绍
NDC timeline
核心功能介绍
内部案例
架构演进
总体架构
单拉单退
一拉多推
数据库多活
拉推完全解耦
数据底座
iceberg数据湖简介
NDC结合iceberg介绍
未来展望
分享要点：
NDC的数据传输系统架构经历了几个阶段，早时候为了快速满足业务需求，NDC1.0传输平台架构为单拉单推，一个任务既负责从源端拉数据，也负责向目标端推数据，随着业务场景的增多和数据体量上升，单拉单推架构对源端的侵入成为系统主要瓶颈，为此NDC发展出了一拉多推的架构，即NDC2.0，在一拉多推的架构基础上，提供了数据库多活的功能，NDC2.0的成熟意味着NDC逐渐演变为在线业务和大数据业务的公共基础设施，进入2020年，NDC正在逐渐进入3.0时代，NDC3.0将推拉彻底解耦，目标是通过数据湖技术将源端数据库和下游的订阅任务，同步任务和各种大数据计算任务完全解耦，通过数据湖为数据库和大数据ODS构建公共的数据底座，为在线和大数据业务提供各类创新价值。
通过这次分享，听众会对数据传输平台的功能和架构能有全新的认识，对数据湖技术实践产生基本的理解，通过对NDC架构演变和完善过程的学习，让听众对架构设计产生一些新的感悟。

来自网易数据科学中心，中间件和数据库专家，入职以来先后负责分布式数据库 DDB，网易数据运河 NDC，RDS 等项目，目前是在线数据部门负责人和架构师，主导数据库中间件的各类项目研发；专注于分布式系统架构与数据库技术，热衷于构建高效的，高性能的分布式后台应用。

Baidu Palo是一款基于Apache Doris(Incubating)的数据仓库产品。数据仓库被定义为一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。对于开发人员，数据仓库可能是一个系统产品，如Palo，如Hive。而对于业务人员，数据仓库可能代表的是数据从抽取到加工到展示的一些列过程。通常数据加工的流程都是非常复杂的，需要面对不同的数据转换、关联以及满足不同时效性需求。如何简化整个数仓的操作流程，降低系统的复杂度，提升易用性和可运维性，一直是Palo致力于的方向和目标。本次演讲将从Doris说起，介绍Doris的系统架构、核心技术以及典型应用场景，以及Baidu Palo在数仓方向的实践心得。
分享提纲：
1. 从 Palo 到 Doris，介绍百度数仓设计初衷、发展路线和开源历程。
2. Doris的架构设计、关键技术点介绍，以及在实际应用中的使用建议。
3. Doris典型案例分享，直观感受Doris能够解决的实际问题。
4. 从 Doris 到 Palo，介绍Baidu Palo在数仓方向的进展和实践经验。
分享要点：
首先，从Doris/Palo立项之初说起，引出Doris要解决的问题和系统设计原则。
其次，从总体架构开始，展示Doris的全貌。之后会从Doris的几个关键技术点展开，详细介绍Doris的关键特性，由浅入深的帮助听众了解这些特性的设计思路和实现细节，并通过应用实践来展示这些特性是如何解决业务需求的。同时，也会介绍在实际应用遇到的问题和解决思路。
接下来会以多个典型案例来从业务角度介绍Doris，展示Doris在业务系统架构中的位置，起到的作用和解决的问题，也会展示业务在实际使用中遇到的困难和解决方法。
后，会简单介绍Baidu Palo在Doris基础上所做的一些数仓相关的工作和经验。

百度研发工程师，负责 ApacheDoris 以及百度数据仓库 Palo（Doris 商业版本）的设计研发工作。同时维护 Palo 数仓在百度内部超过千台的部署规模，为超过200个业务线提供稳定可靠的数据分析服务。6年分布式系统研发经验，一直专注于分布式可扩展分析型数据库领域，主导参与了 ApacheDoris 从百度开源到进入 Apache 孵化器的全过程，同时也是 ApacheDoris 的 PPMC 成员。

本次演讲将分享同程艺龙数据库中间件整体架构，自研分布式中间件的关键技术点及公司整个数据库生态是如何根据中间件层来建立的。涉及的内容包括数据库访问层，中间件层，数据库实例层及私有云化等。
分享提纲：
1.中间件整体架构体系介绍
2.中间件关键技术方案介绍
3.远期的规划

目前主要负责数据库中间件开发相关工作，包括 Mysql 分库分表中间件服务、数据库同步DTS服务、统一缓存Redis系统、分布式冷备系统等多个方向的设计规划与落地推动。