2020SACC专场十七：高可用架构设计（PPT下载）

随着业务规模的不断扩张，行业规则不断改造和重塑，支持相应业务的软件系统则需要不断升级、重构甚至重建来支持业务需求。在复杂业务系统重建过程中，会遇到异构环境、系统整合与拆分、数据模型重构、服务平滑迁移、技术债务和服务管理等一系列挑战，如何应对这些挑战？
本次分享将介绍使用服务网关 Spring Cloud Gateway 来应对复杂业务系统重构的一系列挑战，并分享在贝壳产业互联网复杂业务系统上落地和使用时碰到的问题，并详细分析针对这些问题进行的优化和技术实现。
分享提纲：
1. 举例说明复杂业务系统重建的背景、类型、场景和挑战，解析服务网关在复杂业务系统重建过程中的运用场景、解决的问题和关键技术实现；
2. 介绍在贝壳复杂业务系统重建过程中遇到的异构环境、系统整合与拆分、数据模型重构、服务平滑迁移、技术债务和服务管理等挑战，并分享如何使用服务网关应对这些挑战；
3. 介绍服务网关使用过程中遇到的性能、稳定性和配置复杂等问题，剖析其原因及优化策略，并介绍其技术实现。
分享要点：
首先，通过介绍复杂业务系统重建的背景、类型、场景、挑战，引出服务网关对这些挑战的回应，并解析服务网关是如何应对这些挑战的；
其次，贝壳是国内用产业互联网推动房产行业改造的实践者，这部分介绍我们在复杂业务系统重建实践中遇到的比较典型的场景和挑战，分享如何使用服务网关来应对异构环境、系统整合与拆分、数据模型重构、服务平滑迁移、技术债务和服务管理等挑战；
后，介绍我们在复杂业务系统重建使用过程中使用服务网关遇到的性能、稳定性和配置复杂等问题和原因，分享使用 Spring Cloud Gateway 进行的针对性优化和技术实现。

贝壳金服企业金融工程师，有8年软件开发经验，毕业后在汤森路透公司任职，后在金融科技和法律科技创业3年，对 JAVA 技术和区块链技术有深入的了解，善于将技术和业务结合分析，提出行业解决方案，参与多个重点项目的方案设计和落地实施。

随着国家有关部门近年来陆续出了相关政策指导文件，推动探索安全可控的金融科技产品，加强银行业信息安全建设，国内众多金融政企机构纷纷开始探索改造原有 IT 系统，对迁移至国产分布式数据库的需求日益强烈。在金融业务场景中，数据库迁移升级、数据分发与数据备份是数据库系统必不可少的基本功能。其中数据库迁移升级、数据分发是实现数据解耦及汇总的重要基础。
TDSQL 是腾讯自研分布式数据库，拥有完善的多源异构迁移能力，能够将数据实时同步分发至多种类型的异构数据平台，支持一对多、多对一等多种复制拓扑结构。本次围绕 TDSQL 在异构数据迁移与分发场景中的特性，分享在打造高性能、高一致、高可用的迁移与同步服务过程中的经验及佳实践。
分享提纲：
1. 异构数据库包括数据分发迁移同步的背景：数据迁移和同步有哪些应用场景？
2. 异构迁移服务整体架构：如何实现高性能、高可靠、高可用的数据迁移同步？
3. 针对金融行业场景，介绍数据库多源异构迁移的特性、难点及解决方案。
4. 金融行业中包括银行核心系统数据库快速无损迁移、保险行业数据迁移备份等不同金融级场景的佳实践。
5. 异构迁移服务后续发展与规划。
分享要点：
除了数据库迁移，还有哪些场景可以基于同步迁移服务打通数据流程，实现数据化创新？首先将介绍异构数据库包括数据分发迁移同步的背景，我们为什么要发展这一块的能力以及现在这部分服务的基本架构；
数据迁移同步与分发，涉及性能、可用性，以及重要的安全风险控制，针对这些关键场景环节，第二部分将介绍 TDSQL 异构迁移能力的优势特性，以及实现这些特性的过程中的难点问题和我们提出的特色解决方案；
第三，结合国产分布式数据库 TDSQL 在金融及政务行业的推广以及应用的经验，介绍异构数据迁移或者同步场景的佳实践，包括一些好的用法和应用场景创新探索。

TDSQL 技术负责人雷海林，专注于一线研发工作十数年，带领团队实现多次业界领先的数据库技术突破，在分布式事务、SQL 兼容性、内核安全、智能运维方面持续创新，助力 TDSQL 产品获得大量金融客户的认可，国产分布式数据库客户市场规模大幅领先同业。

传统的海量数据的数据管道的构建都是基于 ETL 的思路，大数据的计算和业务规则往往深度耦合，数据管道中步骤与步骤之间往往也采用同步的方式衔接。eBay Marketing Tech 在早处理用户数据的数据管道技术中也是采用这样的方式。这样的方式有一些致命缺点：
1. 因为在系统里缺乏一些业务上的领域知识，导致业务变化和扩展时需要对数据管道中的很多步骤大动干戈；
2. 数据管道由于采用的是同步的设计，任务的吞吐量无法进行很好的扩展。无法适应现代响应式系统高吞吐，低延时的需求；
3. 对于数据管道无法进行细粒度的任务干预。
在这样的情况下，我们迭代了架构采用现代响应式系统的方式，讲数据管道的任务控制层，业务层，和大数据处理层分离，使得业务层能够引入 DDD 的设计，并采用了自研的 Event Sourcing Framework 对每一层都加入了响应式设计的改造。使得开发人员并不会感知响应式系统的细节，从而关注业务层本身。真正让数据管道也能适应复杂的业务场景而不仅仅止于 ETL。
分享提纲：
1. 介绍 eBay Marketing Tech 用户数据流的业务场景和技术痛点，以及引入 DDD 和响应式设计对我们的挑战；
2. 基于 DDD 和响应式设计的 eBay 营销用户数据管道的设计；
3. 举例业界的其他 DDD 以及 Event Sourcing 相关的产品，指出为什么这些不适合我们；
4. 介绍 eBay Marketing Tech 自己研的 Event Sourcing Framework；
5. 未来的迭代计划。
分享要点：
首先通过 eBay Marketing Tech 用户营销数据相关业务问题时的痛点，带出我们的架构需要引入 DDD 和响应式系统的设计理念。从而进一步提出需要有合适的框架配合设计理念的实现。然后通过比较市面上已有的框架和相关产品，分析出为什么需要自研究。进一步指出我们真正需要的是能够帮助开发者屏蔽响应式系统细节，从而让开发者更专注于业务 Domain 本身的框架。然后通过类比 Spring MVC，指出自研 Event Sourcing Framework 是如何解决我们痛点的。后做一下我们对于自研 Event Sourcing Framework 后续的迭代计划以及开源计划（还未确定开源，再议）。

15 年IT行业经验, 曾服务于全球知名科技公司，如 HP，SAP，DELL-EMC 等；专注于大型企业级数据管理和 SAAS 平台，海量级数据处理分布式系统的研发工作。
- 曾做为国内知名第三方数据监测公司 AdMaster 研发总监，负责多条数字营销解决方案的产品线，带领团队设计并实现了中国移动营销联盟（CMMA）的版移动监测营销 SDK。
- 曾做为创业公司魔窗的 CTO，领导团队研发了国内企业级深度链接服务平台 mLink（终出售给纳斯达克上市公司极光大数据），智能内容分发平台 mContent，以及企业级线上用户增长营销方案水晶星球，保证了具备每天具备百亿级处理能力的分布式系统的稳定性。
- 现加入 eBay Marketing Tech 部门负责 eBay Performance Marketing Audience 相关产品的研发。

公司业务快速发展期，随之而来的是各种营销页面，app页面重构频率高，在此过程中产生了类似功能重复开发，浪费开发资源的情况，基于此情况我们搭建了一个可以自行组装页面的系统，来支撑app、各营销页面的需求。
本次分享主要介绍乾坤袋系统的架构设计，以及高可用可扩展方面所做的一些思考和实践：
1. 基于此系统的使用场景，如何具备应对大流量访问的情况下，保证系统低延时响应以及系统高可用的方案，灾备故障应对方案；
2. 对接场景多，如何做到业务的灵活扩展性。
分享提纲：
1. 讲解乾坤袋随业务发展的系统演进；
2. 举例说明面临的几个重要的高可用问题；
3. 针对系统现状采用的技术方案及实现方法。
分享要点：
1. 乾坤袋系统的整体技术背景介绍，系统建设的目标；
2. 乾坤袋组装的页面，基本用于APP首页，大类页等入口页面，流量大，响应时间和可用性要求极高，如何保证？
3. 出了问题如何保证不影响线上业务？
本次分享将从监控预警，降级熔断，分级缓存，静态化，故障恢复，快速扩容等方面来分享。

现任职通用平台系统负责人。2014年加入天鹅到家，经历公司业务从0到1、业务在线化、转型家庭服务平台的全过程。期间多次参与了公司技术架构升级的重点项目，先后负责过保洁、保姆等业务线的多个核心系统，对业务和技术架构皆有深入的理解，目前负责公司通用平台的系统研发和维护。

百度智能小程序月活用户数超过5亿，有超过50万的智能小程序入驻百度的生态，百度智能小程序开源联盟的合作伙伴也扩展至45+，流量达几十亿。
在这背后，离不开小程序在流量分发生态领域中的持续建设，以及架构上对大流量挑战下的一次次难关攻克，本次分享会将重点从小程序在百度双引擎和全网场景下的分发，以及小程序微服务框架设计角度出发，介绍百度小程序分发相关技术为高速发展业务带来的新的研发思考，包括平台服务和存储架构选型、内外数据分发的管控、数据反馈和分析等多个方面的探索和实践成果，详细讨论在百度小程序分发迭代过程中的技术架构方案，与大家近距离分享相关的架构设计与实践经验。
分享提纲：
1. 百度小程序流量分发生态业务介绍和进展；
2. 小程序在百度双引擎下的分发方案；
3. 小程序开源全网分发服务架构设计思路；
4. 基础服务如何支撑业务的发展；
5. 百度小程序分发生态的闭环构建；
6. 关于服务架构的思考与展望。
分享要点：
首先，介绍百度小程序业务的规模和发展情况，以及在业务快速迭代过程中带来的挑战；
其次，重点介绍百度小程序在双引擎和全网复杂环境下的分发方案是如何设计的，面对同时在开源和内部不同环境下的分发场景下需要考虑的资产管控和沉淀问题、高效率的迭代、以及面对高并发流量下的服务稳定性、高可用性的微服务架构设计思路；
针对业务发展，介绍百度小程序微服务框架升级和治理方案的实施，以及在质量监控上的“思”与“行”；
后，作为开创性的小程序分发生态构建，介绍我们需要践行的能力支撑和技术保护壁垒有哪些。

现任小程序分发生态技术负责人，负责小程序服务端技术架构的建设工作；具备多年在大型互联网应用与企业应用的架构设计与研发经验，在跨语言技术栈、架构设计、框架研发与大数据存储等方面有较深入的理解；累计公开发表技术专利近30项，热衷于开源工作。