2020SACC专场六：分布式存储（中）（PPT下载）

本次分享VIPKID Redis多租户平台架构的演进历程，重点讲述了演进过程中遇到的挑战及解决方案。包括如何设计Redis多租户，如何做租户间资源共享与资源隔离，如何做Redis多租户集群容器化，如何做到激增流量时租户间不互相影响且对业务无损，如何解决Redis多租户集群热点问题，如何做Redis多租户集群故障快速定位，如何做Redis多租户集群故障容灾等一系列实战经验，可作为Redis为企业降本增效的经典范例。
分享大纲：
1、为什么做Redis多租户
1.1、初Redis集群状况
1.2、多租户平台建设的初衷
2、多租户一期方案
2.1、如何实现Redis多租户平台
2.2、如何做到不同租户间资源互不影响
2.3、一期方案存在的问题与挑战
3、多租户二期优化实战
3.1、为什么需要租户间资源资源严格隔离
3.2、如何借助K8S容器化Redis多租户集群
3.3、如何做到激增流量时租户间互不影响且对业务无损
3.4、如何解决大Key热Key等原因导致的Redis集群热点问题
3.5、如何做Redis多租户平台故障容灾
3.6、如何保证容器中Redis节点重启后数据不丢
3.7、多租户共享Key的解决方案
4、收益总结
4.1、降低服务器使用成本
4.2、提升运维效率
4.3、提升系统稳定性

2019年加入 VIPKID，目前任架构专家、基础架构存储平台负责人，负责 VPIKID 存储平台架构设计与研发工作。曾就职于摩托罗拉、爱奇艺，10余年专注于高并发、高可用、分布式存储方向，发表过相关专利20余篇。目前负责 VIPKID 基础架构存储平台，包括 Redis 平台、Kafka 平台、RocketMQ 平台、 ElasticSearch 搜索平台、数据库访问平台、对象存储平台等。

伴随着移动互联网、车联网、物联网的不断发展，不仅仅是人类在产生数据，电脑、汽车、可穿戴设备等各种智能设备都成为了数据生产者，甚至比人类产生的数据规模更为庞大。据IDC发布《数据时代2025》的报告显示，2025年全球每天产生的数据量将达到491EB（1EB=1024PB）。
面对超海量的数据，传统数据库在处理规模和速度上已经捉襟见肘，而大数据领域的产品虽然百花齐放，但基本是解决某一特定问题而生的。实际应用场景中，往往需要多个组件配合使用。因此，对万亿以上规模的数据，进行查询、统计、分析、更新的需求越来越迫切。
本次演讲主题为《万亿数据库核心存储引擎的实现与应用》，是基于录信在大数据领域的一些实践和经验，分析超海量数据检索分析所面临的难点和痛点，以及我们所做的一些尝试和研究，探讨新一代大数据检索分析型数据库的架构实现。具体包含底层存储引擎的实现，查询统计等性能上的优化，针对不同业务场景的实现方案等。

•毕业于计算机科学与应用专业，10年以上软件开发与维护经验；
•原富士通南大软件技术有限公司工程师，富士通系统监视中间件产品的项目经理，多年项目管理经验；
•负责过华为RTOS（实时嵌入式操作系统）的维护，对Linux内核、系统监视等方面有丰富经验；
•通过日本富士通LifecycleManagement和JobManagement认证考试，并取得Professional资格；
•中汽研主办的《2020汽车企业数字化研讨会》受邀演讲嘉宾。

深入浅出介绍 MarxDB 金融级分布式数据库的核心架构，涉及混合逻辑时钟，数据一致性算法，分布式事务的优化方案，事务冲突的解决手段和系统特性。并重点讲解为什么说 MarxDB 是一个金融级的分布式数据库，以及目前主流的分库分表方案存在哪些问题。通过对比 MarxDB 金融级分布式数据库和分布式数据库中间件，探讨我们认为未来分布式数据库领域的方向在哪里。

曾任京东公有云数据库 RDS 团队架构师兼团队负责人，JED 弹性数据库团队架构师，MarxDB 金融级分布式数据库团队架构师兼团队负责人，ETCD 团队架构师；目前主要致力于 ETCD 性能和稳定性的研究工作。

Fastload 是滴滴 KV 服务团队打造的一款 DTS 服务，主要解决的问题是如何将海量的离线数据快速的导入在线的 KV 集群，同时保证低延迟的查询响应。该服务在公司内部运行多年，目前的使用方遍及所有业务线，每天运行上千余次，往线上集群更新上百T的数据。本次分享主要介绍 Fastload 的诞生背景，架构设计，运行流程，实现细节以及一些内部的业务实践。
分享提纲：
a：举例公司内部业务的使用场景，为了解决这些业务痛点，开发了Fastload服务；
b：Fastload的架构与设计，以及如何在海量数据，高速导入，低延迟读取三个方面找到平衡；
c：Fastload的性能优化。
分享要点：
原始的导数据方法就是发送写请求，但是面对几百G或者上T的数据，这种方式非常的慢，而且容易引起线上集群超时严重，出现不稳定情况，在滴滴内部甚至有业务每天需要更新15T的数据，这么大的数据量，常规方式肯定不行。
Fastload 核心思想采用 RocksDB 导入文件的方式，同时利用离线集群的计算能力，将业务数据直接计算成数据库文件。为满足不同的业务需求，设计了全量更新和增量更新两种流程；为提高安全性，提供了多版本策略，随时回滚；为降低延迟，减少毛刺，在多处硬盘 IO 读写地方添加限速机制等等。

滴滴 KV 服务团队研发，多年分布式存储开发经验，在滴滴内部独立设计开发了 Fastload 服务，同时参与了其他多款存储产品的研发。

vivo 内部分布式KV存储的大规模应用，主要方向为将数据量大且容忍一定延迟的业务数据从 Redis 上迁移到KV存储上。本次分享主要介绍vivo内部兼容 Redis 协议的磁盘存储项目的设计和实现。演讲主要分为：
1.系统设计目标
2.整体架构设计
3.请求处理管道
4.功能细节介绍
5.性能测试分析

2020年1月加入 vivo，在互联网基础平台部-通用存储研发组 任职数据库工程师，主要负责公司内部磁盘存储相关项目的调研，开发工作。