2022SACC专场12-分布式存储设计与实践（上）（PPT下载）

开源分布式存储系统Curve在云原生数据库领域的实践

演讲简介：

1、Curve项目介绍：

a.Curve项目目标和应用情况介绍

b.Curve开源社区现状和规划

2、Curve块存储架构介绍：

a.元数据管理

b.数据存储引擎（ext4 & spdk）

c.客户端架构（libcbd & polarfs）

3、Curve块存储支持云原生数据库的实践：

a.Curve当前支持的云原生数据库介绍（mysql & polardb for pg）

b.云原生数据库场景下的分布式存储系统架构

c.云原生数据库场景下的存储系统优化实践

d.云原生数据库在网易的应用实践

e.Curve在云原生数据库领域的后续规划

嘉宾介绍：

王盼 网易杭州研究院 云存储团队负责人

网易杭州研究院云存储团队负责人，Curve开源社区maintainer，致力于为网易集团和Curve开源社区提供高性能、高可靠、易用的云原生分布式存储服务。在此之前曾在华为、网易从事过10年云计算相关研发工作，从0到1构建了网易代云计算平台。后续将重点投入Curve开源社区为其发展完善而努力。

云原生时代分布式文件系统的设计与实现

演讲简介：

如今，大数据技术越来越成熟成熟，在企业中得到广泛的应用。然而，企业的数据工程却越来越复杂，资源消耗也越来越大，面临着挑战。在云原生时代，一方面，数据量庞大而分散，分布在不同的数据中心、地区或云供应商；另一方面，随着近些年大数据分析和机器学习引擎的爆炸性增长，如MapReduce、Hive、Spark、Presto、Tensorflow、PyTorch等，大数据栈的复杂性也在迅速增加。这些都大大增加了建设和优化大数据平台的难度。

Alluxio（alluxio.io）是一个开源的分布式文件系统。Alluxio开源项目起源于加州大学伯克利分校AMP实验室。起初，它被设计成为Apache Spark提供一个守护进程的服务，在不同的Spark作业和不同的启动中-共享内存状态，以实现高性能和容错机制。

Alluxio如今已经演变为一个更加通用的高性能和高可用性的分布式文件系统，用于解决上述挑战。Alluxio在技术上实现了一个统一和逻辑的命名空间，用于虚拟化多个存储服务（无论是本地还是云端），同时，Alluxio将热数据与计算节点本地化，提供更好的性能。目前，超过1100家公司和组织正在使用Alluxio来作为一个数据抽象和访问层，将计算和存储解耦。

本讲座将以Alluxio项目开发者的角度分享我们对Alluxio的设计、实现和优化。我们将讨论如何设计基于RocksDB分层元数据存储，如何实现基于RAFT嵌入式状态复制机的高可用性，以及基于gRPC 的RPC框架的演变。

嘉宾介绍：

范斌，Alluxio公司创始成员&开源社区副总裁。本科毕业于中科大计算机系，随后取得卡内基梅隆大学计算机博士学位。博士期间在分布式系统算法和系统实现等方向发表多篇包括SIGCOMM, SOSP, NSDI等国际会议论文以及多篇专利。加入Alluxio前, 范斌在Google从事下一代大规模分布式存储系统的研究与开发，曾获得谷歌年度技术奖。

同程旅行对象存储实践

演讲简介：

随着公司业务的快速发展,公司内对各种图片、视频、文件等这类对象的存储需求越来越强烈,包括一些二维码,景区图片,景点推荐视频等,大约有几十亿的数据。由于一些历史原因,现在存在好几套提供类似存储的服务,比如Ceph S3,FastDfs,minio以及公有云S3 Proxy,需要花费大量的精力去维护,而且每个服务都有一些不同的问题,比如Ceph S3,规模大了以后稳定性有点问题,需要投入大量精力,比如FastDfs,接入不太友好,而且支持不了主流的S3,比如公有云S3,跟机房通信延迟比较大,满足不要性能的需求。

本次分享主要介绍我们的新的对象存储的服务是怎么做的。分享内容包括:我们是怎么选型新的对象存储服务的,我们是怎么做到业务无感知迁移到新的存储服务,以及我们怎么基于S3打造存算分离的日志平台等。

演讲内容重点提纲：

1. 项目的背景

(我们为啥要做这个事情,遇到了哪些问题)

2. 新的对象存储服务选型与落地

(我们做了哪些方案比对,终怎么选型的,选型完我们怎么做到业务无感切到新存储的,怎么做到高可用的)

3. 基于S3的存算分离实践

(我们怎么基于S3打造存算分离的日志平台的)

4. 未来规划与思考

嘉宾介绍：

周祝群 同程旅行 架构师

现任同程旅行研发中心架构师，技术委员会成员，先后从0开始完成了海量日志平台(目前高峰流量2千亿条/天),ElasticSearch平台(60+集群)等大规模分布式平台的落地。热爱Coding、热爱开源。