2021 DTCC 专场12-数据存储与加速（PPT）

eBay HDFS架构的演进优化实践

演讲简介：

HDFS作为大数据的底层存储系统，能够存储海量的数据并能够对外提供稳定的数据读写服务。eBay HDFS集群-发展至今已达到PB规模量级的数据存储，同时目前在支持公司越来越多业务的发展。同样业务的快速发展对我们的HDFS集群提出了更高的要求和挑战。

eBay HDFS架构经过多年的演进优化，在性能和稳定性上得到了极大的提升。在早期的时候，HDFS集群是以独立集群服务的模式对外提供数据服务。伴随着业务数据规模的快速增长，我们很快遇到了HDFS NameNode的性能瓶颈问题。随后我们进行了HDFS Federation架构模式的尝试。我们将主集群NameNode的元数据进行了多namespace的拆分，形成多Federation NameNode共同服务的方式。同时在此期间我们持续地在进行HDFS自身的性能调优，使得NameNode的处理性能能够得到进一步地提升。

HDFS Federation架构横向扩展了HDFS集群的整体处理能力，但是不断增多的Federation namespace也加大了我们对此的管理和使用难度。如何更加有效地使用和管理这些namespace的数据成了我们又一个新的需要解决的难题。我们采用了社区RBF（Router-Based Federation）的架构模式来统一管理HDFS Federation。在RBF架构模式下，引入了中间服务Router来做客户端和NameNode服务端的中间层，底层Federation NameNode对于客户端来说完全透明。基于Router服务的Federation方案使得我们能够更加灵活透明地扩展底层HDFS的服务能力。在本次演讲中我们将详细讲述eBay HDFS集群架构从单独集群到Federation模式，再到RBF架构模式的演进历程，以及在此期间我们遇到的许多难题和相应的解决方案。

分享提纲：

a.介绍HDFS在ebay的使用现状

b.介绍我们在生产中遇到的问题，以及我们应对和优化的策略。

c.介绍HDFS Rouer-based federation在ebay的应用。

分享要点：

首先，通过介绍HDFS在ebay的使用现状，引出我们在生产中遇到的问题和瓶颈，并分析导致这些瓶颈的原因，以及ebay的应对和解决方案。

其次，ebay的HDFS集群规模十分庞大，在HDFS集群的扩展性方面也面临着诸多挑战，我们会介绍ebay在扩展集群规模方面的一些经验。

后，我们会介绍HDFS Router-based federation，以及ebay在此基础上所做的优化，以及它如何帮助我们更灵活透明的扩展集群的规模和服务能力。

林意群 亿贝软件工程（上海）有限公司 大数据开发工程师

嘉宾介绍：

Apache Hadoop PMC member，Apache Ozone PMC member，多年大数据从业经验，2019年加入eBay，主要负责eBay HDFS集群性能优化方面的工作。平时也活跃于开源社区，拥有多年参与开源社区的经验。目前主要专注于存储领域的研究和学习，同时也乐于总结分享，在eBay技术公众号，Alluxio官方公众号上发表过多篇技术文章。著有《深度剖析Hadoop HDFS》一书。

内存计算和可计算存储在数据库场景中的应用

演讲简介：

本文主要探讨了新型硬件3D XPoint和FPGA为数据库场景的赋能。

随着技术的进步和发展，就如当时磁盘代替磁带，SSD代替磁盘，不久，内存会成为真正的终结者，成为新的磁盘，就像Jim Gray在2006年所说的，“Tape is dead, disk is tape, flash is disk, RAM locality is king。”本次分享主要介绍了Intel基于3D XPoint技术研发的PMEM介质，它的访问延迟接近内存在纳秒级别，随着技术进步，如果能在价格和产能取得突破，可能会让我们对内存数据库产生更多的想象，那时内存会成为真正意义上的磁盘，既然数据都已经在“磁盘“上，那么对于buffer cache来说不需要LRU算法，不需要写脏数据块，也就不需要各种为脏块而存在的各种链表，等等这些都会对现在的数据库架构造成很大的冲击和影响。

摩尔定律已经似乎走到了尽头，晶体管的集成密度已经很难有本质上的提高，当今时代，新的计算场景层出不穷，随着5G、物联网、人工智能等新的大型计算场景的出现，通用的CPU将越来越难满足计算的要求，将合适的任务交给擅长的计算单元例如GPU和FPGA等将会成为趋势，本次分享主要介绍了基于FPGA技术实现数据在存储层的压缩，进而提高数据的使用效率和寿命，帮助企业降低TCO成本。

演讲内容重点提纲：

1. 3D XPoint技术介绍

（3D XPoint发展历程、工作原理、技术定位）

2. 3D XPoint技术在数据库场景中的应用

（3D XPoint在oracle数据库中的应用、在Cache架构中的应用、挑战和难点）

3. 可计算存储介绍

（出现背景、异构计算的概念）

4. 利用可计算存储实现数据压缩

（压缩原理、数据库适用场景、收益）

5. 未来数据库系统设计的趋势

魏兴华 沃趣 CTO

嘉宾介绍：

沃趣科技技术负责人，目前主要致力于云原生技术和数据库技术的融合和创新，曾经是一名Oracle ACE，曾就职于东软集团、阿里巴巴集团，受邀参加美国OOW数据库峰会分享，在DTCC、SACC、OTN等大会做过多次分享，对数据库的核心运行机制、数据库软硬件结合、数据库架构设计有一定的研究