2021 DTCC 专场10-大数据平台架构设计 （PPT）

中通大数据任务分析平台的实践

演讲简介：

中通快递成立于2002年，经过十余年的发展，目前整体业务规模达到了世界。去年双十一的订单量突破8.2亿、业务量突破7.6亿，随着业务的不断发展与时效性的需求越来越高，在hive基础上引入了spark-sql、presto等计算任务,目前日均2w+的调度任务，100万+presto查询,给我们在管理与监控上带来很多的挑战与问题，本次分享会详细介绍中通在离线与olap计算引擎(presto)上的监控与任务分析的实践经验。

分享提纲：

1.背景与挑战

2.介绍开源方案的问题与痛点

3.介绍中通在离线与olap计算引擎上的分析优化实践

4.思考与规划。

孙俊杰 中通快递 大数据架构师

嘉宾介绍：

2018年加入中通，担任大数据架构师，主要负责离线存储与计算的运维研发工作。曾就职于饿了么、拍拍贷，6年以上的大数据架构经验，对数据平台落地有着较丰富的经验。

Data Mesh大数据平台架构设计与实践

演讲简介：

Airwallex为了解决传统中心化数据平台带来的数据需求响应不及时、领域知识传递有偏差、资源利用率不高等问题，基于Data Mesh理念设计并实践了一种分布式的数据平台。它的核心是通过服务的方式，为企业提供一套包含数据管道能力(清洗、组合、丰富等)和合规性要求(数据认证、隐私、安全等)的技术基础设施，企业内部的不同领域可以在这套基础设施上自助式地实现数据主权管理及数据开发。

Data Mesh架构满足公司内各领域的数据驱动需求及数据处理需求，丰富了数据服务场景，提高了领域内数据开发的效率。

分享提纲：

a. 举例说明Airwallex在使用中心化数据平台过程中遇到的问题，剖析其原因；

b. 介绍Data Mesh的核心概念；

c. 详述Airwallex Data Mesh大数据平台的架构设计、技术选型及关键技术实现；

d. 从实践的角度介绍Data Mesh大数据平台在Airwallex中的应用案例；

王征 Airwallex(空中云汇) Staff Data Engineer

嘉宾介绍：

现为Airwallex数据团队Staff Data Engineer,架构师，多年大数据平台、中间件、应用开发经验。专注于大数据平台架构及各类大数据组件应用，设计并主导过数据检索、流处理、图数据平台、数据仓库等多种平台的开发。现负责Airwallex面向领域的分布式大数据平台Data Mesh的设计及开发工作，主导并推动Data Mesh在Ariwallex全球收单、跨境付款、跨境收款等业务场景的大规模使用。