Facebook的数据库查询引擎Presto在美团有哪些应用

2023-04-14 12:08:00 引擎 数据库查询 有哪些

美团点评的数据仓库采用了Facebook开源的分布式SQL查询引擎Presto,并在此基础上进行了优化和二次开发。目前,Presto在美团点评的应用主要有以下几个:

1. 数仓ETL离线作业。美团点评的ETL离线作业有上百个,每天跑数据量达TB级别,其中一半以上的作业采用Presto完成。

2. 数仓OLAP在线查询。美团点评的OLAP查询服务是公司内部各业务线每天进行数据分析的主要工具,目前每天查询量达到百万次,其中一半以上的查询采用Presto完成。

3. 日志分析。美团点评的日志数据每天都有几十TB,采用Presto进行日志分析能够大大提高分析效率。

4. 数据仓库实时同步。美团点评的数据仓库实时同步系统采用了基于Presto的开源项目MySQL-Binlog-Presto进行开发,该系统能够实时将MySQL数据库的更新操作同步到HDFS上,并通过Presto实现实时查询。

5. 实时数据分析。美团点评的实时数据分析系统采用了基于Presto的开源项目Kylin-Presto进行开发,该系统能够实时将MySQL数据库的更新操作转换成Kylin的Cube,并通过Presto实现实时查询。

相关文章