从Google Mesa到百度PALO再到Apache Doris(数仓)
1. Mesa
Mesa is a distributed, replicated, and highly available data processing, storage, and query system for structured data. Mesa ingests data generated by upstream services, aggregates and persists the data internally, and serves the data via user queries.
1.1 存储设计
1.1.1 数据模型(data model)
1.1.2 数据更新和查询
1.1.4 物理存储格式
1.2 系统架构
1.2.1 单DC部署
1.2.2 跨DC部署
2. PALO
2.1 简介
A MPP-based Interactive Data Analysis SQL DB
2.2 PALO的特点
1) 高性能的行列存储引擎 2) 小批量更新,批量原子提交,多版本支持 3) 高效的分布式数据导入 4) 支持Rollup Table, Scheme Change, Data Recovery 5) 较完备的分布式管理框架,使得整个PALO易用易运维 6) Range partition: 全局key排序,自动分裂还没有满足 7) MPP Query Engine – 低并发大查询 + 高并发低延迟小查询 8) 调度和资源隔离还在完善,支持优先级划分和多租户 9) 存储分级支持,老数据用SATA,热的新数据用SSD 10) 实现了Mysql网络协议,可以很容易与各种上层工具打通 11) 支持多表join(这点由于自己实现了查询引擎,所以弥补了Mesa存储引擎的不能实现的) 12) Rollup表智能选择 13) 支持谓词下推
2.3 PALO的系统架构
2.4 PALO总结
相关文章