2021 DTCC 专场4-分布式数据库应用佳实践(上)(PPT)

2021-10-23 00:00:00 数据 数据库 分布式 能力 介绍

PolarDB-X 单机平滑演进分布式之路

演讲简介:

介绍阿里云 PolarDB-X 新发布的透明分布式与 CDC 能力如何帮助传统企业应用从单机 MySQL平滑迁移到 PolarDB-X 云原生分布式数据库,从而实现数据库弹性能力,成倍提升应用复杂查询性能。


廖涵 阿里云 数据库技术专家

嘉宾介绍:

阿里云数据库专家,2010 年加入阿里,经历去O应用改造全过程。在数据库性能优化,分布式事务领域有多年经验积累。


PostgreSQL在OLAP场景实战演练,支撑单节点百亿规模多维检索与统计

演讲简介:

PostgreSQL一直被誉为世界上先进的开源数据库,并且拥有着极强的稳定性和丰富的第三方工具,一直作为主流的OLTP数据库被广泛使用。但是随着PG生态的快速发展,PG在OLAP场景的应用也随之不断涌现。但是受制于关系型数据库的底层存储格式,PG在OLAP场景中的性能并不理想,尤其是PG强大的入库性能优势在创建索引较多时会急剧下降,这使得PG在OLAP场景中无法发挥全部实力。而此次我们针对PG在OLAP场景中的应用进行了实战演练,通过优化PG底层的存储格式,大幅提升了PG在数据更新和入库上的性能,同时使得PG可以支持全文检索、多维统计分析等场景,实现了单机百亿数据的毫秒级检索。


母延年 南京录信软件技术有限公司 CTO

嘉宾介绍:

大数据领域数据分析处理专家,原腾讯和阿里巴巴大数据领域专家级工程师;组织研发阿里开源项目 Mdrill(多维分析)与 JStorm(流计算)的核心 committer, 目前已经收录在Apache开源组织,可快速处理百亿级数据;腾讯 Hermes 的核心开发人员,支撑腾讯每天3600亿、总量万亿规模数据的即席查询与分析;NJSD全球大会组委主办的《NJSD2017全球软件大会》受邀演讲嘉宾;ChinaHadoop大数据研究网主办的《第九届中国 Hadoop 技术峰会(CHINA HADOOP SUMMIT)2017 北京站》演讲嘉宾。


Elasticsearch基于对象存储的冷热分离架构以及NLP特性增强实践

演讲简介:

Elasticsearch 是目前业界的分布式搜索和分析引擎,轻松实现全文检索、日志分析、指标监控等,互联网、IOT、制造业等领域会有超大规模的日志或传感器等业务数据且日增量巨大,用ES现有的架构来保存数据,存储成本等巨大会让客户望而生畏,在云上对象存储(BOS)的存储成本是SSD云磁盘的10%左右,是HDD云磁盘的35%左右,如何利用对象存储来帮助客户节省成本是百度云ES一直以来努力的方向。百度云ES基于BOS的冷热数据分离架构可以将索引数据存储在对象存储(BOS)上并可以直接检索BOS上的索引数据,在百度集团内部和百度云外部大客户中均得到大规模应用实践,帮助客户节省成本50% - 90%。另外,百度云ES也在搜索领域与NLP的深度集成方向也做了大量的工作,包括百度NLP分词、百度NLP WordWeight等,为企业和用户提供更好的搜索体验。

本次分享将介绍百度云Elasticsearch基于BOS的冷热分离架构的优势和核心技术实现以及与NLP深度集成的特性

分享提纲:

a.介绍百度云ES基于BOS的冷热数据分离架构关键技术实现、技术优势,介绍一些百度公司内外的一些佳实践案例

b. 介绍百度云ES与NLP的深度整合的一些特性的关键技术实现、技术优势等

c. 简要介绍百度云ES未来在云原生、NLP等领域的持续优化方向和技术展望

分享要点:

首先,通过对比云上SSD云磁盘、HDD云磁盘和对象存储(BOS)的刊目录单价,载结合特定行业如IOT、制造业等的数据特点,如果ES的索引可以存储在对象存储BOS上可以大幅度降低存储成本,引出百度云Elasticsearch基于对象存储BOS的冷热存储分离架构

其次,详细的介绍百度云Elasticsearch基于对象存储BOS的冷热存储分离架构的一些关键技术实现、基本使用方法以及一些典型客户的佳实践案例

后,介绍百度云Elasticsearch与NLP深度整合的一些特性、技术实现以及效果

结尾,简单聊下百度云Elasticsearch未来在云原生、NLP等领域的持续优化方向和技术展望。


武云峰 百度 研发工程师、百度云Elaticsearch负责人

嘉宾介绍:

5+年OLAP数据库方向开发经验,2015年加入百度,目前主要从事Elasticsearch内核优化、Apace Doris(incubating)等相关工作,现为百度云Elasticsearch团队负责人,主要负责百度云Elasticsearch管控平台、内核优化方向、商业化等相关工作;喜欢挑战和解决各类客户问题,始终将客户需求放在位。


GBase云上逻辑数据仓库助力行业迎接数字化转型新挑战

演讲简介:

GBase云上逻辑数据仓库具有云化,分布式,智能,融合,实时,安全等特性。GBase云上逻辑数据仓库不仅定位于单一的具有分布式能力的OLAP RDBMS,而是作为具有综合处理能力的大数据平台重要组件,发展与其他平台的集成能力、多租户数据开放能力和跨中心操作能力等,结合大数据应用的复杂化,融合化特点,GBase云上逻辑数据仓库融入了包括机器学习在内的智能计算,和关系计算与非关系型计算之间的融合计算能力,以及对数据的实时接入,实时处理的实时数仓的能力;同时支持数据的安全传输和存储能力;通过以上能力来支持数据湖,数据仓库,数据集市和数据中台。以及支持计算存储分离的架构来支持分析域私有云和公有云对接的DaaS服务部署和开放能力,提供云上数仓的能力。


张绍勇 南大通用 数据智能产品经营部总经理

嘉宾介绍:

张绍勇,南开大学硕士,超过20年数据库产品开发、设计经验,参与设计了安全数据库、GBase 8a列存储数据库,GBase 8a MPP Cluster大规模并行数据库集群、GBase UP大数据融合平台,并负责下一代数据平台产品的理论研究与设计,获得十几项数据库发明专利。


相关文章