Clickhouse MYSQL 大数据魔术 之 疯狂大数据

2021-06-03 00:00:00 数据 数据库 专区 顾问 我司

以下为在公司中推广 CLICKHOUSE 产品的PPT 内容


————————————————————————————

在我司,顾问作为数据分析和业务数据响应的人员,每天都被MYSQL 中关于OLAP的大SQL 和大数据量的JOIN所摧残着,数据算不出来,数据算出来要等到天荒地老,此时顾问的面部的表情是愤怒的。纷纷表示臣妾做不到,这样的数据运算。



我们整体DB TEAM 做出了以下的努力

让整体8个DBA 天天死去活来,为满足顾问的需求,天天出生入死,我们的心里话是,我太难了。


经过DB TEAM 本身的寻找,终于找到了一位,救苦救命的活菩萨  CLICKHOUSE


那我们就直奔主体,看看CLICKHOUSE 做了什么,让我们将她向神佛一样崇拜。


以上是我司财务的顾问“大师”,写出的SQL语句,并且这里已经删减了各部分,要不根本无法呈现此SQL 的“伟大”。

同样的数据量,同样的SQL,我们在CLICKHOUSE 值需要7.5秒,而MYSQL 8.011 则需要1分48秒才能完成这个大SQL的计算。


更让人惊奇的是这还是在CLICKHOUSE 是单机,并且仅仅用了MYSQL 一半的CPU 和 内存资源下的结果。


那么到底为什么CLICKHOUSE 这么夸张的快,到底有什么依据没有。



clickhouse 是俄罗斯战斗民族的高质量的程序代码所出品的,大数据产品。

他是一种列数数据库

与行式数据库相比,列式数据库有着得天独厚的数据OLAP的基因

列式存储的数据库的好处就显而易见了,通过向量模式的来执行数据查询的操作,可以实现一个基本上没有成本的查询引擎的功能,这样有利于CPU 进行数据计算,而不需要进行从磁盘或许数据的等待时间。


下面是我们的CLICKHOUSE 的产品与其他大数据产品的对比情况


CLICKHOUSE 不光解决了我们的业务查询分析的问题,还间接让数据库走入了大数据分析的道路。

那么我们在CLICKHOUSE 中主要使用哪种数据库引擎来完成这个工作,Materialize ,可以进行数据的同步和数据的实施修改,查询。



注以上技术部分内容为我司DBA 蒋之皓撰写。

相关文章