存储成本仅为OpenTSDB的1/10,TDengine的大杀手锏竟然是这个!

2022-05-24 00:00:00 数据 算法 写入 压缩 长度

在《这几个神秘参数,教你TDengine集群的正确使用方式》中,我们告诉了大家:如何才能让数据均匀的分布在节点中。接下来,我们和大家一起以产品使用者的视角继续向前探索。


如果说让数据均匀分布的目的是为了大化地使用CPU资源的话,那么充分地利用数据压缩能力就是为了大化地驾驭存储资源了。


我只能说,在这个方面TDengine做得棒极了。


在官网上,有这样的描述:

TDengine 相对于通用数据库,有超高的压缩比,在绝大多数场景下,TDengine 的压缩比不会低于 5 倍,有的场合,压缩比可达到 10 倍以上。


 下面就是TDengine在近三个月内打出的成绩。


在顺丰科技的应用案例中,TDengine轻松替换掉了OpenTSDB+HBase:

服务端物理机由21台降至3台,每日所需存储空间为93G(2副本),同等副本下仅为OpenTSDB+HBase的约1/10,在降低成本方面相对通用性大数据平台有非常大的优势。


在得物APP的应用案例中,TDengine通过10%的压缩率为对方节约了大量存储资源:

目前Sentinel的数据没有使用副本,全量数据分散在三台机器中,根据计算得知TDengine对于Sentinel监控数据的压缩率达10%,相当可观。


一是开源产品免费,二是能白白给自己省下那么多服务器,三是读写性能都不错——这种降本增效的工具谁不喜欢呢。


于是一些用户开始安装产品,并开始使用官方推荐的压测工具taosdemo造数写入,想看看是不是真的可以做到宣传的效果。


但是测试过后,很多用户感觉TDengine的压缩率并没有达到自己的预期。可另一方面,顺丰和得物这些大企业又实实在在地得到了非常可观的成本降低,那么问题到底出在哪里呢?


大家都知道IoT数据的特点之一就是,对于同一监测量而言,相互之间相差小且有规律,即便是字符型也会有相当大数据重复出现或者类似的可能。正是这样的数据模型才给了TDengine的列式压缩广阔的发挥空间。


但是呢,如果仅以taosdemo默认配置的随机数据来做测试,生成的数据未必具有这样的特点。比如,默认的配置有一个长度为16的nchar字符类型,每个 nchar 字符占用 4 bytes 的存储空间4*16占据了几乎一半的行长度又不好压缩,所以就显得压缩效率有点低。


为了优化这个体验,在2.1版本的taosdemo里默认的写入数据换成了四列INT。但如果大家想写入自定义格式的数据,只要根据这个博客操作就好了。

https://www.taosdata.com/blog/2020/12/29/2135.html


那么回到真实生产环境上,又会是什么情况呢。换言之,TDengine到底是如何帮助顺丰与得物这样的独角兽企业降低存储成本的呢?


接下来,我们就来看看——什么叫赢在起跑线上:


超级表建表语句和普通表建表语句的区别就只在这一个地方——Tag(标签)。超级表多了它就可以管理百万千万级别的子表,充分地说明了它的重要性。


正是因为TDengine把每个设备的标签都提取出来放在了内存里,所以才让设备的裸数据量天生就少了很多。所以,如果你想测试一样的业务场景下的性能时,在生成数据的那一刻你就会发现TDengine已经赢了。因为想要营造出一样的场景,它根本不需要造出那么多数据。


假设一个设备光是标签数就和测点数差不多甚至更多的时候,那在原始数据上你就可能已经省下了至少一半的磁盘占用。


接下来,我们来看看TDengine的数据压缩流程:当数据写入内存的时候,为了防止断电等特殊情况带来的数据丢失,TDengine会把数据先写入wal(write ahead log)文件。


当落盘机制被触发,数据开始持久化到存储之前,COMP参数就开始生效了。根据这个参数的值(0 1 2),TDengine会分别选择是做不压缩,一阶段压缩,还是二阶段压缩:一阶段压缩会根据数据的类型进行了相应的列压缩,压缩算法包括delta-delta编码、simple 8B方法、zig-zag编码、LZ4等算法。


所以,总结一下:
  • 1.对于特定列有特定算法的针对性压缩

  • 2.物联网场景下数据的普遍规律性


这两点共同造就了TDengine超强的压缩能力。


接下来,二阶段压缩又在一阶段压缩的基础上用通用压缩算法进行了压缩,压缩效果更高。关于TDengine压缩算法的说明见如下链接。

https://github.com/taosdata/TDengine/blob/master/src/util/src/tcompression.c


后,我们再来看看,到底要如何估算出压缩率:


首先,我们要算出裸数据的大小,官网上提供的计算公式为:

Raw DataSize = numOfTables * rowSizePerTable * rowsPerTable


rowSizePerTable(每行长度)可以根据每个数据类型的长度来计算。describe table你会看到表的结构以及各个字段的大小。其中binary和nchar类的长度为大长度。实际占用要以真实数据长度为准(下面示范中binary和nachar占满全部空间),而nchar字段的占用长度还要乘4。此外,每个binary和nchar还要额外占据两个字节。


比如下表:


在假设Binary和Nchar数据都是写满16个的情况下,单行总长度就是(8+1+2+4+8+4+8+16+16*4+1+8)+4=128字节。用128字节乘以 rowsPerTable(每个表行数)*numOfTables(表数),就可以大体地估算出我们的总数据量了。


其实,测试中更常见的是直接用超级表作为测试主体,直接使用超级表的count(*)数据去乘以每行长度就可以得到Raw DataSize了。


后,再用/var/lib/taos/vnode/下面各个vnode的数据文件大小除以Raw DataSize。


大功告成——我们终于得出实际压缩率了。


这里,大家要留意一下:在数据文件目录下的vnode目录里面还有一个wal目录。如果这里面有数据说明数据还没有落盘到存储里面,也就是说数据是还没有压缩过的。为了让测试结果更加精准,所以大家可以使用简单直接的办法——重启服务进程,这样就可以直接触发落盘机制了。


上图显示:重启过后,所有的wal文件大小都是0,证明数据已经成功被压缩后写入存储了。


本次TDengine之旅,终于到此告一段落。


其实,测试压缩率好的办法就是在合理的数据建模之后,用自己的真实数据试去跑一下,这时候就一目了然了。


以上,就是TDengine降低存储成本的大杀手锏。

来源 https://www.modb.pro/db/168873

相关文章