kdb+、RDBMS、MongoDB、Spark等速度大PK

kdb+有关开发人员曾对几个常见数据库进行测试，测试结果显示，在同等条件下，kdb+查询速度比传统关系数据库、PostgreSQL、Cloudera、MongoDB等快上百倍，甚至比Spark快上千倍，而所需要的磁盘、内存空间却少很多。有关情况如下：

一、测试方法

• 测试数据库：三大传统关系数据库之一（以下简称“RDBMS”）、PostgreSQL、Cloudera、MongoDB、Spark等。
• 测试数据：纽交所20多年tick行情数据（成交及报价），原始文本数据文件100TB，记录数高达1.1万亿条。
• 测试机器：16个CPU内核、256GB内存的英特尔服务器。
• 测试操作：“查询1”：从报价行情数据中查询100只指定股票在某一交易日的后一个“买一价”；“查询2”：从成交行情数据中查询100只股票在某一交易日的大成交价；“查询3”：从成交行情数据中查询100只股票在某一交易日每一个小时内的累计成交量。

二、测试结果

测试结果如下表所示，其中，各数据库在“查询1”、“查询2”、“查询3”列的数值是指该数据库执行相应查询所用时间与kdb+所用时间的比值；“磁盘空间”数值是指各数据库保存所有测试数据所用磁盘空间与kdb+所用磁盘空间的比值；“内存”数值是进行上述查询所使用的内存与kdb+使用内存的比值。例如，Spark在“查询1”中的值为1889，表示Spark执行“查询1”所用时间为kdb+所用时间的1889倍，kdb+使用了18毫秒，Spark使用了18*1889≈34000毫秒即34秒。Cloudera在磁盘空间占用较少，是因为它采用了压缩保存，其它数据库未采用压缩存储。

从测试结果可以看出，kdb+查询速度比大多数数据库快上百倍,甚至比Spark快上千倍，而所需要的磁盘、内存空间却更较少。考虑到一些数据库无法进行复杂数据计算，该测试只进行简单查询测试。如果考虑其它方面因素，kdb+用于处理时间序列海量数据等的优势将更加明显和突出（可参考《kdb+中文教程》章、第十章等）。欢迎关注本公众号kdbcnbook，一起学习跑得快、吃得少的kdb+:)

来源 https://zhuanlan.zhihu.com/p/342747423