Redis、MongoDB、ZODB速度比较(小数据量)

2022-05-05 00:00:00 索引 查询 时间 读取 写入

刚才用100kb的小文本文件,用1000次循环,在我的本本上,对redis(via redis-py),mongodb(via py-mongo)和ZODB(Zope的数据库,OODB,直接使用key-value模式,没有依附其他数据结构)进行了小规模写入和读取测试。

发现一些结果,有些有点意外:

逐次写入:

也就是

for record in file:
db.insert(record)
db.save()


Mongodb没有强制将数据写入硬盘的函数,忽略。
ZODB没有异步模式,只能对每一条record调用一次commit,用了50秒。
Redis出奇地使用了约2分钟之多,我想是因为Redis的同步save设计还没不成熟的原因。(update:经过查阅文章,发现redis的save是以快照模式进行的,这就能解释为什么redis在逐次写入,同步保存情况下,如此耗时了。 http://redis.io/topics/persistence)



连续写入

也就是

for record in file:
db.insert(record)
db.save() # if exists


MongoDB和Redis两个都耗时一秒左右,MongoDB速度比Redis稍稍慢个零点几秒,考虑到Mongodb和Redis默认都是使用异步模式,速度相差不大,算是意料之中。

ZODB没有异步写入的方法,忽略。

读取

无索引情况下,ZODB是0.1x,Mongodb是1秒多,Redis是0.3秒。

有索引/缓存情况下,ZODB(在同一进程中对同一对象进行多次读取)是0.004秒;MongoDB仍是1秒多,比原来快了零点几秒;Redis是直接key-value,没有缓存,pass。

暂时总结

Redis的写入情况和MongoDB相似,但Redis的读取速度比MongoDB稍快。
MongoDB的索引似乎效果不大。
ZODB的读取速度惊人,秒杀MongoDB和Redis,但没有异步写入是它的硬伤,可尝试以扬长避短,考虑将它用在“读取多,写入小”的情况下。

详细数据


环境 Linux mypad 2.6.39-ARCH #1 SMP PREEMPT Tue Jun 7 05:49:02 UTC 2011 i686 Intel(R) Core(TM)2 Duo CPU T6570 @ 2.10GHz GenuineIntel GNU/Linux

条件,100kb文件,循环写入/读取1000次,每个测试方法是分开运行的,比如 python -m unittest testFile.TestCase.testMethod && python -m unittest ...



Zodb,同步,个是写入时间,第二个是无内存缓存的查询,第二个是有内存缓存的查询。
Ran 1 test in 50.151s

Ran 1 test in 0.038s

Ran 1 test in 0.003s



mongodb 异步,个是写入时间,第二个是无索引查询,第三个是建立索引的时间,第四个是带索引的查询
Ran 1 test in 1.450s

Ran 1 test in 1.159s

Ran 1 test in 0.002s

Ran 1 test in 1.137s



redis,默认设置(不带save或bgsave),后面是查询时间
Ran 1 test in 1.002s

Ran 1 test in 0.296s

redis,在所有数据写入之后调用save,后面是查询时间
Ran 1 test in 1.287s

Ran 1 test in 0.299s

redis,在所有数据写入之后调用bgsave,后面是查询时间
Ran 1 test in 1.004s

Ran 1 test in 0.323s


————————————————
版权声明:本文为CSDN博主「iteye_10039」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/iteye_10039/article/details/82077432

相关文章