如何在Python字典中存储大数据集？

问题描述

我有几TB的数据要存储，并且能够快速查找。当然，我不能简单地使用python字典，因为它的大小受我的RAM大小的限制。

我尝试使用DBM python：https://docs.python.org/3/library/dbm.html，但对我的应用程序来说太慢了。

---

解决方案

查看Neueda在https://github.com/blu-corner/heliumdb所做的工作 此界面提供以下几个重要功能： 1.它使用原生字典接口，所以您真的不需要使用新的API，您的代码也不需要更改 2.它很快。比在底层使用数据库快得多 3.您可以将字典放在单独的服务器中，并让多个Python程序共享同一字典。当然，您仍然需要在应用程序级别进行并发控制，但是字典在所有程序中始终是一致的。对于字符串类型，性能接近内存字典中的本机。希望这能帮上忙。如果您愿意，我可以给您发送一些示例代码