python之大数据集的字典接口(interface)

我有一组键/值(所有文本)太大，无法一次加载到内存中。我想通过类似 Python 字典的界面与这些数据进行交互。

这样的模块是否已经存在？

读取键值应该是高效的，并且在磁盘上压缩值以节省空间。

编辑:

• 最好是跨平台，但目前只使用 Linux
• 需要线程安全

请您参考如下方法:

看看 shelve模块。它为词典提供各种支持数据库系统，包括 BerkleyDB 和 dbm。