Skip to main content
 首页 » 编程设计

python之为什么 Python dict 在存储超过 550k 键时会消耗更多内存

2025年05月04日10soundcode

我用Python的dict类型存储一个数据文件,key超过550k,差不多29M。但是读取数据文件后,内存占用超过70M,不正常。

那么,这是如何发生的呢?

下面是读取数据文件的函数。

def _update_internal_metrics(self, signum, _): 
    """Read the dumped metrics file""" 
    logger.relayindex('reload dumped file begins') 
    dumped_metrics_file_path = os.path.join(settings.DATA_DIR, 
                                            settings.DUMPED_METRICS_FILE) 
    epoch = int(time.time()) 
    try: 
        new_metrics = {} 
        with open(dumped_metrics_file_path) as dumped_metrics_file: 
            for line in dumped_metrics_file: 
                line = line.strip() 
                new_metrics[line] = epoch 
    except Exception: 
        if not signum: 
            self._reload_dumped_file() 
        logger.relayindex("Dumped metrics file does not exist or can" 
                          "not be read. No update") 
    else: 
        settings["metrics"] = new_metrics 
 
    instrumentation.increment('dumped.Reload') 
    logger.relayindex('reload dumped file ends') 

请您参考如下方法:

首先,top 不是检查它的正确方法,因为它会告诉您整个过程的内存消耗。您可以使用 sys 模块中的 getsizeof:

sys.getsizeof(new_metrics) 

其次,字符串和哈希表都有一些开销:

sys.getsizeof('') 

在我的系统上,这是 24 字节的开销,并且无论字符串大小如何,开销都是一致的。使用 550k key 大约有 13M 开销。

Python 试图使哈希表不要过于密集,否则会耗尽查找时间。据我所知,cpython 实现使用 2x 增长因子,表大小为 2^k。由于您的 key 大小刚好超过两倍 (math.log(550000,2) # 19.06),因此它相对稀疏,有 2 ** 20 = 1048576 插槽。在您的 64 位系统上,每个字符串有 8 个字节的对象指针,这是额外的 8M 开销。您还存储原始文件中没有的整数(另外 8M),并且每个哈希表槽还包含存储的哈希值(另外 8M)。查看来源 PyDictEntry .

总共有 66M,当然您需要一些空间来存放 python 应用程序的其余部分。我觉得一切都很好。