Skip to main content
 首页 » 编程设计

python之为什么 pickle numpy 数组的开销很大

2025年05月04日952php

假设我有一个简单的 Python 数组:

>>> x = [1.0, 2.0, 3.0, 4.0] 

pickle 后,它的尺寸相当小:

>>> pickle.dumps(x).__len__() 
44 

我用numpy数组怎么会大这么多?

>>> xn = np.array(x) 
>>> pickle.dumps(xn).__len__() 
187 

将其转换为不太精确的数据类型只会有一点帮助...

>>> x16 = xn.astype('float16') 
>>> pickle.dumps(x16).__len__() 
163 

其他 numpy/scipy 数据结构,如稀疏矩阵,也不能很好地 pickle。为什么?

请您参考如下方法:

在调试器中检查它,一个 numpy 数组除了数据之外还有像 max、min、type 等字段,我不确定 python 列表是否有。

可以在 http://docs.scipy.org/doc/numpy/reference/arrays.ndarray.html 上找到完整列表

由于 pickle 只是一个二进制复制,这些其他字段也被复制,导致更大的大小。