Skip to main content
 首页 » 编程设计

python之如何在不复制底层数据的情况下序列化多个 numpy View (即具有共享数据的数组)

2025年05月04日14lonelyxmas

我发现在对同一数据保存多个 numpy View 时,cPickle 会复制共享数据。

例如:

import cPickle 
import numpy as np 
a = np.arange(1000000) 
b = [a[i:] for i in range(100)] 
with open('C:/temp/b.pkl', 'wb') as f: 
    cPickle.dump(b, f, protocol=1) 

这会生成一个 400MB 的文件,这意味着 cPickle 正在复制由列表 b 中的所有 View 共享的缓冲区(否则它将约为 4MB)。

我希望能够在不复制数据的情况下进行序列化,以便 (a) 文件大小更小,并且 (b) 当我反序列化时,我可以恢复 View 的共享数据状态。

提前致谢

请您参考如下方法:

你告诉它保存b,这是一个列表[a[i:] for i in range(100)]。列表的 pickle 方法遍历列表并为每个元素调用 pickle。每个 a[i:] 都是一个不同的 numpy 数组;每个都是一个 View ,共享 a 的底层数据缓冲区,但是元数据,形状,步幅和 dtype 之类的东西是不同的。因此,每个列表元素(数组)都将在不“了解”之前保存的内容的情况下进行 pickle 。

如果你想让它更紧凑地保存列表,你将需要创建一个类,它有自己的 pickle 方法。该方法可以在知道那些 a[...] 共享底层数据缓冲区的情况下运行。或者它可能会保存 a 和重新创建此列表所需的数据。

简而言之,您的 pickled 变量很大,因为 pickle 方法对列表的深层结构一无所知。