我有 60mb 的文件,其中有很多行。
每一行的格式如下:
(x,y)
每一行都将被解析为形状为 (1,2) 的 numpy 向量。
最后应该在 shpae (N,2) 处连接成一个大的 numpy 数组 其中 N 是行数。
最快的方法是什么?因为现在需要太多时间(超过 30 分钟)。
我的代码:
with open(fname) as f:
for line in f:
point = parse_vector_string_to_array(line)
if points is None:
points = point
else:
points = np.vstack((points, point))
解析器在哪里:
def parse_vector_string_to_array(string):
x, y =eval(string)
array = np.array([[x, y]])
return array
请您参考如下方法:
可以提高速度的一件事是模仿 genfromtxt 并在列表(或元组)的列表中累积每一行。然后在最后做一个np.array。
例如(大致):
points = []
for line in file:
x,y = eval(line)
points.append((x,y))
result = np.array(points)
因为您的文件行看起来像元组,所以我将保留您的 eval 解析。我们通常不推荐 eval,但在这种有限的情况下,它可能是最简单的。
您可以尝试让 genfromtxt 读取此内容,但每行的 () 会让人有些头疼。
pandas 应该有一个更快的 csv 阅读器,但我不知道它是否可以配置为处理这种格式或现在。
