Skip to main content
 首页 » 编程设计

python迭代一个非常大的文件流

2025年05月04日10mayingbao

<分区>

我不是经验丰富的 Python 编码员,所以请保持温和。

我有一个非常大(100 GB)的二进制文件,需要一个特定的命令行工具(这里称为 parseTool)来解析它。 parseTool 的输出格式是简单的原始文本,我正在对其进行一些基本处理(计算值等)。

在我考虑在集群上运行我的代码的多个实例之前,我想确保我做事的效率相当高。

这是我用来迭代 parseTool 输出的内容:

proc = subprocess.Popen(procTool +' myFile.file ', 
                        shell=True, 
                        stdout=subprocess.PIPE) 
for line in proc.stdout: 
    linep=line.split("\t") 
    #process each line until end of stream 

明确地说,我主要关心的是如何有效地迭代 parseTool 的输出。有什么有用的提示吗?