Skip to main content
 首页 » 编程设计

python之读取一个大文件 vs 打开数千个文件

2025年05月04日9myhome

我有 20333 个文件,总共 93M,每个文件的重量在 136b 到 956K 之间。我需要从这些制表符分隔的文件 (*.tsv) 中读取数据

我正在考虑在从 ftp 服务器下载它们时将它们附加到一个文件中(以避免打开和关闭文件)。
要打开和读取任何文件,我使用以下函数:

def read_file(file_): 
    with open(file_) as f: 
        for line in f: 
            yield line.split("\t") 

提高性能是个好主意吗?

请您参考如下方法:

是的,将内容连接到一个文件中会提高性能——如果没有其他原因的话,因为这将允许内容流水线化。

检索一系列文件需要大量的请求/响应对;当服务器等待来自客户端的新命令时,本来可以使用的带宽被浪费了,除非增加显着的复杂性和逻辑来避免这种情况(例如,运行多个并发 FTP 连接)。

相比之下,检索大文件允许服务器不断发送内容,直到它丢失来自客户端的 ACK(告诉它放慢速度)。这将显着提高吞吐量。