Skip to main content
 首页 » 编程设计

python之即使使用 usecols, Pandas 也会读取整个文件吗

2025年05月04日10arxive

我正在使用 pandas 读取休息服务中的文件。该文件很大,有 100 多列。但我只想阅读前两列。我知道我可以在 read_csv 中使用 usecols 但我想知道它究竟是如何工作的?

pandas 是否读取整个文件并过滤掉所需的列? 还是只读取所需的列?

我问是因为我不想让内存过载。

请您参考如下方法:

根据文档,它将读取整个文件(无法只从磁盘读取列),但只会解析和存储 use_cols 变量中给定的列(强调我的):

usecols : list-like or callable, optional

Return a subset of the columns... Using this parameter results in much faster parsing time and lower memory usage.