Skip to main content
 首页 » 编程设计

python之读取大型 CSV 文件

2025年04月02日19mate10pro

我正在尝试用 Python 读取一个大的 csv 文件;它有大约 700 个属性和 101533 行。我尝试使用 pandas.read_csv 命令读取文件,但出现内存问题,然后我尝试了这个解决方案

import numpy as np 
with file("data.csv", "rb") as f: 
   title = f.readline()  # if your data have a title line. 
   data = np.loadtxt(f, delimiter=",") # if your data splitted by "," 
   print np.sum(data, axis=0)  # sum along 0 axis to get the sum of every column 

但它不适用于大型数据集,但适用于小型数据集。我如何在 python 中读取此文件?

请您参考如下方法:

您可以使用 csv 模块加载您的 csv 文件并使用 itertools.izip() 函数来获取列生成器然后通过 next() 获取第一列。

请注意,csv.reader() 返回一个 reader 对象,它是一个类似对象的迭代器(一次可迭代),这意味着它不会浪费您的内存并将按需生成行. :

import csv 
from itertools import izip 
with open("data.csv", "rb") as f: 
    reader = csv.reader(f) 
    print sum(next(izip(*reader)))