我正在尝试用 Python 读取一个大的 csv 文件;它有大约 700 个属性和 101533 行。我尝试使用 pandas.read_csv 命令读取文件,但出现内存问题,然后我尝试了这个解决方案
import numpy as np
with file("data.csv", "rb") as f:
title = f.readline() # if your data have a title line.
data = np.loadtxt(f, delimiter=",") # if your data splitted by ","
print np.sum(data, axis=0) # sum along 0 axis to get the sum of every column
但它不适用于大型数据集,但适用于小型数据集。我如何在 python 中读取此文件?
请您参考如下方法:
您可以使用 csv 模块加载您的 csv 文件并使用 itertools.izip() 函数来获取列生成器然后通过 next() 获取第一列。
请注意,csv.reader() 返回一个 reader 对象,它是一个类似对象的迭代器(一次可迭代),这意味着它不会浪费您的内存并将按需生成行. :
import csv
from itertools import izip
with open("data.csv", "rb") as f:
reader = csv.reader(f)
print sum(next(izip(*reader)))
