我正在尝试遍历 2 个 CSV 文件的每一行。如果两个文件中的纬度和经度字段相同,我想丢弃这一行。
我试过以下方法
import numpy
f=numpy.genfromtxt('/wind/addandclaimwithinlatlon.csv', delimiter=',',
dtype=None, skiprows=0)
f1=numpy.genfromtxt('/wind/new_2011.csv',delimiter=",",dtype=None,skiprows=0)
final=[]
for row in f:
for row1 in f1:
if row[1]==row1[0] and row[2]==row1[1]:
print "duplicates"
else:
final.append([row[0],row[1],row[2]])
numpy.savetxt('/wind/addclaimwithinlatlonwithout2011.csv',
final, delimiter=',', fmt='%s')
它不会失败,但它只是运行了很长时间并且没有产生任何输出。它有什么问题?有没有其他方法可以更快地做到这一点?
请您参考如下方法:
由于您的文件已成功加载,看来问题出在您的代码上。
因此,您可以使用 itertools.zip_longest(在 python 2.X izip_longest 中)来压缩您的文件,然后使用列表理解来代替多重索引和嵌套循环保留预期的行。
from itertools import zip_longest
import numpy
f=numpy.genfromtxt('/wind/addandclaimwithinlatlon.csv',delimiter=",",dtype=None,skiprows=0)
f1=numpy.genfromtxt('/wind/new_2011.csv',delimiter=",",dtype=None,skiprows=0)
final=[row for row,row1 in zip_longest(f,f1) if len(row)>3 and len(row1)>1 and row[1:3]!=row1[:2]]
请注意,您可以使用一个切片来代替多个索引来比较 row[1],row[2] 和 row1[0],row[1]。
