Skip to main content
 首页 » 编程设计

python之将字典数组写入CSV

2025年05月04日12落叶无声

我正在尝试将字典(程序的第一部分生成的字典)写入csv,以便可以在excel中对数据执行进一步的操作。我意识到代码效率不高,但在这一点上,我只是希望它能工作。我稍后会处理。

import csv 
import pprint 
 
raw_data = csv.DictReader(open("/Users/David/Desktop/crimestats/crimeincidentdata.csv", "r")) 
 
neighborhood = [] 
place_count = {} 
stats = [] 
 
for row in raw_data: 
    neighborhood.append(row["Neighborhood"]) 
 
for place in set(neighborhood): 
    place_count.update({place:0}) 
 
for key,value in place_count.items(): 
    for place in neighborhood: 
        if key == place: 
            place_count[key] = place_count[key]+1 
 
for key in place_count: 
    stats.append([{"Location":str(key)},{"Volume":str(place_count[key])}]) 
 
pp = pprint.PrettyPrinter(indent=4) 
pp.pprint(stats) 


程序在这里仍然可以正常运行,如pprint输出所示

[   [{'Location': 'LINNTON'}, {'Volume': '109'}], 
    [{'Location': 'SUNDERLAND'}, {'Volume': '118'}], 
    [{'Location': 'KENTON'}, {'Volume': '715'}]   


这肯定是错误发生的地方。该程序将头文件正确地写入csv,然后引发ValueError。

fieldnames = ['Location', 'Volume'] 
with open('/Users/David/Desktop/crimestats/localdata.csv', 'w', newline='') as output_file: 
    csvwriter = csv.DictWriter(output_file, delimiter=',', fieldnames=fieldnames, dialect='excel') 
    csvwriter.writeheader() 
for row in stats: 
    csvwriter.writerow(row) 
output_file.close() 


我花了很多时间来寻找这个问题,但是我尝试使用的任何建议都没有奏效。我认为我必须错过一些东西,因此我将非常感谢任何帮助。

Traceback (most recent call last): 
  File "/Users/David/Desktop/crimestats/statsreader.py", line 34, in <module> 
    csvwriter.writerow(row) 
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/csv.py", line 153, in writerow 
    return self.writer.writerow(self._dict_to_list(rowdict)) 
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/csv.py", line 149, in _dict_to_list 
+ ", ".join([repr(x) for x in wrong_fields])) 
ValueError: dict contains fields not in fieldnames: {'Location': 'SABIN'}, {'Volume': '247'} 

请您参考如下方法:

我相信您的问题在这里:

for key in place_count: 
    stats.append([{"Location":str(key)},{"Volume":str(place_count[key])}]) 


这将创建两个字典的列表。第一个只有一个“ Location”键,第二个只有一个“ Volume”键。但是, csv.DictWriter对象期望每行具有一个字典,并且字典中的所有键均如此。将该代码段更改为以下代码,它应该可以工作:

for key in place_count: 
    stats.append({"Location": str(key), "Volume": str(place_count[key])}) 


那应该解决您所看到的错误。

现在,关于错误消息为何抱怨字段名不在字段名中的原因,这完全使您误解了所遇到的实际问题: writerow()函数希望将字典作为其行参数,但是您正在传递它是一个清单。结果是混乱:迭代 for循环中的dict以期望获得dict的键(因为这是您在Python中对dict进行迭代时所得到的),并将这些键与 列表。期望看到的是:

"Location" 
"Volume" 


以任何顺序(因为Python dict不保证它将返回其键的顺序)。他们希望您传递 fieldnames列表的原因是可以使这些字段以正确的顺序写入CSV。但是,由于要传递两个字典的列表,因此当对 fieldnames参数进行迭代时,它将得到以下内容:

{'Location': 'SABIN'} 
{'Volume': '247'} 


现在,字典 row不等于字符串 {'Location': 'SABIN'},字典 "Location"不等于字符串 {'Volume': '247'},因此 "Volume"函数认为找到了 writerow()中没有的字典键>您提供的列表,它将引发该异常。真正发生的事情是“当我期望一个带有两个键的字典时,您向我传递了两个一键字典的清单”,但是该函数并未编写来检查该特定错误。



现在,我将提到一些可以加快代码执行速度的事情。一件事很有帮助,那就是将代码开始时的三个 fieldnames循环减少到只有一个。您想要做的是浏览原始数据,并计算每个邻居出现的次数。首先,我将向您展示一种更好的方法,然后再向您展示一种在我的第一个解决方案上得到改进的更好的方法。

更好的方法是利用Python在 for模块中提供的出色的 defaultdict类。 collections是Python字典类型的子类,它将在首次访问字典条目时自动创建字典条目。它的构造函数只有一个参数,该函数将不带任何参数被调用,并且应为任何新项目返回所需的默认值。如果您已将 defaultdict用于 defaultdict字典,则此代码:

place_count = {} 
for place in set(neighborhood): 
    place_count.update({place:0}) 


可以简单地变成:

place_count = defaultdict(int) 


这里发生了什么?好吧, place_count函数(实际上不是一个函数,它是 int类的构造函数,但这有点超出了本说明的范围),如果不带任何参数调用,它恰好返回0。因此,您可以只使用现有的 int函数(好的,构造函数)来代替编写自己的函数 def returnzero(): return 0。现在,每次执行 int时,键 place_count["NEW PLACE"]将自动出现在 NEW PLACE词典中,值为0。

现在,您的计数循环也需要修改:它曾经遍历 place_count的键,但是现在 place_count第一次访问它们时会自动创建其键,因此您需要一个不同的来源。但是原始数据中仍然包含该源:每行的 place_count值。因此,您的 row["Neighborhood"]循环可能变为:

for row in raw_data: 
    place = row["Neighborhood"] 
    place_count[place] = place_count[place] + 1 


现在,您正在使用 for key,value in place_count.items():,甚至根本不需要第一个循环(创建 defaultdict列表的循环)!因此,我们将三个循环变成了一个循环。我建议的最终版本如下所示:

from collections import defaultdict 
place_count = defaultdict(int) 
for row in raw_data: 
    place = row["Neighborhood"] 
    place_count[place] = place_count[place] + 1 
    # Or: place_count[place] += 1 


但是,有一种方法可以进一步改善这一点。 neighborhood模块中的 Counter对象仅用于这种情况,并具有一些方便的额外功能,例如能够检索N个最常见的项目。因此,我建议的最终最终版本:-)是:

from collections import Counter 
place_count = Counter() 
for row in raw_data: 
    place = row["Neighborhood"] 
    place_count[place] = place_count[place] + 1 
    # Or: place_count[place] += 1 


这样,如果您需要检索犯罪最频繁的5个街区,则可以致电 collections。

您可以在 documentation for the place_count.most_common(5) module中阅读有关 Counter和 defaultdict的更多信息。