Skip to main content
 首页 » 编程设计

python之当使用 utf-8 编码保存为 csv 时,pandas 仅保存列表的前 100 个条目

2025年04月02日1598°冷暖

我的目标是将 pandas 数据框保存为具有 utf-8 编码的 csv 文件。这些值有时是长列表(长 > 100 个条目)。我注意到这些列表的输出限制为 100 个条目,然后是 ...。只有在 .to_csv() 中设置 encoding='utf-8' 时才会出现此问题:

>>> import pandas as pd 
>>>  
>>> d = {"row": {'column': range(1, 150)}} 
>>> df_out = pd.DataFrame(d) 
>>> df_out.to_csv("wo_encoding.csv") 
>>> df_out.to_csv("w_encoding.csv", encoding='utf-8') 
>>>  
>>> df_in1 = pd.read_csv("wo_encoding.csv") 
>>> len(eval(df_in1.iat[0,1]))  # eval() to create list from string 
149 
>>> df_in2 = pd.read_csv("w_encoding.csv") 
>>> print(df_in2.iat[0,1][-13:])  # last 13 characters 
99, 100, ...] 

这是为什么?你会认为这是错误吗?我该如何解决(同时仍设置编码)?

请您参考如下方法:

你是对的,似乎 Pandas 在不同的编码中以不同的方式对待列表。在 UTF-8 中,列表在项目 #100 处被截断。

要解决此问题,您可以简单地将列表列手动映射到字符串,然后再导出为 CSV。在您的示例中,这意味着:

df_out['row'] = map(unicode, df_out['row']) 

我映射到 unicode 函数而不是 str,因为我假设您正在使用 Unicode 数据,但后者在您给出的示例中同样有效。