Skip to main content
 首页 » 编程设计

python之使用 Pandas 将多个 csv 文件加入一个文件夹中 [MemoryError :]

2025年05月04日15tuyile006

我在一个文件夹中有 5 个 csv 文件,在这里我想将每个 csv 文件中的所有列连接到一个数据框中。当我只加入 2 个 csv 文件时,效果很好,但是当我想加入 5 个 csv 文件时,我遇到了错误。我的代码如下:

In [7]: 
 
import pandas 
import os 
import numpy as np 
import glob 
 
path =r'D:/PreprocessingITRC/output/All/' 
allFiles = glob.glob(path + "/*.csv") 
dataframe = pandas.DataFrame() 
for file in allFiles: 
    df = pandas.read_csv(os.path.join(file),index_col=0, header=0) 
    dataframe = dataframe.join(df, how='right') 
 
dataframe 
--------------------------------------------------------------------------- 
MemoryError                               Traceback (most recent call last) 

请您参考如下方法:

你的 csv 文件有一个未命名的索引,其中所有的值都是 0,合并时这会导致重复匹配呈指数级增长,因为它会找到匹配的每个组合:

蓝牙.csv:

,Bluetooth 
0,9.0 
0,21.0 
0,14.0 

GPS.cav:

,place,distance 
0,3.0,15362.9633071 
0,3.0,15813.7281014 
0,1.0,15360.0862917 

正如您在代码中指定的,该列应被视为索引,您的合并变得不稳定。

我会指定此列不是索引,以便它为您创建一个新的:

pandas.read_csv(os.path.join(file),index_col=None, header=0 

编辑

另外看看你在做什么我认为你不需要合并,只需concat一个dfs列表:

path =r'D:/PreprocessingITRC/output/All/' 
allFiles = glob.glob(path + "/*.csv") 
dataframes = [] 
for file in allFiles: 
    df = pandas.read_csv(os.path.join(file), index_col=None, header=0) 
    df.drop('Unnamed: 0', axis=1, inplace=True) 
    dataframes.append(df) 
merged = pd.concat(dataframes, axis=1)