我想生成一个由 for 循环中生成的单独数据帧组成的数据帧。每个单独的数据框都包含一个名称列、一系列整数和一个列,用于标识整数所属的类别(例如五分位数 1 到 5)。如果我单独生成每个数据框,然后将一个附加到另一个以创建“主”数据框,那么就没有问题。但是,当我使用循环创建每个单独的数据帧时(正如我在现实生活中需要做的那样)然后尝试将数据帧附加到主数据帧会导致:
ValueError: incompatible categories in categorical concat
我写了一个简化的循环来说明:
import numpy as np
import pandas as pd
# Define column names
colNames = ('a','b','c')
# Define a dataframe with the required column names
masterDF = pd.DataFrame(columns = colNames)
# A list of the group names
names = ['Group1','Group2','Group3']
# Create a dataframe for each group
for i in names:
tempDF = pd.DataFrame(columns = colNames)
tempDF['a'] = np.arange(1,11,1)
tempDF['b'] = i
tempDF['c'] = pd.cut(np.arange(1,11,1),
bins = np.linspace(0,10,6),
labels = [1,2,3,4,5])
print(tempDF)
print('\n')
# Try to append temporary DF to master DF
masterDF = masterDF.append(tempDF,ignore_index=True)
print(masterDF)
我希望数据框看起来像:
a b c
0 1 Group1 1
1 2 Group1 1
2 3 Group1 2
3 4 Group1 2
4 5 Group1 3
5 6 Group1 3
6 7 Group1 4
7 8 Group1 4
8 9 Group1 5
9 10 Group1 5
10 11 Group2 1
11 12 Group2 1
12 13 Group2 2
13 14 Group2 2
...
28 29 Group3 5
29 30 Group3 5
似乎可以通过在将类别添加到 tempDF 时对其进行类型转换来获得部分解决方案,如下所示:
tempDF['c'] = pd.cut(np.arange(1,11,1),
bins = np.linspace(0,10,6),
labels = [1,2,3,4,5]).astype('int')
但是,在这种情况下,类别(“c”列)现在显示为 1.0、2.0 等,而不是 1、2 等,因此并不理想。
任何人都可以解释为什么会发生这种情况并提出更令人满意的解决方案。
请您参考如下方法:
您可以先将所有DataFrames 附加到列表dfs,然后concat :
dfs = []
# Create a dataframe for each group
for i in names:
tempDF = pd.DataFrame(columns = colNames)
tempDF['a'] = np.arange(1,11,1)
tempDF['b'] = i
tempDF['c'] = pd.cut(np.arange(1,11,1),
bins = np.linspace(0,10,6),
labels = [1,2,3,4,5])
print(tempDF)
print('\n')
# Try to append temporary DF to master DF
dfs.append(tempDF)
masterDF = pd.concat(dfs, ignore_index=True)
print(masterDF)
a b c
0 1 Group1 1
1 2 Group1 1
2 3 Group1 2
3 4 Group1 2
4 5 Group1 3
5 6 Group1 3
6 7 Group1 4
7 8 Group1 4
8 9 Group1 5
9 10 Group1 5
10 1 Group2 1
11 2 Group2 1
12 3 Group2 2
13 4 Group2 2
14 5 Group2 3
15 6 Group2 3
16 7 Group2 4
17 8 Group2 4
18 9 Group2 5
19 10 Group2 5
20 1 Group3 1
21 2 Group3 1
22 3 Group3 2
23 4 Group3 2
24 5 Group3 3
25 6 Group3 3
26 7 Group3 4
27 8 Group3 4
28 9 Group3 5
29 10 Group3 5
