Skip to main content
 首页 » 编程设计

Python Pandas pivot_table 在 pivot 之后缺少列

2025年05月04日15jillzhang

我有以下数据框。数据框是通过读取 csv 文件构建的。它是一个大数据集,但出于这个问题的目的,我使用了数据集中的 15 行作为示例。

   user_id   contrib_count   total_min_length     group_space     expert_level 
0     23720        108           1112696               0             l-2 
1     23720         13            442059               1             l-2 
2     23720         12             32180               2             l-2 
3     23720          2             20177               3             l-2 
4     23720          1              1608              10             l-2 
5   1265184         71            260186               0             l-G 
6   1265184         10              3466               2             l-G 
7   1265184          1             12081               4             l-G 
8    513380        112           1049311               0             l-4 
9    513380          1                97               1             l-4 
10   513380        113            361980               2             l-4 
11   513380         19           1198323               3             l-4 
12   513380          2             88301               4             l-4 
13    20251        705          17372707               0             l-G 
14    20251        103           2327178               1             l-G 

预期结果 在 pivot 之后我想要的是以下数据框:

group_space        0      1     2     3     4     5    6   7    8   9    10  expert_level 
user_id 
20251             705    103    68    24    18     2    6 NaN  NaN   5   22     l-G                                                                   
23720             108     13    12     2   NaN   NaN  NaN NaN  NaN NaN    1     l-2 

我这样做的原因是,一旦我这样做,我就可以将其用于预测任务,其中 expert_level 作为标签数据。

到目前为止,我已经按照以下步骤构建了上述矩阵,但我无法获得枢轴后显示的 expert_level 列。

这是我所做的:

class GroupAnalysis(): 
 
    def __init__(self): 
        self.df = None 
        self.filelocation = '~/somelocation/x.csv' 
 
    def pivot_dataframe(self): 
 
        raw_df = pd.read_csv(self.filelocation) 
        self.df = raw_df[(raw_df['group_space'] < 11)] 
        self.df.set_index(['user_id', 'group_space'], inplace=True) 
        self.df = self.df['contrib_count'].unstack() 

通过这样做我得到:

group_space        0      1     2     3     4     5    6   7    8   9    10 
user_id 
20251             705    103    68    24    18     2    6 NaN  NaN   5   22                                                                 
23720             108     13    12     2   NaN   NaN  NaN NaN  NaN NaN    1  

如您所见,我缺少末尾的expert_level 列。所以问题是我如何才能像“预期结果”中所示那样使用 expert_level 获得上述数据框?

请您参考如下方法:

当你解压时,你只是在解压一系列 contrib_count - expert_level 和 total_min_length 在那个时候已经消失了。

除了设置索引和拆栈,你可以只使用 .pivot()

pivoted = df.pivot('user_id', 'group_space', 'contrib_count') 

然后,创建一个以 user_id 为索引,以 expert_level 为列的框架,去除重复项:

lookup = df.drop_duplicates('user_id')[['user_id', 'expert_level']] 
lookup.set_index(['user_id'], inplace=True) 

然后加入您的pivot 和lookup

result = pivoted.join(lookup) 

编辑: 如果你还想包括 total_min_length,你可以做第二个 pivot:

pivoted2 = df.pivot('user_id', 'group_space', 'total_min_length') 

并加入所有三个而不是两个:

result = pivoted.join(lookup).join(pivoted2, lsuffix="_contrib_count", rsuffix="_total_min_length") 

请注意,lsuffix 和 rsuffix 是消除列歧义所必需的,因为两个主元都有 0、1、2、3、4 和来自示例数据的 10 列。