Skip to main content
 首页 » 编程设计

python之有效地将值分配给groupby中的第一行

2025年05月04日1098°冷暖

在我的数据框 df1 中,我想为每个组的 first 行中的 val1 分配一个新值。新值取决于组并存储在 df2 中。

import pandas as pd 
df1 = pd.DataFrame({'group': list('aaabbb'), 'val1': [2, 3, 6, 3, 7, 10]}) 
print df1 
#  group  val1 
#0     a     2 
#1     a     3 
#2     a     6 
#3     b     3 
#4     b     7 
#5     b    10 
​ 
df2 = pd.DataFrame({'group': ['a', 'b'], 'val2': [1, 2]}) 
print df2 
#  group  val2 
#0     a     1 
#1     b     2 
 
# Desired Output: 
#  group  val1 
#0     a     1  <- updated 
#1     a     3 
#2     a     6 
#3     b     2  <- updated 
#4     b     7 
#5     b    10 

我的第一个解决方案是合并两个数据框并使用自定义函数将第一行中的 val2 分配给 val1,如 post 中所述。 .这有效但速度很慢并且内存使用率很高:

df3 = pd.merge(df1, df2, on='group') 
 
def set_first_value(group): 
    group['val1'].iat[0] = group['val2'].iat[0] 
    return group 
 
df3.groupby('group').apply(set_first_value) 
df3 = pd.merge(df1, df2, on='group') 

是否有更有效的方法来更改每个组中第一个元素的值?

请您参考如下方法:

我在写这篇文章时想到了一个更好的解决方案,速度提高了大约 10 倍。它使用 groupby.first()

这是基准:

# setup 
import pandas as pd 
import numpy as np 
n = 100000 
m = 100 
df1 = pd.DataFrame({'group': range(n)*m, 'val1': range(n*m)}) 
df2 = pd.DataFrame({'group': range(n), 'val2': np.random.randint(1,100, size=n)}) 

使用客户函数的较慢方法:

%%time 
df3 = pd.merge(df1, df2, on='group') 
 
def set_first_value(group): 
    group['val1'].iloc[0] = group['val2'].iloc[0] 
    return group 
 
df3.groupby('group').apply(set_first_value) 

CPU 时间:用户 55.9 秒,系统:2.81 秒,总计:58.7 秒 挂墙时间:59.8 秒

使用 groupby.first() 的更快方法:

%%time 
df3 = pd.merge(df1, df2, on='group') 
df3['ix'] = df3.index 
ix_first = df3.groupby('group').first()['ix'] 
df3['val1'] = df3['val2'].where(df3['ix'].isin(ix_first), df3['val1']) 

CPU 时间:用户 3.41 秒,系统:1.2 秒,总计:4.62 秒 挂墙时间:4.78 秒