Skip to main content
 首页 » 编程设计

python之Pandas :如何重新采样数据框以使每个组合都存在

2025年04月02日14webabcd

假设我们有以下数据框:

# data 
t = pd.to_datetime(pd.Series(['2015-01-01', '2015-02-01', '2015-03-01', '2015-04-01', '2015-01-01', '2015-02-01'])) 
g = pd.Series(['A', 'A', 'A', 'A', 'B', 'B']) 
v = pd.Series([12.1, 14.2, 15.3, 16.2, 12.2, 13.7]) 
df = pd.DataFrame({'time': t, 'group': g, 'value': v}) 
 
# show data 
>>> df 
        time group  value 
0 2015-01-01  A     12.1  
1 2015-02-01  A     14.2  
2 2015-03-01  A     15.3  
3 2015-04-01  A     16.2  
4 2015-01-01  B     12.2  
5 2015-02-01  B     13.7  

我最终想要的是以下数据框:

>>> df 
         time group  value 
 0 2015-01-01  A     12.1  
 1 2015-02-01  A     14.2  
 2 2015-03-01  A     15.3  
 3 2015-04-01  A     16.2  
 4 2015-01-01  B     12.2  
 5 2015-02-01  B     13.7 
 6 2015-03-01  B     13.7 
 7 2015-04-01  B     13.7 

应该添加 B 组中缺失的观察值,缺失值应默认为最后观察到的值。

我怎样才能做到这一点?提前致谢!

请您参考如下方法:

您可以使用 pivot对于 reshape ,ffill NaN(fillna 使用方法 ffill)并通过 unstack reshape 为原始形状与 reset_index :

print (df.pivot(index='time',columns='group',values='value') 
         .ffill() 
         .unstack() 
         .reset_index(name='value')) 
 
  group       time  value 
0     A 2015-01-01   12.1 
1     A 2015-02-01   14.2 
2     A 2015-03-01   15.3 
3     A 2015-04-01   16.2 
4     B 2015-01-01   12.2 
5     B 2015-02-01   13.7 
6     B 2015-03-01   13.7 
7     B 2015-04-01   13.7 

另一种解法先找date_range通过 min和 max 时间的值。那么groupby与 resample通过 D 和 ffill:

注意事项:

我想你忘记了 to_datetime 中的参数 format='%Y-%d-%m' ,如果最后一个数字是 month:

t = pd.to_datetime(pd.Series(['2015-01-01', '2015-02-01', '2015-03-01', 
                              '2015-04-01', '2015-01-01', '2015-02-01']), 
                   format='%Y-%d-%m') 
 
 
idx = pd.date_range(df.time.min(), df.time.max()) 
print (idx)        
DatetimeIndex(['2015-01-01', '2015-01-02', '2015-01-03', '2015-01-04'], 
dtype='datetime64[ns]', freq='D') 
 
df1 = (df.groupby('group') 
         .apply(lambda x: x.set_index('time') 
         .reindex(idx)) 
         .ffill() 
         .reset_index(level=0, drop=True) 
         .reset_index() 
         .rename(columns={'index':'time'})) 
 
print (df1) 
 
        time group  value 
0 2015-01-01     A   12.1 
1 2015-01-02     A   14.2 
2 2015-01-03     A   15.3 
3 2015-01-04     A   16.2 
4 2015-01-01     B   12.2 
5 2015-01-02     B   13.7 
6 2015-01-03     B   13.7 
7 2015-01-04     B   13.7