假设我们有以下数据框:
# data
t = pd.to_datetime(pd.Series(['2015-01-01', '2015-02-01', '2015-03-01', '2015-04-01', '2015-01-01', '2015-02-01']))
g = pd.Series(['A', 'A', 'A', 'A', 'B', 'B'])
v = pd.Series([12.1, 14.2, 15.3, 16.2, 12.2, 13.7])
df = pd.DataFrame({'time': t, 'group': g, 'value': v})
# show data
>>> df
time group value
0 2015-01-01 A 12.1
1 2015-02-01 A 14.2
2 2015-03-01 A 15.3
3 2015-04-01 A 16.2
4 2015-01-01 B 12.2
5 2015-02-01 B 13.7
我最终想要的是以下数据框:
>>> df
time group value
0 2015-01-01 A 12.1
1 2015-02-01 A 14.2
2 2015-03-01 A 15.3
3 2015-04-01 A 16.2
4 2015-01-01 B 12.2
5 2015-02-01 B 13.7
6 2015-03-01 B 13.7
7 2015-04-01 B 13.7
应该添加 B 组中缺失的观察值,缺失值应默认为最后观察到的值。
我怎样才能做到这一点?提前致谢!
请您参考如下方法:
您可以使用 pivot对于 reshape ,ffill NaN(fillna 使用方法 ffill)并通过 unstack reshape 为原始形状与 reset_index :
print (df.pivot(index='time',columns='group',values='value')
.ffill()
.unstack()
.reset_index(name='value'))
group time value
0 A 2015-01-01 12.1
1 A 2015-02-01 14.2
2 A 2015-03-01 15.3
3 A 2015-04-01 16.2
4 B 2015-01-01 12.2
5 B 2015-02-01 13.7
6 B 2015-03-01 13.7
7 B 2015-04-01 13.7
另一种解法先找date_range通过 min和 max 时间的值。那么groupby与 resample通过 D 和 ffill:
注意事项:
我想你忘记了 to_datetime 中的参数 format='%Y-%d-%m' ,如果最后一个数字是 month:
t = pd.to_datetime(pd.Series(['2015-01-01', '2015-02-01', '2015-03-01',
'2015-04-01', '2015-01-01', '2015-02-01']),
format='%Y-%d-%m')
idx = pd.date_range(df.time.min(), df.time.max())
print (idx)
DatetimeIndex(['2015-01-01', '2015-01-02', '2015-01-03', '2015-01-04'],
dtype='datetime64[ns]', freq='D')
df1 = (df.groupby('group')
.apply(lambda x: x.set_index('time')
.reindex(idx))
.ffill()
.reset_index(level=0, drop=True)
.reset_index()
.rename(columns={'index':'time'}))
print (df1)
time group value
0 2015-01-01 A 12.1
1 2015-01-02 A 14.2
2 2015-01-03 A 15.3
3 2015-01-04 A 16.2
4 2015-01-01 B 12.2
5 2015-01-02 B 13.7
6 2015-01-03 B 13.7
7 2015-01-04 B 13.7
