我试图通过复制最后一行然后修改一些值来为数据框中的每个组创建一个新行。我的方法如下,连接步骤似乎是瓶颈(我也试过追加)。有什么建议吗?
def genNewObs(df):
lastRowIndex = df.obsNumber.idxmax()
row = pd.DataFrame(df.ix[lastRowIndex].copy())
# changes some other values in row here
df = pd.concat([df,row], ignore_index=True)
return df
df = df.groupby(GROUP).apply(genNewObs)
编辑 1:基本上我有一堆数据,其中包含不同日期的最后一次观察。我想在当前日期为所有组创建最终观察结果。
Group Date Days Since last Observation
A 1/1/2014 0
A 1/10/2014 9
B 1/5/2014 0
B 1/25/2014 20
B 1/27/2014 2
如果我们假装当前日期是 2014 年 1 月 31 日,这将变为:
Group Date Days Since last Observation
A 1/1/2014 0
A 1/10/2014 9
A 1/31/2014 21
B 1/5/2014 0
B 1/25/2014 20
B 1/27/2014 2
B 1/31/2014 4
我试过放大设置,这是所有技术中最慢的。有什么想法吗?
请您参考如下方法:
感谢 user1827356,通过将操作从应用程序中移除,我将速度提高了 100 倍。出于某种原因,首先是按组列删除,所以我改用 idxmax。
def genNewObs(df):
lastRowIndex = df.groupby(Group).Date.idxmax()
rows = df.ix[lastRowIndex]
df = pd.concat([df,rows], ignore_index=True)
df = df.sort([Group, Date], ascending=True)
return df
