Skip to main content
 首页 » 编程设计

python之如何在 Pandas 中正确旋转或 reshape 时间序列数据框

2025年05月04日12三少

我需要 reshape 一个看起来像 df1 的数据框并将其转换为 df2。此过程有 2 个注意事项:

  • 我需要能够将要切片的行数设置为参数(长度)。
  • 我需要从索引中拆分日期和时间,并在 reshape 中使用日期作为列名,并保留时间作为索引。

当前 df1

2007-08-07 18:00:00    1 
2007-08-08 00:00:00    2 
2007-08-08 06:00:00    3 
2007-08-08 12:00:00    4 
2007-08-08 18:00:00    5 
2007-11-02 18:00:00    6 
2007-11-03 00:00:00    7 
2007-11-03 06:00:00    8 
2007-11-03 12:00:00    9 
2007-11-03 18:00:00   10 

期望的输出 df2 - 带有参数“length=5”

          2007-08-07  2007-11-02 
18:00:00      1           6 
00:00:00      2           7 
06:00:00      3           8 
12:00:00      4           9 
18:00:00      5          10 

我做了什么:

我的方法是创建一个多索引(日期 - 时间),然后做一个数据透视表或某种 reshape 以获得所需的 df 输出。

import pandas as pd  
''' 
First separate time and date 
''' 
df['TimeStamp'] = df.index 
df['date'] = df.index.date 
df['time'] = df.index.time 
''' 
Then create a way to separate the slices and make those specific dates available for then create    
a multi-index. 
''' 
for index, row in df.iterrows(): 
    df['Num'] = np.arange(len(df)) 
 
for index, row in df.iterrows(): 
    if row['Num'] % 5 == 0: 
        df.loc[index, 'EventDate'] = df.loc[index, 'Date'] 
 
df.set_index(['EventDate', 'Hour'], inplace=True) 
del df['Date'] 
del df['Num'] 
del df['TimeStamp'] 

问题:多索引第一层的每个日期旁边都出现了一个 NaN。即使效果很好,我也找不到如何使用多索引 df 完成我需要的操作。

我卡住了。我感谢任何意见。

请您参考如下方法:

import numpy as np 
import pandas as pd 
import io 
 
data = '''\ 
                      val 
2007-08-07 18:00:00    1 
2007-08-08 00:00:00    2 
2007-08-08 06:00:00    3 
2007-08-08 12:00:00    4 
2007-08-08 18:00:00    5 
2007-11-02 18:00:00    6 
2007-11-03 00:00:00    7 
2007-11-03 06:00:00    8 
2007-11-03 12:00:00    9 
2007-11-03 18:00:00   10''' 
 
df = pd.read_table(io.BytesIO(data), sep='\s{2,}', parse_dates=True) 
 
chunksize = 5 
chunks = len(df)//chunksize 
 
df['Date'] = np.repeat(df.index.date[::chunksize], chunksize)[:len(df)] 
index = df.index.time[:chunksize] 
df['Time'] = np.tile(np.arange(chunksize), chunks) 
df = df.set_index(['Date', 'Time'], append=False) 
 
df = df['val'].unstack('Date') 
df.index = index 
print(df) 

产量

Date      2007-08-07  2007-11-02 
18:00:00           1           6 
00:00:00           2           7 
06:00:00           3           8 
12:00:00           4           9 
18:00:00           5          10 

请注意,最终的 DataFrame 具有包含非唯一条目的索引。 (这 18:00:00 重复。)当 索引有重复的条目,所以通常最好避免这种情况 可能。