Skip to main content
 首页 » 编程设计

python之Pandas,检查 datetimeindex 的重采样 30 分钟时间段中是否存在时间戳值

2025年05月04日12birdshome

我在 pandas 中使用 datetimeindex 创建了一个重采样数据框 (DF1)。我有一个单独的数据框 (DF2),其中包含 datetimeindex 和 time 列。如果 DF2 中的 time 实例落在 DF1 中 datetimeindex 的 30 分钟区间内。我想用 DF1 中 30 分钟 bin 中的适当 speed 标记 DF2 中的每个 time 实例。

DF1

                   boat_id      speed 
time                                       
2015-01-13 09:00:00   28.000000   0.000000 
2015-01-13 09:30:00   28.000000   0.723503 
2015-01-13 10:00:00   28.000000   2.239399 

DF2

                      id  boat_id                 time  state      
time                                                                           
2015-01-18 16:09:03   319437       28  2015-01-18 16:09:03      2     
2015-01-18 16:18:43   319451       28  2015-01-18 16:18:43      0     
2015-03-01 09:39:51   507108       31  2015-03-01 09:39:51      1     
2015-03-01 09:40:58   507109       31  2015-03-01 09:40:58      0  

期望的结果

                      id  boat_id                 time      state   speed 
time                                                                           
2015-01-18 16:09:03   319437       28  2015-01-18 16:09:03      2 nan    
2015-01-18 16:18:43   319451       28  2015-01-18 16:18:43      0 nan    
2015-03-01 09:39:51   507108       31  2015-03-01 09:39:51      1 2.239399    
2015-03-01 09:40:58   507109       31  2015-03-01 09:40:58      0 2.239399 

我创建了这个脚本来尝试执行此操作,但我认为它失败了,因为 DF1 的 datetimeindex 是不可变的,因此我的 timedelta 请求不会为 block 。我的一个想法是,是否可以将 DF1 的 datetimeindex 复制到对象可变的新列中,但我还没有管理它,所以我不能 100% 确定逻辑。我很乐意修补,但目前我已经停滞了一段时间,所以希望其他人可能有一些想法。

for row in DF1.iterrows(): 
    for dfrow in DF2.iterrows(): 
        if dfrow[0] > row[0] - dt.timedelta(minutes=30) and dfrow[0] < row[0]: 
            df['test'] =  row[1] 

请您参考如下方法:

迭代的性能很低。更好的是使用矢量化解决方案。我使用两次函数 merge . Docs .

输入:

print df1 
                     boat_id     speed 
time                                   
2015-03-01 09:00:00       28  0.000000 
2015-03-01 09:30:00       28  0.723503 
2015-03-01 10:00:00       28  2.239399 
 
print df2 
                         id  boat_id                time  state 
time                                                            
2015-01-18 16:09:03  319437       28 2015-01-18 16:09:03      2 
2015-01-18 16:18:43  319451       28 2015-01-18 16:18:43      0 
2015-03-01 09:39:51  507108       31 2015-03-01 09:39:51      1 
2015-03-01 09:40:58  507109       31 2015-03-01 09:40:58      0 

我重置了两个数据帧的索引并创建了由 1 填充的辅助列 i。

df1 = df1.reset_index() 
df2 = df2.reset_index(drop=True) 
df1['i'] =  df2['i'] = 1 
print df1 
                 time  boat_id     speed  i 
0 2015-03-01 09:00:00       28  0.000000  1 
1 2015-03-01 09:30:00       28  0.723503  1 
2 2015-03-01 10:00:00       28  2.239399  1 
print df2 
       id  boat_id                time  state  i 
0  319437       28 2015-01-18 16:09:03      2  1 
1  319451       28 2015-01-18 16:18:43      0  1 
2  507108       31 2015-03-01 09:39:51      1  1 
3  507109       31 2015-03-01 09:40:58      0  1 

然后我通过辅助列 i 合并了两个数据帧。

df = df2.merge(df1, on='i', how='left') 
df = df.rename(columns={'time_y':'Bin_time', 'time_x':'time'}) 
print df 
        id  boat_id_x                time  state  i            Bin_time  \ 
0   319437         28 2015-01-18 16:09:03      2  1 2015-03-01 09:00:00    
1   319437         28 2015-01-18 16:09:03      2  1 2015-03-01 09:30:00    
2   319437         28 2015-01-18 16:09:03      2  1 2015-03-01 10:00:00    
3   319451         28 2015-01-18 16:18:43      0  1 2015-03-01 09:00:00    
4   319451         28 2015-01-18 16:18:43      0  1 2015-03-01 09:30:00    
5   319451         28 2015-01-18 16:18:43      0  1 2015-03-01 10:00:00    
6   507108         31 2015-03-01 09:39:51      1  1 2015-03-01 09:00:00    
7   507108         31 2015-03-01 09:39:51      1  1 2015-03-01 09:30:00    
8   507108         31 2015-03-01 09:39:51      1  1 2015-03-01 10:00:00    
9   507109         31 2015-03-01 09:40:58      0  1 2015-03-01 09:00:00    
10  507109         31 2015-03-01 09:40:58      0  1 2015-03-01 09:30:00    
11  507109         31 2015-03-01 09:40:58      0  1 2015-03-01 10:00:00    
 
    boat_id_y     speed   
0          28  0.000000   
1          28  0.723503   
2          28  2.239399   
3          28  0.000000   
4          28  0.723503   
5          28  2.239399   
6          28  0.000000   
7          28  0.723503   
8          28  2.239399   
9          28  0.000000   
10         28  0.723503   
11         28  2.239399   

输出按 bin 时间过滤:

df = df[((df.time >= (df.Bin_time - dt.timedelta(minutes=30))) & (df.time <= df.Bin_time ))] 
df = df.drop(['Bin_time', 'id', 'boat_id_x', 'boat_id_y','state', 'i' ], axis=1 ) 
print df 
                  time     speed 
8  2015-03-01 09:39:51  2.239399 
11 2015-03-01 09:40:58  2.239399 

并且 df 按列 time 与数据帧 df2 合并。

df = df2.merge(df, on='time', how='left').reset_index(drop=True) 
df = df.drop([ 'i' ], axis=1 ) 
print df 
       id  boat_id                time  state     speed 
0  319437       28 2015-01-18 16:09:03      2       NaN 
1  319451       28 2015-01-18 16:18:43      0       NaN 
2  507108       31 2015-03-01 09:39:51      1  2.239399 
3  507109       31 2015-03-01 09:40:58      0  2.239399 

比较矢量化和索引方法,您可以在类似的答案中找到 here .