Skip to main content
 首页 » 编程设计

python之使用 pandas 进行代码/循环优化以创建两个矩阵

2025年05月04日10grandyang

我需要优化这个耗时 2.5 秒的循环。需求是我在我的脚本中调用了3000多次。 此代码的目的是创建两个矩阵,然后在线性系统中使用。

有人对 Python 或 Cython 有任何想法吗?

 ## df is only here for illustration and date_indicatrice changes upon function call 
 df     = pd.DataFrame(0, columns=range(6),  
                       index=pd.date_range(start = pd.datetime(2010,1,1), 
                       end = pd.datetime(2020,1,1), freq="H")) 
 mat    = pd.DataFrame(0,index=df.index,columns=range(6)) 
 mat_bp = pd.DataFrame(0,index=df.index,columns=range(6*2)) 
 
 date_indicatrice = [(pd.datetime(2010,1,1), pd.datetime(2010,4,1)), 
                     (pd.datetime(2012,5,1), pd.datetime(2019,4,1)), 
                     (pd.datetime(2013,4,1), pd.datetime(2019,4,1)), 
                     (pd.datetime(2014,3,1), pd.datetime(2019,4,1)), 
                     (pd.datetime(2015,1,1), pd.datetime(2015,4,1)), 
                     (pd.datetime(2013,6,1), pd.datetime(2018,4,1))] 
 
timer = time.time() 
 
for j, (d1,d2) in enumerate(date_indicatrice): 
    result      = df[(mat.index>=d1)&(mat.index<=d2)] 
    result2     = df[(mat.index>=d1)&(mat.index<=d2)&(mat.index.hour>=8)] 
    mat.loc[result.index,j]       = 1. 
    mat_bp.loc[result2.index,j*2] = 1. 
    mat_bp[j*2+1] = (1 - mat_bp[j*2]) * mat[j] 
 
print time.time()-timer 

请您参考如下方法:

给你。我测试了以下内容,我在 mat 和 mat_bp 中得到了与原始代码中相同的结果矩阵,但在 0.07 秒内,而我机器上的原始代码为 1.4 秒。

真正的减速是由于使用了 result.index 和 result2.index。按日期时间查找比使用索引查找要慢得多。我尽可能使用二进制搜索来找到正确的索引。

import pandas as pd 
import numpy as np 
import time 
import bisect 
## df is only here for illustration and date_indicatrice changes upon function call 
df     = pd.DataFrame(0, columns=range(6), 
                      index=pd.date_range(start = pd.datetime(2010,1,1), 
                      end = pd.datetime(2020,1,1), freq="H")) 
mat    = pd.DataFrame(0,index=df.index,columns=range(6)) 
mat_bp = pd.DataFrame(0,index=df.index,columns=range(6*2)) 
 
date_indicatrice = [(pd.datetime(2010,1,1), pd.datetime(2010,4,1)), 
                    (pd.datetime(2012,5,1), pd.datetime(2019,4,1)), 
                    (pd.datetime(2013,4,1), pd.datetime(2019,4,1)), 
                    (pd.datetime(2014,3,1), pd.datetime(2019,4,1)), 
                    (pd.datetime(2015,1,1), pd.datetime(2015,4,1)), 
                    (pd.datetime(2013,6,1), pd.datetime(2018,4,1))] 
 
timer = time.time() 
 
for j, (d1,d2) in enumerate(date_indicatrice): 
    ind_start = bisect.bisect_left(mat.index, d1) 
    ind_end = bisect.bisect_right(mat.index, d2) 
    inds = np.array(xrange(ind_start, ind_end)) 
    valid_inds = inds[mat.index[ind_start:ind_end].hour >= 8] 
    mat.loc[ind_start:ind_end,j]       = 1. 
    mat_bp.loc[valid_inds,j*2] = 1. 
    mat_bp[j*2+1] = (1 - mat_bp[j*2]) * mat[j] 
 
print time.time()-timer