Skip to main content
 首页 » 编程设计

python之numpy.where 在 pandas 数据帧中表现缓慢(2.5 小时)

2025年05月04日16cmt

我正在尝试改进 pandas 中逐行日常水分平衡模型的性能。输入数据集在每日时间步长上跨越 33 年,因此大约有 12,000 行。我已将其读入数据框“d”,其中每一天都是一行,所有变量都是列。这个相对较小的数据集的总运行时间约为 2.5 小时。

第一天的计算为模型提供了起始/边界条件,并使用基本的 Python if/then 逻辑切片应用于第 1 行(第 1 天)。这些 day1 计算运行得非常快,没有问题:

d[:1].apply(newsoilwaterupperL, axis=1) 

示例 day1 数据字段:

ID  DATE    PRECIP  ET_WL   pP  kP  areaP   maxP    soilP   roWS    infilP  newsoilwatersoilwP 
1   1/1/1982    0   1.872036235 0.41    0.00198425  18.01   8   12  0   0.07937 12 

剩余行(2 到 12,000)的“ future 几天”计算(总共 45 次)是使用 numpy where 表达式设置的 - 我需要这些表达式提供的逻辑能力,我认为使用 np.where 允许数据帧切片被“矢量化”,从而更快。一些但并非所有每日变量都取决于前一天的变量,因此我使用 .shift() 来捕获前一天的值。这是一个可以复制和运行的示例 - 这是根据今天早些时候发布的代码修订的:

import pandas as pd 
import numpy as np 
import time 
start_time = time.time() 
d = pd.DataFrame(np.random.randn(1000,12), columns=['kP',    'newsoilwatersoilwP' ,'ponddepthP' ,'soilP', \ 
        'roWS', 'newsoilwaterP' ,'maxP' ,'PRECIP','ET_WL' ,'infilP' ,'areaP','pP']) 
 
def nextday(row): #real code has 45 np.where calculations like these two 
    #Infiltration, Pond 
    d[1:].infilP = (24*np.multiply(d['kP'],   (np.add(d['newsoilwatersoilwP'].shift(), \ 
        d['ponddepthP'].shift())/d['soilP'])))[1:] 
 
    #Soil Water, Pond 
    d[1:].soilwaterP = np.where(d['roWS']+d['newsoilwaterP'].shift()+ (d['maxP'].shift() \ 
        +d['PRECIP']-d['ET_WL']-d['infilP'])*d['areaP'] <= 0, \ 
        #val 
        0.0, \ 
        #elif 
        np.where(d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \ 
        -d['ET_WL']-d['infilP'])*d['areaP']>= d['pP']*d['soilP']*d['areaP'], \ 
        #val 
            d['pP']*d['soilP']*d['areaP'], \ 
        #else 
        d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \ 
        -d['ET_WL']-d['infilP'])*d['areaP']))[1:] 
 
#ends the series of Next Day functions 
d.apply(nextday, axis=0) 
 
print "END" 
print("%f seconds" % (time.time() - start_time)) 

我的速度问题和瓶颈似乎是在 'nextday' 函数内部使用多个 np.where 表达式的第二天计算(第 2 天到 12,000 x 45 计算)。

这是我为第二天的逐行迭代所尝试的:

  1. Iterrows 而不是 nextday 函数,但这不会获得任何性能

    对于索引,d.iterrows() 中的行:

  2. 对于 zip 中的行(d.values):

这就是我试图在次日循环中加快速度的方法:

  1. np.where 表达式代替原来的 if/then 逻辑。这肯定更快,但对于整个数据集来说仍然很慢。
  2. numpy 数学函数(np.multiply、np.add)代替了 python 算术——这实际上确实有一点帮助,但它不能全局应用于我的所有计算,而且我得到了一些错误。我认为这是由于在某些情况下常量、系列和数据框的形状不兼容。

我的问题和/或我在 SO 上阅读过但没有/不清楚如何申请的事情:

  1. 将我的逻辑表达式转换为 numpy 而不是 pandas - 我想我已经用 np.where 完成了这个,但我不清楚我是否可以做更多的事情。如果您不需要 pandas 的便利,人们会说这是性能提升的重要来源。机器人确定我是否可以在 numpy 中执行类似 .shift() 的操作?
  2. cython - 由于我计算的逐行性质,不确定这是否真的有帮助
  3. 数
  4. View 与副本 - 我知道这应该有所不同,但我不确定如何使用 np.where 表达式来判断我得到的是哪个

非常感谢任何反馈。

请您参考如下方法:

在没有预期输出的情况下解包有点困难,但是您的函数已经矢量化了。例如当你有 d['ET_WL']-d['infilP'] 减去 all d 中的行时,所以没有没有任何理由通过申请来调用它。本质上你正在做的是:

for _ in range(len(df.columns)): 
    nextday(None) 

因此,假设函数中的逻辑表达了您实际想要做的事情,您可以像这样重写,使其成为数据的函数:

def nextday(d): #real code has 45 np.where calculations like these two 
    #Infiltration, Pond 
    d[1:].infilP = (24*np.multiply(d['kP'],   (np.add(d['newsoilwatersoilwP'].shift(), \ 
        d['ponddepthP'].shift())/d['soilP'])))[1:] 
 
    #Soil Water, Pond 
    d[1:].soilwaterP = np.where(d['roWS']+d['newsoilwaterP'].shift()+ (d['maxP'].shift() \ 
        +d['PRECIP']-d['ET_WL']-d['infilP'])*d['areaP'] <= 0, \ 
        #val 
        0.0, \ 
        #elif 
        np.where(d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \ 
        -d['ET_WL']-d['infilP'])*d['areaP']>= d['pP']*d['soilP']*d['areaP'], \ 
        #val 
            d['pP']*d['soilP']*d['areaP'], \ 
        #else 
        d['roWS']+d['newsoilwaterP'].shift()+(d['maxP'].shift()+d['PRECIP'] \ 
        -d['ET_WL']-d['infilP'])*d['areaP']))[1:] 
    return d 

然后你会这样调用它:

new_d = nextday(d) 

如果您的函数实际上是递归的(看起来不像,只是取决于“newsoilwatersoilwP”、“maxP”等的先前值?)那么 numba 可能是一个简单的解决方案 -基本上写一个函数的形式:

@numba.jit 
def myfunc(a,b): 
    out = np.zeros_like(a) 
    for i in range(len(a)): 
        if i == 0: 
            out[i] = #starting value logic... 
        else: 
            out[i] = out[i-1] # recursive logic... 
    return out 
 
myfunc(df['a'].values, df['b'].values)