Skip to main content
 首页 » 编程设计

python之提高 Pandas 迭代性能

2025年04月02日20shanyou

我有以下代码,它采用单一 Assets 的历史价格和计算的预测,并计算如果你真的根据预测投资你的钱会如何。用金融术语来说,这是一次回测。

主要问题是它非常慢,而且我不确定改进它的正确策略是什么。我需要运行它数千次,因此需要一个数量级的加速。

我应该从哪里开始寻找?

class accountCurve(): 
    def __init__(self, forecasts, prices): 
 
        self.curve = pd.DataFrame(columns=['Capital','Holding','Cash','Trade', 'Position'], dtype=float) 
        forecasts.dropna(inplace=True) 
        self.curve['Forecast'] = forecasts 
        self.curve['Price'] = prices 
        self.curve.loc[self.curve.index[0],['Capital', 'Holding', 'Cash', 'Trade', 'Position']] = [10000, 0, 10000, 0, 0] 
 
        for date, forecast in forecasts.iteritems(): 
            x=self.curve.loc[date] 
            previous = self.curve.shift(1).loc[date] 
            if previous.isnull()['Cash']==False: 
                x['Cash'] = previous['Cash'] - previous['Trade'] * x['Price'] 
                x['Position'] = previous['Position'] + previous['Trade'] 
 
            x['Holding'] = x['Position'] * x['Price'] 
            x['Capital'] = x['Cash'] + x['Holding'] 
            x['Trade'] = np.fix(x['Capital']/x['Price'] * x['Forecast']/20) - x['Position'] 

编辑:

请求的数据集:

价格:

import quandl 
corn = quandl.get('CHRIS/CME_C2') 
prices = corn['Open'] 

预测:

def ewmac(d): 
    columns = pd.Series([2, 4, 8, 16, 32, 64]) 
    g = lambda x: d.ewm(span = x, min_periods = x*4).mean() - d.ewm(span = x*4, min_periods=x*4).mean() 
    f = columns.apply(g).transpose() 
    f = f*10/f.abs().mean() 
    f.columns = columns 
    return f.clip(-20,20) 
forecasts=ewmac(prices) 

请您参考如下方法:

我建议在 for 循环中使用 numpy 数组而不是数据框。它通常会显着提高速度。

所以代码可能是这样的:

class accountCurve(): 
    def __init__(self, forecasts, prices): 
        self.curve = pd.DataFrame(columns=['Capital','Holding','Cash','Trade', 'Position'], dtype=float) 
        # forecasts.dropna(inplace=True) 
        self.curve['Forecast'] = forecasts.dropna() 
        self.curve['Price'] = prices 
        # helper np.array: 
        self.arr = np.array(self.curve) 
        self.arr[0,:5] = [10000, 0, 10000, 0, 0] 
 
        for i in range(1, self.arr.shape[0]): 
            this = self.arr[i] 
            prev = self.arr[i-1] 
            cash = prev[2] - prev[3] * this[6] 
            position = ... 
            holding = ... 
            capital = ... 
            trade = ... 
            this[:5] = [capital, holding, cash, trade, position] 
 
        # back to data frame: 
        self.curve[['Capital','Holding','Cash','Trade', 'Position']] = self.arr[:,:5] 
        # or maybe this would be faster: 
        # self.curve[:] = self.arr 

我不太明白 if previous.isnull()['Cash']==False: 这行的意义。看起来好像 previous['Cash'] 永远不会为 null,除了第一行 - 但您之前设置了第一行。

另外,您可以考虑在类之外执行 forecasts.dropna(inplace=True)。如果它最初是一个数据框,您将运行它一次而不是对每一列重复它。 (我是否正确理解您将单列 forecasts 输入到类(class)中?)

我建议的下一步是使用一些线路分析器来查看您的代码花费大部分时间的地方,并尝试优化这些瓶颈。如果您使用 ipython,那么您可以尝试运行 %prun 或 %lprun。例如

%lprun -f accountCurve.__init__  A = accountCurve(...) 

将为您的 __init__ 中的每一行生成统计信息。