Skip to main content
 首页 » 编程设计

python之构建 Pandas DataFrame 时避免循环

2024年12月31日10lidabo

我有一个包含三列的初始 Pandas DataFrame,其中一列包含字符串列表。目标是将每一行拆分为与 obj 列中的项目一样多的元素,例如:

from    to      obj 
-------------------- 
abc     xyz     [foo, bar] 
def     uvw     [gee] 
ghi     rst     [foo, bar, baz] 

变成这样:

from    to      obj 
-------------------- 
abc     xyz     foo 
abc     xyz     bar 
def     uvw     gee 
ghi     rst     foo 
ghi     rst     bar 
ghi     rst     baz 

目前我是这样做的:

transformed = pd.DataFrame(columns=['from', 'to', 'obj']) 
 
for index, row in origin.iterrows(): 
    for obj in row['obj']: 
        transformed = transformed.append(pd.Series({ 
            'from':     row['from'], 
            'to':       row['to'], 
            'obj':      obj 
        }), ignore_index=True) 

除了慢得令人痛苦之外,这工作得很好。如果 origin 有 100,000 个元素,则计算 transformed 很容易需要长达一小时。

有没有一种矢量化的方法可以得到相同的结果,而不必求助于 Python 循环?

请您参考如下方法:

本质上,您是在根据您的列重复或链接值。

所以你可以使用np.repeat和 itertools.chain作为适当的。该解决方案对于少量列是有效的,如您的示例所示。

import numpy as np 
from itertools import chain 
 
# set up dataframe 
df = pd.DataFrame({'from': ['abc', 'def', 'gfhi'], 
                   'to': ['xyz', 'uvw', 'rst'], 
                   'obj': [['foo', 'bar'], ['gee'], ['foo', 'bar', 'baz']]}) 
 
# calculate length of each list in obj 
lens = df['obj'].map(len) 
 
# calculate result, repeating or chaining as appropriate 
res = pd.DataFrame({'from': np.repeat(df['from'], lens), 
                    'to': np.repeat(df['to'], lens), 
                    'obj': list(chain.from_iterable(df['obj']))}) 
 
print(res) 
 
   from   to  obj 
0   abc  xyz  foo 
0   abc  xyz  bar 
1   def  uvw  gee 
2  gfhi  rst  foo 
2  gfhi  rst  bar 
2  gfhi  rst  baz