Skip to main content
 首页 » 编程设计

python之Pandas 数据框对重复行执行计算

2025年04月02日17jackei

我有一个数据框,其中包含连续几天从网站上抓取的数百万行广告 ID,格式为:

ad-id           Date scraped 
SSE-AD-3469148  15-Apr 
OAG-AD-12583686 15-Apr 
OAG-AD-10476872 15-Apr 
SSE-AD-3037758  15-Apr 
OAG-AD-12583686 16-Apr 
OAG-AD-10476872 16-Apr 
SSE-AD-3037758  16-Apr 
OAG-AD-10476872 17-Apr 
SSE-AD-3037758  17-Apr 

我只想输出唯一的广告 ID,但是我需要知道每个广告 ID 的开始和结束抓取日期,如下所示:

ad-id           First scrape    Last Scrape 
SSE-AD-3469148  15-Apr          15-Apr 
OAG-AD-12583686 15-Apr          16-Apr 
OAG-AD-10476872 15-Apr          17-Apr 
SSE-AD-3037758  15-Apr          17-Apr 

使用 Pandas 生成此内容最省时的方法是什么?我只能想到涉及循环的方法,对于几百万行来说会非常慢。

请您参考如下方法:

我只希望您有真实的日期,而不是将“17-Apr”作为文本值。

首先按日期排序,然后对 ad-id 执行 groupby 获取第一个和最后一个值可能是最有效的。

您可以通过选择不对 groupby 结果进行排序来稍微提高速度,例如df.groupby('ad-id', sort=False)...

df.sort_values('Date scraped', inplace=True) 
>>> df.groupby('ad-id')['Date scraped'].agg({'First Scrape': 'first', 'Last Scrape': 'last'}) 
 
                    Last Scrape First Scrape 
ad-id                                        
    OAG-AD-10476872      17-Apr       15-Apr 
    OAG-AD-12583686      16-Apr       15-Apr 
    SSE-AD-3037758       17-Apr       15-Apr 
    SSE-AD-3469148       15-Apr       15-Apr 

100万条记录的计时

np.random.seed(0) 
ad_id = ['SSE-' + str(i) for i in np.random.random_integers(1, 500, 1000000)] 
ts = pd.to_datetime(['{0}-{1}-{2}'.format(year, month, day) for year, month, day in zip(years, months, days)]) 
df = pd.DataFrame({'ad-id': ad_id, 'Date scraped': ts}) 
 
%%timeit -n 10 
df.sort_values('Date scraped', inplace=True) 
df.groupby('ad-id')['Date scraped'].agg({'First Scrape': 'first', 'Last Scrape': 'last'}) 
10 loops, best of 3: 277 ms per loop 
 
>>> df.groupby('ad-id')['Date scraped'].agg({'First Scrape': 'first', 'Last Scrape': 'last'}).head() 
        Last Scrape First Scrape 
ad-id                            
SSE-1    2015-12-28   2000-01-02 
SSE-10   2015-12-25   2000-01-01 
SSE-100  2015-12-25   2000-01-01 
SSE-101  2015-12-26   2000-01-05 
SSE-102  2015-12-28   2000-01-01 
 
# Slightly faster if you don't sort the results. 
%%timeit -n 10 
df.sort_values('Date scraped', inplace=True) 
df.groupby('ad-id', sort=False)['Date scraped'].agg({'First Scrape': 'first', 'Last Scrape': 'last'}) 
10 loops, best of 3: 268 ms per loop