所以我有一个用水数据集,其中包含我想要操作的 3 个关键列,如下所示:
meter_read_date meternumber consumption
0 1/25/2011 1 4320
1 2/22/2011 1 3800
2 3/28/2011 1 4440
3 4/29/2011 1 4440
4 6/6/2011 1 5320
5 6/9/2011 1 20214
6 7/30/2011 1 20214
7 8/30/2011 1 2952
8 9/30/2011 1 3684
9 10/29/2011 1 3374
10 11/27/2011 1 3866
11 12/27/2011 1 3470
12 1/25/2011 3 5900
13 2/22/2011 3 5720
14 3/28/2011 3 7320
15 4/28/2011 3 6360
16 6/6/2011 3 9420
17 7/5/2011 3 8120
18 8/2/2011 3 8520
19 9/3/2011 3 6740
20 10/10/2011 3 6820
21 11/7/2011 3 5720
22 12/1/2011 3 3940
23 12/29/2011 3 6260
我想按日历月计算每个电表编号的用量,这(我认为)涉及估算每日平均值,然后将总和汇总到月度范围。
澄清一下,第 1 行的消耗量是 3800。这意味着消耗量在 2011 年 2 月 22 日测量为 3800,并且由于之前的测量是在 2011 年 1 月 25 日进行的,所以我们知道 3800 加仑的水消耗发生在从 1/26/2011 - 2/22/2011。我想按日历月了解消耗量,所以我会这样做:
2011 年 1 月 26 日至 2011 年 2 月 22 日的消耗量 = 28 天 3800 加仑 = ~146.2 加仑/天
2011 年 2 月 23 日至 2011 年 3 月 28 日的消耗量 = 34 天 4440 加仑 = ~130.6 加仑/天
因此,估计 2/1 - 2/28 = 146.2 加仑/天和 2/1-2/22 和 130.6 加仑/天 2/23-2/28 = 3216.4+783.6=4000 加仑日历月
如果没有嵌套循环,我一直想不出一种有效的方法来执行此操作,我真的不想在超过 100 万个大小的数据集上使用它。 有什么想法吗?
如果我可以发布任何其他有用的信息,请告诉我。
请您参考如下方法:
这应该可以满足您的大部分需求,尽管它不会是内存效率最高的方式。我将在下面详细说明。
第一步只是计算每日消耗量。
df.meter_read_date = pd.to_datetime(df.meter_read_date)
df['days_since'] = df.groupby('meternumber').meter_read_date.diff()
df = df.set_index('meter_read_date')
df['daily_consumption'] = df.consumption / df.days_since.dt.days
第一个仪表的数据框现在看起来像这样。
meternumber consumption days_since daily_consumption
meter_read_date
2011-01-25 1 4320 NaT NaN
2011-02-22 1 3800 28 days 135.714286
2011-03-28 1 4440 34 days 130.588235
2011-04-29 1 4440 32 days 138.750000
2011-06-06 1 5320 38 days 140.000000
2011-06-09 1 20214 3 days 6738.000000
2011-07-30 1 20214 51 days 396.352941
2011-08-30 1 2952 31 days 95.225806
2011-09-30 1 3684 31 days 118.838710
2011-10-29 1 3374 29 days 116.344828
2011-11-27 1 3866 29 days 133.310345
2011-12-27 1 3470 30 days 115.666667
此时至少有两种方法可以继续。内存效率最高的处理方法是计算每日消耗量的多少来自每个组,但这远非简单明了,尤其是因为您的数据每月可能有多于或少于一个读数。所以这种方式 (1) 可行,(2) 内存效率高,(3) 相对困难。
另一种方法要简单得多,涉及使用 resample 转换为日常观察并回填日常消费。
df_daily = df.groupby('meternumber')['daily_consumption'].resample(
'1d',fill_method='bfill').reset_index()
这里的缺点是我们每天都有观察,给内存带来更多压力,但它会自动解决很多问题 -- 无需担心每个月有多少天或每个月完成了多少读数。这里有几行,以其中一个读数为中心。
meternumber meter_read_date 0
27 1 2011-02-21 135.714286
28 1 2011-02-22 135.714286
29 1 2011-02-23 130.588235
30 1 2011-02-24 130.588235
从那里开始,您所要做的就是聚合。 (请注意,第一个月和最后一个月是基于部分数据,您可能想要放弃它们或按比例分配每日消耗量。)
df_daily['month'] = df_daily.meter_read_date.dt.month
df_daily.reset_index().groupby(['meternumber','month'])[0].sum()
meternumber month
1 1 950.000000
2 3769.243697
3 4072.720588
4 4163.750000
5 4340.000000
6 29377.411765
7 11985.814042
8 2975.612903
9 3565.161290
10 3640.620690
11 3946.379310
12 3123.000000
3 1 1430.000000
2 5786.050420
3 6643.719165
4 6227.593052
5 7487.692308
6 8169.230769
7 9311.428571
8 6716.696429
9 5608.631757
10 6133.243243
11 5205.833333
12 6424.166667
关于替代方法的一些简短想法:如果上述原因导致内存问题,我认为可能有一种混合方法。基本上,在计算每日消耗量后,通过将每个月的第一天和最后一天相加来进行部分重采样。从那里你可能可以以类似的方式聚合,尽管你需要基本上做一个加权总和而不是简单的总和。
它仍然比上面的方法更难编码,但在内存上会容易得多。尽管如此,这样做应该会大大简化编码,因为现在每一行都属于一个特定的月份,您不必尝试将读数拆分到不同的月份。
