Skip to main content
 首页 » 编程设计

python之根据 Python/Pandas 中不稳定的月度数据度量估算每日值

2025年05月04日15lidabo

所以我有一个用水数据集,其中包含我想要操作的 3 个关键列,如下所示:

   meter_read_date  meternumber  consumption 
0        1/25/2011            1         4320 
1        2/22/2011            1         3800 
2        3/28/2011            1         4440 
3        4/29/2011            1         4440 
4         6/6/2011            1         5320 
5         6/9/2011            1        20214 
6        7/30/2011            1        20214 
7        8/30/2011            1         2952 
8        9/30/2011            1         3684 
9       10/29/2011            1         3374 
10      11/27/2011            1         3866 
11      12/27/2011            1         3470 
12       1/25/2011            3         5900 
13       2/22/2011            3         5720 
14       3/28/2011            3         7320 
15       4/28/2011            3         6360 
16        6/6/2011            3         9420 
17        7/5/2011            3         8120 
18        8/2/2011            3         8520 
19        9/3/2011            3         6740 
20      10/10/2011            3         6820 
21       11/7/2011            3         5720 
22       12/1/2011            3         3940 
23      12/29/2011            3         6260 

我想按日历月计算每个电表编号的用量,这(我认为)涉及估算每日平均值,然后将总和汇总到月度范围。

澄清一下,第 1 行的消耗量是 3800。这意味着消耗量在 2011 年 2 月 22 日测量为 3800,并且由于之前的测量是在 2011 年 1 月 25 日进行的,所以我们知道 3800 加仑的水消耗发生在从 1/26/2011 - 2/22/2011。我想按日历月了解消耗量,所以我会这样做:

2011 年 1 月 26 日至 2011 年 2 月 22 日的消耗量 = 28 天 3800 加仑 = ~146.2 加仑/天

2011 年 2 月 23 日至 2011 年 3 月 28 日的消耗量 = 34 天 4440 加仑 = ~130.6 加仑/天

因此,估计 2/1 - 2/28 = 146.2 加仑/天和 2/1-2/22 和 130.6 加仑/天 2/23-2/28 = 3216.4+783.6=4000 加仑日历月

如果没有嵌套循环,我一直想不出一种有效的方法来执行此操作,我真的不想在超过 100 万个大小的数据集上使用它。 有什么想法吗?

如果我可以发布任何其他有用的信息,请告诉我。

请您参考如下方法:

这应该可以满足您的大部分需求,尽管它不会是内存效率最高的方式。我将在下面详细说明。

第一步只是计算每日消耗量。

df.meter_read_date = pd.to_datetime(df.meter_read_date) 
df['days_since'] = df.groupby('meternumber').meter_read_date.diff() 
df = df.set_index('meter_read_date') 
df['daily_consumption'] = df.consumption / df.days_since.dt.days 

第一个仪表的数据框现在看起来像这样。

                 meternumber  consumption  days_since  daily_consumption 
meter_read_date                                                          
2011-01-25                 1         4320         NaT                NaN 
2011-02-22                 1         3800     28 days         135.714286 
2011-03-28                 1         4440     34 days         130.588235 
2011-04-29                 1         4440     32 days         138.750000 
2011-06-06                 1         5320     38 days         140.000000 
2011-06-09                 1        20214      3 days        6738.000000 
2011-07-30                 1        20214     51 days         396.352941 
2011-08-30                 1         2952     31 days          95.225806 
2011-09-30                 1         3684     31 days         118.838710 
2011-10-29                 1         3374     29 days         116.344828 
2011-11-27                 1         3866     29 days         133.310345 
2011-12-27                 1         3470     30 days         115.666667 

此时至少有两种方法可以继续。内存效率最高的处理方法是计算每日消耗量的多少来自每个组,但这远非简单明了,尤其是因为您的数据每月可能有多于或少于一个读数。所以这种方式 (1) 可行,(2) 内存效率高,(3) 相对困难。

另一种方法要简单得多,涉及使用 resample 转换为日常观察并回填日常消费。

df_daily = df.groupby('meternumber')['daily_consumption'].resample( 
                                        '1d',fill_method='bfill').reset_index() 

这里的缺点是我们每天都有观察,给内存带来更多压力,但它会自动解决很多问题 -- 无需担心每个月有多少天或每个月完成了多少读数。这里有几行,以其中一个读数为中心。

    meternumber meter_read_date           0 
27            1      2011-02-21  135.714286 
28            1      2011-02-22  135.714286 
29            1      2011-02-23  130.588235 
30            1      2011-02-24  130.588235 

从那里开始,您所要做的就是聚合。 (请注意,第一个月和最后一个月是基于部分数据,您可能想要放弃它们或按比例分配每日消耗量。)

df_daily['month'] = df_daily.meter_read_date.dt.month 
df_daily.reset_index().groupby(['meternumber','month'])[0].sum() 
 
meternumber  month 
1            1          950.000000 
             2         3769.243697 
             3         4072.720588 
             4         4163.750000 
             5         4340.000000 
             6        29377.411765 
             7        11985.814042 
             8         2975.612903 
             9         3565.161290 
             10        3640.620690 
             11        3946.379310 
             12        3123.000000 
3            1         1430.000000 
             2         5786.050420 
             3         6643.719165 
             4         6227.593052 
             5         7487.692308 
             6         8169.230769 
             7         9311.428571 
             8         6716.696429 
             9         5608.631757 
             10        6133.243243 
             11        5205.833333 
             12        6424.166667 

关于替代方法的一些简短想法:如果上述原因导致内存问题,我认为可能有一种混合方法。基本上,在计算每日消耗量后,通过将每个月的第一天和最后一天相加来进行部分重采样。从那里你可能可以以类似的方式聚合,尽管你需要基本上做一个加权总和而不是简单的总和。

它仍然比上面的方法更难编码,但在内存上会容易得多。尽管如此,这样做应该会大大简化编码,因为现在每一行都属于一个特定的月份,您不必尝试将读数拆分到不同的月份。