Skip to main content
 首页 » 编程设计

python之pandas:按行计算百分位数并优雅地处理非唯一值

2025年05月04日10cloudgamer

我有一个包含大约 1000 行和一个名为 calc_value 的列的数据框。大约 10% 的 calc_value 值为 0。

我想根据 calc_value 为数据框中的每一行分配一个百分位数。但是,使用 qcut 会由于非唯一的 bin 边缘而给我一个错误:

df['percentile'] = pd.qcut(df.calc_value, 100, labels=False) 

它抛出这个错误:

 ValueError: Bin edges must be unique: array([ 0.        ,  0.        ,  0.        ,  0.        ,  0.        , 
    0.        ,  0.        ,  0.        ,  0.        ,  0.00182298, 
    0.0030689 ,  0.00394358,  0.00479595,  0.00547278,  0.0060241 , 
    0.0066023 ,  0.00712708,  0.00760456,  0.00816327,  0.00862069, 
    0.00917431,  0.00959605,  0.01010101,  0.01058201,  0.01094173, 
    0.01136364,  0.01185771,  0.01230635,  0.01282051,  0.01324503, 
    0.01369863,  0.0140051 ,  0.01447252,  0.01489758,  0.01528912, 
    0.01569299,  0.01612903,  0.01657785,  0.01699717,  0.01750547, 
    0.017924  ,  0.01840491,  0.01889004,  0.0193326 ,  0.01984022, 
    0.0202292 ,  0.02076186,  0.02118433,  0.02173913,  0.02217742, 
    0.02265831,  0.0231333 ,  0.02369503,  0.02422837,  0.02482127, 
    0.02551955,  0.0260492 ,  0.02659574,  0.02714932,  0.0276922 , 
    0.02816901,  0.02882712,  0.02941176,  0.03020364,  0.0308642 , 
    0.03141361,  0.03209368,  0.03278689,  0.03349899,  0.03433476, 
    0.03508136,  0.03571429,  0.03645665,  0.03703704,  0.03768171, 
    0.03852266,  0.0392761 ,  0.04021883,  0.04130278,  0.04222222, 
    0.04316547,  0.04416658,  0.04528395,  0.04630852,  0.04761905, 
    0.04908678,  0.05062638,  0.05230894,  0.05421013,  0.05604617, 
    0.05833204,  0.06024096,  0.06314209,  0.06598985,  0.06975211, 
    0.07406687,  0.08098836,  0.08905262,  0.10144029,  0.12169944, 
    0.48      ]) 

我不在乎 bin 边缘是否唯一,我想继续并为每个具有零值的行分配一个相等的百分位数 0。然后从那里继续,在本例中下一个百分位数是 10。

如何忽略此错误并继续?

请您参考如下方法:

看起来像scipy.stats.rankdata完全按照您的意愿行事,包括对抢七的良好控制

method : str, optional The method used to assign ranks to tied elements. The options are ‘average’, ‘min’, ‘max’, ‘dense’ and ‘ordinal’.

例如,

from scipy.stats import rankdata 
 
>>> rankdata([0, 2, 3, 2], method='min') 
array([ 1.,  2.,  4.,  2.]) 

所以,在你的情况下,你可以使用

from scipy.stats import rankdata 
 
df['percentile'] = rankdata(df.calc_value.values, method=<whatever you want>) / len(df) 

(注意我们如何除以 DataFrame 的长度)。