我使用 numpy 直方图和数字化函数创建了一个分布。
_, bins = np.histogram(x, bins=bins)
arr = np.digitize(x, bins) - 1
x = bins[arr[:]]
或者可能:
x = pandas.cut(x, bins=bins)
然而,由于分布非常偏斜,即使在移除异常值之后,仍有许多 bin 的观测值非常少。我想合并垃圾箱,有点类似于:
该过程可能涉及 pandas groupby,然后将小于 n 的组大小合并到它们的相邻值。有没有办法在 pandas/numpy 中实现这一点?
请您参考如下方法:
正如 promise 的那样,我在 0.3.5 版的 physt 中实现了一些东西。欢迎您使用它。
参见 http://nbviewer.jupyter.org/github/janpipek/physt/blob/master/doc/Binning2.ipynb#Merging-bins特别是http://nbviewer.jupyter.org/github/janpipek/physt/blob/master/doc/Binning2.ipynb#By-min-frequency
在您的情况下,工作流程将是这样的:
import physt
histogram = physt.h1(x, bins=bins)
histogram.merge_bins(min_frequency=n)
bins = histogram.numpy_bins
请注意,代码处于 alpha 阶段,并非每个 bin 包含的数量都超过所需的最小值(为了保留高窄 bin)。最佳算法仍在寻找中。
