使用 python + scikit-learn,我将“极度随机化树”分类器 (ExtraTreesClassifier) 拟合到包含 100 个特征(实值 float64)的约 900K 样本数组。然后我试着 pickle 它。
我实例化了分类器:
cls = ExtraTreesClassifier(n_estimators=10, random_state=0, n_jobs=-1)
拟合后,我尝试了两种保存方式:
pickle.dump(cls, open(classifier_file, "wb"))
并且,使用 joblib:
from sklearn.externals import joblib joblib.dump(cls, classifier_file)
在普通 pickle 中,它占用了 4+ GB 的空间! 在 joblib 版本中,它占用大约 1.5 GB 的空间。
它是否固有地存储了一些原始输入数据拟合或预测?
请您参考如下方法:
单个“极度随机化的树”可能会随着输入数据的大小而增长,因为它创建了一个决策树,将数据拆分为具有少量观察值的叶节点(例如,要么达到参数化限制--默认情况下,这是 min_samples_split=2 或 pure 并且包含一个类)。
具有大量高度预测特征的数据将具有纯节点和更多的观察值,因此占用更少的空间。存储的大小也应该与估计器的数量大致成正比。
