我正在尝试机器学习,并且一直在使用基于 python 的 Scikit 库。
我想解决一个“分类”问题,其中将一大块文本(例如 1k-2k 个单词)分类为一个或多个类别。为此,我已经研究了 scikit 一段时间了。
由于我的数据在 2-3 百万之间,所以我使用 SGDClassfier 和 HashingVectorizer 来使用 partial_fit 学习技术,代码如下:
import pandas as pd
from sklearn.linear_model import SGDClassifier
from sklearn.feature_extraction.text import HashingVectorizer
import numpy as np
from sklearn.externals import joblib
import copy
data = pd.read_csv(
open('train_shuffled.csv'), error_bad_lines=False)
data_all = copy.deepcopy(data)
target = data['category']
del data['category']
cls = np.unique(target)
model = SGDClassifier(loss='log', verbose=1)
vect = HashingVectorizer(stop_words='english', strip_accents='unicode', analyzer='word')
loop = len(target) / 100
for passes in range(0, 5):
count, r = 0, 0
print("Pass " + str(passes + 1))
for q in range(0, loop):
d = nltk.word_tokenize(data['content'][r:r + 100])
d = vect.fit_transform(d)
t = np.array(target[r:r + 100])
model.partial_fit(d, t, cls)
r = r + 100
data = copy.deepcopy(data_all)
data = data.iloc[np.random.permutation(len(data))]
data = data.reset_index(drop=True)
target = data['category']
del data['category']
print(model)
joblib.dump(model, 'Model.pkl')
joblib.dump(vect, 'Vectorizer.pkl')
在进行学习过程时,我在堆栈此处阅读了一个答案,该答案手动将每次迭代的训练数据随机化为更好的模型。
使用带有默认参数的分类器和矢量化器,我得到了大约 58.4% 的准确率分数。从那时起,我尝试为 Vectorizer 和 Classifier 使用不同的参数设置,但没有提高准确性。
有谁能告诉我,如果我一直在做错什么或者应该做些什么来提高模型分数。
我们将不胜感激任何帮助。
谢谢!
请您参考如下方法:
1) 考虑使用 GridSearchCv 来调整参数。 http://scikit-learn.org/stable/modules/generated/sklearn.grid_search.GridSearchCV.html
2) 考虑特征工程,将现有特征组合成新特征。例如。使用 sklearn 中提供的多项式特征、特征选择和特征联合工具。
3) 尝试不同的模型。并非所有模型都适用于所有问题。尝试使用一组更简单的模型和某种决策函数来获取这些模型的输出并进行预测。有些在集成模块中,但您可以使用投票分类器来制作自己的分类器。
但到目前为止,最好和最重要的事情是查看数据。查找分类器表现不佳的示例。为什么表现不好?你能通过阅读对它进行分类吗(即期望算法对文本进行分类是否合理?)。如果可以分类,模型漏掉了什么。
所有这些都将有助于指导下一步做什么。
