我做了一个关于使用朴素贝叶斯库 (Python) 进行网络分类的示例,效果非常好(classfy 网页非常好)。
其实我有两个问题。首先,
我只使用网页的内容(文章方面)。没问题,但是,我希望将具有双重加权效果的集成标题输出。我可以检索变量列表名称为 titles[] 的页面标题。那是我的 classfy 代码:
x_train = vectorizer.fit_transform(temizdata)
classifer.fit(x_train, y_train)
我可以给文章文本添加标题,但这次文章文本和标题具有相同的权重。
在代码中,temizdata 是我保存网页文章文本的列表。 y_train 是类。如何将 titles[] 集成到双权重分类中?
我使用 Countvectorizer 进行矢量化,并使用朴素贝叶斯 MultinominalNB 分类器。
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
vectorizer = CountVectorizer()
classifer = MultinomialNB(alpha=.01)
请您参考如下方法:
如果我对你的问题的理解正确,你想使用从文本和标题派生的字数统计功能。标题中的特征应该比文本特征获得两倍的权重。我认为在这种情况下为特征分配先验权重没有意义(如果可能的话)。毕竟,您进行机器学习是因为您希望计算机找出哪些特征更重要。
我建议您可以尝试两种替代方法:
特征合并从文本主体生成一个
x_text_train并从标题生成一个x_title_train并像这样合并它们:x_text_train= text_vectorizer.fit_transform(temizdata) x_title_train= title_vectorizer.fit_transform(titledata) x_train = np.hstack(x_text_train, x_title_train)确保对文本和标题使用两个单独的矢量化器,以便分类器了解文本特征和标题特征之间的区别。如果任何特征更重要,分类器应该解决这个问题。
执行 hierarchical classification :像您已经做的那样,在文本上训练一个分类器。在标题上训练另一个分类器。最后,根据前两个分类器的输出训练第三个分类器。
编辑:
- 如果您真的希望标题的重要性是文本的两倍,您可以训练两个单独的分类器(如在层次分类中)并取其输出的加权平均值(如果输出是类别概率)。
