我在网上找不到这个问题的答案,但是 tfidfVectorizer.fit_transform 的结果是一个最大值为 1.0 的数组吗?
因为,与 idf(term_i)= log(#number of docs/number of docs containing term_i ),在许多情况下,idf 和随后的 tfidf 不应该 > 1.0 吗?
即包含“苦艾酒”一词的文件。假设我们的术语 freq (tf) 是 1,但 idf 是(1000 个文档总数/1 个包含“absinthe”的文档)= 1000,1*1000 = 1000,不是吗?
但是在我使用 scikit-learn 的 TfidfVectorizer 的情况下,我得到的最大值似乎是 1。它是否归一化?
请您参考如下方法:
默认情况下,tfidf 行是 L2 规范化的。 Here是源代码中的关键行。
if self.norm:
X = normalize(X, norm=self.norm, copy=False)
normalize() 来自 sklearn.preprocessing 模块,它表示它默认对行进行归一化。 Here是指向 normalize() 文档的链接。
