Skip to main content
 首页 » 编程设计

python之如何使用 TF-IDF 构建单词 n-gram 的训练向量

2025年05月04日8bluestorm

我的任务是使用 svm 进行文本分类,使用单词 n-gram 作为特征。 在使用TF-IDF之前,我的代码是:

word_dic = ngram.wordNgrams(text, n) 
freq_term_vector = [word_dic[gram] if gram in word_dic else 0 for gram in global_vector] 
X.append(freq_term_vector) 

而且效果很好。然而,当我尝试 TF-IDF 时,代码如下:

freq_term_vector = [word_dic[gram] if gram in word_dic else 0 for gram in global_vector] 
tfidf = TfidfTransformer(norm="l2") 
tfidf.fit(freq_term_vector) 
X.append(tfidf.transform(freq_term_vector).toarray()) 

training部分可以做,但是程序跑到predict部分的时候说

 clf.predict(X_test) 
  File "/usr/lib/python2.7/dist-packages/sklearn/linear_model/base.py", line 223, in predict 
    scores = self.decision_function(X) 
  File "/usr/lib/python2.7/dist-packages/sklearn/linear_model/base.py", line 207, in decision_function 
    dense_output=True) + self.intercept_ 
  File "/usr/lib/python2.7/dist-packages/sklearn/utils/extmath.py", line 83, in safe_sparse_dot 
    return np.dot(a, b) 
ValueError: shapes (1100,1,38) and (1,11) not aligned: 38 (dim 2) != 1 (dim 0) 

训练方法和预测方法是一样的。我该如何解决这个对齐问题?谁能帮我检查上面的代码或给我一些想法?

请您参考如下方法:

我认为问题出在追加上,请尝试以下操作:

... 
X = tfidf.transform(freq_term_vector) 
... 
X_test = tfidf.transform(freq_term_vector_test) 
clf.predict(X_test)