Skip to main content
 首页 » 编程设计

python之使用Python将字数统计文件转换为稀疏矩阵

2025年05月04日12kenshinobiy

我有一系列文件,每个文件都包含字数。 每个文件可以有不同的词。这是一个例子:

文件A

word1,20 
word2,10 
word3,2 

文件B:

word1,10 
word4,50 
word3,5 

大约有 20k 个文件,每个文件可能有数万个单词。

我最终想构建一个稀疏矩阵,其中每一行代表一个文件的单词分布,就像您从 scikit's CountVectorizer 中得到的一样.

如果 word1、word2、word3、word4 是列,而 FileA 和 FileB 是行,那么我希望得到:

[[20,10,2,0],[10,0,5,50]] 

我怎样才能做到这一点? 如果可能的话,我还希望能够只包含出现在至少 N 个文件中的单词。

请您参考如下方法:

您可以使用一些词典将单词映射到它们出现的频率,并将文件名映射到这些文件中的单词计数。

files = ["file1", "file2"] 
all_words = collections.defaultdict(int) 
all_files = collections.defaultdict(dict) 
 
for filename in files: 
    with open(filename) as f: 
        for line in f: 
            word, count = line.split(",") 
            all_files[filename][word] = int(count) 
            all_words[word] += 1 

然后您可以使用嵌套列表理解中的那些来创建稀疏矩阵:

>>> [[all_files[f].get(w, 0) for w in sorted(all_words)] for f in files] 
[[20, 10, 2, 0], [10, 0, 5, 50]] 

或者按最小字数过滤:

>>> [[all_files[f].get(w, 0) for w in sorted(all_words) if all_words[w] > 1] for f in files] 
[[20, 2], [10, 5]]