Skip to main content
 首页 » 编程设计

python之乘以归一化值之如何取单词的加权平均值

2025年05月04日17zhengyun_ustc

我有以下格式的两个文件:

文件 1:

 TOPIC:topic_0 24 
 track 0.25000000000000000 
 record 0.25000000000000000 
 athlete 0.25000000000000000   
 run 0.25000000000000000 
 star 0.0 
 film 0.0 
 TOPIC:topic_1 0 
 run 0.0   
 track 0.0 
 athlete 0.0 
 record 0.0 
 star 0.0 
 film 0.0  
 TOPIC:topic_2 20 
 film 0.25000000000000000 
 star 0.25000000000000000 
 track 0.25000000000000000 
 record 0.25000000000000000 
 athlete 0.0 
 run 0.0 

文件 2:

0.25 0.5 0.25 

然后我想计算每个单词的权重。例如,单词“record”的权重为:

record (0.25*0.25) + (0*0.5) + (0.25*0.25) which is 0.125.  

也就是说,在文件1中,词记录存在于主题0、1和2中。因此,取文件2中的第0个位置1st、2nd位置值并乘以主题0中存在的词的各自权重, 1 和 2. 我使用了代码:

from collections import defaultdict 
from itertools import groupby, imap 
 
d = defaultdict(list) 
with open("file1.txt") as f, open("file2.txt") as f2: 
    values = map(float, f2.read().split())  
    for line in f: 
        if line.strip() and not line.startswith("TOPIC"): 
            name, val = line.split() 
            d[name].append(float(val)) 
 
for k,v in d.items(): 
     print("{} {}".format(k ,sum(i*j for i, j in zip(v,values)) )) 

我得到的输出是:

 run 0.0625 
 track 0.125 
 athlete 0.0625 
 record 0.125 
 star 0.0625 
 film 0.0625 

求和时的输出列应为 1。(抱歉,此示例数据很糟糕,因为采用的值不会将其求和为 1。但在实际数据中,乘法后**当输出文件的第二列求和时,它应该给出 1)** 我得到的总和介于 0.95 到 0.99 之间,但不完全是 1。

File1 和 File2 都被归一化了。即file2的值之和等于1,并且每个主题的总和等于每个主题的总权重值都等于1。

当乘法发生时,最终结果也应该加起来为 1。我显示的数据只是一个示例。我的实际数据运行到大约 1000 个主题。

我们可以看到所有的词都出现在所有的主题中。并且,这里主题 1 完全为 0。所有的词都没有权重。

当所有主题都包含具有一定权重的单词时,上面的代码可以正常工作。当总主题(如 topic_2)为零时,我的输出总和不为 1。

我举的例子很简单,它不会加起来为 1,因为数字是这样的。但是,对于我拥有的数据,它的总和应该为 1。

我可以纠正这个问题还是有更好的编码方法(比上面显示的)来乘以单词的值?

请您参考如下方法:

你说每个主题的总和等于每个主题的总权重值等于1,但事实并非如此。

因为 topic_1 中的所有内容都是零,所以它还不如不存在。因此,文件 2 第二列中的 0.5 也可能不存在;它在乘法中被归零。因此,实际上,文件 2 的总数是 0.25 + 0.25 = 0.5,这就是您得到的总数。

由于您的真实数据总和约为 0.99,并且只有当一个或多个主题全为零时才会发生这种情况,因此我猜测 1 之间的差异> 并且你得到的总数等于被清零的权重之和,就像这个例子一样。寻找那个。