Skip to main content
 首页 » 编程设计

python之如何使用 difflib 和 pandas 模糊匹配电影片名

2025年04月02日15Terrylee

我有 2 个可能重叠的电影标题列表,但可能以不同的形式编写。
它们位于来自 Pandas 的 2 个不同数据框中。所以我尝试将 map() 函数与 fuzzywuzzy 库一起使用,如下所示:

df1.title.map(lambda x: process.extractOne(x, choices=df2.title, score_cutoff=95)) 

这提供了一些高质量的结果。但是时间复杂度很高,我只能在两个数据帧的一个非常小的子集上运行它。当我尝试增加数据帧的大小时,它很快就变得不可用了。

然后我尝试用 difflib 替换 fuzzywuzzy。而且速度要快得多。但是我得不到我想要的结果。

一开始我试过:

df1.title.map(lambda x: difflib.get_close_matches(x, df2.title, n=1) 

虽然速度很快,但结果质量很差。甚至缺少一些简单的大写/小写更改。使用 cutoff 没有帮助。

所以我以为我用错了工具。在文档和示例中,我看到 get_close_matches 用于单个单词。标题中有各种各样的词。

SequenceMatcher 是更好的选择吗?

如果是,那么我如何将它放入 map() 中,以便它与上述函数的作用相同:仅返回最佳结果,并且仅当结果高于某个值时比例?

请您参考如下方法:

为了消除因大小写差异而导致低分匹配的可能性,我建议将 .upper() 或 .lower() 应用到您匹配的列。调整大小写后,您可以将所有标题的列表编译成 ThisList 并使用给定的 应用以下函数(如您所建议的那样,依赖于 SequenceMatcher)公差.

def fuzzy_group_list_elements(ThisList,Tolerance): 
    from difflib import SequenceMatcher 
    Groups = {} 
    TempList = ThisList.copy() 
    for Elmt in TempList: 
        if Elmt not in Groups.keys(): 
            Groups[Elmt] = [] 
        for OtherElmt in TempList: 
            if SequenceMatcher(None,Elmt,OtherElmt).quick_ratio() > Tolerance: 
                Groups[Elmt] = Groups[Elmt] + [OtherElmt] 
                TempList.remove(OtherElmt) 
    Groups[Elmt] = list(set(Groups[Elmt])) 
    return dict((v,k) for k in Groups for v in Groups[k]) 

然后您可以将上述函数应用于包含电影标题的数据框列:

Mapping = fuzzy_group_list_elements(ThisList,0.85) 
df['Matched Title'] = df['Title'].replace(Mapping)