Skip to main content
 首页 » 编程设计

python之python functools partial 的参数顺序

2025年05月04日8zdz8207

我正在尝试将多处理与 pool.map 结合使用来加速函数的执行,但可迭代对象不是该函数的第一个参数。 Lambda 将无法工作,因为它们不可腌制。我尝试使用 functools.partial 创建一个新函数,但失败并出现 TypeError。下面是一个非常简单的例子,结果相同。如果我将参数顺序切换为 f(i, s1, s2),它会按预期工作。

为什么参数顺序在这里很重要?当我阅读 doc 时,这对我来说并不明显.

我有什么选择(除了明显的改变原始功能)?

import multiprocessing 
from functools import partial 
 
 
def f(s1, s2, i): 
    return [s1] + [s2]*i 
 
def main(): 
    # other code... constants for f aren't known until runtime 
    pool = multiprocessing.Pool() 
    func = partial(f, s1='a', s2='c') 
    for strings in pool.map(func, range(10)): 
        print(strings) 
    pool.close() 
    pool.join() 
 
if __name__ == '__main__': 
    main() 

更新: 我能想到的最好的办法是在模块级别创建一个包装器来切换参数顺序,然后从包装器中创建一个部分。看起来不漂亮或根本不像 python 。

import multiprocessing 
from functools import partial 
 
 
def f(s1, s2, i): 
    return [s1] + [s2]*i 
 
def wrapper(i, s1, s2): 
    return f(s1, s2, i) 
 
def main(): 
    # other code... constants for f aren't known until runtime 
    pool = multiprocessing.Pool() 
    func = partial(wrapper, s1='foo', s2='bar') 
    for strings in pool.map(func, range(10)): 
        print(strings) 
    pool.close() 
    pool.join() 
 
if __name__ == '__main__': 
    main() 

请您参考如下方法:

顺序很重要,因为 pool.map 正在调用 f(i, s1='a', s2='c')。 你可以这样写你的部分:

import multiprocessing 
 
def f(s1, s2, i): 
    return [s1] + [s2]*i 
 
def f2(i): 
    return f('a','c',i) 
 
if __name__ == '__main__': 
    pool = multiprocessing.Pool() 
    for strings in pool.map(f2, range(10)): 
        print(strings) 
    pool.close() 
    pool.join() 

如果您使用的是 python3.3,pool.starmap 可供您使用:

import multiprocessing 
from itertools import repeat 
 
def f(s1, s2, i): 
    return [s1] + [s2]*i 
 
if __name__ == '__main__': 
    pool = multiprocessing.Pool() 
    for strings in pool.starmap(f, zip(repeat('a'), repeat('c'), range(10))): 
        print(strings) 
    pool.close() 
    pool.join()