Skip to main content
 首页 » 编程设计

python之多进程并行读取数据

2025年05月04日27shangdawei

这能做到吗?

我的想法是:

我会有一个字典,每个子进程都会向字典中添加一个新的键值组合。

这可以通过多处理来完成吗?有什么限制吗?

谢谢!

请您参考如下方法:

如果您只想在子进程中读取数据并且每个子进程将添加单个键值对,您可以使用 Pool :

import multiprocessing 
 
def worker(x): 
    return x, x ** 2 
 
if __name__ == '__main__': 
    multiprocessing.freeze_support() 
 
    pool = multiprocessing.Pool(multiprocessing.cpu_count()) 
    d = dict(pool.map(worker, xrange(10))) 
    print d 

输出:

{0: 0, 1: 1, 2: 4, 3: 9, 4: 16, 5: 25, 6: 36, 7: 49, 8: 64, 9: 81}