Skip to main content
 首页 » 编程设计

python多处理谷歌计算引擎

2024年12月31日9qq78292959

我有一个 python 脚本,它通过多处理在我的旧四核笔记本电脑上运行。模拟无法并行化,我只是在不同的内核上运行它的不同实例。

我正在考虑在谷歌计算引擎上租一些更强大的 cpus。我是否能够使用相同的 python 多处理脚本,只是有更多可用内核?

脚本只是调用一个池,然后多次 apply_async

请您参考如下方法:

多处理在 Google 的 VM 上的工作方式与在本地机器上的工作方式相同(大致......)。为了使用盒子上所有可用的核心,不要将 processes 参数传递给 multiprocesing.Pool,例如:

pool = multiprocessing.Pool(processes=None) 

这将使 Python 创建一个 Pool,其中包含 multiprocessing.cpu_count() 个进程,cpu_count 通常是许多核心。