我有一个 python 脚本,它通过多处理在我的旧四核笔记本电脑上运行。模拟无法并行化,我只是在不同的内核上运行它的不同实例。
我正在考虑在谷歌计算引擎上租一些更强大的 cpus。我是否能够使用相同的 python 多处理脚本,只是有更多可用内核?
脚本只是调用一个池,然后多次 apply_async
请您参考如下方法:
多处理在 Google 的 VM 上的工作方式与在本地机器上的工作方式相同(大致......)。为了使用盒子上所有可用的核心,不要将 processes 参数传递给 multiprocesing.Pool,例如:
pool = multiprocessing.Pool(processes=None)
这将使 Python 创建一个 Pool,其中包含 multiprocessing.cpu_count() 个进程,cpu_count 通常是许多核心。
