这是我遇到的问题的玩具示例。我有一个在大型 python 脚本中使用的 Singleton 类。我想使用多个输入多次运行此脚本: 单例模式在这里不是必须的,但在我比较复杂的实际使用中有理由使用它
import time
import multiprocessing
class TestClass(object):
instance = None
@classmethod
def get_instance(cls):
if cls.instance is None:
print 'creating instance'
cls.instance = TestClass()
return cls.instance
def __init__(self):
self.data = []
def worker(num):
tc = TestClass.get_instance()
time.sleep(0.1)
tc.data.append(num)
return tc.data
def main():
pool = multiprocessing.Pool(processes=1)
res = pool.map(worker, range(10))
print res
print TestClass.get_instance().data
main()
当我运行上面的代码时,TestClass.instance 的状态似乎是(半?)共享的。结果是:
[[0, 1, 2], [0, 1, 2], [0, 1, 2], ..., [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]]
如果我将进程数更改为 10,我会得到:
[[0], [1], [2], [3], [4], [5], [6], [7], [8], [9]]
这是我想要的结果。
(如果我在调用 pool.map() 之后打印 TestClass.get_instance().data 那么我得到一个空列表。)
这种行为的解释是什么? 有没有办法停止这种状态共享并获得第二个输出,但保持对池中进程数量的控制?
编辑: 当我选择 N 个实例来运行具有 M 个不同参数的函数时。 一个实例被创建了 N 次。理想情况下,我希望创建 M 个实例,每个参数一个。
请您参考如下方法:
好的;释义:
I want to create N processes to run the function for M different arguments; but instead of N worker processes I want M worker processes; one per permutation of arguments.
multiprocessing.Pool 确实不可能做到这一点因为它不是为这个用例设计的。它更类似于内置的 map()函数,您可以在其中将函数应用于跨多个工作进程受 CPU 限制的一系列输入。
您将必须使用multiprocessing.Process() 自己管理一组工作进程。 .
