Skip to main content
 首页 » 编程设计

python之使用单例类时在多处理中共享状态

2025年05月04日16lvdongjie

这是我遇到的问题的玩具示例。我有一个在大型 python 脚本中使用的 Singleton 类。我想使用多个输入多次运行此脚本: 单例模式在这里不是必须的,但在我比较复杂的实际使用中有理由使用它

import time 
import multiprocessing 
 
 
class TestClass(object): 
  instance = None 
 
  @classmethod 
  def get_instance(cls): 
    if cls.instance is None: 
      print 'creating instance' 
      cls.instance = TestClass() 
    return cls.instance 
 
  def __init__(self): 
    self.data = [] 
 
 
def worker(num): 
  tc = TestClass.get_instance() 
  time.sleep(0.1) 
  tc.data.append(num) 
  return tc.data 
 
 
def main(): 
  pool = multiprocessing.Pool(processes=1) 
  res = pool.map(worker, range(10)) 
 
  print res  
  print TestClass.get_instance().data 
 
 
main() 

当我运行上面的代码时,TestClass.instance 的状态似乎是(半?)共享的。结果是:

[[0, 1, 2], [0, 1, 2], [0, 1, 2], ..., [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]] 

如果我将进程数更改为 10,我会得到:

[[0], [1], [2], [3], [4], [5], [6], [7], [8], [9]] 

这是我想要的结果。

(如果我在调用 pool.map() 之后打印 TestClass.get_instance().data 那么我得到一个空列表。)

这种行为的解释是什么? 有没有办法停止这种状态共享并获得第二个输出,但保持对池中进程数量的控制?

编辑: 当我选择 N 个实例来运行具有 M 个不同参数的函数时。 一个实例被创建了 N 次。理想情况下,我希望创建 M 个实例,每个参数一个。

请您参考如下方法:

好的;释义:

I want to create N processes to run the function for M different arguments; but instead of N worker processes I want M worker processes; one per permutation of arguments.

multiprocessing.Pool 确实不可能做到这一点因为它不是为这个用例设计的。它更类似于内置的 map()函数,您可以在其中将函数应用于跨多个工作进程受 CPU 限制的一系列输入。

您将必须使用multiprocessing.Process() 自己管理一组工作进程。 .