Skip to main content
 首页 » 编程设计

python之可迭代的多处理队列不退出

2025年05月04日16JustinYoung

import multiprocessing.queues as queues 
import multiprocessing 
class I(queues.Queue): 
    def __init__(self, maxsize=0): 
        super(I, self).__init__(maxsize) 
        self.length = 0  
 
    def __iter__(self): 
        return self 
 
    def put(self, obj, block=True, timeout=None): 
        super(I, self).put(obj,block,timeout) 
        self.length += 1 
 
    def get(self, block = True, timeout = None): 
        self.length -= 1 
        return super(I, self).get(block, timeout) 
 
    def __len__(self): 
        return self.length 
 
    def next(self): 
        item = self.get() 
        if item == 'Done': 
            raise StopIteration 
        return item 
 
 
def thisworker(item): 
    print 'got this item: %s' % item 
    return item 
 
q=I() 
 
q.put(1) 
q.put('Done') 
 
the_pool = multiprocessing.Pool(1) 
print the_pool.map(thisworker, q) 

我正在尝试创建一个可迭代队列以与多处理池映射一起使用。 这个想法是,函数 thisworker 会将一些项目附加到队列中,直到满足条件,然后在将“完成”放入队列后退出(我还没有在这段代码中完成)

但是,这段代码永远不会完成,它总是挂起。

我无法调试真正的原因。 请求你的帮助

PS:我使用了self.length,因为the_pool.map下调用的map_async方法需要使用可迭代形成一个变量:chunksize,它将用于从池中获取任务。

请您参考如下方法:

问题是你正在治疗 'Done'作为 Queue 中的特例项目, 这表明迭代应该停止。所以,如果你遍历 Queue在您的示例中使用 for 循环,将返回的所有内容都是 1 .但是,您声称 Queue 的长度是 2。这搞砸了 map代码,它依靠该长度来准确表示可迭代项中的项目数,以便知道何时从工作人员返回所有结果:

class MapResult(ApplyResult): 
 
    def __init__(self, cache, chunksize, length, callback): 
        ApplyResult.__init__(self, cache, callback) 
        ... 
        # _number_left is used to know when the MapResult is done 
        self._number_left = length//chunksize + bool(length % chunksize) 

因此,您需要使长度实际准确。你可以通过几种方式做到这一点,但我建议不要要求将哨兵加载到 Queue 中。完全,并使用 get_nowait相反:

import multiprocessing.queues as queues 
import multiprocessing 
from Queue import Empty 
 
class I(queues.Queue): 
    def __init__(self, maxsize=0): 
        super(I, self).__init__(maxsize) 
        self.length = 0  
 
    ... <snip> 
 
    def next(self): 
        try: 
            item = self.get_nowait() 
        except Empty: 
            raise StopIteration 
        return item 
 
 
def thisworker(item): 
    print 'got this item: %s' % item 
    return item 
 
q=I() 
 
q.put(1) 
 
the_pool = multiprocessing.Pool(1) 
print the_pool.map(thisworker, q) 

另请注意,此方法不是过程安全的。 length属性只有在你只有 put 时才是正确的进入Queue来自单个进程,然后永远不会 put发送 Queue 后再次发送到工作进程。如果不调整导入和实现,它也不会在 Python 3 中工作,因为 multiprocessing.queues.Queue 的构造函数已经改变了。

而不是子类化 multiprocessing.queues.Queue , 我建议使用 iter内置迭代 Queue :

q = multiprocessing.Queue() 
q.put(1) 
q.put(2) 
q.put(None)  # None is our sentinel, you could use 'Done', if you wanted 
the_pool.map(thisworker, iter(q.get, None)) # This will call q.get() until None is returned 

这适用于所有版本的 Python,代码少得多,并且是进程安全的。

编辑:

根据您在我的回答评论中提到的要求,我认为您最好使用 imap而不是 map , 这样你就不需要知道 Queue 的长度了根本。事实上,您无法准确地确定它,事实上,随着您的迭代,长度最终可能会增加。如果你使用 imap排他性地,然后做一些与你原来的方法类似的事情就可以了:

import multiprocessing 
 
class I(object): 
    def __init__(self, maxsize=0): 
        self.q = multiprocessing.Queue(maxsize) 
 
    def __getattr__(self, attr): 
        if hasattr(self.q, attr): 
            return getattr(self.q, attr) 
 
    def __iter__(self): 
        return self 
 
    def next(self): 
        item = self.q.get() 
        if item == 'Done': 
            raise StopIteration 
        return item 
 
 
def thisworker(item): 
    if item == 1: 
        q.put(3) 
    if item == 2: 
        q.put('Done') 
    print 'got this item: %s' % item 
    return item 
 
q=I() 
 
q.put(1) 
q.put(2) 
q.put(5) 
 
the_pool = multiprocessing.Pool(2)  # 2 workers 
print list(the_pool.imap(thisworker, q)) 

输出:

got this item: 1 
got this item: 5 
got this item: 3 
got this item: 2 
[1, 2, 5, 3] 

为了更好的 Python 3.x 兼容性,我摆脱了担心长度的代码,并使用委托(delegate)而不是继承。

请注意,我最初的建议是使用 iter(q.get, <sentinel>) ,只要您使用 imap,这里仍然有效。而不是 map .