import multiprocessing.queues as queues
import multiprocessing
class I(queues.Queue):
def __init__(self, maxsize=0):
super(I, self).__init__(maxsize)
self.length = 0
def __iter__(self):
return self
def put(self, obj, block=True, timeout=None):
super(I, self).put(obj,block,timeout)
self.length += 1
def get(self, block = True, timeout = None):
self.length -= 1
return super(I, self).get(block, timeout)
def __len__(self):
return self.length
def next(self):
item = self.get()
if item == 'Done':
raise StopIteration
return item
def thisworker(item):
print 'got this item: %s' % item
return item
q=I()
q.put(1)
q.put('Done')
the_pool = multiprocessing.Pool(1)
print the_pool.map(thisworker, q)
我正在尝试创建一个可迭代队列以与多处理池映射一起使用。 这个想法是,函数 thisworker 会将一些项目附加到队列中,直到满足条件,然后在将“完成”放入队列后退出(我还没有在这段代码中完成)
但是,这段代码永远不会完成,它总是挂起。
我无法调试真正的原因。 请求你的帮助
PS:我使用了self.length,因为the_pool.map下调用的map_async方法需要使用可迭代形成一个变量:chunksize,它将用于从池中获取任务。
请您参考如下方法:
问题是你正在治疗 'Done'作为 Queue 中的特例项目, 这表明迭代应该停止。所以,如果你遍历 Queue在您的示例中使用 for 循环,将返回的所有内容都是 1 .但是,您声称 Queue 的长度是 2。这搞砸了 map代码,它依靠该长度来准确表示可迭代项中的项目数,以便知道何时从工作人员返回所有结果:
class MapResult(ApplyResult):
def __init__(self, cache, chunksize, length, callback):
ApplyResult.__init__(self, cache, callback)
...
# _number_left is used to know when the MapResult is done
self._number_left = length//chunksize + bool(length % chunksize)
因此,您需要使长度实际准确。你可以通过几种方式做到这一点,但我建议不要要求将哨兵加载到 Queue 中。完全,并使用 get_nowait相反:
import multiprocessing.queues as queues
import multiprocessing
from Queue import Empty
class I(queues.Queue):
def __init__(self, maxsize=0):
super(I, self).__init__(maxsize)
self.length = 0
... <snip>
def next(self):
try:
item = self.get_nowait()
except Empty:
raise StopIteration
return item
def thisworker(item):
print 'got this item: %s' % item
return item
q=I()
q.put(1)
the_pool = multiprocessing.Pool(1)
print the_pool.map(thisworker, q)
另请注意,此方法不是过程安全的。 length属性只有在你只有 put 时才是正确的进入Queue来自单个进程,然后永远不会 put发送 Queue 后再次发送到工作进程。如果不调整导入和实现,它也不会在 Python 3 中工作,因为 multiprocessing.queues.Queue 的构造函数已经改变了。
而不是子类化 multiprocessing.queues.Queue , 我建议使用 iter内置迭代 Queue :
q = multiprocessing.Queue()
q.put(1)
q.put(2)
q.put(None) # None is our sentinel, you could use 'Done', if you wanted
the_pool.map(thisworker, iter(q.get, None)) # This will call q.get() until None is returned
这适用于所有版本的 Python,代码少得多,并且是进程安全的。
编辑:
根据您在我的回答评论中提到的要求,我认为您最好使用 imap而不是 map , 这样你就不需要知道 Queue 的长度了根本。事实上,您无法准确地确定它,事实上,随着您的迭代,长度最终可能会增加。如果你使用 imap排他性地,然后做一些与你原来的方法类似的事情就可以了:
import multiprocessing
class I(object):
def __init__(self, maxsize=0):
self.q = multiprocessing.Queue(maxsize)
def __getattr__(self, attr):
if hasattr(self.q, attr):
return getattr(self.q, attr)
def __iter__(self):
return self
def next(self):
item = self.q.get()
if item == 'Done':
raise StopIteration
return item
def thisworker(item):
if item == 1:
q.put(3)
if item == 2:
q.put('Done')
print 'got this item: %s' % item
return item
q=I()
q.put(1)
q.put(2)
q.put(5)
the_pool = multiprocessing.Pool(2) # 2 workers
print list(the_pool.imap(thisworker, q))
输出:
got this item: 1
got this item: 5
got this item: 3
got this item: 2
[1, 2, 5, 3]
为了更好的 Python 3.x 兼容性,我摆脱了担心长度的代码,并使用委托(delegate)而不是继承。
请注意,我最初的建议是使用 iter(q.get, <sentinel>) ,只要您使用 imap,这里仍然有效。而不是 map .
