突然之间,Celery 开始对我们采取行动并停止获取任务。
信息:
- 我们使用的是 celery 3.0.10
- 我们使用的是 django-celery 3.0.10
- 我们正在使用 RabbitMQ。
问题:
Celery 在重新启动之前不会记录任务的输出(loglevel INFO)。这没问题,但在重新启动之前它不会获取新任务。不,任务没有死锁,我在 bool 值返回之前打印到日志中。
示例:
@task()
def my_task(username):
print "Start"
result = api_call(username)
print "Finished", result
return result
在日志中我们看到:
[2014-02-25 20:45:28,300: INFO/MainProcess] Got task from broker: my_project.my_app.my_task[475ff845-6a63-4b7b-9e02-4ce198043707]
[2014-02-25 20:45:29,667: WARNING/Worker-X] Start
[2014-02-25 20:45:29,667: WARNING/Worker-X] Finished, True
然后什么都没有。直到我重新启动:
[2014-02-25 21:08:15,081: INFO/MainProcess] Task my_project.my_app.my_task[475ff845-6a63-4b7b-9e02-4ce198043707] succeeded in 1392992732.81s: True
...
三个点代表从 broker 等获取任务的下一次迭代。无论我们有多少 worker 都是一样的,他们只会以并发方式完成。
有什么想法吗?
编辑:
经过更多调查后,我意识到每个工作人员在锁定之前恰好完成了四个任务,并且我在每个工作人员返回之前得到了打印,因此实际上没有任何任务被锁定。重启后所有四个任务返回都被记录下来,并在 Rabbit 队列中查找有待处理的任务。就像每个工作人员只能在内存中保存四个任务结果并且永远不会刷新它,直到 celery 重新启动,然后它被刷新并且他们获取一个新的。但都处理得当。
请您参考如下方法:
事实证明,我的 Celery 版本和我可以访问的 Kombu 版本发生了一些奇怪的事情。它不适用于当前存储库中的任何版本的 Kombu(需要旧版本),因此升级 celery 和 kombu 有效。
