Skip to main content
 首页 » 编程设计

python之带有 CELERY_ROUTES 的 celery 任务路由不适用于任务子类

2025年05月04日9zfyouxi

我正在使用 celery 3.0.20,我很难让 celery 任务与不同的队列一起工作。

我的 celery worker 使用队列配置启动

-Q:w1 default -Q:w2 longrunning 

Django 设置包含以下 celery 配置:

CELERY_QUEUES = ( 
    Queue('default', Exchange('default'), routing_key='default'), 
    Queue('longrunning', Exchange('longrunning'), routing_key='longrunning'), 
) 
CELERY_DEFAULT_QUEUE = 'default' 
CELERY_DEFAULT_EXCHANGE_TYPE = 'direct' 
CELERY_DEFAULT_ROUTING_KEY = 'default' 
 
CELERY_ROUTES = ({'mytasks.task_a.run': { 
                    'queue': 'longrunning', 
                    'routing_key': 'longrunning' 
             }}, 

到目前为止,还不错。默认情况下,所有任务都进入 default 队列,task_a 进入长时间运行队列。

task_a模块实现如下:

from celery import task 
 
@task 
def run(): 
    # do some task work 

现在,我有一个不同的任务作为继承自 celery.Task 的类实现的问题:

from celery import Task 
 
class AnotherTask(Task): 
 
    def run(self, *args, **kwargs): 
        # do some task work 

当 AnotherTask 类现在驻留在 task_b 模块中时,我无法使该任务在 longrunning 队列中执行:我尝试添加它到 CELERY_ROUTES 不同的变体,它们都不起作用:

{'mytasks.task_b': { 
    'queue': 'longrunning', 
     'routing_key': 'longrunning' 
}} 

-

{'mytasks.task_b.AnotherTask': { 
    'queue': 'longrunning', 
     'routing_key': 'longrunning' 
}} 

-

{'mytasks.task_b.AnotherTask.run': { 
    'queue': 'longrunning', 
     'routing_key': 'longrunning' 
}} 

我还尝试切换到默认交换类型 'topic',但这也没有用。

有什么提示可以让 AnotherTask 类中的任务在 longrunning 队列中执行吗?

请您参考如下方法:

好的,我找到问题了。

这是因为所有其他任务最终都在 longrunning 队列中,并定期以 celerybeat 启动。新任务是从网络环境开始的。并且 celerybeat 设置导入了包含 CELERY_ROUTES dict 的设置,web 环境设置没有。啊!