«

celery怎么实现为不同异步任务分配不同worker

时间:2024-4-4 22:19     作者:韩俊     分类: Python


这篇文章主要介绍了celery怎么实现为不同异步任务分配不同worker的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇celery怎么实现为不同异步任务分配不同worker文章都会有所收获,下面我们一起来看看吧。

1、配置celery,按正则匹配异步任务名,分配到指定消费队列

这里创建4个消费队列,release,job,sync,celery(默认)

匹配到sync_release的任务,会调度到release队列消费,以此类推,支持正则匹配

import re
# specify worker queue
# https://docs.celeryq.dev/en/latest/userguide/routing.html
app.conf.task_routes = ([
    ('cmapp.tasks.sync_release', {'queue': 'release'}),
    (re.compile(r'.*(job*|Cdd*)'), {'queue': 'job'}),
    (re.compile(r'.*(delay*|owncloud*)'), {'queue': 'sync'}),
    (re.compile(r'.*(clean*|keycloak*)'), {'queue': 'celery'}),
],)

2、启动消费队列

-Q指定消费队列名称

--hostname配置worker名

--concurrency配置最大并发

[program:q_release]
environment=ENV=production
directory=/opt/mmback
command=/opt/envs/env-mmweb/bin/celery -A mmback worker -l info --concurrency=20 -Q release --hostname=release@%%h
autorestart=true
autostart=true

supervisorctl update

可以看到已经有release任务在消费。

标签: python

热门推荐