celery怎么實(shí)現(xiàn)為不同異步任務(wù)分配不同worker

這篇文章主要介紹了celery怎么實(shí)現(xiàn)為不同異步任務(wù)分配不同worker的相關(guān)知識，內(nèi)容詳細(xì)易懂，操作簡單快捷，具有一定借鑒價值，相信大家閱讀完這篇celery怎么實(shí)現(xiàn)為不同異步任務(wù)分配不同worker文章都會有所收獲，下面我們一起來看看吧。

1、配置celery，按正則匹配異步任務(wù)名，分配到指定消費(fèi)隊(duì)列

這里創(chuàng)建4個消費(fèi)隊(duì)列，release，job，sync，celery（默認(rèn)）

匹配到sync_release的任務(wù)，會調(diào)度到release隊(duì)列消費(fèi)，以此類推，支持正則匹配

import re
# specify worker queue
# https://docs.celeryq.dev/en/latest/userguide/routing.html
app.conf.task_routes = ([
    ('cmapp.tasks.sync_release', {'queue': 'release'}),
    (re.compile(r'.*(job*|Cdd*)'), {'queue': 'job'}),
    (re.compile(r'.*(delay*|owncloud*)'), {'queue': 'sync'}),
    (re.compile(r'.*(clean*|keycloak*)'), {'queue': 'celery'}),
],)

2、啟動消費(fèi)隊(duì)列

-Q指定消費(fèi)隊(duì)列名稱

--hostname配置worker名

--concurrency配置最大并發(fā)

[program:q_release]
environment=ENV=production
directory=/opt/mmback
command=/opt/envs/env-mmweb/bin/celery -A mmback worker -l info --concurrency=20 -Q release --hostname=release@%%h
autorestart=true
autostart=true

supervisorctl update

可以看到已經(jīng)有release任務(wù)在消費(fèi)。

關(guān)于“celery怎么實(shí)現(xiàn)為不同異步任務(wù)分配不同worker”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對“celery怎么實(shí)現(xiàn)為不同異步任務(wù)分配不同worker”知識都有一定的了解，大家如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道。