如何实现芹菜多工自动伸缩?

2022-02-27 00:00:00 python celery

问题描述

命令celery worker -A proj --autoscale=10,1 --loglevel=info启动具有自动缩放功能的工作进程。

创建具有多个的工作人员时,

me@mypc:~/projects/x$ celery multi start myworker --autoscale=10,1
celery multi v4.1.0 (latentcall)
> Starting nodes...
    > myworker@mypc: OK

me@mypc:~/projects/kate$ celery multi show myworker
/home/me/.virtualenvs/kate/bin/python2.7 -m celery worker --detach -n myworker@mypc --pidfile=myworker.pid --logfile=myworker%I.log --executable=/home/me/.virtualenvs/x/bin/python2.7 

如何启用多个到自动缩放?


解决方案

自动缩放将在工作负荷增加时启动新进程。在您的示例中,您已将最小值设置为1,因此您将只看到1个进程,除非您开始将更多任务放到队列中。您可以更改自动缩放器的工作方式。有关更多详细信息,请参阅以下链接:

http://docs.celeryproject.org/en/latest/userguide/workers.html#autoscaling

相关文章