celery多队列多任务的阻塞和并发问题

Sat, 16 May 2026 00:00:00 +0000

一、为什么会阻塞：经典翻车现场深度剖析

在默认配置下，Celery 会将所有任务一股脑扔进名为 celery 的默认队列，并且所有的 Worker 都会去消费这个队列。这种"大锅饭"机制是导致阻塞的万恶之源。

1.1 单工作进程处理多队列：长短任务混杂

当使用单个工作进程（worker）处理多个队列时，如果某个队列的任务执行时间过长，会阻塞其他队列任务的执行。例如：

# celery_config.py
CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_TASK_QUEUES = {
 'fast_tasks': {'exchange': 'fast_tasks', 'routing_key': 'fast_tasks'},
 'slow_tasks': {'exchange': 'slow_tasks', 'routing_key': 'slow_tasks'},
 'critical_tasks': {'exchange': 'critical_tasks', 'routing_key': 'critical_tasks'},
}
CELERY_TASK_ROUTES = {
 'tasks.fast_operation': {'queue': 'fast_tasks'},
 'tasks.slow_operation': {'queue': 'slow_tasks'},
 'tasks.critical_operation': {'queue': 'critical_tasks'},
}

启动单个工作进程处理所有队列：

celery -A tasks worker --queues=fast_tasks,slow_tasks,critical_tasks

想象一下，你的系统里既有 5 毫秒就能完成的"发送短信"任务，又有需要运行 5 小时的"视频转码"任务。如果它们在同一个队列里，当耗时任务瞬间占满了 Worker 的所有进程槽，后续成千上万的短信任务就只能在队列里绝望地排队。

1.2 贪婪的预取机制（Prefetching）

Celery 默认开启了预取机制，参数 worker_prefetch_multiplier 默认值为 4。这意味着，如果一个 Worker 开启了 4 个并发进程，它会一次性从消息队列（如 Redis/RabbitMQ）中拉取 $4 \times 4 = 16$ 个任务到本地缓存。

如果这 16 个任务里不幸包含了 3 个超长耗时的任务，它们被死死卡在同一个 Worker 里，而此时其他机器的 Worker 可能正处于闲置状态，却无法去抢夺这些已经被预取走的长任务。

1.3 任务依赖与同步调用

任务之间存在依赖关系时，如果不合理设计异步流程，也会导致阻塞：

@celery.task
def process_order(order_id):
 """处理订单，包含多个步骤"""
 # 步骤1：验证库存（同步阻塞）
 validate_inventory(order_id) # 同步调用，阻塞中
 
 # 步骤2：扣减库存
 deduct_inventory(order_id)
 
 # 步骤3：生成物流单
 create_shipping(order_id)
 
 # 步骤4：发送通知
 send_notification(order_id)

更糟糕的是，在 Task A 的内部，使用了 task_b.delay().get() 去同步等待 Task B 的结果。如果此时并发被占满，Task B 还在排队，Task A 就会永远等下去，导致 Worker 进程死锁挂起。

Celery on giftiaのblog

celery多队列多任务的阻塞和并发问题

一、 为什么会阻塞：经典翻车现场深度剖析

1.1 单工作进程处理多队列：长短任务混杂

1.2 贪婪的预取机制（Prefetching）

1.3 任务依赖与同步调用

一、为什么会阻塞：经典翻车现场深度剖析