是否可以限制异步中并发运行的协同例程的数量?

2022-03-25 00:00:00 python python-asyncio

问题描述

我已经使用Asyncio编写了我的脚本,但是发现同时运行的协程太多,并且它经常会挂起。

所以我要同时限制协同例程的数量,一旦达到该限制,我希望等待任何协同例程完成,然后再执行另一个协同例程。

我当前的代码如下所示:

loop = asyncio.get_event_loop()
p = map(my_func, players)
result = loop.run_until_complete(asyncio.gather(*p))

async def my_func(player):
    # something done with `await`
playerslist类型,包含许多元素(比如12000)。在asyncio.gather(*p)中同时运行它们需要如此多的计算资源,所以我更希望同时运行的玩家数量为200。一旦达到199,我希望开始执行另一个协程。

这在异步中可能吗?


解决方案

我可以建议使用asyncio.BoundedSemaphore

import asyncio

async def my_func(player, asyncio_semaphore):
    async with asyncio_semaphore:
        # do stuff

async def main():
    asyncio_semaphore = asyncio.BoundedSemaphore(200)
    jobs = []
    for i in range(12000):
        jobs.append(asyncio.ensure_future(my_func(players[i], asyncio_semaphore)))
    await asyncio.gather(*jobs)

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.set_debug(True)
    loop.run_until_complete(main())

这样,手头有12000个任务时,只有200个并发任务可以获取信号量并使用系统资源。

相关文章