如何处理异步中嵌套函数上的&quot；此事件循环已经在运行&quot；错误？

问题描述

我想使用一组类别执行Web抓取，每个类别也有一个URL列表。因此，我决定只根据main函数中的每个类别调用一个函数，并且在内部函数中有一个非阻塞调用。

代码如下：

def main():
    loop = asyncio.get_event_loop()
    b = loop.create_task(f("p", all_p_list))
    f = loop.create_task(f("f", all_f_list))

    loop.run_until_complete(asyncio.gather(p, f))

应并发执行f函数。

但f函数还必须运行循环，因为在该函数中，它根据每个URL同时调用一个函数。

async def f(category, total): 
    urls = [urls_template[category].format(t) for t in t_list]
    soups_coro = map(parseURL_async, urls)

    loop = asyncio.get_event_loop()
    result = await loop.run_until_complete(asyncio.gather(*soups_coro))

但我运行脚本后，它得到了This event loop is already running错误，我发现这是因为我在内部和外部函数中都调用了loop.run_until_complete()。

但是，当我剥离run_until_complete()并只调用main()中的f()时，函数调用立即完成，它无法等待内部函数完成。因此，在main()中调用循环是不可避免的。但我认为它与内部函数不兼容，内部函数也必须调用它。

如何处理该问题并运行循环？原始代码都在相同的main()中，它起作用了，但如果可能的话，我想让它更简洁。

---

解决方案

如何处理问题并运行循环？

循环已在运行。您不需要(也不能)再次运行它。

result = await loop.run_until_complete(asyncio.gather(*soups_coro))

您等待的是错误的事情。loop.run_until_complete不返回您可以等待的内容(aFuture)；它返回在完成之前您正在运行的任何内容的结果。

直接调用f时似乎没有发生任何事情的原因是f是一个异步式协程。因此，它返回必须使用事件循环计划的将来。直到运行中的事件循环告诉它，它才会执行。loop.run_until_complete为您解决所有这些问题。

要结束您的问题，您需要等待asyncio.gather。

async def f(category, total): 
    urls = [urls_template[category].format(t) for t in t_list]
    soups_coro = map(parseURL_async, urls)

    result = await asyncio.gather(*soups_coro)

并且您可能还希望在f的末尾包括return result。