本篇文章可以当作是官方文档的总结和补充,详细的API,还是需要看官方文档。一遍一遍看,每看都会有不同的收获。下面进行真题,发车!
1.为什么需要asyncio
asyncio库为我们提供了并发的能力。
当我们执行一个需要大量io操作任务A的时候,不需要阻塞等待任务A的结果返回,而是可以转而去执行另一个任务B,等待任务A执行结束之后,会发送一个通知,这个时候再去执行任务A的返回结果。这中间节省的时间,就是被IO阻塞的时间。可以看下方一个示例:
我们使用time.sleep来代指长时间的IO操作,在这里,我们的程序耗时为15S,是所有执行任务时间的总和。
python">import asyncio
import timedef taskA():time.sleep(10)def taskB():time.sleep(5)async def main():print(f"start main at {time.strftime('%X')}")taskA()taskB()print(f"finished main at {time.strftime('%X')}")if __name__ == "__main__":asyncio.run(main())
# expect result: cost 15S
# start main at 22:23:06
# finished main at 22:23:21
我们使用asyncio来进行相关的IO操作,代码虽然复杂了一点,但是我们的耗时降到了10S。这里是10并不是并不是程序被阻塞住,不能够执行其他的任务,而是我们的程序需要10才结束。如果我们还有任务C、任务D等。此时程序会转而执行其他的任务,而不是一直被阻塞住。
python">import asyncio
import timeasync def taskA():await asyncio.sleep(10)async def taskB():await asyncio.sleep(5)async def main():print(f"start main at {time.strftime('%X')}")task1 = asyncio.create_task(taskA())task2 = asyncio.create_task(taskB())await task1await task2print(f"finished main at {time.strftime('%X')}")if __name__ == "__main__":asyncio.run(main())# expect result: cost:10S
# start main at 22:21:10
# finished main at 22:21:20
通过asyncio,我们可以尽可能地利用线程的资源,让线程一直运行,而不处于阻塞的状态。
在现实生活中,我们也会做类似的事情。去饭店吃饭,我们点完餐,一定是找个地方坐着,和朋友聊天,等待服务员上菜,而不是站在厨房旁边,等着饭菜做好。这其实就是异步不阻塞的原理。
2.什么是可等待对象
我们使用 async/await 语法,来进行异步编程。
async是声明一个协程函数,await表示调用,可以调用所有的可等待对象。
python中可等待对象如下:
注意:只有可等待对象才被await中调用。
- corotinue:使用async def func_name(),协程函数生成的对象。
-
task:表示一个任务,被用来并行地调度协程。
- future:一种特殊的 低层级 可等待对象,表示一个异步操作的 最终结果,常用语底层的框架,应用层的代码很少使用。
3.区别协程函数和协程对象
协程函数是一种特殊的函数,就比如我们在上面的案例中使用async def taskA()。
协程对象是由协程函数调用返回的一个对象。当我们使用taskA()的使用,就会返回一个协程对象,我们可以使用一个变量进行接收。比如:corA = taskA(),这里的corA就是一个协程对象。
python">import asyncioasync def cor_func():await asyncio.sleep(10)async def main():print(cor_func) #<function cor_func at 0x104e6e160>print(type(cor_func)) #<class 'function'>print(cor_func()) #<coroutine object cor_func at 0x105b58f40>,会报错,因为协程对象需要被awaitprint(type(cor_func())) #<class 'coroutine'>if __name__ == "__main__":asyncio.run(main())
我们想要调用一个协程对象,就必须使用await,不然会报错:RuntimeWarning: coroutine 'cor_func' was never awaited。
这里简单地总结一下:
调用协程函数,会返回协程对象。
而如果我们想要调用协程对象,就必须使用await,不然会报错。
4.常见API整理
明白了上面的这些概念之后,我们就可以去官方文档中进行学习了,以下简单做一个归类,可以参考一下。
正常运行协程:
-
asyncio.run(),运行最高层次的入口点函数
-
await 直接对协程执行
并发运行协程:
task是在事件循环中运行的,如果想要并发运行协程,需要将协程转变成任务中,在事件循环中执行。
-
asyncio.create_task()创建任务,之后await执行任务。
-
async with asyncio.TaskGroup() as tg: 异步上下文管理器,隐式调用加入到任务组中的task对象。
-
asyncio.gather(*aws),并发执行,返回结果列表。运行任务时引发的异常不影响其他任务的运行。
除此之外,还需要学习asyncio.timeout()和asyncio.to_thread()
- asyncio.timeout() 控制IO处理的时间,如果超过了规定的时间,会取消该可等待对象的执行,并引起 asyncio.CancelledError。
- asyncio.to_thread() 重新启动一个线程运行非async函数,用来将IO密集性函数变为非阻塞的。案例如下:
-
python">import asyncio import timedef blocking_io():print(f"start blocking_io at {time.strftime('%X')}")# 直接阻塞当前的时间循环。time.sleep(3)print(f"blocking_io complete at {time.strftime('%X')}")async def main():print(f"started main at {time.strftime('%X')}")await asyncio.gather(asyncio.to_thread(blocking_io),asyncio.sleep(5))print(f"finished main at {time.strftime('%X')}")asyncio.run(main())