Python并发编程库:Asyncio的异步编程实战

devtools/2024/11/8 23:38:59/

Python并发编程库:Asyncio的异步编程实战

在现代应用中,并发和高效的I/O处理是影响系统性能的关键因素之一。Python的asyncio库是专为异步编程设计的模块,提供了一种更加高效、易读的并发编程方式,适用于处理大量的I/O密集型任务(如网络请求、文件操作等)。在这篇博客中,我们将详细介绍如何使用asyncio来进行异步编程,并通过一个实战案例,展示asyncio如何提升程序的性能。
在这里插入图片描述

1. 异步编程基础概念

在开始编码前,我们先理解一些基本概念:

  • 同步:任务按顺序依次执行,只有当前任务执行完成后,下一个任务才会开始执行。
  • 异步:任务可以并发执行,当遇到I/O操作时,程序可以切换到其他任务执行,从而不必等待。
  • 协程(Coroutine):协程是可以被挂起和恢复的函数,用于实现异步执行。在Python中,用async def定义协程函数。
  • 事件循环(Event Loop)asyncio的核心,它负责调度并运行协程,当协程遇到await时就会释放控制权,切换到其他任务。
    在这里插入图片描述

2. Asyncio的核心功能

asyncio库主要由以下几个核心部分组成:

  • 事件循环:管理所有异步任务的调度与执行。
  • 协程函数:用async def定义的函数,可以包含await关键字,表示程序可以在此处暂停并切换任务。
  • 任务(Tasks):将协程封装成任务,让它们在事件循环中并发运行。
  • Future对象:表示一个异步操作的最终结果。

2.1 异步协程函数

asyncio中,用async def定义的函数即为协程函数。协程函数只有在被await调用时才会执行。

python">import asyncioasync def my_coroutine():print("Start coroutine")await asyncio.sleep(1)print("End coroutine")# 运行协程
asyncio.run(my_coroutine())

2.2 任务的创建

可以使用asyncio.create_task将协程封装成任务,从而允许多个任务并发执行:

python">async def task1():print("Task 1 start")await asyncio.sleep(2)print("Task 1 end")async def task2():print("Task 2 start")await asyncio.sleep(1)print("Task 2 end")async def main():task_1 = asyncio.create_task(task1())task_2 = asyncio.create_task(task2())await task_1await task_2asyncio.run(main())

在上面的代码中,两个任务将并发执行。由于task2的延迟时间较短,因此它会先结束。

2.3 等待多个任务

asyncio.gather可以等待多个协程并发执行并返回结果:

python">async def fetch_data(n):print(f"Fetching data {n}")await asyncio.sleep(2)return f"Data {n}"async def main():results = await asyncio.gather(fetch_data(1), fetch_data(2), fetch_data(3))print(results)asyncio.run(main())

在这里,asyncio.gather会并发运行三个fetch_data任务,并返回所有任务的结果。
在这里插入图片描述

3. Asyncio异步编程实战

下面我们通过一个网络爬虫的例子展示asyncio的应用。假设我们需要从多个URL中提取数据,如果我们按顺序一个一个地请求这些URL,效率会非常低。我们可以使用asyncio并发请求这些URL,从而显著提升程序性能。

3.1 使用Asyncio实现简单网络爬虫

我们将使用aiohttp库实现异步的HTTP请求。aiohttp是一个支持异步的HTTP客户端,非常适合和asyncio结合使用。

首先,安装aiohttp库:

pip install aiohttp

然后,我们编写异步爬虫代码:

python">import asyncio
import aiohttp# 异步获取单个URL数据
async def fetch_url(session, url):async with session.get(url) as response:return await response.text()# 主函数:使用asyncio.gather并发请求多个URL
async def main(urls):async with aiohttp.ClientSession() as session:tasks = [fetch_url(session, url) for url in urls]results = await asyncio.gather(*tasks)return results# 示例URL列表
urls = ["http://example.com","http://example.org","http://example.net"
]# 运行主函数并获取结果
data = asyncio.run(main(urls))
for i, content in enumerate(data):print(f"Content of URL {i+1}:")print(content[:100])  # 打印前100个字符

在这个代码中,我们并发地请求了多个URL,并获取每个URL的内容。这样做的好处是,程序可以在等待一个URL响应时去处理其他URL请求,极大地提高了效率。

3.2 超时控制与错误处理

在网络请求中,超时和错误处理也是重要的一部分。我们可以为fetch_url添加超时和异常处理,以确保程序在遇到问题时不会崩溃。

python">async def fetch_url(session, url):try:async with session.get(url, timeout=5) as response:response.raise_for_status()  # 检查响应状态return await response.text()except asyncio.TimeoutError:print(f"Timeout error for URL: {url}")except aiohttp.ClientError as e:print(f"Error fetching URL {url}: {e}")return None  # 返回None表示请求失败

在添加了错误处理后,即使某些URL请求失败,程序也会继续执行。
在这里插入图片描述

4. 性能对比:同步 vs 异步

为了更直观地感受asyncio带来的性能提升,我们可以通过对比同步和异步爬虫的执行时间。

4.1 同步版本爬虫

python">import requests
import timedef fetch_url_sync(url):response = requests.get(url)return response.text# 同步爬虫主函数
def main_sync(urls):results = []for url in urls:results.append(fetch_url_sync(url))return results# 测试同步爬虫
start_time = time.time()
data_sync = main_sync(urls)
end_time = time.time()print(f"同步爬虫耗时: {end_time - start_time} 秒")

4.2 异步版本爬虫

直接运行我们上面的异步爬虫,并计算其执行时间:

python">start_time = time.time()
data_async = asyncio.run(main(urls))
end_time = time.time()print(f"异步爬虫耗时: {end_time - start_time} 秒")

在多个URL请求的场景下,异步爬虫的执行时间通常会比同步爬虫短得多,这展示了asyncio在I/O密集型任务中的显著优势。
在这里插入图片描述

5. 基础总结

上面介绍了asyncio的基本概念及其在Python异步编程中的应用,通过代码实例展示了如何使用asyncio进行异步操作以及如何显著提高程序的并发能力。异步编程虽然学习曲线较高,但在I/O密集型任务中具有明显优势,尤其是在网络请求、文件处理等场景中。
在这里插入图片描述

6. 进阶应用:使用信号量和限制并发数量

在实际应用中,异步任务的数量可能非常多(例如几百或几千个URL请求)。如果全部并发执行,可能会导致系统资源耗尽,甚至触发对方服务器的访问限制。asyncio提供了Semaphore(信号量)机制,可以限制同时执行的任务数量。

下面是如何使用信号量来限制并发任务数的示例:

python">async def fetch_url_with_semaphore(semaphore, session, url):async with semaphore:  # 使用信号量来限制并发数量try:async with session.get(url, timeout=5) as response:return await response.text()except Exception as e:print(f"Error fetching {url}: {e}")return Noneasync def main_with_semaphore(urls, max_concurrent_tasks=5):semaphore = asyncio.Semaphore(max_concurrent_tasks)  # 限制并发数量async with aiohttp.ClientSession() as session:tasks = [fetch_url_with_semaphore(semaphore, session, url) for url in urls]results = await asyncio.gather(*tasks)return results# 设置最大并发任务数为5
start_time = time.time()
data_with_limit = asyncio.run(main_with_semaphore(urls, max_concurrent_tasks=5))
end_time = time.time()
print(f"使用信号量限制的异步爬虫耗时: {end_time - start_time} 秒")

在这个例子中,我们通过信号量控制了最多只有5个任务同时运行,从而有效管理了系统资源的使用。
在这里插入图片描述

7. 异步上下文管理器

异步编程中,我们经常需要创建和关闭连接、打开和关闭文件等,这些操作通常需要使用上下文管理器。Python 3.5引入了异步上下文管理器,允许我们用async with来管理异步资源。以aiohttp的Session为例,在异步编程中,这样的上下文管理器能够自动处理连接的关闭,非常方便。

使用异步上下文管理器读取文件

如果需要异步地处理文件操作,可以使用aiofiles库,该库支持异步读取和写入文件。以下是一个读取文件的简单示例:

首先安装aiofiles库:

pip install aiofiles

然后在代码中使用它:

python">import aiofilesasync def read_file_async(file_path):async with aiofiles.open(file_path, mode='r') as file:content = await file.read()return content# 示例
async def main():content = await read_file_async("example.txt")print(content)asyncio.run(main())

使用异步文件操作在处理大文件或需要高并发的文件操作时非常有用,因为它不会阻塞事件循环。
在这里插入图片描述

8. 小结

asyncio提供了强大的异步编程能力,使得Python在处理I/O密集型任务时的效率得到了显著提升。通过本文介绍的实战示例,你已经掌握了asyncio的核心概念和一些常用技术,包括:

  • 如何定义和运行协程函数
  • 如何并发地执行多个任务
  • 使用asyncio.gather批量并发执行任务
  • 利用信号量来控制并发任务数量
  • 应用异步上下文管理器管理资源

asyncio不仅适用于网络请求和文件操作,也可以应用于多种场景,例如爬虫、聊天应用、数据采集等。掌握asyncio之后,你会发现Python的异步编程能够使程序更加高效、流畅,从而提升系统的整体性能。希望你能在实际项目中将这些技术加以应用,打造更高效的异步系统。
在这里插入图片描述


http://www.ppmy.cn/devtools/132424.html

相关文章

Flutter 鸿蒙next版本:自定义对话框与表单验证的动态反馈与错误处理

在现代移动应用开发中,用户体验是至关重要的一环。Flutter和鸿蒙操作系统(HarmonyOS)的结合,为开发者提供了一个强大的平台,以创建跨平台、高性能的应用程序。本文将探讨如何在Flutter与鸿蒙next版本中创建自定义对话框…

Spring Boot 项目启动时打印端口号、项目名及访问地址

背景 在开发过程中,我们经常需要在项目启动时知道应用使用的端口号和访问地址。为了提高开发效率,我们可以通过简单的配置,在项目启动后直接把这些信息打印在控制台上。 解决方案 通过使用 Environment 类,可以在项目启动时获取…

[docker]拉取镜像失败

List item vim /etc/docker/daemon.json在insecure-registries中添加你的socket(IP端口号) {"bip": "33.33.33.1/24","registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"],"insecure-registri…

Git Bash 常用命令

关于版本控制,前几年,我认为只使用 TortoiseGit 图形界面就足够了,而现在,我改变了这个看法。 Git Bash 在某些情况下要方便的多,比如“创建分支并切换到新分支”、“切换分支”、“删除分支”等。 另一个方面&#xf…

Ubuntu开启FTP与SSH服务

在配置开发环境时,这两个配置感觉是最有用的,开启FTP服务可以将远程linux上的文件映射到Windows上,不管是使用虚拟机还是嵌入式linux设备,特别在开发写代码的时候,映射到Windows上使用VS code打开编写比在linux上编写舒…

蓝桥杯c++算法学习【1】之枚举与模拟(卡片、回文日期、赢球票:::非常典型的比刷例题!!!)

别忘了请点个赞收藏关注支持一下博主喵!!! 关注博主,更多蓝桥杯nice题目静待更新:) 枚举与模拟 一、卡片: 【问题描述】 …

基于springboot+vue实现的旅行社网站系统

基于springbootvue实现的旅行社网站系统 (源码L文)4-105 系统设计 整体系统的主要功能模块如图5-1: 图5-1系统总体功能图 5.2.2 数据表设计(共21张表) 表5-1:客房退订表 字段名称 类型 长度 字段说明 主键 默认值 id bi…

Flutter 简述(1)

Flutter 简述 简述 Flutter是Google开源的应用框架,只要一套代码兼顾Android、iOS、Web、Windows、macOS和Linux六个平台,它的设计思路可以说更加先进,不像ReactNative每个组件都需要有对应的原生组件实现,而是通过skia或者其他…