python 异步读取文件,速度变快了吗

news/2024/9/23 0:38:09/

python 异步读取文件,速度变快了吗”

当我问出这个问题,大部分人第一反应应该是python新人,不懂异步

首先说一下我对异步的理解:

  1. asyncio 是 gevent + greenlet 的组合
  2. gevent 底层使用了libev、selectors 模块,这两个模块是检测io操作的,selectors 调用了c函数select(),是io多路复用的,其中一个参数的fds,就是等待多个文件就绪,也就是进行多个io等待
  3. gevent用greenlet切换协程任务用的

贴一个select模块的地址:select --- 等待 I/O 完成 — Python 3.13.0rc2 文档

白话:多个协程任务的io等待是可以同时进行的,因此减少了程序运行的总时间

asyncio的教程大致两个示例

1.asyncio.sleep(delay)
2.requests.get(url)

没毛病,时间确实减少了,但是网上没看到文件读取的示例,最后说 你们看,用了异步方式读取文件,时间减少了。测试一下 :

case1:文件大小500kb,数量3个

case2:文件大小500kb,数量500个

case3:文件大小80Mb,数量3个

case4:文件大小80Mb,数量500个

经过我的测试,以上4个case情况一样,异步没有减少读取时间,那就用case3作为例子

异步方式读取文件

jmeter.log 文件大小80Mb,数量3个

python">async def read_file_async(file_path):print(f'start read {file_path}')async with aiofiles.open(file_path, 'r') as f:content = await f.read()print(f'read finish')async def main():files = ['jmeter.log','jmeter.log','jmeter.log']now = lambda : time.time()start = now()task_list = [read_file_async(file) for file in files]await asyncio.gather(*task_list)print(now()-start)asyncio.run(main())

运行结果

start read jmeter.log
start read jmeter.log
start read jmeter.log
read finish
read finish
read finish
0.25398802757263184

速度没有加快

接下来的问题,什么原因呢,我的答案是 我也不清楚

其实我试了asyncio、gevent、多线程、多进程、同步读取,比较下来,只有多进程会减少时间

不过不用担心,文件读取速度很快,一般情况不用考虑文件读取速度,真想提高,有人跟我说买更贵的ssd


http://www.ppmy.cn/news/1529078.html

相关文章

JAVA基础:正则表达式,String的intern方法,StringBuilder可变字符串特点与应用,+连接字符串特点

1 String中的常用方法2 1.1 split方法 将字符串按照指定的内容进行分割,将分割成的每一个子部分组成一个数组 分割内容不会出现在数组中 实际上该方法不是按照指定的简单的符号进行分割的,而是按照正则表达式进行分割 1.2 正则表达式 用简单的符号组合…

SVM原理

SVM 这里由于过了很长时间 博主当时因为兴趣了解了下 博主现在把以前的知识放到博客上 作为以前的学习的一个结束 这些东西来自其他资料上 小伙伴看不懂英文的自行去翻译下吧 博主就偷个懒了 多维空间和低维空间 不一样的分法,将数据映射到高维 &…

Rasa对话模型——做一个语言助手

1、Rasa模型 1.1 模型介绍 Rasa是一个用于构建对话 AI 的开源框架,主要用于开发聊天机器人和语音助手。Rasa 提供了自然语言理解(NLU)和对话管理(DM)功能,使开发者能够创建智能、交互式的对话系统。 1.2…

PostgreSQL 的 logger 进程和 Oracle 的 diag 进程对比

PostgreSQL 的 logger 进程和 Oracle 的 diag 进程对比 PostgreSQL 和 Oracle 数据库在日志记录和诊断进程这方面各自有自己的实现方式,但是目的都是类似的:记录和诊断数据库系统的运行状态、错误和其他重要事件。以下是对 PostgreSQL 的 logger 进程和…

大语言模型应用的业务架构点

背景 在国内某小龙干了一段时间了,困于时间、资本、人力等等原因,其实应用在工程侧的业务架构建模并没有做好。但是,随着业务迭代和读论文,对于大语言模型的应用(自认为)有一定的认知了,那么业…

828华为云征文 | 云服务器Flexus X实例:one-api 部署,支持众多大模型

目录 一、one-api 介绍 二、部署 one-api 2.1 拉取镜像 2.2 部署 one-api 三、运行 one-api 3.1 添加规则 3.2 运行 one-api 四、添加大模型 API 4.1 添加大模型 API 五、总结 本文通过 Flexus云服务器X实例 部署 one-api。Flexus云服务器X实例是新一代面向中小企业…

基于Jeecg-boot开发系统--后端篇

背景 Jeecg-boot是一个后台管理系统,其提供能很多基础的功能,我希望在不修改jeecg-boot代码的前提下增加自己的功能。经过几天的折腾终于搞定了。 首先是基于jeecg-boot微服务的方式来扩展的,jeecg-boot微服务本身的搭建过程就不讲了&#x…

【kafka】主题topic

这里写目录标题 1. 创建主题1). 自动创建;(不建议)2. 通过kafka-topics.sh 创建:3. 通过 TopicCommand 创建: 2. 查看主题2. 其他操作 1. 创建主题 1). 自动创建;(不建议…