详解使用asyncio实现playwright并发操作(复制源码即可运行)

news/2024/10/31 5:27:42/

asyncio实现并发

我们可以使用asyncio来解决palywright中并发的问题,asyncio即Asynchronous I/O是python一个用来处理并发(concurrent)事件的包,是很多python异步架构的基础,多用于处理高并发网络请求方面的问题。给大家举一个经典的应用场景就懂了,在不同的浏览器中同时执行打开百度首页,获取title的操作,代码如下:

import asyncio
import time
from playwright.async_api import async_playwright

async def playwright_async_chromium():async with async_playwright() as p:browser = await p.chromium.launch(headless=False)page = await browser.new_page()await page.goto('http://baidu.com/')#await asyncio.sleep(2)print(await page.title())await asyncio.sleep(10)await browser.close()async def playwright_async_firefox():async with async_playwright() as p:browser = await p.firefox.launch(headless=False)page = await browser.new_page()await page.goto('http://baidu.com/')#await asyncio.sleep(2)print(await page.title())await asyncio.sleep(10)await browser.close()async def playwright_async_webkit():async with async_playwright() as p:browser = await p.webkit.launch(headless=False)page = await browser.new_page()await page.goto('http://baidu.com/')#await asyncio.sleep(2)print(await page.title())await asyncio.sleep(10)await browser.close()

#首先说明的是playwright中的并发操作需要对异步函数进行操作,因此定义了三个方法

async def playwright_async_chromium

async def playwright_async_firefox()

async def playwright_async_webkit()

接下来的代码实现是关于asyncio异步运行函数的,大家参考下面的形式实现即可

#把这三个函数放入task是中
tasks = [playwright_async_chromium(),playwright_async_firefox(),playwright_async_webkit()] # tasks列表用于存放task#事件循环event loop 是asyncio的核心,会运行异步任务和回调,执行网络IO操作,运行子进程。使用get_event_loop()获取当前事件循环。
loop = asyncio.get_event_loop()
startTime = time.time()#执行tasks队列中的函数,直到最晚的一个事件被处理完毕后结束
loop.run_until_complete(asyncio.wait(tasks))#如果不在使用loop,建议使用关闭,类似操作文件的close()函数
loop.close()
endTime = time.time()
print("sum time: ",endTime-startTime)

代码执行,显示输出22s左右

并发代码优化

接下来我们可以优化一下代码,同样的操作在三个浏览器中运行没必要写三个函数,我们优化一下函数逻辑,直接上代码:

async def playwright_async_browser(p_browser):async with async_playwright() as p:if p_browser.lower()=="webkit":browser = await p.webkit.launch(headless=False)elif p_browser.lower()=="firefox":browser = await p.firefox.launch(headless=False)else:browser = await p.chromium.launch(headless=False)page = await browser.new_page()await page.goto('http://baidu.com/')print(await page.title())await asyncio.sleep(10)await browser.close()

可以看到,实现思路很简单,通过条件语句实现不同的参数输入来启动不同的浏览器,其他都不变,重新设置tasks即可,代码如下:

tasks = [playwright_async_browser("webkit"),playwright_async_browser("Firefox"),playwright_async_browser("chromium")]

代码执行,显示输出也是22s左右!

上面的代码就是playwright 并发运行的实现思路,希望对大家有帮助!

我的每一篇文章都希望帮助读者解决实际工作中遇到的问题!如果文章帮到了您,劳烦点赞、收藏、转发!您的鼓励是我不断更新文章最大的动力!


http://www.ppmy.cn/news/1228948.html

相关文章

C#入门(6): 结构体、ref struct

文章目录 定义结构体实例化结构体结构体的值类型特性结构体和类的区别限制ref structref return C# 中的结构体(Struct)是一种值类型数据结构,用于封装不同或相同类型的数据成一个单一的实体。结构体非常适合用来表示轻量级的对象&#xff0c…

(八)、基于 LangChain 实现大模型应用程序开发 | 基于知识库的个性化问答 (检索 Retrieval)

检索增强生成(RAG)的整体工作流程如下: 在构建检索增强生成 (RAG) 系统时,信息检索是核心环节。检索是指根据用户的问题去向量数据库中搜索与问题相关的文档内容,当我们访问和查询向量数据库时可能会运用到如下几种技术…

通过汇编理解cortex-m3:第0章

第0章:准备工作 基本想法:利用汇编和gdb调试,来学习cortex-m3汇编指令,以及一些寄存器的功能。 软件和硬件: 硬件:韦东山瑞士军刀中的最小核心板(STM32F103C8T6) STLINK-V2&#…

每日一题 53. 最大子数组和(中等,数组)

很经典的数组题了 class Solution:def maxSubArray(self, nums: List[int]) -> int:ans -inft 0for i in nums:t ians max(ans, t)if t < 0:t 0return ans

电脑监控软件都有哪些,哪款好用丨全网盘点

电脑监控软件是一种用于监视和控制计算机的软件工具&#xff0c;可以帮助企业和个人了解计算机的使用情况&#xff0c;保护数据安全&#xff0c;提高工作效率等。 电脑监控软件都有哪些&#xff1a; 1、域之盾软件 这是一款功能强大的电脑监控软件&#xff0c;可以实时监控电脑…

055-第三代软件开发-控制台输出彩虹日志

第三代软件开发-控制台输出彩虹日志 文章目录 第三代软件开发-控制台输出彩虹日志项目介绍控制台输出彩虹日志实现原理真实代码 总结 关键字&#xff1a; Qt、 Qml、 关键字3、 关键字4、 关键字5 项目介绍 欢迎来到我们的 QML & C 项目&#xff01;这个项目结合了 QM…

这8个Wireshark使用技巧,一看就会!

今天就给你分享8个常用的Wireshark使用技巧&#xff0c;一看就会。如果是处理 HTTP&#xff0c;HTTPS 大家还是用还是用 Fiddler&#xff0c;但如果是其他协议比如 TCP&#xff0c;UDP&#xff0c;还是用wireshark。 今天给你准备了wireshark和Fiddler的安装包给你&#xff0c…

非遗拓鱼丨以传统文化助力守护美丽长江

长江生物多样性极为丰富&#xff0c;是中华民族赖以生存的生命之源&#xff0c;值得人类更多的关注与保护。为传播非遗文化、宣传长江生态保护&#xff0c;积极响应野生动物保护宣传的号召&#xff0c;以非遗手工助力守护长江&#xff0c;11月18日&#xff0c;在重庆市陆海国际…