Pytest自动化测试框架pytest-xdist分布式测试插件

server/2025/3/15 19:23:03/

平常我们功能测试用例非常多时,比如有1千条用例,假设每个用例执行需要1分钟,如果单个测试人员执行需要1000分钟才能跑完;

当项目非常紧急时,会需要协调多个测试资源来把任务分成两部分,于是执行时间缩短一半,如果有10个小伙伴,那么执行时间就会变成十分之一,大大节省了测试时间;

为了节省项目测试时间,10个测试同时并行测试,这就是一种分布式场景;
同样道理,当我们自动化测试用例非常多的时候, 一条条按顺序执行会非常慢,pytest-xdist的出现就是为了让自动化测试用例可以分布式执行,从而节省自动化测试时间;
pytest-xdist是属于进程级别的并发;

分布式执行用例的设计原则(重点)

用例之间是独立的,用例之间没有依赖关系,用例可以完全独立运行【独立运行】
用例执行没有顺序,随机顺序都能正常执行【随机执行】
每个用例都能重复运行,运行结果不会影响其他用例【不影响其他用例】

插件安装

pip3 install pytest-xdist -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

pytest-xdist通过一些独特的测试执行模式扩展了pytest

测试运行并行化:如果有多个CPU或主机,则可以将它们用于组合的测试运行。 这样可以加快开发速度或使用远程计算机的特殊资源。

–looponfail:在子进程中重复运行测试。 每次运行之后,pytest都会等到项目中的文件更改后再运行之前失败的测试。 重复此过程,直到所有测试通过,然后再次执行完整运行。

跨平台覆盖:您可以指定不同的Python解释程序或不同的平台,并在所有这些平台上并行运行测试。

快速入门通关

代码的包结构

14xdist是项目文件夹名称
│  conftest.py
│  test_1.py
│  __init__.py
│              
├─test_51job
│  │  conftest.py
│  │  test_case1.py
│  │  __init__.py 
│          
├─test_toutiao
│  │  test_case2.py
│
├─test_weibo
│  │  conftest.py
│  │  test_case3.py
│  │  __init__.py 
│          

具体代码

最外层的conftest.py

# 外层conftest.py@pytest.fixture(scope="session")
def login():print("====登录功能,返回账号,token===")name = "testyy"token = "npoi213bn4"yield name, tokenprint("====退出登录!!!====")**strong text**

最外层的test_1.py

import pytest@pytest.mark.parametrize("n", list(range(5)))
def test_get_info(login, n):sleep(1)name, token = loginprint("***基础用例:获取用户个人信息***", n)print(f"用户名:{name}, token:{token}")

不使用分布式测试的命令和所需执行时间

pytest -s

可以看到,执行一条用例大概1s(因为每个用例都加了 sleep(1) ),一共30条用例,总共运行30s;那么如果有1000条用例,执行时间就真的是1000s

使用分布式测试的命令和所需执行时间

pytest -s -n auto

请添加图片描述

可以看到,最终运行时间只需要6s,我的电脑是真6核,假12核;
-n auto:可以自动检测到系统的CPU核数;从测试结果来看,检测到的是逻辑处理器的数量,即假12核;
使用auto等于利用了所有CPU来跑用例,此时CPU占用率会特别高;

可以指定需要多少个CPU来跑用例

pytest -s -n 2

请添加图片描述

pytest-xdist是可以和pytest-html很好的相结合

pytest -s -n auto --html=report.html --self-contained-html

pytest-xdist按照一定的顺序执行
pytest-xdist默认是无序执行的,可以通过 --dist 参数来控制顺序

 --dist=loadscope 

将按照同一个模块module下的函数和同一个测试类class下的方法来分组,然后将每个测试组发给可以执行的worker,确保同一个组的测试用例在同一个进程中执行;
目前无法自定义分组,按类class分组优先于按模块module分组

 --dist=loadfile 

按照同一个文件名来分组,然后将每个测试组发给可以执行的worker,确保同一个组的测试用例在同一个进程中执行

如何让scope=session的fixture在test session中仅仅执行一次

pytest-xdist是让每个worker进程执行属于自己的测试用例集下的所有测试用例

这意味着在不同进程中,不同的测试用例可能会调用同一个scope范围级别较高(例如session)的fixture,该fixture则会被执行多次,这不符合scope=session的预期

解决方案

虽然pytest-xdist没有内置的支持来确保会话范围的夹具仅执行一次,但是可以通过使用锁定文件进行进程间通信来实现。

例子:

下面的示例只需要执行一次login(因为它是只需要执行一次来定义配置选项,等等);
当第一次请求这个fixture时,则会利用FileLock仅产生一次fixture数据;
当其他进程再次请求这个fixture时,则会从文件中读取数据;

import pytest
from filelock import FileLock@pytest.fixture(scope="session")
def login():print("====登录功能,返回账号,token===")with FileLock("session.lock"):name = "testyy"token = "npoi213bn4"# web ui自动化# 声明一个driver,再返回# 接口自动化# 发起一个登录请求,将token返回都可以这样写yield name, tokenprint("====退出登录!!!====")

同时,在这我为大家准备了一份软件测试视频教程(含面试、接口、自动化、性能测试等),就在下方,需要的可以直接去观看。

【2025最新版】字节大牛讲的最全最细的自动化测试全套教程!永久白嫖,拿走不谢,全程干货无废话!逼自己15天内学完,从软件测试基础到项目实战一套全通关!


http://www.ppmy.cn/server/175241.html

相关文章

C++11多线程,锁与条件变量

🍑个人主页:Jupiter. 🚀 所属专栏:C学习笔记 欢迎大家点赞收藏评论😊 目录 线程库1. thread类的简单介绍1.1constructor构造函数1.2 线程函数参数2. 原子性操作库(atomic)3. lock_guard与unique_lock3.1 mutex的种类3.…

sublime text 中添加copilot

截至我的知识更新时间(2023年之前),Sublime Text 原生并不支持类似于 GitHub Copilot 的代码自动完成功能。GitHub Copilot 是一个由 GitHub 开发的基于 OpenAI Codex 的代码自动完成工具,它通过机器学习模型来帮助开发者更快地编…

嵌入式硬件: GPIO与二极管基础知识详解

1. 前言 在嵌入式系统和硬件开发中,GPIO(通用输入输出)是至关重要的控制方式,而二极管作为基础电子元件,广泛应用于信号整流、保护电路等。本文将从基础原理出发,深入解析GPIO的输入输出模式,包…

计算机网络-网络存储技术

分类 直连式存储(DAS)(SAS): 也叫服务器附加存储,将存储设备通过I/O设备(一般常用SCSI)附加在服务器上。本身是硬件的堆叠 无法跨平台进行存储 网络附加存储(NAS&…

ADMM(交替方向乘子法详解与实现)

ADMM(Alternating Direction Method of Multipliers,交替方向乘子法)是一种强大的优化算法,广泛用于解决约束优化问题,尤其是在机器学习、大规模数据分析和信号处理领域。以下是对ADMM迭代算法的详细解析,包…

工作记录 2017-01-12

序号 工作 相关人员 1 协助BPO进行Billing的工作。 处理Amazing Charts的数据查询。 修改BillingJobPoster,处理CCDA 的自动导入,预计还需一天才能完成。 修改录入Code的界面(code 移动到指定位置),预计明天更新。…

《MySQL数据库从零搭建到高效管理|表的增删改查(基础)》

目录 引言: 一、表的操作 1.1 创建学生表 1.2 查看表结构 1.3 删除表 1.4 修改表名 1.5 添加字段 1.6 修改字段 1.7 删除字段 1.8 小结 二、CRUD 2.1 新增(Create)数据 2.2 查询(Retrieve)数据 2.3 修改&…

vue3 动态添加路由并生成左侧菜单栏

先说下思路,登录后跳转到基础页面, 每访问一个页面时,会进到路由守卫的方法 守卫进行身份验证,登录成功后才能跳转到静态路由外的页面,否则就重定向回login页面 登录后跳转到基础页面(因为基础页面包含了左…