全链路压测：性能测试的流量录制和回放

news/2025/4/1 2:57:40/

全链路压测是一种模拟真实用户操作场景，对整个系统进行压力测试的方法，旨在评估系统在高负载下的性能表现。​在全链路压测中，流量录制与回放技术起着关键作用，能够捕获并重现真实的用户流量，帮助发现潜在的性能瓶颈和问题。

全链路压测似乎是端到端负载测试，检查系统在高负载下的表现。它看起来像是确保系统能处理真实使用场景。

一般在软件发布之前，都会经过单元测试, 接口测试, 集成测试, 性能测试等。但是这些测试往往都是基于自己定义的测试数据集合，很可能会有漏网之鱼，那么在软件上线之后，在线上流量冲击下，会出现各种之前测试中并没有发现的问题。这是因为线上的流量数据比测试的数据更加多样性，并且随着用户数量的增加，线上流量的也越来越大，更多的隐藏问题也会暴露，比如并发处理不当导致的Crash。那么我们有什么方法能够在上线之前完成这些测试呢？就是借助流量回放工具。

流量录制和回放的作用

流量录制捕捉真实用户请求，回放则模拟大量用户访问，研究表明这能更准确反映系统性能。

如何进行？

  1. 录制流量：用工具如Apache JMeter捕捉HTTP请求，注意保护敏感数据。
  2. 处理录制：清理数据，参数化动态元素，确保测试稳健。
  3. 设置回放：用负载测试工具配置用户数和测试时长，监控性能。
  4. 运行测试：观察系统表现，收集数据。
  5. 分析结果：找出瓶颈，优化系统。

GoReplay流量回放工具

GoReplay工具是go语言编写的一个http实时流量复制工具。功能强大，支持流量的放大、缩小、频率限制，还支持把请求记录到文件，方便回放和分析。

goplay工具不是代理，而是监听网络上的流量，不需要更改生产基础架构，而是在与服务相同的计算器上运行goplay守护程序。

图片

1）安装部署

1- 安装golang依赖环境：因为这个工具是go语言开发的，所以需要安装go的依赖环境

  • yum install -y epel-release

  • yum install -y golang

  • 校验是否安装成功：go version

Image.png

2- Goreplay下载安装：

  • https://github.com/buger/goreplay/releases 从官网下载安装包：gor_1.3.3_x64.tar.gz

  • 创建goreplay这个文件夹：mkdir goreplay

  • 把下载的安装解压到指定目录：tar -xzvf gor_1.3.3_x64.tar.gz -C ./goreplay

  • 进入解压后的文件夹，执行这gor可执行文件：./gor

3- 运行校验：./gor version：会看到gor的版本号信息

Image.png

2）流量的录制：

在链路的起点进行录制：比如Nginx网关上进行录制：./gor -input-raw :8082 -output-file requests.gor

  • 输入的是8082的端口的所有流量

  • 输出到文件：requests.gor 里， 文件会自动加一个后缀：requests_0.gor

可以cat查看一下这个文件内容：录制其实就是把http请求的信息保存下来了

Image.png

3）流量的回放

切换到另外一个复刻的项目服务器：也需要安装goreplay的依赖和工具

./gor -input-file requests.gor -output-http "http://ip:8082"

所有保存在requests.gor中的请求通过相同的时间顺序请求到指定的服务器。【另外一个台服务器需要复刻好用户或者生产的环境】

Image.png

生产环境的录制文件拉取下来，放到专门用于流量回放的服务器里

注意：不要直接在生产环境里回放流量，因为流量回放本质就是goreplay发起请求，你放在生产环境里直接回放影响生产环境的性能 ，因为goreplay发起请求需要占用资源。

而且，这个工具需要回放的环境跟录制的环境 保持一致，包括数据和整个链路。不然回放不成功。

4）Goreplay工具的其他一些用法：

1）捕获流量并实时打印到屏幕上：【不是输出到文件】：

./gor -input-raw :8082 -output-stdout

  • 监控8082的端口上所有的流量，并通过终端stdout输出 也就是输出到屏幕

Image.png

2）捕获流量并实时同步到另外的机器：

  • ./gor -input-raw :8082 -output-http "[http://192.168.61.155:8082](http://192.168.61.155:8082/)"

  • 将8082端口的流量实时同步访问http://192.168.61.155:8082

    • 要确保两台机器的复刻数据和服务，并且网络是通的

    • 两边实时同步。

3）将捕获到的流量回放到多台服务器：

  • ./gor -input-raw :8082 -output-http "[http://192.168.61.155:8082](http://192.168.61.155:8082/)" -output-http "[http://192.168.61.156:8082](http://192.168.61.155:8082/)"

  • 可以加上多台回放机器：默认会向所有输出机器发送相同的的流量，但是可以进行流量切割：

    • --split-output 选项将其平均分配：./gor -input-raw :8082 -output-http "[http://192.168.61.155:8082](http://192.168.61.155:8082/)" -output-http "[http://192.168.61.156:8082](http://192.168.61.155:8082/)" --split-output true

4）请求过滤：不想要捕获所有的流量，过滤你想要的流量进行捕获。【这个参数跟位置没有关系 前面后面都可以】

  • 1-按照method进行过滤：./gor -input-raw :8082 -output-http "[http://192.168.61.155:8082](http://192.168.61.155:8082/)" --http-allow-method GET

    • 过滤只有GET请求会被捕获并回放，在目标机器里只能看到get请求的回放。【POST就会只回放捕获post的请求，这个一定要大写才可以识别】

  • 2-按照path进行过滤：

    • 允许指定path路径：./gor -input-raw :8082 -output-http "   [http://192.168.61.155:8082](http://192.168.61.155:8082/)" --http-       allow-url /user/login

  • 不允许指定path：./gor -input-raw :8082 -output-http "   [http://192.168.61.155:8082](http://192.168.61.155:8082/)" --http-       disallow-url /user/login

    • 只有接口地址为 /user/login -登录请求才不会被捕获和回放

    • 只有 接口地址为 /user/login -登录请求才会被捕获和回放

5）限速机制：可以在回放的时候限制每秒请求数

  • 每秒请求数限制2个以内：./gor -input-raw :8082 -output-http "http://192.168.61.155:8082|2"

    • 回放机器上就只会看到每秒2个请求

6）流量回放频率控制：可以进行性能测试加速,只能通过文件进行回放加速

  • ./gor -input-file "requests.gor|200%" -output-http "[http://192.168.61.155:8082](http://ip:8082/)"

7）循环使用文件进行回放：-input-file-loop ,重复使用数据进行压测

  • ./gor -input-file "requests.gor" -output-http "[http://192.168.61.155:8082](http://ip:8082/)" -input-file-loop

流量录制和回放的重要性

研究表明，基于真实流量录制的测试比合成流量测试更能反映实际用户行为。以下是其主要优势：

  • 真实性：录制的流量基于实际用户操作，测试结果更贴近真实使用场景。
  • 可扩展性：通过回放，可以模拟数百或数千用户的并发访问，帮助理解系统在高负载下的表现。
  • 可重复性：录制的场景可一致重放，便于比较系统变更前后的性能。

然而，流量录制和回放也面临挑战，例如敏感数据的处理和系统状态管理。这些问题将在后续讨论中详细阐述。

常用工具

以下是一些支持流量录制和回放的工具，适合全链路压测：

工具描述适用场景
Apache JMeter开源，内置录制功能，支持HTTP流量回放Web应用性能测试，中小规模负载
Gatling开源，基于Scala，支持高并发流量回放高性能测试，微服务架构
LoadRunner商业工具，支持复杂场景录制和回放企业级应用，大规模分布式测试
Amazon Load Testing Service云服务，支持基于录制流量的负载测试云原生应用，跨区域测试
最佳实践
  • 代表性录制：从多个用户和场景录制流量，确保覆盖高峰期和典型操作。
  • 参数化与动态数据：处理动态数据，避免回放时因数据不一致导致测试失败。
  • 渐进式测试：从小规模测试开始，逐步增加负载，避免测试环境崩溃。
  • 监控与分析：集成监控工具，全面观察系统各层面的性能，包括应用层、数据库和网络。
  • 法律与安全：确保录制和回放过程符合数据保护法规，处理敏感信息时进行脱敏。

 

考虑因素

法律与安全

录制生产环境流量时，需注意法律合规性，确保不捕捉个人身份信息（PII）。建议使用数据掩码或脱敏工具，保护用户隐私。

系统状态管理

回放录制的流量时，需确保系统状态一致。例如，如果录制的操作包括创建或删除数据，回放时可能导致数据不一致。建议在每次测试前重置系统，或使用数据清理脚本恢复初始状态。

总结

链路压测，中文中常被称为“端到端负载测试”，是一种性能测试方法，旨在评估系统从客户端到服务器再返回的整个链条在各种负载条件下的表现。其目标是模拟真实世界的使用场景，识别性能瓶颈，确保系统在高流量下稳定运行。

流量录制和回放是全链路压测的重要组成部分。流量录制涉及捕捉真实用户交互或HTTP请求，以了解实际使用模式。回放则是在测试环境中以规模化方式重放这些请求，模拟大量用户访问，评估系统性能。

全链路压测通过流量录制和回放模拟真实用户行为，是性能测试的重要方法。实施时需注意录制代表性、处理敏感数据、参数化动态元素，并确保系统状态一致。使用适当工具和最佳实践，可有效识别瓶颈，优化系统性能。


http://www.ppmy.cn/news/1584104.html

相关文章

Open GL ES -＞模型矩阵、视图矩阵、投影矩阵等变换矩阵数学推导以及方法接口说明

Open GL ES -＞模型矩阵、视图矩阵、投影矩阵等变换矩阵数学推导以及方法接口说明

Open GL ES 变换矩阵详解 一、坐标空间变换流程 局部空间 ->Model Matrix(模型矩阵)-> 世界空间 世界空间->View Matrix(视图矩阵)->观察空间 观察空间 ->Projection Matrix(投影矩阵)->裁剪空间 裁剪空间 ->ViewPort Transform(视口变换)>屏幕空间 …
阅读更多...
【环路补偿】环路补偿的九种类型-mathcad计算书免费下载

【环路补偿】环路补偿的九种类型-mathcad计算书免费下载

环路补偿的九种类型-mathcad计算书免费下载 通过网盘分享的文件：环路补偿的9种类型.xmcd 链接: https://pan.baidu.com/s/1QIwsKsbv-WyyYgGc4P1eqg?pwd4sar 提取码: 4sar --来自百度网盘超级会员v3的分享
阅读更多...
数据结构之队列的链式结构-初始化-判断队列是否为空-入队-出队-获取队头元素

数据结构之队列的链式结构-初始化-判断队列是否为空-入队-出队-获取队头元素

数据结构之队列的链式结构基本操作-初始化-判断队列是否为空-入队-出队-获取队头元素 完整可运行代码&#xff1a; #include <stdio.h> #include <stdlib.h>typedef int ElemType;typedef struct QueueNode {ElemType data;struct QueueNode *next; }QueueNode;t…
阅读更多...
CentOS 7 换源

CentOS 7 换源

1.备份原yum源文件 mv /etc/yum.repos.d/CentOS- Base.repo /etc/yum.repos.d/CentOS- Base.repo.backup 2.下载阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 3.清除缓存&&更新缓存 yum clean all 清除缓存 …
阅读更多...
国产芯片解析：龙讯中继器/矩阵和交叉点

国产芯片解析：龙讯中继器/矩阵和交叉点

随着高清视频和多设备连接需求的不断增加&#xff0c;HDMI 延伸器/矩阵和交叉点设备在现代电子系统中扮演着至关重要的角色。本文将介绍一些主流的产品及其特性&#xff0c;帮助您在设计中做出更明智的选择。 主要产品介绍 ‌LT86121EX (QFN-88)‌ ‌描述‌: HDMI 2.0 延伸器&…
阅读更多...
关于deepseek

关于deepseek

DeepSeek&#xff1a;领先的人工智能研究与创新公司 公司简介 DeepSeek&#xff08;深度求索&#xff09;是一家专注于人工智能&#xff08;AI&#xff09;技术研发的创新公司&#xff0c;致力于推动大模型、自然语言处理&#xff08;NLP&#xff09;、机器学习&#xff08;M…
阅读更多...
数据结构C语言练习(单双链表)

数据结构C语言练习(单双链表)

本篇练习题(单链表)&#xff1a; 1.力扣 203. 移除链表元素 2.力扣 206. 反转链表 3.力扣 876. 链表的中间结点 4.力扣 21. 合并两个有序链表 5. 牛客 链表分割算法详解 6.牛客 链表回文结构判断 7. 力扣 160. 相交链表 8. 力扣 141 环形链表 9. 力扣 142 环形链表 II…
阅读更多...
DeepSeek大模型应用开发新模式

DeepSeek大模型应用开发新模式

DeepSeek大模型应用全景技术架构 DeepSeek大模型 VS 主流大模型 DeepSeek大模型系统提示词 VS 主流大模型 DeepSeek大模型迭代版本 DeepSeek专业化模型分类 DeepSeek大模型部署所需显存资源 DeepSeek不同参数模型及应用场景 DeepSeek大模型安装部署技术选型
阅读更多...
最新文章

Copyright @ 2022~2023