压测背景
满足V23小程序大定场景下的性能
批量造10万的token数据进行压测
性能测试名词解释
| 术语 | 释义 |
| VU | 并发用户数 |
| RT | 响应时间 |
| TPS | 吞吐量的一种，指每秒处理的事务数，每个事务可以是一个接口或者多个接口 |
| QPS | 吞吐量的一种,指每秒服务器处理的请求数量（就是服务器的接口） 可以理解为就是一个接口 |
环境资源
压测工具:PTS
服务名:uat-chery-icar-sale-biz 资源: cpu: 8核 内存:30G 节点数:5
服务名:chery-icar-promotion-auth 资源: cpu:8核 内存:30G 节点数:5
小订-wecat-MySQL
版本:8.0.28 cpu:16核 内存:32G 节点数:1
Redis
版本:5.0 内存:32G
消息队列
rocketmq-1015897114
版本:5.X
压测场景结果
大定下单
| 压测轮次 | 场景 | 接口 | 服务名 | VU | PTS | RT(ms) | 情况说明 | 压测报告 | 附件 |
| 1 | 大定下单 | 大定下单(/minapp/sale/order/create) | uat-chery-icar-sale-biz | 高并发下产生大量500报错(订单号重复) | https://ptsnext.console.aliyun.com/#/jmeter/report/VHQUJJV/BR2TQ69A |
| |||
| 2 | 大定下单 | 大定下单(/minapp/sale/order/create) | uat-chery-icar-sale-biz | 60 | 110 | 839 | 目前有0.4%的500的报错 | https://ptsnext.console.aliyun.com/#/jmeter/report/VHQUJJV/0WBYQ63A |
redis连接数22640 |
| 3 | 160 | 876 | 834 | 目前的瓶颈在rocketmq | https://ptsnext.console.aliyun.com/#/jmeter/report/VHQUJJV/TFE6Q6FA |
| |||
| 4 | 大定下单 | 大定下单(/minapp/sale/order/create) | uat-chery-icar-sale-biz | 150 | 550 | 753 | 节点数降到了5个，之前节点数是10个。 | https://ptsnext.console.aliyun.com/#/jmeter/report/VHQUJJV/F4SBQ6RA |
|
大定查询
| 压测轮次 | 场景 | 接口 | 服务名 | VU | TPS | RT(ms)（99%） | 情况说明 | 压测报告 | 附件 |
| 1 | 查询大定 | 查询大定(/minapp/sale/order/list) | uat-chery-icar-sale-biz | 20 | 400 | 822 | 数据库内存占用过高。大量的空查询映射到mysql上面导致mysql数据量飙升。缓存被穿透 | https://ptsnext.console.aliyun.com/#/jmeter/report/X6QUKAV/P93PQ65A |
|
| 2 | 查询大定(性能问题解决后多轮负压结果) | 查询大定(/minapp/sale/order/list) | uat-chery-icar-sale-biz | 250 | 3900 | 897 | 经过优化后以及多轮负压后目前大定查询接口瓶颈 | https://ptsnext.console.aliyun.com/#/jmeter/report/X6QUKAV/N58HQ60A |
|
| 300 | 2000 | 839 | 发生大对象的GC导致的 | https://ptsnext.console.aliyun.com/#/jmeter/report/X6QUKAV/LGEKQ69A |
| ||||
| 300 | 7000 | 341 | 瓶颈受网络带宽的影响 | https://ptsnext.console.aliyun.com/#/jmeter/report/X6QUKAV/ENG4Q69A |
|
小定查询
| 场景 | 接口 | 服务名 | VU | TPS | RT(ms)（99%） | 情况说明 | 压测报告 | 附件 |
| 查询小定 | 查询小定(/minapp/presale/order/getCarOrderPage) | uat-chery-icar-sale-biz | 20 | 126 | 162 | https://ptsnext.console.aliyun.com/#/jmeter/report/3TQUZ3V/9768Q6NA |
| |
| 100 | 270 | 951 | 瓶颈发生大对象的Full GC导致的 | https://ptsnext.console.aliyun.com/#/jmeter/report/3TQUZ3V/ELEQQ67A |
|
登录注册
| 场景 | 接口 | 服务名 | VU | TPS | RT(ms)（99%） | 情况说明 | 压测报告 | 附件 |
| 登录注册 | 登录注册(/promotion/auth/loginTest) | 250 | 4800 | 172 | 通过openid直接调用我们这边的接口 | https://ptsnext.console.aliyun.com/#/jmeter/report/FARV4XV/108MQ68A |
| |
| 800 | 9898 | 577 | https://ptsnext.console.aliyun.com/#/jmeter/report/FARV4XV/65FEQ6IA |
| ||||
| 2000 | 4100 | 939 | 存在Full GC的问题 | https://ptsnext.console.aliyun.com/#/jmeter/report/FARV4XV/D5REQ6QA |
|
微信授权手机号
| 场景 | 接口 | 服务名 | VU | TPS | RT(ms)（99%） | 情况说明 | 压测报告 | 附件 |
| 微信授权手机号 | /promotion/pressureTest/testUpdateMobile | chery-icar-promotion-auth | 3000 | 15600 | 571 | https://ptsnext.console.aliyun.com/#/jmeter/report/NCSWV7V/6NPYQ61A |
|
改变用户手机号
| 场景 | 接口 | 服务名 | VU | TPS | RT(ms)（99%） | 情况说明 | 压测报告 | 附件 |
| 改变用户手机号 | /promotion/user/changeMobile | chery-icar-promotion-auth | 0 | 0 | 0 | 发生大量的GC导致整个TPS上去后又下到几乎为零 | https://ptsnext.console.aliyun.com/#/jmeter/report/41TXICV/WYQDQ61A |
|
获取用户安全等级
| 场景 | 接口 | 服务名 | VU | TPS | RT(ms)（99%） | 情况说明 | 压测报告 | 附件 |
| 获取用户安全等级 | 获取用户安全等级(/validate/security/level) | chery-icar-validate | 100 | 330 | 978 | 瓶颈在附件圈红框的调用第三方接口的地方 | https://ptsnext.console.aliyun.com/#/jmeter/report/B1SWAJV/4MGIQ6YA |
|
混合场景
查大定，查小定---大定下单
| 场景 | 接口 | 服务名 | VU | TPS | RT(ms)（99%） | 情况说明 | 压测报告 | 附件 |
| 混合场景 | 查大定，查小定，大定下单 | 30 | 55 | 990 | https://ptsnext.console.aliyun.com/#/jmeter/report/4URVQ5V/P0B5Q6WA |
| ||
| https://ptsnext.console.aliyun.com/#/jmeter/report/4URVQ5V/XIEXQ6MA |
|
大定下单---支付回调---锁单
| 场景 | 接口 | 服务名 | VU | TPS | RT(ms)（99%） | 情况说明 | 压测报告 | 附件 |
| 大定下单---支付回调---锁单 | uat-chery-icar-sale-biz | 90 | 440 | 818 | 消息队列存在瓶颈导致下单和锁单存在报错 | https://ptsnext.console.aliyun.com/#/jmeter/report/TQTX0QV/2EN2Q6NA |
|
全链路压测
| 场景 | 接口 | 服务名 | VU | TPS | RT(ms)（99%） | 情况说明 | 压测报告 | 附件 |
| 全链路(查询大定小定，大定下单，支付回调,) | chery-icar-promotion-auth uat-chery-icar-sale-biz | 150 | 760 | 847 | 消息队列存在瓶颈 | https://ptsnext.console.aliyun.com/#/jmeter/report/FFTX32V/ZNN3Q6UA |
| |
| 全链路(查询大定小定，大定下单，支付回调,锁单) | chery-icar-promotion-auth uat-chery-icar-sale-biz | 150 | 800 | 856 | biz的服务cpu占用80%存在瓶颈 | https://ptsnext.console.aliyun.com/#/jmeter/report/FFTX32V/GRQYQ6EA |
|
问题跟踪及解决措施
| 编号 | 问题接口 | 问题描述 | 解决结果 | 解决措施 |
| 1 | 大定下单(/minapp/sale/order/create) | 高并发下产生大量500报错(产生订单号重复导致) | 已解决 | 订单号进行调整由随机的4位变为随机的8位。 优化雪花算法的使用方式。 |
| 2 | 大定下单(/minapp/sale/order/create) | 订单号生成规则调整后又产生了新的500报错问题
| 已解决 | 调整了分库分表规则 |
| 3 | 大定下单(/minapp/sale/order/create) | 产生了新的500报错
| 已解决 | 更换大定订单生成策略 |
| 4 | 查询大定(/minapp/sale/order/list) | 缓存被击穿 | 已解决 | 加了一个类布隆过滤器 |
| 5 | 查询大定(/minapp/sale/order/list) | 发生大对象的Full GC | 已解决 | 本地缓存造成的删除掉本地缓存caffeine |
| 6 | 大定下单(/minapp/sale/order/create) | rocketmq达到500TPS瓶颈导致大定下单并发上不去 | 已解决 | 调整消息队列的TPS |
| 7 | 大定下单(/minapp/sale/order/create) | 大定下单并发量由于数据库原因上不去，数据库达到瓶颈 | 已解决 | 对数据库进行分库分表提高并发量根据用户的userId对5取余，让用户数据落到不同数据库 |
| 8 | 查询小定(/minapp/presale/order/getCarOrderPage) | 并发量低 | 已解决 | 将小定数据提前预热将数据刷入缓存统一走缓存 |
| 9 | 数据配置 | 走本地cdn | ||
| 10 | 改变用户手机号 | 发生young gc次数比较多 影响并发量 | 增加数据库连接数 |
