性能测试调优之线程池的性能优化

ops/2024/11/29 1:17:59/

做性能测试时,有些压测场景下TPS上不去,或者响应时间变长,或者直接出现一些连接
被拒绝的报错,这些都有可能是tomcat的连接池不够引起的。

连接池的概念

线程池:是一个管理线程集合的框架,它负责维护一个线程集合,这些线程可以在需要时被重用,从而减少了线程创建和销毁的开销,用于优化资源管理和提高程序性能。

线程池在CentOS系统中大小通常不是直接在操作系统级别进行配置的,而是依赖于运行的应用程序或中间件(如Tomcat、Java应用程序等)的配置。

  • tomcat的项目里:改 server.xml文件中可以修改连接池的配置参数
  • 现在很多项目 springboot开发这个框架,内置了tomcat, 也有连接池的配置参数,只是这个参数开发写在代码中打在jar包中。如果需要调整只能找开发人员去修改他的代码

线程池的工作过程

1、在程序开始时,线程池会根据配置(如核心线程数、最大线程数、队列容量等)初始化一定数量的线程【这个不是最大的线程数】,并等待任务到来。

2、当有新的任务提交给线程池时,线程池会接收这个任务。

3、线程池会按照一定的策略(如FIFO、优先级等)将任务分配给空闲的线程去执行。

4、分配到任务的线程会开始执行这个任务,直到任务完成;执行完毕后,线程不会立即销毁,而是回到线程池中等待下一个任务。

5、线程池会根据配置和当前的工作负载来动态地调整线程的数量:

  • 当空闲线程数量超过核心线程数时,线程池会尝试销毁一些空闲线程来节省资源。
  • 如果当前没有空闲的线,线程池会根据配置来决定如何处理这个任务:
    1、如果线程数未达到最大线程数,线程池会尝试创建新的线程来执行任务。
    2、如果线程数已达到最大线程数,并且任务队列已满,线程池会根据配置的拒绝策略来处理这个任务(如抛出异常、忽略任务、使用调用者线程执行任务等)。

线程池的优点

  • 降低资源消耗:通过重用已存在的线程,减少了线程创建和销毁的开销。
  • 提高响应速度:当任务到达时,任务可以不需要等待线程创建就能立即执行。
  • 提高线程的可管理性:线程是稀缺资源,如果无限制地创建,不仅会消耗系统资源,还会降低系统的稳定性。使用线程池可以进行统一的分配、调优和监控。

调整线程池大小

tomcat:如果你在使用Tomcat作为Web服务器,可以在Tomcat的配置文件conf/server.xml中配置元素来定义线程池。然后,在元素中引用这个线程池。

在性能测试时,如果线程池不足引发的性能问题

1、任务执行时间变长:由于线程池中的线程数量有限,当有大量任务需要执行时,任务需要等待其他任务完成才能获取到线程资源,这会导致整体的任务执行时间变长。【RT变大】
2、任务被拒绝:当线程池中的线程都处于忙碌状态,且队列已满时,新提交的任务可能会被拒绝执行。这可能会导致程序出现错误或异常。【报错:RejectedExecutionException】

在Java中,线程池提供了四种预定义的拒绝策略:

  • AbortPolicy:丟弃任务并抛出RejectedExecutionException异常 【默认的策略】
  • DiscardPolicy:丢弃任务,但是不抛出异常;
  • DiscardOldestPolicy:丢弃队列最前面的任务,然后重新提交被拒绝的任务
  • CallerRunsPolicy:由调用线程(提交任务的线程)处理该任务

3、系统资源利用率低:在某些情况下,尽管线程池不足,但系统可能仍有空闲资源(如CPU、内存等)。这可能是因为线程池的配置不合理,导致资源没有得到充分利用。

线程池问题的性能调优

如果性能测试中,出现以下现象:

1、要求的并发用户数达不到
2、响应时间特别长
3、直接报错丢弃任务。

可能原因:应用支持的连接池不够。

解决办法:
修改tomcat的连接池的配置参数 maxThreads值, 适当的扩大。

但是要注意:线程池不是可以无限扩大的,设置越大消耗的内存和系统本身的资源越多;所以要适当并合理的设置。


http://www.ppmy.cn/ops/137524.html

相关文章

【Oracle11g SQL详解】 SELECT 语句的基础用法与示例

SELECT 语句的基础用法与示例 在 Oracle 11g 中,SELECT 语句是最常用的 SQL 语句,用于从数据库表中查询数据。本文将从语法结构、使用方法和常见示例出发,系统讲解 SELECT 语句的基础用法。 一、SELECT 语句的基本语法 SELECT 列名1, 列名2…

大数据机器学习算法与计算机视觉应用05:乘法权重算法

The Multiplicative Weight Algorithm The Experts ProblemWeighed Majority AlgorithmLower Bound for Deterministic AlgorithmsRandomized Weighed Majority Algorithm The Experts Problem 假设现在有 n n n位专家对 T T T天的做出预测 在第 t t t天,第 i i …

后台管理-动态路由配置以及用户权限管理(vue3+element plus+koa+Sequelize )

前言 之前开发了一个校园二手物品交易网站的demo 前端采用Vue2结合Element UI 后端采用了koa 、Sequelize 、Mysql 在工作了一年多之后,突然想针对工作所学来完善一下自己手里的项目 想要做一个针对于该平台或多个平台,来进行路由配置和角色集中管理…

算法篇:贪心算法

题目一:均分纸牌 有n堆纸牌,编号分别为 1,2,…,n1,2,…,n。每堆上有若干张,但纸牌总数必为nn的倍数。可以在任一堆上取若干张纸牌,然后移动。 移牌规则为:在编号为11的…

Kafka日志索引详解以及生产常见问题分析与总结

文章目录 一、Kafka的Log日志梳理1.1、Topic下的消息如何存储1.1.1、log文件追加记录所有消息1.1.2、index和timeindex加速读取log消息日志 1.2、文件清理机制1.2.1、如何判断哪些日志文件过期了1.2.2、过期的日志文件如何处理 1.3、Kafka的文件高效读写机制1.3.1、Kafka的文件…

CBK7运营安全

1 运营部门的角色 ​ prudent man、due care(按要求执行)VS due diligence(承担管理者责任) ​ 应尽关注:执行了负责任的动作降低了风险。 ​ 应尽职责:采取了所有必要的安全步骤以了解公司或个人的实际风…

2024年11月27日Github流行趋势

项目名称:screenshot-to-code 项目维护者:abi clean99 sweep-ai kachbit vagusX项目介绍:通过上传截图将其转换为整洁的代码(支持HTML/Tailwind/React/Vue)。项目star数:62,429项目fork数:7,614…

Spring Boot 的 WebClient 实践教程

什么是 WebClient? 在 Spring Boot 中,WebClient 是 Spring WebFlux 提供的一个非阻塞、响应式的 HTTP 客户端,用于与 RESTful 服务或其他 HTTP 服务交互。相比于传统的 RestTemplate,WebClient 更加现代化,具有异步和…