mysql、postgresql、oceanbase调优

ops/2024/12/20 2:48:55/

一、mysql

1、my.cnf

[mysqld_safe]
log-error=/data/mysql/log/mysql.log
pid-file=/data/mysql/run/mysqld.pid[client]
socket=/data/mysql/run/mysql.sock
default-character-set=utf8[mysqld]
basedir=/usr/local/mysql
tmpdir=/data/mysql/tmp
datadir=/data/mysql/data
socket=/data/mysql/run/mysql.sock
port=3306
user=root
default_authentication_plugin=mysql_native_password
ssl=0 #关闭ssl
max_connections=2000  #设置最大连接数
back_log=2048  #设置会话请求缓存个数
performance_schema=OFF #关闭性能模式
max_prepared_stmt_count=128000#file
innodb_file_per_table=on #设置每个表一个文件
innodb_log_file_size=1500M #设置logfile大小
innodb_log_files_in_group=32 #设置logfile组个数
innodb_open_files=4000 #设置最大打开表个数#buffers
innodb_buffer_pool_size=230G #设置buffer pool size,一般为服务器内存60%
innodb_buffer_pool_instances=16 #设置buffer pool instance个数,提高并发能力
innodb_log_buffer_size=64M #设置log buffer size大小#tune
sync_binlog=1 #设置每次sync_binlog事务提交刷盘
innodb_flush_log_at_trx_commit=1 #每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去
innodb_use_native_aio=1 #开启异步IO
innodb_spin_wait_delay=180 #设置spin_wait_delay 参数,防止进入系统自旋
innodb_sync_spin_loops=25  #设置spin_loops 循环次数,防止进入系统自旋
innodb_spin_wait_pause_multiplier=25 #设置spin lock循环随机数
innodb_flush_method=O_DIRECT #设置innodb数据文件及redo log的打开、刷写模式
innodb_io_capacity=20000 # 设置innodb后台线程每秒最大iops上限
innodb_io_capacity_max=40000 #设置压力下innodb后台线程每秒最大iops上限
innodb_lru_scan_depth=9000 #设置page cleaner线程每次刷脏页的数量
innodb_page_cleaners=16  #设置将脏数据写入到磁盘的线程数
table_open_cache_instances=32 #设置打开句柄分区数
table_open_cache=30000 #设置打开表的数量#perf special
innodb_flush_neighbors=0 #检测该页所在区(extent)的所有页,如果是脏页,那么一起进行刷新,SSD关闭该功能
innodb_write_io_threads=16 #设置写线程数
innodb_read_io_threads=16 #设置读线程数
innodb_purge_threads=32  #设置回收已经使用并分配的undo页线程数
innodb_adaptive_hash_index=0sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_AUTO_VALUE_ON_ZERO,STRICT_ALL_TABLES

2、调优参数

innodb_thread_concurrency

该参数用于控制InnoDB存储引擎在执行查询时使用的并发线程数。

高并发场景,可调整该参数,减少InnoDB层的资源争用。

建议取默认值为0,它表示默认情况下不限制线程并发执行的数量。

innodb_read_io_threads

该参数用于控制InnoDB存储引擎在执行读操作时使用的IO线程数。

可以根据CPU核数及读写比例设置该参数来提高性能。

innodb_write_io_threads

该参数用于控制InnoDB存储引擎在执行写操作时使用的IO线程数。

可以根据CPU核数及读写比例设置该参数来提高性能。

innodb_buffer_pool_instances

该参数用于控制InnoDB缓冲池的实例数量。

增加缓冲池实例数可以减少内存热点页面的争用,从而提高内存读取的并发性。

建议设置为8~32。

innodb_open_files

在innodb_file_per_table模式下,该参数用于指定InnoDB存储引擎打开的最大文件数。

建议此值调大一些,尤其是表特别多的情况。

innodb_buffer_pool_size

该参数指定了InnoDB缓冲池的大小。InnoDB缓冲池是一个内存区域,用于存储InnoDB表的数据和索引。

增加该参数,可使更多数据Cache在内存,减少IO操作。

建议设置为物理内存的70%左右。

innodb_log_buffer_size

该参数用于控制InnoDB事务日志缓冲池的大小。

  • 如果该参数设置得太小,InnoDB事务日志缓冲池可能会频繁地刷新到磁盘,导致性能下降。
  • 如果该参数设置得太大,会占用过多的内存资源,导致系统的稳定性受到影响。

合理增加日志缓冲池大小,可提升事务提交效率,尤其在大事务和高并发场景,减少日志刷盘的次数。通过查看innodb_log_wait值,来调整innodb_log_buffer_size值。以下两种情况可以考虑调大innodb_log_buffer_size参数的值:

  • 如果innodb_log_wait值不等于0并且持续增长时,表明InnoDB存储引擎的日志缓冲池(innodb_log_buffer)空间不足,导致innodb_log_buffer需要等待。
  • 如果innodb_log_wait值较高,说明InnoDB存储引擎需要更多的日志缓冲池空间。

默认值是64MB。

innodb_io_capacity

该参数定义了InnoDB后台线程每秒可用的IO操作数,即IOPS。

建议设置为磁盘IOPS总能力的75%(磁盘IOPS是指innodb_page_size大小的数据块时的IOPS)。

innodb_log_files_in_group

该参数用于指定InnoDB日志文件组中的日志文件数量。

-

innodb_log_file_size

该参数用于设置InnoDB日志文件的大小。

  • 如果存在大量写操作,建议增加日志文件大小,但日志文件过大,会影响数据恢复时间。
  • 如果是非生产环境,测试极限性能时,尽量调大日志文件。
  • 如果是商用场景,需要考虑数据恢复时间,综合折中后设置日志文件大小。

http://www.ppmy.cn/ops/143362.html

相关文章

【iOS】OC高级编程 iOS多线程与内存管理阅读笔记——自动引用计数(四)

目录 ARC规则 规则 对象型变量不能作为C语言结构体的成员 显式转换id和void* 属性 数组 ARC规则 规则 在ARC有效的情况下编译源代码必须遵守一定的规则: 主要解释一下最后两条 对象型变量不能作为C语言结构体的成员 要把对象型变量加入到结构体成员中时&a…

关于opengauss

adm开头的那些都是系统视图,不是系统表 ADM开头的系统视图,都在华为云: 路径(GaussDB官方文档-->开发指南-->开发指南(分布式_V2.0-8.x)-->系统表和系统视图-->系统视图) https://support.huaw…

使用Python实现两组数据纵向排序

一、引言 在数据分析和处理过程中,排序是一项非常常见的操作。排序操作能够让我们更清晰地理解数据,从而进行进一步的分析和处理。在Python中,排序操作通常可以通过内置函数或第三方库来实现。本文将详细讲解如何使用Python实现两组数据的纵…

数据库-mysql

数据库的概念 数据库是按照数据结构来组织、存储和管理数据的系统,它允许用户高效地存储、检索、更新和管理数据 database:用来组织,存储,管理数据的仓库 数据库的管理系统:DBMS,实现对数据的有效储值&…

[C++]纯虚函数与虚函数

1. 什么是虚函数? 1.1 定义 虚函数是用 virtual 关键字声明的成员函数,允许子类覆盖它,并支持 运行时多态。 1.2 特点 1.动态绑定(运行时决定调用函数): 虚函数在运行时,根据对象的实际类型…

华为ensp--BGP自动路由聚合

学习新思想,争做新青年。今天学习BGP自动路由聚合 实验目的 理解BGP自动路由聚合的概念 掌握BGP自动路由聚合的配置 实验拓扑 实验要求 三台路由器都使用直连的物理接口IP地址来建立EBGP邻居关系,R2和R3的Loopback1接口用来模拟各自ISP中的一个网段。…

opencv——(图像梯度处理、图像边缘化检测、图像轮廓查找和绘制、透视变换、举例轮廓的外接边界框)

一、图像梯度处理 1 图像边缘提取 cv2.filter2D(src, ddepth, kernel[, dst[, anchor[, delta[, borderType]]]]) 功能:用于对图像进行卷积操作。卷积是图像处理中的一个基本操作,它通过一个称为卷积核(或滤波器)的小矩阵在图像上…

数据版本管理和迁移工具Flyway用法最简说明

简介 数据库迁移及版本控制工具, 用于维护不同环境下数据库的一致性 使用 引入依赖 implementation(“org.flywaydb:flyway-core:7.1.1”) 配置 spring:flyway:enabled: truelocations: classpath:sqlbaseline-on-migrate: trueclean-disabled: trueenabled: true # 开启Fl…