PostgreSQL 常见配置参数

news/2024/12/5 9:49:53/

max_wal_size :

两个检查点(checkpoint)之间,WAL可增长的最大大小,即:自动WAL checkpoint允许WAL增长的最大值。

该值缺省是1GB。如果提高该参数值会提升性能,但也是会消耗更多空间、同时会延长崩溃恢复所需要的时间。

注意:这个参数是个软限制,不是硬限制,因此实际WAL可能会超过这个值(如:较大的 wal_keep_segments 设置)。

min_wal_size :

检查点(checkpoint)后用来保留的,用于未来循环使用的WAL文件。可以被用来确保有足够的WAL空间被保留来应付WAL使用的高峰,以供将来的检查点使用。这可以用来确保预留足够的WAL空间处理WAL使用中的峰值,比如当运行大批量工作时。

如果PG空闲时,会逐渐将WAL量减少到 min_wal_size。

该值缺省是80MB。请不要将该值设置的太小。

查看数据库 min_wal_size & max_wal_size 参数配置:

testdb01=> select name, setting, unit, short_desc from pg_settings where name like '%wal_size%';

max_wal_size | 1024 | MB | Sets the WAL size that triggers a checkpoint.

min_wal_size | 80 | MB | Sets the minimum size to shrink the WAL to.

也可以执行:

testdb01=> show max_wal_size;

1GB

testdb01=> show min_wal_size;

80MB

testdb01=>

WAL空间使用情况:

如果日志量大于 max_wal_size,则WAL日志空间尽量保持在 max_wal_size 。因为会触发检查点,不需要的段文件将被移除直到系统回到这个限制以下。

如果日志量小于 max_wal_size,则WAL日志空间至少保持 min_wal_size。可以被用来确保有足够的WAL空间被保留来应付WAL使用的高峰,以供将来的检查点使用。

通常情况下,WAL日志空间大小在 min_wal_size ~ max_wal_size 之间动态评估。该估计基于在以前的检查点周期中使用的WAL文件数的动态平均值。如果实际使用量超过估计值,动态平均数会立即增加。

-bash-4.2$ cd $PGDATA

-bash-4.2$ du -sh pg_wal && ls -lh pg_wal/

1.2G pg_wal

total 1.2G

-rw-------. 1 postgres postgres 16M Feb 6 09:20 000000010000000000000001

-rw-------. 1 postgres postgres 16M Feb 14 19:04 000000010000000000000002

-rw-------. 1 postgres postgres 16M Feb 14 19:04 000000010000000000000003

-rw-------. 1 postgres postgres 16M Feb 14 19:04 000000010000000000000004

-rw-------. 1 postgres postgres 16M Feb 14 19:04 000000010000000000000005

......

-rw-------. 1 postgres postgres 16M Feb 14 19:11 00000001000000000000003E

-rw-------. 1 postgres postgres 16M Feb 14 19:11 00000001000000000000003F

-rw-------. 1 postgres postgres 16M Feb 14 19:11 000000010000000000000040

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000041

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000042

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000043

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000044

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000045

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000046

-rw-------. 1 postgres postgres 16M Feb 14 19:12 000000010000000000000047

drwx------. 2 postgres postgres 6 Dec 6 2021 archive_status

-bash-4.2$

pg_wal大小至少保留 80MB 的文件,也就是 000000010000000000000001~47 所有文件至少保留 80MB

执行checkpoint以后,pg_wal大小可能会降低到 max_wal_size 以内,多次执行checkpoint不一定会降低到 min_wal_size,这还处决于很多其他配置和因素。

关于checkpoint

checkpoint:

A checkpoint is a point in the write-ahead log sequence at which all data files have been updated to reflect the information in the log. All data files will be flushed to disk.

checkpoint是WAL(write-ahead log)日志中的一个位点,在这个点位之前数据库中的所有数据都和WAL日志中反映的信息相同,也就是说该位点之前所有 Shared Buffer 中的脏页均已被刷入到存储磁盘。

checkpoint 是一个名词,同时也是一个动词,执行一个 checkpoint 操作,会往 WAL 日志里写 checkpoint 位点。

PostgreSQL 写数据的过程:

INSERT INTO test01 VALUES(1);

流程如下:

step1:将 INSERT 1 这个操作写入 WAL 日志中。 WAL 日志是物理日志,记录的是对某个文件某个块的修改。

step2:修改 Shared Buffer 中该页的信息(如果该页不在 Buffer 中,则从磁盘去取),test01表中写入1。此时如果有表的读取则直接读取Shared Buffer返回数据。

step3:background writer 写磁盘(disk)。background 进程会在某个时刻将 Shared Buffer 中的数据刷到磁盘。但是这并不是立刻发生的,而是一个异步操作。

PostgreSQL数据库故障恢复:

如果上面step3过程中出现故障、background wirter 写磁盘失败了,那么PostgreSQL重启会进入恢复模式,会基于上次 checkpoint点位和 WAL(Redo) 日志进行重放,从而将数据刷到磁盘。

checkpoint 操作会往 WAL 日志里写 checkpoint 位点。例如:

WAL: | ... | INSERT 1 | INSERT 2 | ... | INSERT 3 | checkpoint |

|

-> 这里(INSERT 1之后)执行一个checkpoint操作,产生一个 redo point(重做位点),从这里开始到checkpoint写入时一个完整的checkpoint过程

checkpoint整个流程过程如下:

step1:checkpoint 操作首先记录下 checkpoint 的开始位置(INSERT 2之后),记录为 redo point(重做位点);

step2:checkpoint 将 Shared Buffer 中的数据刷到磁盘里面去;

step3:这时候数据库又来了一条 SQL:INSERT 3;

step4:checkpoint 刷脏结束,redo point 之前的数据均已被刷到磁盘存储(数据1和2);

step5:这时候在 WAL 日志里面记录 checkpoint 位点(INSERT 3后),表明 checkpoint 操作结束。checkpoint 位点会记录相关信息,比如 redo point 的值(从哪开始重做);

step6:将最新的 checkpoint 位点记录在 pg_control 文件中。

从上面的流程可以看出,checkpoint 操作已经能保证将 redo point 位点之前的数据落盘了,那 redo point 之前的所有 WAL 日志都已经没有用了(即使下次故障,这部分数据已经被持久化落盘了,也不需要恢复),就可以请理了。不过有些特殊情况,即使WAL日志已经没有用了,也可能导致不被自动清理,例如创建了流复制插槽但未使用/消费。

数据库数据目录下pg_wal的WAL文件在开启归档的模式下,会将已归档WAL文件自动清理。

如果开启了归档,在pg_wal/archive_status目录下会有一些文件,以ready结尾的,表示可以归档但还没有归档,以done结尾的表示已经归档。

WAL文件的自动清理流程如下:

转储WAL段文件到disk,写满或者使用 pg_switch_wal() 后,会生成000000xxxx.ready文件,调用archive_command 命令且成功执行后,将ready文件更名为.done文件。而数据库会在执行checkpoint后计算出最旧的需保留的WAL文件,比该值更早的WAL文件均会被清理。

shared_buffers:

shared_buffers 是缓存。在数据库系统中,我们主要关注磁盘IO,而且其大多是随机IO,因此从磁盘的读取比较慢,为了解决这个问题,postgresql将数据缓存在内存中,牺牲内存来换取随机读取的性能。

shared_buffers 参数用来设置数据库服务器将使用的共享内存缓冲区量。默认通常是 12MB,但是如果你的内核设置不支持(在initdb时决定),那么可以会更少,但不能小于 128kB。

不过为了更好的性能,通常会使用明显高于最小值的设置。 如果指定值时没有单位(MB等),则以块为单位,即BLCKSZ字节,通常为8kB。此参数只能在服务器启动时设置。

如果服务器内存被数据库专用、服务器内存 >= 1GB,合理的shared_buffers初始值是设置为系统内存的25%。shared_buffers并非越大越好,shared_buffers增大,也会造成一些工作负载。超过内存 40% 反而会不好。

shared_buffers更大的设置通常要求对max_wal_size也做相应增加。生产系统可以根据实际业务需求适当调整该参数。


http://www.ppmy.cn/news/24978.html

相关文章

java | 基于Redis的分布式锁实现①

前言 首先,为了确保分布式锁可用,我们至少要确保锁的实现同时满足以下四个条件: 互斥性。在任意时刻,只有一个客户端能持有锁。不会发生死锁。即使有一个客户端在持有锁的期间崩溃而没有主动解锁,也能保证后续其他客户…

【蓝桥杯集训·每日一题】Acwing 3729. 改变数组元素

文章目录一、题目1、原题链接2、题目描述二、解题报告1、思路分析2、时间复杂度3、代码详解三、知识风暴一维差分区间合并一、题目 1、原题链接 3729. 改变数组元素 2、题目描述 给定一个空数组 V 和一个整数数组 a1,a2,…,an。 现在要对数组 V 进行 n 次操作。 第 i 次操作的…

【django项目开发】用户登录后缓存权限到redis中(十)

这里写目录标题一、权限的数据的特点二、首先settings.py文件中配置redis连接redis数据库一、权限的数据的特点 需要去数据库中频繁的读和写,为了项目提高运行效率,可以把用户的权限在每次登录的时候都缓存到redis中。这样的话,权限判断的中…

【算法】前缀和

作者:指针不指南吗 专栏:算法篇 🐾要学会在纸上打草稿,这个很重要🐾 文章目录1.什么是前缀和?2.怎么求前缀和?3.前缀和有什么用?4.进阶二维:矩阵和前缀和 主打一个记公式 1.什么是前…

【C语言编译器】01程序-编译器-IDE

目录一、程序的几个基本概念二、什么是编译器三、集成开发环境3.1 IDE简介3.2 windows 下的C语言IDE一、程序的几个基本概念 计算机程序(Computer Program);港、台译做电脑程式。计算机程序是一组计算机能识别和执行的指令,运行于…

CPP2022-30-期末模拟测试03

6-1 引用作函数形参交换两个整数 分数 5 全屏浏览题目 切换布局 作者 李廷元 单位 中国民用航空飞行学院 设计一个void类型的函数Swap&#xff0c;该函数有两个引用类型的参数&#xff0c;函数功能为实现两个整数交换的操作。 裁判测试程序样例&#xff1a; #include <…

LeetCode 234. 回文链表 | C语言版

LeetCode 234. 回文链表 | C语言版LeetCode 234. 回文链表题目描述解题思路思路一&#xff1a;使用快慢双指针代码实现运行结果参考文章&#xff1a;[https://leetcode.cn/problems/palindrome-linked-list/solutions/1011052/dai-ma-sui-xiang-lu-234-hui-wen-lian-bia-qs0k/?…

前端—环境配置

前端开发建议用 Google Chrome 浏览器 vscode https://code.visualstudio.com 1、open in browser 插件&#xff1a;可以在 vscode 中直接运行查看浏览器效果 2、Live Server 插件&#xff1a;可以使代码修改浏览器页面实时刷新。 用户代码片段 … JavaScript 与 TypeScri…