PostgreSQL的pg_archivecleanup工具

ops/2024/10/21 6:43:16/

PostgreSQL的pg_archivecleanup工具

pg_archivecleanup 是 PostgreSQL 中用于管理 WAL(Write-Ahead Logging)归档目录的工具。在使用基于归档的日志复制或持久化存储时,pg_archivecleanup 用来清理那些不再需要的归档日志文件,帮助节省存储空间,并维持归档目录的整洁。

WAL 是 PostgreSQL 事务日志的一部分,用于保证数据库的事务完整性和持久性。在配置了WAL归档的PostgreSQL数据库中,每个事务会先写入 WAL 文件,然后定期这些 WAL 文件会被归档到指定的目录。随着时间的推移,这些归档的 WAL 文件可以累积到非常大的体积,特别是在高负载的系统中。因此,合适地清理这些不再需要的 WAL 归档文件对于管理存储非常关键。

使用方式

pg_archivecleanup 通常在备份策略或复制配置中自动调用,尤其是与归档清理相关的操作中。它的基本用法如下:

pg_archivecleanup <archive_location> <oldest_required_wal_file>
  • <archive_location> 是 WAL 文件被归档到的目录路径。
  • <oldest_required_wal_file> 指定了在归档目录中需要保留的最旧的文件。pg_archivecleanup 会删除所有比这个文件更旧的 WAL 文件。

例如,pg_archivecleanup /var/lib/postgresql/wal_archives 00000001000000000000007B 命令会删除 /var/lib/postgresql/wal_archives 目录下所有早于文件 00000001000000000000007B 的归档 WAL 文件。

–通过help查看更多信息

[pg16@test bin]$ pg_archivecleanup --help
pg_archivecleanup removes older WAL files from PostgreSQL archives.Usage:pg_archivecleanup [OPTION]... ARCHIVELOCATION OLDESTKEPTWALFILEOptions:-d             generate debug output (verbose mode)-n             dry run, show the names of the files that would be removed-V, --version  output version information, then exit-x EXT         clean up files if they have this extension-?, --help     show this help, then exitFor use as archive_cleanup_command in postgresql.conf:archive_cleanup_command = 'pg_archivecleanup [OPTION]... ARCHIVELOCATION %r'
e.g.archive_cleanup_command = 'pg_archivecleanup /mnt/server/archiverdir %r'Or for use as a standalone archive cleaner:
e.g.pg_archivecleanup /mnt/server/archiverdir 000000010000000000000010.00000020.backupReport bugs to <pgsql-bugs@lists.postgresql.org>.
PostgreSQL home page: <https://www.postgresql.org/>

测试:删除 000000010000000000000005 之前的归档日志

[pg16@test archivelog]$ ll
total 458752
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000002
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000003
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000004
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000005
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000006
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000007
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000008
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000009
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 00000001000000000000000A
-rw------- 1 pg16 pg16 16777216 Apr 17 08:11 00000001000000000000000B
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 00000001000000000000000C
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 00000001000000000000000D
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 00000001000000000000000E
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 00000001000000000000000F
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 000000010000000000000010
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 000000010000000000000011
-rw------- 1 pg16 pg16 16777216 Apr 17 08:22 000000010000000000000012
-rw------- 1 pg16 pg16 16777216 Apr 17 08:27 000000010000000000000013
-rw------- 1 pg16 pg16 16777216 Apr 22 07:20 000000010000000000000014
-rw------- 1 pg16 pg16 16777216 Apr 22 07:56 000000010000000000000015
-rw------- 1 pg16 pg16 16777216 Apr 24 21:17 000000010000000000000016
-rw------- 1 pg16 pg16 16777216 Apr 24 21:22 000000010000000000000017
-rw------- 1 pg16 pg16 16777216 Apr 24 21:37 000000010000000000000018
-rw------- 1 pg16 pg16 16777216 Apr 24 21:38 000000010000000000000019
-rw------- 1 pg16 pg16 16777216 Apr 24 21:39 00000001000000000000001A
-rw------- 1 pg16 pg16 16777216 Apr 24 21:44 00000001000000000000001B
-rw------- 1 pg16 pg16 16777216 Apr 25 03:52 00000001000000000000001C
-rw------- 1 pg16 pg16 16777216 Apr 26 03:45 00000001000000000000001D
[pg16@test archivelog]$ which pg_archivecleanup
~/soft/bin/pg_archivecleanup
[pg16@test archivelog]$ pg_archivecleanup ~/archivelog/ 000000010000000000000005
[pg16@test archivelog]$ ll
total 409600
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000005
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000006
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000007
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000008
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 000000010000000000000009
-rw------- 1 pg16 pg16 16777216 Apr 17 07:16 00000001000000000000000A
-rw------- 1 pg16 pg16 16777216 Apr 17 08:11 00000001000000000000000B
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 00000001000000000000000C
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 00000001000000000000000D
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 00000001000000000000000E
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 00000001000000000000000F
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 000000010000000000000010
-rw------- 1 pg16 pg16 16777216 Apr 17 08:19 000000010000000000000011
-rw------- 1 pg16 pg16 16777216 Apr 17 08:22 000000010000000000000012
-rw------- 1 pg16 pg16 16777216 Apr 17 08:27 000000010000000000000013
-rw------- 1 pg16 pg16 16777216 Apr 22 07:20 000000010000000000000014
-rw------- 1 pg16 pg16 16777216 Apr 22 07:56 000000010000000000000015
-rw------- 1 pg16 pg16 16777216 Apr 24 21:17 000000010000000000000016
-rw------- 1 pg16 pg16 16777216 Apr 24 21:22 000000010000000000000017
-rw------- 1 pg16 pg16 16777216 Apr 24 21:37 000000010000000000000018
-rw------- 1 pg16 pg16 16777216 Apr 24 21:38 000000010000000000000019
-rw------- 1 pg16 pg16 16777216 Apr 24 21:39 00000001000000000000001A
-rw------- 1 pg16 pg16 16777216 Apr 24 21:44 00000001000000000000001B
-rw------- 1 pg16 pg16 16777216 Apr 25 03:52 00000001000000000000001C
-rw------- 1 pg16 pg16 16777216 Apr 26 03:45 00000001000000000000001D
[pg16@test archivelog]$ 

配置场景

pg_archivecleanup 的一个常见应用场景是在流复制的备用服务器上用作 restore_command 的一部分,以自动清理那些不再需要应用到备用服务器上的 WAL 归档文件。例如,在 recovery.conf 或针对 PostgreSQL 12 及以后版本的 postgresql.conf 文件中,可以这样配置:

restore_command = 'cp /mnt/server/archivedir/%f %p && pg_archivecleanup /mnt/server/archivedir %r'

这条命令在尝试恢复每个WAL文件后,使用 pg_archivecleanup 清理不再需要的文件,%f 代表要恢复的文件名,%p 代表要恢复到的路径,%r 代表此次恢复操作中需要的最旧的WAL文件。这样配置后,可以自动地维护归档目录的大小。

注意事项

  • 使用 pg_archivecleanup 时需要谨慎,以免不小心删除了仍然需要的 WAL 文件。
  • 确认 WAL 归档策略和备份恢复策略,并与之相配合使用 pg_archivecleanup
  • 在执行任何清理操作之前,确保已经有了对应的WAL文件的备份,以防万一。

pg_archivecleanup 是 PostgreSQL 提供的一个非常实用的工具,对于管理 WAL 归档和维持长期运行的 PostgreSQL 系统的健康非常有助益。


http://www.ppmy.cn/ops/27280.html

相关文章

Stm32CubeMX 为 stm32mp135d 添加网卡 eth

Stm32CubeMX 为 stm32mp135d 添加网卡 eth 一、启用设备1. eth 设备添加2. eth 引脚配置2. eth 时钟配置 二、 生成代码1. optee 配置2. uboot 配置3. linux 配置 bringup 可参考&#xff1a;Stm32CubeMX 生成设备树 一、启用设备 1. eth 设备添加 我这里只启用一个eth设备&…

常用网络知识点(网管网工需掌握)

前言 最近在学习网络方面的内容时&#xff0c;看到很多知识点重复出现&#xff0c;不管在任何地方都能利用&#xff0c;我也就加班整理出一份针对于网络管理员/网络工程师等从业网络方面的知识点汇总 有需要的可以点赞搜藏慢慢看&#xff01;后续还会更新常见配置命令 BGP BGP…

Linux 系统上安装 NVIDIA 驱动程序失败(X server问题)

报错信息&#xff1a; ERROR: You appear to be running an X server; please exit X before installing. For further details, please see the section INSTALLING THE NVIDIA DRIVER in the README available on the Linux driver download page at www.nvidia.com. ERROR: …

4月21日,成都Sui Meetup精彩集锦

由 Sui Foundation、开发者教育平台 HackQuest&#xff0c;MoveBit&#xff0c;PoP Planet 共同主办的 Sui 成都开发者茶话会已于 4 月 21 日下午 2:00–6:00 举办&#xff0c;我们诚挚感谢所有对 Sui 生态&#xff0c;Sui Move 语言&#xff0c;和 Web3 开发有兴趣的小伙伴前来…

C++ 之CMake代码编译

1、编译过程 预处理-Pre-Processing //.i文件 # -E 选项指示编译器仅对输入文件进行预处理 g -E test.cpp -o test.i //.i文件 编译-Compiling // .s文件 # -S 编译选项告诉 g 在为 C 代码产生了汇编语言文件后停止编译 # g 产生的汇编语言文件的缺省扩展名是 .s g -S test…

关于kafka,关于消息队列、消息协议

Kafka详解 - 知乎 消息队列RabbitMQ入门与5种模式详解 - 简书 消息协议&#xff08;MQTT、AMQP、XMPP、WAMP、STOMP&#xff09;之间的区别和应用_mqtt amqp-CSDN博客

scrapy运行报错

安装好scrapy之后&#xff0c;运行scrapy --help后报错&#xff1a; > scrapy --help scrapy : 无法将“scrapy”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写&#xff0c;如果包括路径&#xff0c;请确保路径正确&#xff0c;然后再试一次。 所在…

解决iview(view ui)中tabs组件中使用图片预览组件ImagePreview,图片不显示问题

同学们可以私信我加入学习群&#xff01; 正文开始 前言一、问题描述二、原因分析三、解决方案总结 前言 最近在写个人项目的web端和浏览器插件&#xff0c;其中一个功能是base64和图片的转换。因为分成四个小功能&#xff0c;所以使用的iview的tabs来展示不同功能&#xff0c…