深刻理解Redis集群(上):RDB快照和AOF日志

ops/2024/10/20 11:35:23/

08588be035b8accfdaa4de7c04741916.png

RDB快照

save同步阻塞

  • 客户端

21a4cd866e6b96234f360ceaaff0c4c8.png

  • 服务端

ac5fbe0b1229f3b41730ed278064b28a.png

  • .conf配置文件

# The filename where to dump the DB
dbfilename dump.rdb# rdb-del-sync-files是Redis配置文件中的一个选项,它的作用是在主节点上执行BGSAVE或AOF持久化操作时,删除同步锁文件,以释放磁盘空间。当这个选项设置为yes时,Redis会自动删除同步锁文件;当这个选项设置为no时,Redis不会自动删除同步锁文件。
rdb-del-sync-files no# rdb文件保存路径
dir /Users/momoubin/install/redis
  • .rdb快照文件

41db333608e2d59888e017d7ba25ac66.png

053834a423a12f1be82dc168e60d66b8.png

分析

执行save命令会手动触发RDB持久化,但是save命令会阻塞Redis服务,直到RDB持久化完成。当Redis服务储存大量数据时,会造成较长时间的阻塞,不建议使用。

bgsave

  • client

20ad68996c963db7d7fcb248e2ef059b.png

  • server

4347eef9f7956197a990c21891dc15ea.png

分析

20687c7be5338cd5f37cdcdd1f9f1aa5.png

执行bgsave命令也会手动触发RDB持久化,和save命令不同是:Redis服务一般不会阻塞。Redis进程会执行fork操作创建子进程,RDB持久化由子进程负责,不会阻塞Redis服务进程。

RDB优缺点

RDB文件是一个紧凑的二进制压缩文件,是Redis在某个时间点的全部数据快照。


优点缺点
RDB使用RDB恢复数据的速度远远比AOF的快,非常适合备份、全量复制、灾难恢复等场景。每次进行bgsave操作都要执行fork操作创建子经常,属于重量级操作,频繁执行成本过高,所以无法做到实时持久化,或者秒级持久化。


AOF日志

AOF(Append Only File)持久化是把每次写命令追加写入日志中,当需要恢复数据时重新执行AOF文件中的命令就可以了。

AOF解决了数据持久化的实时性,也是目前主流的Redis持久化方式,这里分为四个步骤。

四个步骤

  1. 命令追加(append):所有写命令都会被追加到AOF缓存区(aof_buf)中。

  2. 文件同步(sync):根据不同策略将AOF缓存区同步到AOF文件中。

  3. 文件重写(rewrite):定期对AOF文件进行重写,以达到压缩的目的。

  4. 数据加载(load):当需要恢复数据时,重新执行AOF文件中的命令。

4a88aaa752801eecb79f9979faf8dba9.png

文件同步策略

AOF持久化流程中的文件同步有以下几个策略:

  1. always:每次写入缓存区都要同步到AOF文件中,硬盘的操作比较慢,限制了Redis高并发,不建议配置。

  2. no:每次写入缓存区后不进行同步,同步到AOF文件的操作由操作系统负责,每次同步AOF文件的周期不可控,而且增大了每次同步的硬盘的数据量。

  3. eversec:每次写入缓存区后,由专门的线程每秒钟同步一次,做到了兼顾性能和数据安全。是建议的同步策略,也是默认的策略。

配置文件

  • conf配置文件

# appendonly改为yes,开启AOF
appendonly yes
# AOF文件的名字
appendfilename "appendonly.aof"
# AOF文件的写入方式
# everysec 每个一秒将缓存区内容写入文件 默认开启的写入方式
appendfsync everysec
# 运行AOF重写时AOF文件大小的增长率的最小值
auto-aof-rewrite-percentage 100
# 运行AOF重写时文件大小的最小值
auto-aof-rewrite-min-size 64mb

手动触发

  • client

Background append only file rewriting started
127.0.0.1:6379> Set 1 1
OK
127.0.0.1:6379> set name bryant
OK
127.0.0.1:6379> hset name-list bryant mo
(integer) 1
  • server

12d74426badc027f925991018f6a948c.png

  • AOF文件

ae220a5cfab7ed87a2357dfebb96f012.png

320ce3b40e624c3208e8e36ea56da183.png

AOF备份的优缺点

AOF持久化流程中的文件重写可以手动触发,也可以自动触发。


优点

缺点

AOF-数据完整性

  • AOF文件记录了服务器接收到的所有写操作命令,并在服务器启动时,通过重新执行这些命令来重建数据集。

  • 这种方式提供了比RDB更高的数据安全性,因为它几乎不会丢失任何已提交的事务。

  • 相比于RDB快照,AOF文件通常会占用更多的磁盘空间,因为它记录了每个写操作的详细信息。

  • 随着时间的推移,如果不进行适当的重写,AOF文件可能会变得非常庞大。

可重写性

  • Redis允许在不中断服务的情况下对AOF文件进行重写,以减少文件体积和提高性能。

  • 如果配置为每次写操作都同步到磁盘,那么会对Redis的性能产生显著影响。

  • 即使是使用每秒同步一次的策略,在高并发场景下也可能导致一定的延迟。

支持不同的同步策略

  • 可以配置AOF同步到磁盘的频率,如每秒同步一次、每次写操作都同步或完全依赖操作系统。

  • 这提供了在性能和数据安全性之间的权衡选择。

  • 在主从复制的场景中,如果主节点频繁地写入AOF文件并需要将其同步到从节点,那么网络延迟可能会成为一个问题。

  • 手动触发:使用bgrewriteaof命令。

  • 自动触发:根据auto-aof-rewrite-min-size和auto-aof-rewrite-percentage配置确定自动触发的时机。

    • auto-aof-rewrite-min-size:表示运行AOF重写时文件大小的最小值,默认为64MB;

    • auto-aof-rewrite-percentage:表示当前AOF文件大小和上一次重写后AOF文件大小的比值的最小值,默认为100。只有前两者同时超过时才会自动触发文件重写。

总结

在真实环境中,Redis确实可以同时使用AOF(Append Only File)和RDB(Redis DataBase)两种持久化方式。这种混合使用的方式可以充分利用两者的优势,以达到更好的数据安全性和性能平衡。

AOF与RDB混用的优势

  1. 数据安全性增强:

    1. AOF提供了持久化的日志记录,能够保证数据的完整性,即使在系统崩溃的情况下也能最大程度地恢复数据。

    2. RDB则提供了定期的快照备份,可以在短时间内快速恢复大量数据。

  2. 性能优化:

    1. RDB的快照机制可以在后台异步执行,对Redis的性能影响较小。

    2. AOF的日志追加操作相对较轻量,但在高并发写入场景下可能会产生较大的磁盘I/O压力。通过RDB快照,可以减少AOF文件的大小,从而降低后续的日志重写和恢复成本。

  3. 灵活性提升:

    1. 结合使用AOF和RDB可以根据实际需求调整持久化策略,如在业务低峰期执行RDB快照,在高峰期依赖AOF日志保证数据实时性。

实施步骤与注意事项

  1. 配置启用AOF和RDB:

    1. 在Redis配置文件中同时开启save指令(用于触发RDB快照)和appendonly yes指令(启用AOF持久化)。

  2. 设置合理的同步策略:

    1. 调整appendfsync参数以控制AOF日志同步到磁盘的频率,默认走everysec(每秒同步一次)。

  3. 监控与维护:

    1. 定期检查AOF文件和RDB快照的健康状况,确保它们没有损坏且能够正常恢复。

    2. 使用Redis提供的工具如redis-check-aof和redis-check-rdb来验证文件的完整性。

  4. 故障恢复流程:

    1. 在发生故障时,首先尝试加载最新的RDB快照以快速恢复大部分数据。

    2. 随后应用AOF日志中的增量更新,以达到数据的最终一致性。

其他文章

Kafka消息堆积问题排查

基于SpringMVC的API灰度方案

理解到位:灾备和只读数据库

SQL治理经验谈:索引覆盖

Mybatis链路分析:JDK动态代理和责任链模式的应用

大模型安装部署、测试、接入SpringCloud应用体系

Mybatis插件-租户ID的注入&拦截应用


http://www.ppmy.cn/ops/118403.html

相关文章

【HTTPS】中间人攻击和证书的验证

中间人攻击 服务器可以创建出一堆公钥和私钥,黑客也可以按照同样的方式,创建一对公钥和私钥,冒充自己是服务器(搅屎棍) 黑客自己也能生成一对公钥和私钥。生成公钥和私钥的算法是开放的,服务器能生产&…

3. 轴指令(omron 机器自动化控制器)——>MC_MoveVelocity

机器自动化控制器——第三章 轴指令 6 MC_MoveVelocity变量▶输入变量▶输出变量▶输入输出变量 功能说明▶指令详情▶时序图▶重启运动指令▶多重启动运动指令▶异常 动作示例▶动作示例▶梯形图▶结构文本(ST) MC_MoveVelocity 使用伺服驱动器的位置控制模式,进行…

如何使用ssm实现北关村基本办公管理系统的设计与实现

TOC ssm721北关村基本办公管理系统的设计与实现jsp 第一章 绪论 1.1 选题背景 目前整个社会发展的速度,严重依赖于互联网,如果没有了互联网的存在,市场可能会一蹶不振,严重影响经济的发展水平,影响人们的生活质量。…

PCB传输线的长短问题

对于模拟信号&#xff0c;当L<波长/10&#xff0c;则可以认为传输线2端电压差很小&#xff0c;可以不考虑传输线的问题。 对于数字信号不能用基波来简单计算&#xff0c;因为数字信号含有多种高次谐波&#xff0c;按照信号上升沿(Tr)&#xff0c;和传输时间(Tp)来计算如果传…

LeetCode 69. x 的平方根

LeetCode 69. x 的平方根 给你一个非负整数 x &#xff0c;计算并返回 x 的 算术平方根 。 由于返回类型是整数&#xff0c;结果只保留 整数部分 &#xff0c;小数部分将被 舍去 。 注意&#xff1a;不允许使用任何内置指数函数和算符&#xff0c;例如 pow(x, 0.5) 或者 x ** 0…

自定义Spring Boot Starter:简化短信服务集成

在现代应用程序中&#xff0c;短信服务是一个常见的需求&#xff0c;用于发送验证码、通知等。为了简化短信服务的集成和配置&#xff0c;我们可以通过自定义Spring Boot Starter来实现。Spring Boot Starter是一种特殊的依赖项&#xff0c;它包含了实现特定功能所需的库和组件…

WPF 绑定 DataGrid 里面 Button点击事件 TextBlock 双击事件

TextBlock双击事件 <DataGridTemplateColumn Width"*" Header"内标"><DataGridTemplateColumn.CellTemplate><DataTemplate><Grid><TextBlockBackground"Transparent"Tag"{Binding InternalId}"Text"…

python的pyinstaller

1、pyinstaller --onefile -w *.py 可以生成可执行文件 -w就是不需要有console窗体出现、 2、 console窗体会出现一些警告。 比如 Warning: QT_DEVICE_PIXEL_RATIO is deprecated. Instead use: QT_AUTO_SCREEN_SCALE_FACTOR to enable platform plugin controlled per-scre…