redolog与binlog的写入机制

ops/2024/11/3 2:19:47/

redo log

事务在执行的过程中,生成的redo log是要先写到redo log buffer中的。redo log buffer里面的内容不需要每次生成后都直接持久化到磁盘。
如果事务执行期间MySQL发生异常重启,那这部分日志就丢了,但是由于没有commit,所以丢了也不会有损失。
不过,事务没commit时,redo log buffer却有可能持久化到磁盘

redo log可能存在的三个状态

  1. 存在redo log buffer中,物理是在MySQL进程中
  2. 写到磁盘(write),但是没有持久化(fsync),物理上是在文件系统的page cache中
  3. 持久化到磁盘,物理上是在hard disk中

写redo log buffer是很快的,write到page chche也差不多,但是fsync的速度就慢很多了

InnoDB提供了innodb_flush_log_at_trx_commit参数用于控制redo log的写入策略

  1. 设置为0,每次commit都只把redo log留在redo log buffer
  2. 设置为1,每次commit都将redo log持久化到hard disk
  3. 设置为2,每次commit都只把redo log写到page cache

InnoDB有一个后台线程,每间隔1s就会把redo log buffer中的日志,调用write写到page cache,然后调用fsync持久化到hard disk

注意,事务执行中的redo log也是直接写到redo log buffer中的,这些redo log也会被一起持久化到hard disk。也就是说一个没有commit的事务的redo log也是可能已经fsync到hard disk的

除此以外,还有两种场景会让没有commit的事务的redo log fsync到hard disk中

  1. redo log buffer占用空间即将达到innodb_log_buffer_size一半的时候,后台线程会主动写盘。只是write,没有fsync
  2. 并行的事务commit时,顺带将这个事务的redo log buffer持久化到hard disk

binlog

事务执行过程中,先把日志写到binlog cache,事务commit时,再把binlog cache写到binlog文件中
一个binlog是不能被拆开的,因此无论事务多大也要一次性写入。这也就涉及到了binlog cache的保存问题

系统给binlog cache分配了一片内存,每个线程一个,参数binlog_cache_size控制单个线程内binlog cache所占内存的大小。如果超过了这个参数,就要暂存到磁盘。

事务commit时,执行器把binlog cache里的完成事务写到binlog中,并情况binlog cache
在这里插入图片描述
每个线程有自己的binlog cache,但是共用同一份binlog文件

  1. write操作是写入page cache,没有把数据持久化到hard disk,速度较快
  2. fsync操作,将数据持久化到hard disk。占磁盘的IOPS

write和fsync的时机,是由参数sync_binlog控制的

  1. 设置为0时,每次只write,不sync
  2. 设置为1时,每次都fsync
  3. 设置为N时,表示每次都write,累积N个后fsync

因此,在出现IO瓶颈的场景中,将sync_binlog设置为一个比较大的值,一般为100—1000,对应的风险是有可能会丢失最近的N个日志

binlog与redo log的区别

  1. redo log是InnoDB引擎持有的,binlog是MySQL的Server层实现的,所有引擎都可以使用
  2. redo log是物理日志,记录的是"在某个数据页上做了什么修改";binlog是逻辑日志,记录的是这个语句的原始逻辑,比如"给ID为2这一行的c字段+1"
  3. redo log是循环写的,空间固定会用完;binlog是可以追加写入的

有了对这两个日志的概念性理解,执行这个update语句的内部流程

  1. 执行器先找引擎取ID=2这一行。ID是主键,引擎直接用树搜索到这一行。如果ID=2这一行所有的数据页本来就在内存中,就直接返回给执行器;否则,需要先从磁盘读入内存,然后再返回。
  2. 执行器拿到引擎给的行数据,把这个值加上1,得到一行新的数据,再调用引擎接口写入这行新数据。
  3. 引擎将这行新数据更新到内存中,同时将这个更新操作记录到redo log里面,此时redo log处于prepare状态。然后告知执行器执行完成了,随时可以提交事务。
  4. 执行器生成这个操作的binlog,并把binlog写入磁盘。
  5. 执行器调用引擎的提交事务接口,引擎把刚刚写入的redo log改成提交(commit)状态,更新完成。

流程图如下,浅色表示在InnoDB内部执行,深色表示在执行器中执行。
在这里插入图片描述
最后三步将redo log的写入拆成了两个步骤:prepare和commit,这就是两阶段提交。


http://www.ppmy.cn/ops/130575.html

相关文章

el-table 修改高亮行样式

el-table 修改高亮行样式 <el-table reftable :data"tableData" highlight-current-row></el-table>修改样式 ::v-deep .el-table__body tr.current-row > td {background: #e1e1e1 !important;color: #000 !important; }

国自然基金项目撰写技巧

原文链接&#xff1a;国自然基金项目撰写技巧https://mp.weixin.qq.com/s?__bizMzUzNTczMDMxMg&mid2247625527&idx5&sn47c81dafb938fbc1da19e9a745f7bd5c&chksmfa8daad0cdfa23c6973c85a334373392b3edaad4a6d8661e53cd39e1d02aac5d035cad429cd2&token91245…

大数据-204 数据挖掘 机器学习理论 - 混淆矩阵 sklearn 决策树算法评价

点一下关注吧&#xff01;&#xff01;&#xff01;非常感谢&#xff01;&#xff01;持续更新&#xff01;&#xff01;&#xff01; 目前已经更新到了&#xff1a; Hadoop&#xff08;已更完&#xff09;HDFS&#xff08;已更完&#xff09;MapReduce&#xff08;已更完&am…

MFC文件管理-学习笔记

CFileDialog封装用于文件打开操作或文件保存操作的常见对话框&#xff0c;继承于CCommonDialogCFileDialog的公共数据成员&#xff1a;m_ofn:Windows的OPENFILENAME结构&#xff0c;提供对基本文件对话框参数的访问权限。使用CFileDialog对象首先要使用构造参数创建该对象&…

HCIA笔记

目录 一&#xff0c;OIS七层模型 二&#xff0c;拓扑类型 三&#xff0c;节点增加设备----HUB集线器 四&#xff0c;网桥——交换机——工作在介质访问控制层&#xff08;单位&#xff1a;BP-S&#xff09; 五&#xff0c;路由器原理 六&#xff0c;封装与解封装 七&…

【传知代码】图像处理解决种子计数方法

文章目录 一、背景及意义介绍研究背景农业考种需求传统计数方法的局限性人工计数仪器设备计数 研究意义提高育种效率提高计数准确性广泛的适用性数据存档与分析便利 二、概述三、材料与数据准备以及方法介绍整体流程图像采集图像预处理形态学操作腐蚀运算开运算 图像二值化种子…

[RoarCTF 2019]Easy Calc 1

[RoarCTF 2019]Easy Calc 1 审题 题目就是一个计算器。 看到源代码有 calc.php 进入看到waf的源代码 知识点 RCE 解题 审核代码 <?php error_reporting(0); if(!isset($_GET[num])){show_source(__FILE__); }else{$str $_GET[num];$blacklist [ , \t, \r, \n,\, &q…

基于微信小程序的图书馆座位预约系统+LW示例参考

系列文章目录 1.基于SSM的洗衣房管理系统原生微信小程序LW参考示例 2.基于SpringBoot的宠物摄影网站管理系统LW参考示例 3.基于SpringBootVue的企业人事管理系统LW参考示例 4.基于SSM的高校实验室管理系统LW参考示例 5.基于SpringBoot的二手数码回收系统原生微信小程序LW参考示…