在MySQL中为啥引入批量键访问(Batch Key Access, BKA)

devtools/2024/10/22 9:37:59/

批量键访问(Batch Key Access, BKA) 是 MySQL 在某些情况下用于优化 JOIN 操作的一种技术,特别是在通过索引进行 JOIN 时,它能有效减少查询的随机 I/O。批量键访问优化通过将一批主键或索引键一次性发送给存储引擎来查找匹配的行,而不是逐行处理。这种方式可以有效利用数据库的缓存和减少 I/O 开销。

一、BKA 的原理

在传统的 Nested Loop Join(嵌套循环连接)中,MySQL 会逐行处理外部表的每一行,并针对每一行去内部表查找对应的匹配记录。这样会导致很多随机 I/O 操作,从而影响性能。

BKA 改进了这个过程,通过先收集一批外部表的键,然后将这些键一次性发送到存储引擎进行批量查找,这样就减少了内部表的查找次数,从而提升了性能。

二、BKA 的工作流程

  1. 外部表扫描:MySQL 首先从外部表中扫描多行记录,并收集这些记录的键值。
  2. 批量键访问:将这些键值传递给内部表的存储引擎,进行批量的索引查找。
  3. 匹配结果返回:内部表的匹配记录返回给外部表进行连接操作。

三、Java 模拟 BKA 的过程

在 Java 中,我们可以通过模拟数据库表和索引来展示 BKA 的工作流程,假设我们有两个表,outerTableinnerTable,它们之间通过某个键进行关联查询。我们将通过一次性批量获取外部表的键来进行批量查询内部表的记录。

1. 设计思路
  • 我们首先模拟两个表的数据。
  • 实现一个批量键访问的查询流程,通过批量获取外部表的键并查询内部表的匹配记录。
2. Java 代码实现
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;class Record {int id;String data;public Record(int id, String data) {this.id = id;this.data = data;}@Overridepublic String toString() {return "ID: " + id + ", Data: " + data;}
}public class BatchKeyAccessSimulator {// 模拟外部表private List<Record> outerTable = new ArrayList<>();// 模拟内部表private Map<Integer, Record> innerTable = new HashMap<>();// 初始化数据public BatchKeyAccessSimulator() {// 插入外部表数据outerTable.add(new Record(1, "Outer1"));outerTable.add(new Record(2, "Outer2"));outerTable.add(new Record(3, "Outer3"));outerTable.add(new Record(4, "Outer4"));// 插入内部表数据innerTable.put(1, new Record(1, "Inner1"));innerTable.put(2, new Record(2, "Inner2"));innerTable.put(3, new Record(3, "Inner3"));innerTable.put(5, new Record(5, "Inner5")); // 不匹配外部表}// 模拟批量键访问的 JOIN 操作public List<String> batchKeyAccessJoin() {List<String> result = new ArrayList<>();// Step 1: 批量获取外部表的键(ID)List<Integer> outerKeys = new ArrayList<>();for (Record outerRecord : outerTable) {outerKeys.add(outerRecord.id);  // 假设以 ID 作为 JOIN 键}// Step 2: 批量访问内部表,查找对应键的记录Map<Integer, Record> matchedInnerRecords = new HashMap<>();for (Integer key : outerKeys) {if (innerTable.containsKey(key)) {matchedInnerRecords.put(key, innerTable.get(key)); // 内部表的匹配记录}}// Step 3: 将外部表和内部表的数据进行关联并返回for (Record outerRecord : outerTable) {if (matchedInnerRecords.containsKey(outerRecord.id)) {Record innerRecord = matchedInnerRecords.get(outerRecord.id);result.add("Outer: " + outerRecord + " <-> Inner: " + innerRecord);} else {result.add("Outer: " + outerRecord + " <-> No Match");}}return result;}public static void main(String[] args) {BatchKeyAccessSimulator simulator = new BatchKeyAccessSimulator();// 运行批量键访问的 JOIN 操作List<String> joinResult = simulator.batchKeyAccessJoin();// 输出 JOIN 结果for (String record : joinResult) {System.out.println(record);}}
}

四、代码解析

  1. 外部表和内部表的设计

    • outerTable 是模拟的外部表,存储一组记录。
    • innerTable 是模拟的内部表,用 HashMap 来模拟索引,其中键为 id,值为对应的记录。
  2. 批量键访问的实现

    • batchKeyAccessJoin() 方法模拟了批量键访问的过程。
    • 首先批量收集外部表的键(即 id)。
    • 然后通过这些键批量查找内部表中匹配的记录,并将外部表和内部表的数据进行关联。
  3. 运行结果
    输出结果展示了批量键访问的 JOIN 操作:

    Outer: ID: 1, Data: Outer1 <-> Inner: ID: 1, Data: Inner1
    Outer: ID: 2, Data: Outer2 <-> Inner: ID: 2, Data: Inner2
    Outer: ID: 3, Data: Outer3 <-> Inner: ID: 3, Data: Inner3
    Outer: ID: 4, Data: Outer4 <-> No Match
    

    可以看到,outerTable 中的记录与 innerTable 中的记录根据 id 进行了关联,第四条记录在内部表中没有匹配的记录。

五、BKA 的优点和适用场景

优点
  1. 减少随机 I/O:传统的嵌套循环连接会对每个外部表的记录进行一次内部表查询,导致大量的随机 I/O 操作,而 BKA 技术通过批量查找减少了随机 I/O。
  2. 提高缓存利用率:BKA 可以让存储引擎将一批键的相关记录加载到缓存中,从而更好地利用缓存,提升查询效率。
适用场景
  1. 大表连接查询:在进行大表连接时,BKA 能够减少随机 I/O 提高性能。
  2. 索引存在的情况下:当内部表有合适的索引时,BKA 可以充分利用索引进行高效的批量查找。

六、BKA 的缺点

  1. 批量大小控制:如果批量大小选择不合适,可能会导致过多的数据加载到内存中,反而影响性能。
  2. 适用索引情况:BKA 主要适用于索引存在的场景,如果内部表没有合适的索引,效果会大打折扣。

七、总结

  • 批量键访问(BKA) 是一种 MySQL 优化技术,通过批量收集外部表的键并一次性查找内部表的匹配记录,从而减少随机 I/O,提升查询性能。
  • 在 Java 中,我们通过模拟外部表和内部表的关联查询展示了 BKA 的工作原理。
  • 该技术在大表 JOIN 查询和存在索引的情况下能显著提高性能,但需要合理控制批量大小以避免内存开销过大。

http://www.ppmy.cn/devtools/127795.html

相关文章

自适应权重

自适应权重&#xff08;adaptive weights&#xff09;是一种动态调整权重的策略&#xff0c;广泛应用于深度学习和机器学习的不同领域。这种策略的核心思想是&#xff0c;在模型训练或推理过程中&#xff0c;根据输入数据、模型状态或任务需求来调整各个部分的权重&#xff0c;…

Web,RESTful API 在微服务中的作用是什么?

大家好&#xff0c;我是锋哥。今天分享关于【Web&#xff0c;RESTful API 在微服务中的作用是什么&#xff1f;】面试题&#xff1f;希望对大家有帮助&#xff1b; Web&#xff0c;RESTful API 在微服务中的作用是什么&#xff1f; 在微服务架构中&#xff0c;Web 和 RESTful …

简单三步完成 Telegram 生态的 Web3 冷启动

在竞争激烈的 Web3 领域&#xff0c;强有力的启动往往能决定成败。Telegram 无疑当下最火热的流量池&#xff0c;是很多 Web3 项目冷启动阶段的必选项。 但眼看着好多项目在 Telegram 生态火速获取百万级甚至千万级别的用户&#xff0c;自己的项目要怎么开始做增长&#xff0c;…

比XML更简洁的配置文件——yml(2min了解)

对于计算机应用开发技术&#xff0c;这条路的方向总是化繁为简的。或许有一天&#xff0c;微机课上的小学生&#xff0c;正玩着拼图游戏来开发一款App…… 在Java Web开发中&#xff0c;XML&#xff08;可扩展标记语言&#xff09;和YAML&#xff08;YAML Aint Markup Language…

【Visual Studio 2019 C++ 编译器的路径添加到系统 PATH 环境变量 】

对于某些 Python 包&#xff0c;特别是那些涉及本地扩展或需要编译 C/C 代码的包&#xff0c;需要一个支持 C 开发的环境。Visual Studio 是一个全面的开发环境&#xff0c;它提供了编译器、调试器以及其他许多工具&#xff0c;这些工具对于开发和编译 C 代码非常有用。 下载网…

NVIDIA Jetson支持的神经网络加速的量化平台

NVIDIA Jetson支持的神经网络加速的量化工具、技术 NVIDIA Jetson 是专为边缘计算和嵌入式系统设计的高性能计算平台&#xff0c;它支持多种深度学习模型的部署和推理。对于神经网络加速的量化平台&#xff0c;Jetson 支持以下技术和工具&#xff1a; TensorRT&#xff1a;Ten…

【初识数据库】

目录 一、数据库简介 1.什么是数据库 2.数据库与数据结构有啥关系 3.为什么要使用数据库 二、数据库服务器、数据库和表的关系 三、客户端与服务器的通讯方式 1.C/S架构 2.B/S架构 3.命令提示符 4.MySQL架构 一、数据库简介 1.什么是数据库 组织和保存数据的应用程序…

vue3中watch监听const定义的常亮undefined

vue3中watch监听const定义的常亮undefined 我在watch里边调用initVideoPlayer方法&#xff0c;这个执行到ivideoPlayer.value报错undeinfed&#xff0c;原因是执行watch的时候ivideoPlayer.value还没初始化完成&#xff0c;所以需要在watch添加一个nextTick 然后就解决问题了