图文深入理解SQL语句的执行过程

server/2024/9/24 1:30:41/
  1. List item

    本文将深入介绍SQL语句的执行过程。
    一.在RDBMS(关系型DB)中,看似很简单的一条已写入DB内存的SQL语句执行过程却非常复杂,也就是说,你执行了一条诸如select count(*) where id = 001 from table_name的非常简单的语句,执行过程可能快的让你察觉不到耗时,但是就是这样一条简单的SQL语句,RDBMS在后台却为我们做了很多工作:过程如下两图所示
    在这里插入图片描述
    在这里插入图片描述
    二。在Oracle DB中,执行一条已经写入DB内存的SQL的流程如下两图(网图,谢过)所示:
    在这里插入图片描述
    在这里插入图片描述
    ‌①,将SQL语句加载入数据库缓冲区‌:首先,SQL语句被加载到数据库的缓冲区中,这是为了提高数据访问的速度和效率。
    ②,将SQL语句要操作的数据文件副本加载入数据库缓冲区‌:接下来,将要被操作的数据文件的副本也被加载到数据库缓冲区中,以便进行后续的修改操作。
    ‌③,执行SQL语句,修改数据文件副本,形成“脏缓冲区”‌:SQL语句被执行,对数据文件副本进行修改,这些被修改的数据文件副本被称为“脏缓冲区”,因为它们还未被写入到原始的数据文件中。
    ‌④,CKPT检测到“脏缓冲区”,调用DBWn‌:CKPT(Checkpoint)进程检测到“脏缓冲区”后,会调用DBWn(Database Writer)进程。
    ⑤,在DBWn运行之前,先运行LGWR,将数据文件的原始状态和数据库的改变记录到Redo Log Files‌:在DBWn运行之前,LGWR(Log Writer)进程先将数据文件的原始状态和数据库的改变记录到Redo Log Files中,这是为了确保在系统崩溃时能够恢复数据。
    ‌⑥,运行DBWn,将“脏缓冲区的内容写入到数据文件”‌:DBWn进程将“脏缓冲区”的内容写入到原始的数据文件中,完成数据的持久化存储。
    ‌⑦,同时CKPT修改控制文件和数据文件头‌:CKPT进程同时修改控制文件和数据文件头,以确保数据库的一致性和完整性。
    ⑧,SMON回收不必要的空闲资源‌:最后,SMON(System Monitor)进程回收不必要的空闲资源,以优化数据库的性能和效率。
    ⑨,如有符合的结果,则返回给users.

三.SQL执行过程中的几个重要阶段:
1.SQL解析阶段,主要介绍硬解析、软解析和软软解析
硬解析(Hard Parse)
数据库接收到一条新的 SQL 语句时,如果该语句之前从未被执行过,数据库需要进行硬解析。硬解析的过程较为复杂和耗时,主要包括以下步骤:
1.语法分析:检查 SQL 语句的语法是否正确,确保关键字、表名、列名等的使用符合 SQL 规范。
2.语义检查:验证语句中涉及的对象(如表、视图、列等)是否存在,数据类型是否匹配,以及用户是否具有执行该语句的权限。
3.查询优化:数据库根据各种因素(如表的大小、索引的存在、数据的分布等)确定执行该 SQL 语句的最佳执行计划。这是一个复杂的过程,可能需要尝试多种执行方案并评估其成本。
4.生成执行代码:根据选定的执行计划,数据库生成可执行的代码。
硬解析需要消耗较多的数据库资源,尤其是 CPU 和内存。频繁的硬解析会严重影响数据库的性能。
软解析(Soft Parse)
如果数据库接收到一条 SQL 语句,并且该语句之前已经被执行过,并且在共享池中可以找到完全匹配的执行计划,那么数据库可以进行软解析。软解析的过程相对简单,主要包括以下步骤:
1.语法检查:快速检查 SQL 语句的语法是否正确。
2.确认执行计划:在共享池中查找与该 SQL 语句完全匹配的执行计划,并确认其仍然有效。如果执行3.计划可用,数据库可以直接使用它,无需进行查询优化。
软解析比硬解析快得多,因为它避免了查询优化的过程。软解析可以提高数据库的性能,特别是对于频繁执行的 SQL 语句。
软软解析(Soft Soft Parse)
软软解析也称为 “超快软解析” 或 “无锁软软解析”,是一种比软解析更高效的解析方式。在某些情况下,数据库可以在不获取任何锁的情况下进行软软解析,进一步减少了解析的开销。
软软解析通常发生在以下情况:
1.共享池中已经存在与当前 SQL 语句完全匹配的执行计划,并且该执行计划没有被其他会话修改或删除。
2.数据库可以直接使用该执行计划,无需进行任何额外的检查或锁定。软软解析的速度非常快,可以极大地提高数据库的性能,特别是在高并发环境下。
为了减少硬解析的次数,提高数据库性能,可以采取以下措施:
1.使用绑定变量:绑定变量可以使不同的 SQL 语句在共享池中共享执行计划,减少硬解析的发生。
2.优化 SQL 语句:确保 SQL 语句的编写高效、简洁,避免复杂的查询和不必要的操作。
3.调整数据库参数:合理调整数据库的参数,如共享池大小、游标共享等,以优化解析过程。

2.执行计划阶段做什么?
SQL 执行计划是数据库为执行特定 SQL 语句而选择的一系列步骤的描述。它详细说明了数据库将如何访问数据、进行连接操作、应用条件筛选等,以返回查询结果或执行数据修改操作。
执行计划的组成部分
1.操作步骤
执行计划由一系列操作组成,每个操作代表数据库执行的一个具体任务。常见的操作包括:
表扫描(Table Scan):数据库读取表中的数据行。可以是全表扫描(Full Table Scan),即读取表中的所有行,或者索引扫描(Index Scan),通过索引快速定位特定的行。
索引查找(Index Lookup):使用索引来查找满足条件的行。可以是唯一索引查找(Unique Index Lookup)或范围索引查找(Range Index Lookup)等。
连接操作(Join):将多个表中的数据行根据连接条件进行合并。常见的连接方式有嵌套循环连接(Nested Loops Join)、哈希连接(Hash Join)和排序合并连接(Sort Merge Join)等。
排序操作(Sort):对数据进行排序,例如在使用 ORDER BY 子句时。
聚合操作(Aggregation):执行聚合函数,如 SUM、AVG、COUNT 等。
2.操作顺序
执行计划中的操作按照特定的顺序执行。数据库根据查询的需求和数据的分布情况选择最佳的操作顺序,以最小化执行时间和资源消耗。例如,在连接操作中,数据库会选择合适的连接顺序,以减少中间结果集的大小。
3.操作成本
每个操作都有一个相关的成本估计。成本通常以数据库内部的单位(如 I/O 操作次数、CPU 时间等)来衡量。数据库在生成执行计划时,会尝试选择总成本最低的方案。成本估计基于数据库的统计信息,包括表的大小、索引的选择性、数据的分布等。
执行计划的生成过程
1.语法分析和语义检查
数据库接收到 SQL 语句时,首先进行语法分析和语义检查,确保语句的正确性和合法性。
2.查询优化
数据库的查询优化器根据 SQL 语句和数据库的统计信息,生成多个可能的执行计划。优化器会考虑各种因素,如表的大小、索引的存在、数据的分布、连接方式等,以选择最优的执行计划。
3.成本评估
对于每个生成的执行计划,优化器会进行成本评估。成本评估基于数据库的统计信息和内部的成本模型。优化器会选择成本最低的执行计划作为最终的执行方案。
4.执行计划生成
一旦确定了最优的执行计划,数据库会生成相应的执行代码,并准备执行 SQL 语句。
查看执行计划的方法
1.EXPLAIN PLAN 语句
可以使用 EXPLAIN PLAN FOR 语句来查看 SQL 语句的执行计划。该语句会将执行计划存储在数据库的一个特定表中,可以通过查询该表来获取执行计划的详细信息。
2.SQL Developer 等工具
Oracle SQL Developer 等数据库开发工具提供了图形化的界面,可以方便地查看 SQL 语句的执行计划。这些工具通常会以树状图或表格的形式展示执行计划的各个步骤,以及相关的成本信息和统计数据。
了解 SQL 执行计划对于优化数据库性能非常重要。通过分析执行计划,可以确定 SQL 语句的执行效率,找出潜在的性能瓶颈,并采取相应的优化措施,如创建合适的索引、调整查询语句、优化数据库参数等。

码字不易,宝贵经验分享不易,请各位支持原创,转载注明出处,多多关注作者,后续不定期分享DB基本知识和排障案例及经验、性能调优等。


http://www.ppmy.cn/server/121091.html

相关文章

双路创新深度学习!TCN-Transformer+LSTM多变量时间序列预测(Matlab)

双路创新深度学习!TCN-TransformerLSTM多变量时间序列预测(Matlab) 目录 双路创新深度学习!TCN-TransformerLSTM多变量时间序列预测(Matlab)效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab…

Git常用命令详解

Git 是一个功能强大的版本控制系统,以下是一些常用的 Git 命令及其解释和案例: 1、配置 git config --global user.name "Your Name":配置全局用户名。 git config --global user.email "emailexample.com:配置全…

yolov8使用强数据增强

yolo强数据增强 在深度学习的训练中,强数据增强(strong data augmentation)通过对训练数据进行更大幅度的随机变换,增强模型的泛化能力,减少过拟合风险。强数据增强可以包括各种随机的图像变换操作,使得模型…

Qt (17)【Qt 文件操作 读写保存】

阅读导航 引言一、Qt文件概述二、输入输出设备类三、文件读写类四、文件和目录信息类五、自定义“记事本” 引言 在上一篇文章中,我们学习了Qt的事件处理机制,知道了如何响应用户的操作。但应用程序常常还需要处理文件,比如读写数据。所以&a…

大联大诠鼎集团推出基于联咏科技、思特威和TDK产品的电子防抖(EIS)摄像头方案

大联大控股宣布,其旗下诠鼎推出基于联咏科技(NOVATEK)NT98530芯片、思特威(SmartSens)SC850SL图像传感器和TDK ICM-42607 IMU(惯性传感模块)的电子防抖(EIS)摄像头方案。…

Fyne ( go跨平台GUI )中文文档-绘图和动画(三)

本文档注意参考官网(developer.fyne.io/) 编写, 只保留基本用法 go代码展示为Go 1.16 及更高版本, ide为goland2021.2 这是一个系列文章: Fyne ( go跨平台GUI )中文文档-入门(一)-CSDN博客 Fyne ( go跨平台GUI )中文文档-Fyne总览(二)-CSDN博客 Fyne ( go跨平台GUI…

【Kubernetes】常见面试题汇总(二十八)

目录 79.您如何看待公司从单一服务转向微服务并部署其服务容器? 80.什么是 Headless Service? 特别说明: 题目 1-68 属于【Kubernetes】的常规概念题。 题目 69-113 属于【Kubernetes】的生产应用题。 79.您如何看待公司从单一服务转…

C++学习笔记----7、使用类与对象获得高性能(二)---- 理解对象生命周期(7)

13、对象赋值 就像在c中可以将一个int值赋给另一个,也可以将一个对象赋值给另一个对象。例如,下面的代码将MyCell的值赋值给anotherCell: SpreadsheetCell myCell { 5 }, anotherCell; anotherCell myCell; 你可能会说是myCell被“拷贝”给了anotherCe…