TiDB Server

news/2024/11/8 0:46:24/

文章目录

    • TiDB Server架构
    • TiDB Server作用
    • TiDB Server的进程
      • SQL语句的解析和编译
      • SQL读写相关模块
      • 在线DDL相关模块
      • GC机制与相关模块
    • TiDB Server的缓存
      • 热点小表缓存

TiDB Server架构


在这里插入图片描述
Protocol Layer、Parse、Compile负责sql语句的解析编译和优化,然后生成sql语句执行计划交给Executor

Executor、DistSQL和KV负责分批的执行sql的执行计划

Transaction和KV负责和事务相关的

PD Client和TiKV Client负责与PD TiKV之间的交互

schema load、worker、start job实现DDL语句不会阻塞读写

TiDB Server作用


  • 处理客户端的连接(由Protocol Layer完成)
  • SQL语句的解析和编译(由Parse、Compile完成)
  • 关系型数据与KV的转化
  • SQL语句的执行
  • Online DDL的执行
  • 垃圾回收
  • 热点小表缓存 V6.0(由cache table实现)

TiDB Server的进程


SQL语句的解析和编译

在这里插入图片描述
生成树形结构,称为AST抽象语法树
在这里插入图片描述

表结构转化为KV的过程

聚簇表:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

SQL读写相关模块

在这里插入图片描述
执行计划执行的时候分为两种:

  • 比较复杂的SQL:比如范围查询、表连接、相关的嵌套查询等等,为了避免这些复杂的sql和下面的TiKV存取相关进行耦合度太高,抽象出一个接口DistSQL模块,它负责把对于TiKV的请求封装起来,提供一个简单的select方法,因此不管是什么负责的SLQ经过DistSQL都会变成单表的计算任务
  • 点查:走KV模块,简单的获取单行数据的请求,例如根据主键或者唯一索引的等值查询等等都是由KV来实现的

在线DDL相关模块

在这里插入图片描述
在进行DDL的时候是不会阻塞读写的,在整个集群中会有多个TiDB Server,对于整个TiDB数据库来讲,同一时刻只能有一个TiDB Server进行DDL操作,同一时刻只有一个TiDB Server中的worker可以做操作

用户发送一个DDL语句,首先由start job接收,然后会把它作为一个job放在任务队列中,同一时间只有一个Server在执行,称之为owner,owner中的workers负责从队列中取第一个执行,执行完放在历史队列,然后去取下一个

每一个Server都有一个任期,超出时间段就会重新发起选举,可能会有一个新的owner

schema load用于在当前TiDB Server成为onwer角色之后,会将最新的所有表的信息同步到内部的缓存之中

GC机制与相关模块

在这里插入图片描述
定期清理历史版本

会有一个 TiDB Server会被选为GC leader,由它控制整个GC,会计算出一个时间戳safe point,这个时间以前的数据会被回收

TiDB Server的缓存


  • TiDB Server缓存的组成

    • SQL结果
    • 线程缓存
    • 元数据,统计信息
  • TiDB Server缓存管理

    • tidb_mem_quota_query:控制每条SQL语句能够默认使用的存储量
    • oom-action:如果SQL的内存使用超过上面设置的tidb_mem_quota_query之后,它是中断这条SQL,返回error,还是记录日志等等行为

热点小表缓存

在这里插入图片描述

  • 表的数据量不大
  • 只读表或者修改不频繁的表
  • 表的访问很频繁

在这里插入图片描述

表的大小不能超过64M

放进去之后为了保证读写一致,设置了一个参数tidb_table_cache_lease,也就是租约,默认5s

在这里插入图片描述
在这5s之内用户可以直接读这张表,租约时间内,无法进行写操作

在这里插入图片描述
租约到期后,这张小表就过期了,这个时候就可以直接去写TiKV,这个时候从TiKV中读取

在这里插入图片描述

数据更新完毕,租约继续开启


http://www.ppmy.cn/news/31206.html

相关文章

MySQL 中的 distinct 和 group by 哪个效率更高?

先说大致的结论 : 在语义相同,有索引的情况下:group by和 distinct 都能使用索引,效率相同。在语义相同,无索引的情况下:distinct 效率高于group by。原因是 distinct 和 group by都会进行分组操作&#x…

hive 分桶文件的大小多大最合适

hive 分桶文件的大小多大最合适 Hive 分桶文件大小的最佳选择取决于多个因素,例如数据的大小、查询模式、硬件配置和网络带宽等。一般来说,建议将每个桶的大小控制在128 MB到1 GB之间。 以下是一些关于选择分桶大小的建议: 根据数据大小选…

MySQL数据库基础

目录 数据库介绍 什么是数据库 数据库的分类 1. 数据库的操作 创建数据库 显示数据库 使用数据库 删除数据库 2. 表的操作 创建表 删除表 3. 常用数据类型 插入数据 查询数据 从本篇起就又要开始新的篇章了,数据结构初级阶段的就告一段落了&#xff0…

14个Python处理Excel的常用操作分享

自从学了Python后就逼迫用Python来处理Excel,所有操作用Python实现。目的是巩固Python,与增强数据处理能力。本文为大家整理了14个Python处理Excel的常用操作,非常好用,希望对大家有所帮助目录自从学了Python后就逼迫用Python来处…

Jetpack太香了,让开发效率提升了不少

作者:Jingle_zhang 第三方App使用Jetpack等开源框架非常流行,在Gradle文件简单指定即可。然而ROM内置的系统App在源码环境下进行开发,与第三方App脱节严重,采用开源框架的情况并不常见。但如果系统App也集成了Jetpack或第三方框架…

【教程】你现在还不知道微软的New Bing?你out了,快点进来看

哈喽啊,大家好,好久不见,我是木易巷! 不禁感叹,AI人工智能时代真的已经来临! 目前,谷歌和微软就各自面向大众的产品发布了重大公告。谷歌推出了一款名为Bard实验性对话式 AI 服务,而…

MySQL对表操作

结束了上一章内容,我们对数据库的操作有一定的了解,本章内容就是针对表中的数据进行操作的。 针对表中数据的操作绝大部分都是增删改查(CRUD),CRUD也就是四个单词的缩写: 增加(Create)、查询(Retrieve)、…

【目标检测论文解读复现NO.33】改进YOLOv5的新能源电池集流盘缺陷检测方法

前言此前出了目标改进算法专栏,但是对于应用于什么场景,需要什么改进方法对应与自己的应用场景有效果,并且多少改进点能发什么水平的文章,为解决大家的困惑,此系列文章旨在给大家解读最新目标检测算法论文,…