什么情况需要考虑 mysql 分表

news/2024/11/15 8:17:42/

最近看到公司的其中一个数据库用户表每个月都要几百万的新用户数据增加,目前单表已经是两千多万了。所以找了 DBA 讨论,发现以前学的知识,以及网上的一些资料其实说的并不是很正确,比如 mysql 单表不建议超过一千万,我司 DBA 数据规范建议是单表最多不超过五千万。DBA 认为单看数据表的行数来决定分不分表是不正确。结合自己的知识和 DBA 的建议,记录一下需要分表的场景:

1. 表字段多,部分字段不经常用,使用 show index from tablename 查看索引状态

2. 表数据占物理空间大

3. 数据库服务器性能问题,使用 show processlist 查看当前连接状态,是否有慢 sql

4. 业务查询较多,查询慢,使用 explain 查询 sql 是否使用索引

5. 业务受到影响,不满足日常需求

分表方式有水平分表,垂直分表。常用的水平分表都是 RANGE 、一致性 HASH 算法 、取模几种方式。分表之后,业务代码、架构也需要调整,比如引入中间件,否则分页,排序,事务都无法处理。

分享一下我 2020 年开发的一个支付系统 MySQL 按月水平分表的例子,当时每天有 10 万笔订单,单表已经 3000 多万的数据,常用查询字段订单号、订单状态、创建时间、商户id、字段已经有添加索引了,查询性能比较差,一个查询要2-3秒。

以下是技术升级改造处理过程:

1. 原有表名为 orders,批量创建一年的分表,按订单创建时间的月份创建,表名为 orders_202001 orders_202002 以此类推,订单流水表也是类似。

2. 创建订单时按获取创建时间加表名,得到分表名称写入数据,创建时间也作为订单号的前缀,根据订单号查询时也能获取到分表名称

3. 将管理后台涉及查询的接口继续改造,添加限制条件,最多只能查询 2 个月时间内的订单,超出的分多次查询,调研了金融类项目都有查询时间限制,可能也是做了水平分表,避免分表之后需要查询所有数据表,查询性能比没有分表更差,查询订单数据时,我们可以使用 UNION ALL 操作符将不同分表的数据合并在一起。

分表之后的业务价值有两点:

1. 查询性能提升、用户体验更佳。

2. 节省服务器成本,如果没有分表,数据库服务器升级配置也可以满足,但是成本更高了。

 项目地址

源码资料!


http://www.ppmy.cn/news/48900.html

相关文章

从C出发 26 --- 指针 : 一种特殊的变量

指针是变量, 是特殊的变量 在计算机内部逻辑上是一个一个存储单元,每个存储单元是一个字节 8 G /16 G 表示的是存储单元的数量 如果要确定某一个具体的存储单元,要怎么办? 可以编号,这里的 0 1 2 3 指的就是内存地…

【hello Linux】进程程序替换

目录 1. 程序替换的原因 2. 程序替换原理 3. 替换函数 4. 函数解释 5. 命名理解 6.简陋版shell的制作 补充: Linux🌷 1. 程序替换的原因 进程自创建后只能执行该进程对应的程序代码,那么我们若想让该进程执行另一个“全新的程序”这 便要用…

蓝桥杯单片机模块代码汇总

目录 1.HC573锁存器选择 2.系统初始化关闭LED、蜂鸣器和继电器 3.LED 4.蜂鸣器和继电器 5.数码管 6.定时器按键扫描 7.DS18B20(基于2023年第十四届底层代码) 8.DS1302(基于2023年第十四届底层代码) 9.PCF8591(…

14、lldb调试指令

LLDB LLDB(Low Lever Debug): 默认内置于Xcode中的动态调试工具.标准的lldb提供了一组广泛的命令,旨在与老版本的GDB命令兼容.除了使用标准配置外,还可以很容易地自定义lldb以满足实际需要. 1.1 lldb语法: <command> [<subcommand> [<subcommand>...]] &l…

7款神仙级非常漂亮的 Linux 操作系统UI,你都用过吗

Linux 的发行版有很多&#xff0c;这里罗列7个漂亮的 Linux 发行版&#xff0c;可以说是Linux操作系统界的颜值担当了。 1、elementary OS 网站&#xff1a;https://elementaryos.cn elementary OS操作系统是最漂亮的Linux发行版之一。它基于macOS外观&#xff0c;同时为Linu…

7、应用重签名

应用重签名概述 codesing重签名步骤SHELL脚本用户组&文件权限 一、Codesign Xcode提供了签名工具,codesign,我们通过几个命令就可以完成重签名 1.1 终端命令 列出钥匙串里可签名的证书 security find-identity -v -p codesigning 强制替换签名 codesign -fs "…

02 - 学会提问

学会提问 一、引言 1.1 GPT简介 GPT&#xff08;Generative Pre-trained Transformer&#xff09;是一种基于Transformer架构的大型预训练语言模型。 凭借其强大的文本生成、理解和处理能力&#xff0c;GPT已在诸如自然语言处理、机器翻译、文本摘要等多个领域取得了显著的…

设计模式 -- 桥梁模式

前言 月是一轮明镜,晶莹剔透,代表着一张白纸(啥也不懂) 央是一片海洋,海乃百川,代表着一块海绵(吸纳万物) 泽是一柄利剑,千锤百炼,代表着千百锤炼(输入输出) 月央泽,学习的一种过程,从白纸->吸收各种知识->不断输入输出变成自己的内容 希望大家一起坚持这个过程,也同…