数据库管理-第179期 分库分表vs分布式（20240430

news/2024/9/20 2:05:59/ 标签: 数据库, 分布式

数据库管理179期 2024-04-30

数据库管理-第179期 分库分表vs分布式（20240430）

作者：胖头鱼的鱼缸（尹海文）
Oracle ACE Associate: Database（Oracle与MySQL）
PostgreSQL ACE Partner
10年数据库行业经验，现主要从事数据库服务工作
拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证
墨天轮MVP、认证技术专家、年度墨力之星，ITPUB认证专家、专家百人团成员，OCM讲师，PolarDB开源社区技术顾问，OceanBase观察团成员
圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号，非著名社恐（社交恐怖分子）
公众号：胖头鱼的鱼缸；CSDN：胖头鱼的鱼缸（尹海文）；墨天轮：胖头鱼的鱼缸；ITPUB：yhw1809。
除授权转载并标明出处外，均为“非法”抄袭

趁着4月最后一天，再写一篇文章吧，给4月收个尾，顺便提前祝大家五一劳动节快乐，但还是要在这里批斗一下调休补班。
其实这篇文章的启发，来自于前几天一个去了某大厂做数据库的兄弟来电，和我讨论分库分表和分布式区别，以及分布式高可用方面的一些探讨，想着还是总结一下。

1 分库分表

其实在我看来吧，分库分表和分布式的界限挺模糊的，但二者的目的其实是差不多，即当数据量达到一定规模，业务并发无法由单机数据库承载，需要将数据与负载打散至若干数据库/服务器，以求用更小的个体在整体层面支撑更大的业务并发和数据量。

1.1 分库

其实分库很好理解，就是将不同的业务分在不同的数据库上：
image.png

1.2 分表

分表其实和分区表类似，把一张大表拆分成若干小表，这些小表既可以分散在一个数据库中，也可以分散在不同数据库中：
image.png
分表同样需要业务侧去阻止数据在不同数据库之间的分布，并根据业务需求到指定地方查询需要的数据。

1.3 组合

分库分表一般通过业务应用程序配置或使用数据库中间件（比如MyCAT）来实现，为了尽可能提高关联数据查询效能，可以将打散后不同业务的关联数据以某种约定的关联方式（主外键、表父子关系等）存放在同一数据库节点（或多个）内。
image.png
为何要这么做，其实无论是分库分表还是分布式，数据拆分之后，部分涉及跨数据分组或全局的查询，其实就是将传统数据库中放在内存中的计算部分通过网络去实现，而现在IT架构中网络是最不稳定的因素之一，同时高性能（高带宽、低延迟）的网络环境又是相对比较贵的。因此要尽可能将关联数据查询放在一块内存中实现；很多使用分库分表/分布式的地方，也要求业务逻辑简单，尽可能以点查为主。其余全局查询则使用搜索引擎或列存实现。

1.4 问题

  • 对于数据库分散情况的元数据，往往需要在业务程序中或者数据库中间件之中配置好，不便于动态扩展或变更
  • 其实仍为多个独立数据库运行，无法实现全局负载均衡、并行等功能
  • 每个数据库需要自己维护高可用，使用主从或者多副本实现
  • 备份困难
  • 多模、HTAP依托使用的数据库本身，难以独立实现
  • …

2 分布式

其实分布式，或者说叫原生分布式，其实和分库分表要实现的目标类似，但是又实现了其他一些由数据库本身实现的一些功能：

  • 维护数据分散，包括元数据和路由等
  • 实现部分与全局的高可用
  • 实现全局执行计划生成
  • 实现全局负载均衡、并行等功能
  • 实现多模、HTAP等高级功能

3 常见分布式数据库

TiDB的架构倾向于存算分离架构，数据以分布式方式存放，通过PD维护元数据和数据路由，整体维护两套数据副本：TiKV用于OLTP，TiFlash实现OLAP（Online），整体实现HTAP（如果资源有限可以只上TiKV，TiFlash比较吃CPU资源，按需配置使用，TiFlash的数据由TiKV同步，相当于TiKV的列存只读副本-感谢严少安同学补充）。Storage Cluster本身维护自己的高可用，同时TiDB Cluster和PD Cluster都以多节点实现高可用。而计算层面从使用方式更倾向于集中式。
image.png

Oceanbase 4.3的架构则倾向于存算一体架构，数据库元数据存放在数据库的系统租户中。在每个OBServer中通过数据库内核实现行列混存、多模等功能，以实现HTAP和多模联查等功能。OBProxy则作为无状态服务，提供SQL分发能力。多个OBProxy节点通过网络负载均衡对应用提供统一的网络地址。租户的全局多副本实现了数据库的高可用。Oceanbase还通过引入租户模式，可以实现业务的拆分与隔离，通过对租户主可用区的规划，可以做到不同副本承载不同业务的负载。
image.png

PolarDB-X则和TiDB的架构类似，但是相较于TiDB和Oceanbase使用的LSM Tree存储，PolarDB仍然以B-Tree存储。
image.png

4 期望

我希望在以后的分布式数据库能提供节点降级的能力：

  • 当某节点磁盘故障：该节点的CPU、内存与网络资源仍能为集群提供相应能力；或者仅在本节点屏蔽损坏磁盘的相关数据使用
  • 使用多链路网络的节点部分网卡故障：减少该节点的网络流量
  • 节点部分CPU、内存故障：降低该节点负载分担
  • …

我希望能通过这个功能，降低硬件异常对全局性能的影响，减少性能波动。

总结

本期简单讲了下分库分表和分布式的一些异同，也扩展了一下自己对分布式数据库的一些期望。
老规矩，知道写了些啥。


http://www.ppmy.cn/news/1451986.html

相关文章

C++ 函数与指针

C++ 函数与指针

函数内部数据是地址需要传递给调用函数，返回的当然是指针了！当然，这个返回地址也可以通过函数参数返回！ 函数的参数是指针可以输出函数多个结果，返回值本身就是返回数据，什么时候需要返回指针呢&#xff1f…
阅读更多...
WebSocket 的封装

WebSocket 的封装

websocket 具体内容参考了 原文 import {ref, onUnmounted} from vue; import dayjs from "dayjs";class Socket {url;ws null;opts;reconnectAttempts 0;listeners {};heartbeatInterval null;constructor(url, opts {}) {this.url url;this.opts {// 心跳检…
阅读更多...
Java image-processing 包依赖错误

Java image-processing 包依赖错误

错误的信息为： [ERROR] Failed to execute goal on project image-processing: Could not resolve dependencies for project com.ossez:image-processing:jar:0.0.2-SNAPSHOT: Failed to collect dependencies at org.openimaj:core-image:jar:1.3.10 -> org.op…
阅读更多...
机器学习每周挑战——二手车车辆信息交易售价数据

机器学习每周挑战——二手车车辆信息交易售价数据

这是数据集的截图 目录 背景描述 数据说明 车型对照： 燃料类型对照： 老规矩，第一步先导入用到的库 第二步，读入数据： 第三步，数据预处理 第四步：对数据的分析 第五步：模型建…
阅读更多...
ES集群分布式查询原理

ES集群分布式查询原理

集群分布式查询 elasticsearch的查询分成两个阶段： scatter phase：分散阶段，coordinating node会把请求分发到每一个分片gather phase：聚集阶段，coordinating node汇总data node的搜索结果，并处理为最终结…
阅读更多...
设计模式的原则与分类

设计模式的原则与分类

一、设计模式的原则 1、单一职责原则 一个类只需要负责一种职责即可，一个类发生变化的原因，必然是所负责的职责发生变化 2、接口隔离原则 单一职责原则是接口隔离原则的基础，单一职责原则注重职责的划分，从职责角度进行类和接口…
阅读更多...
使用docker创建rocketMQ主从结构，使用

使用docker创建rocketMQ主从结构，使用

1、 创建目录 mkdir -p /docker/rocketmq/logs/nameserver-a mkdir -p /docker/rocketmq/logs/nameserver-b mkdir -p /docker/rocketmq/logs/broker-a mkdir -p /docker/rocketmq/logs/broker-b mkdir -p /docker/rocketmq/store/broker-a mkdir -p /docker/rocketmq/store/b…
阅读更多...
【数据结构与算法】力扣 347. 前 K 个高频元素

【数据结构与算法】力扣 347. 前 K 个高频元素

题目描述 给你一个整数数组 nums 和一个整数 k &#xff0c;请你返回其中出现频率前 k 高的元素。你可以按 任意顺序 返回答案。 示例 1: 输入: nums [1,1,1,2,2,3], k 2 输出: [1,2]示例 2: 输入: nums [1], k 1 输出: [1]提示&#xff1a; 1 < nums.length < …
阅读更多...
KIE关键信息抽取——SDMG-R

KIE关键信息抽取——SDMG-R

https://arxiv.org/pdf/2103.14470https://arxiv.org/pdf/2103.14470 1.概述 背景：传统的关键信息提取方法依赖于模板匹配，这使它们难以泛化到未见过的模板，且对文本识别错误不够鲁棒。SDMG-R方法：提出一种端到端的双模态图推理方法，通过构建双模态图（视觉和文本特征），…
阅读更多...
多级留言/评论的功能实现——SpringBoot3后端篇

多级留言/评论的功能实现——SpringBoot3后端篇

目录 功能描述数据库表设计后端接口设计实体类entity 完整实体类dto 封装请求数据dto 封装分页请求数据vo 请求返回数据 Controller控制层Service层接口实现类 Mapper层Mybatis 操作数据库 补充&#xff1a;返回的数据结构自动创建实体类 最近毕设做完了&#xff0c;开始来梳理…
阅读更多...
【CTF MISC】XCTF GFSJ0512 give_you_flag Writeup（图像处理+QR Code识别）

【CTF MISC】XCTF GFSJ0512 give_you_flag Writeup（图像处理+QR Code识别）

give_you_flag 菜狗找到了文件中的彩蛋很开心&#xff0c;给菜猫发了个表情包 解法 图片的最后一帧好像闪过了什么东西。 用 Photoshop 打开&#xff0c;检查时间轴。 找到一张二维码&#xff0c;但是缺了三个角&#xff08;定位图案&#xff09;&#xff0c;无法识别。 找一…
阅读更多...
《QT实用小工具·四十九》QT开发的轮播图

《QT实用小工具·四十九》QT开发的轮播图

1、概述 源码放在文章末尾 该项目实现了界面轮播图的效果&#xff0c;包含如下特点&#xff1a; 左右轮播 鼠标悬浮切换&#xff0c;无需点击 自动定时轮播 自动裁剪和缩放不同尺寸图片 任意添加、插入、删除 单击事件&#xff0c;支持索引和自定义文本 界面美观&#xff0c;圆…
阅读更多...
matlab绘制热点图

matlab绘制热点图

在MATLAB中&#xff0c;通常使用imagesc、pcolor、heatmap&#xff08;需要Statistics and Machine Learning Toolbox&#xff09;等函数来绘制热点图&#xff08;也称为热力图&#xff09;。热点图通常用于可视化矩阵数据&#xff0c;其中每个单元格的颜色表示矩阵中相应元素的…
阅读更多...
前端代码优化-switch的使用

前端代码优化-switch的使用

当我们需要根据这段的不同而展示不同的文字时&#xff0c;下面的写法太过于麻烦&#xff0c;同样的代码写了很多遍&#xff0c;这个时候就需要优化&#xff0c;如果判断的东西更多&#xff0c;总不能一个一个再写 判断 <div class"alarm-detail-item" v-if"…
阅读更多...
【Unity】Mathf

【Unity】Mathf

【Unity】Mathf 1.Math与Mathf 推荐使用Mathf Math是C#中封装好的用于数学计算的工具 类&#xff0c;Math位于System命名空间中Mathf是Unity中封装好的用于数学计算的工具 结构体&#xff0c;Mathf位于UnityEngine命名空间中Mathf比Math方法多&#xff0c;不仅包含Math中的方…
阅读更多...
【基础算法总结】滑动窗口一

【基础算法总结】滑动窗口一

滑动窗口 1.长度最小的字数组2.无重复字符的最长子串3.最大连续1的个数 III4.将 x 减到 0 的最小操作数 点赞&#x1f44d;&#x1f44d;收藏&#x1f31f;&#x1f31f;关注&#x1f496;&#x1f496; 你的支持是对我最大的鼓励&#xff0c;我们一起努力吧!&#x1f603;&…
阅读更多...
贪心算法基础题(第三十三天)

贪心算法基础题(第三十三天)

455. 分发饼干 题目 假设你是一位很棒的家长&#xff0c;想要给你的孩子们一些小饼干。但是&#xff0c;每个孩子最多只能给一块饼干。 对每个孩子 i&#xff0c;都有一个胃口值 g[i]&#xff0c;这是能让孩子们满足胃口的饼干的最小尺寸&#xff1b;并且每块饼干 j&#xf…
阅读更多...
Adobe Firefly 3.0 AI 图像生成器来了

Adobe Firefly 3.0 AI 图像生成器来了

Adobe 发布其 Midjourney 和 Dall-E 3 竞争对手Firefly 2.0已经半年了。几天前&#xff0c;他们发布了Firefly 3.0&#xff08;目前处于测试阶段&#xff09;&#xff0c;这是他们最新的文本到图像人工智能工具&#xff0c;其中包含一些非常酷的更新。在我们深入了解细节之前&a…
阅读更多...
json转excel

json转excel

前面有介绍过excel文件转换成json文件的方法&#xff0c;那json文件转excel文件呢&#xff1f;如果json文件里数据格式都是统一的话&#xff0c;那么也比较容易就转。 我们假设json文件中是一个json数组&#xff0c;每条json数据的属性字段都一样&#xff0c;手写一段node.js例…
阅读更多...
聊聊 ASP.NET Core 中间件（一）：一个简单的中间件例子

聊聊 ASP.NET Core 中间件（一）：一个简单的中间件例子

前言&#xff1a;什么是中间件 服务器在收到 HTTP 请求后会对用户的请求进行一系列的处理&#xff0c;比如检查请求的身份验证信息、处理请求报文头、检查是否存在对应的服务器端响应缓存、找到和请求对应的控制器类中的操作方法等&#xff0c;当控制器类中的操作方法执行完成…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站