分片架构,Redis Cluster 分析

news/2024/11/15 5:44:43/

分片架构解决的问题

通过堆机器,提升读写性能,与存储性能

分片架构设计要点

分片规则 

选择Cardinality大的作为分片键,尽可能保证数据分布均匀

常见分片键: 基于主键(业务型数据),基于时间(流水型数据)

常见分片策略:

分片策略

实现举例

数据分布

以后扩展

基于Hash

hash(分片键)%分片数

一致性hash算法

数据分布均匀

不易扩容,扩容需要数据迁移

范围分片

例如按年分,按月,按日

数据分表可能不均匀

易扩展,扩展不需要数据迁移

路由规则

客户端如何找到数据所在分片

  •  静态路由: 配置文件。特点: 简单,不能扩展再平衡,例如:Mysql分表
  • 动态路由:实现复制,支持动态扩展,再平衡

动态路由方式

基本流程

特点

举例

配置中心

配置中心记录分片信息,客户端先访问配置中心,

获取分片信息之后进行读写操作

支持大规模集群,配置中心需要独立部署,需要高可用

MongoDB的Sharding模式

路由转发

所有分片都保存路由信息,客户端请求任意分片,

获取分片信息之后进行读写操作

架构简单,一般利用gossip协议,不支持大规模集群

Redis Cluster (官方推荐1000,实际建议100)

高可用

备份方式

特点

举例

独立备份

架构简单,硬件成本高,分片级别的复制

Mysql ,Redis等

相互备份

架构复杂,硬件成本低,数据块级别的复制

ElasticSearch 等

redis cluster 分析

特点

理论支持1000台,实际建议100台以内。 高性能,线性可扩展,无代理,异步复制。

架构图- 来自阿里云溪社区

分片规则

分片键

redis的key

分片方式

类似一致性Hash, 通过CRC16算法计算出来的哈希值,对16384(2^14)取模,取模之后得到的值就是对应的槽位,然后每个Redis节点都会负责处理一部分的槽位。

扩展1 一般hash算法缺点

hash(键值)%分片数量,如果有分片挂掉,分片数量会下降,整个集群会失效。

扩展2 一致性hash算法

CRC16算法计算出来的哈希值,对2^32取模

实例也分布在圆环(0-2^32)上,我们在圆环上按照顺时针的顺序找到第一个实例

实例可能分布不均匀,采用虚拟节点机制解决

路由规则

路由转发模式,一般利用gossip协议,所有分片都保存路由信息,客户端请求任意分片

集群为了分布均匀,再平衡,或,添加,删除master实例,存在重定向的情况。

重定向

场景

命令

说明

全部迁移完成的情况下

MOVED命令

1.MOVED把客户端所请求数据的最新实例地址返返回客户端

2.更新客户端缓存的哈希槽分配信息

哈希槽数据还在迁移中

ASK

1.ASK 命令把客户端所请求数据的最新实例地址返回给客户端

2.客户端需要给目标实例 发送 ASKING 命令,然后再发送操作命令

3.不更新客户端缓存的哈希槽分配信息

备份方式

独立备份

故障转移

某一个节点认为A宕机了,那么此时是主观宕机

集群内超过半数的节点认为A挂了, 那么此时A就会被标记为客观宕机

从A节点的slave节点中选举出一个,将其切换成新的master对外提供服务


http://www.ppmy.cn/news/107014.html

相关文章

Android平台OpenCV入门

一、导入OpenCV 别忘记把libopencv_java3.so添加进来。 二、初始化 OpenCVLoader.initDebug();三、常用方法 1. CvType 数据类型 以CV_64FC2为例,64指64位,F指浮点数,C指通道,2为2通道。 数值具体类型取值范围CV_8U8 位无符…

DERT(DEtection TRansformer) ONNX直接推理!!

目录 1.前言 2. ONNX模型 (1) backbone使用的是resnet50 (2) Transformer结构 (3)模型输出 3.代码展示(不收费!!!) 4.结果展示 5.源代码地址 1.前言 DETR DETR的全称是DEtection TRansformer,是Facebook提出的基于…

Redis(二)

Redis进阶 1. Redis为什么这么快?2. 缓存穿透2.1 概念2.2 解决方案 3. 缓存击穿3.1 概念3.2 解决方案 4. 缓存雪崩4.1 概念4.2 解决方案 5. redis集群5.1 主从同步5.2 哨兵模式(集群模式)1. 哨兵主要有两个重要作用2. 哨兵模式应用3. sentine…

apache网页与安全优化

apache网页与安全优化 一、网页压缩1、检查是否安装 mod_deflate 模块2、如果没有安装mod_deflate 模块,重新编译安装 Apache 添加 mod_deflate 模块3、配置 mod_deflate 模块启用4、检查安装情况,启动服务5、测试 mod_deflate 压缩是否生效 二、网页缓存…

大型复杂地质模型如何实现可视化?知名公司MineRP给你答案!

行业:采矿业 挑战:采矿业客户在寻找未开发的矿体和有效挖掘方面面临着越来越多的挑战;不同的采矿系统之间缺乏整合,呈现出零散的矿山运营视图;地质模型、采矿计划、时间表和点云以及其他需要可视化的矿山技术数据集可…

SM国密算法(二)-- OpenSSL库中分离算法

一、OpenSSL简介: OpenSSL 是用于传输层安全性 (TLS) 和安全套接字层 (SSL) 协议的一个强大、商业级和功能齐全的工具包。它也是一个通用的密码学库,包含有RSA、SM4、DES、AES等诸多加密算法。 OpenSSL GitHub地址 二、移植过程 1. 文件目录 下载在…

算法Day21 | 530.二叉搜索树的最小绝对差, 501.二叉搜索树中的众数, 236. 二叉树的最近公共祖先

Day21 530.二叉搜索树的最小绝对差501.二叉搜索树中的众数236. 二叉树的最近公共祖先 530.二叉搜索树的最小绝对差 题目链接:530.二叉搜索树的最小绝对差 是二叉搜索树,如果是深度遍历, 采用中序遍历。再构造一个前节点,与当前节…

MySQL基于成本的优化

MySQL的成本是什么?MySQL在执行一个查询的时候,其实是有多种不同的方案的,但是最终会选择一种成本比较低的方案,那么这个成本都体现在什么地方?如何计算? MySQL的成本 I/O成本 : 把数据从磁盘…