redis集群最少使用三个主节点和使用16384个槽以及主节点数量不超过1000的原因

news/2024/11/25 2:31:45/

目录

集群最少三个主节点的原因

为什么是三个?

为什么是奇数?

16384个槽和1000个主节点


集群最少三个主节点的原因

https://redis.io/docs/management/scaling/

官网建议,搭建 redis 集群最少三主三从。

但是这么做是出于什么考虑呢?

https://worktile.com/kb/p/34708

https://blog.csdn.net/qq_35549286/article/details/127057374

借鉴这位的解答

为什么是三个?


cluster各节点之间需要互相通信确认对方是否存活。

假设有A、B两个节点,
B发现联系不上A,是不能确定A和B谁出了问题的,假设集群中还有一个C节点的话,
如果B、C可以互相联系,但是都联系不上A,
那么这时候就可以确定A出问题了,需要把A从集群中踢出去。

为什么是奇数?


集群可用原则:可用节点数量>集群总节点数量的二分之一,节点数量为奇数个是出于节省资源的考虑。
因为不管是四个还是三个节点,一旦挂了两个,整个集群都是不可用的。
 

即为了节省资源和节点通信考虑,集群的节点数量为奇数,即

y=2x+1,x为正整数,y为主节点数

16384个槽和1000个主节点

https://redis.io/docs/reference/cluster-spec/#overview-of-redis-cluster-main-components

https://redis.io/docs/management/scaling/#redis-cluster-101

crc16算法 产生的结果是 2^16,即65536,但是取用了 16384,是出于什么原因?

 https://github.com/redis/redis/issues/2576

github上回复了。

https://blog.csdn.net/qq_35971258/article/details/126839944

由于集群之间基于Gossip协议进行数据发送,总发送数据次数计算方式如下

n*(n-1),n为主节点数

由于节点不给自己发数据,因此一个节点对其他节点发送数据次数为 n-1。这是极端的情况,这样处理方便计算。redis中Gossip协议是随机取维护的节点列表中的5个中的一个进行数据发送。

按照上面的文章的意思,节点之间传递ping数据包如果是 16384,myslots数组会是2048个字节,即2KB,如果是65536,即8KB,如果1000个主节点相互传输数据,总数据量为1000*999*2KB=1998000KB。

由于网络传输的单位是bit,转换单位就是1998000*1024*8=16,367,616,000,网卡单位和带宽是 bit,但是计算机表示数据使用的是字节,例如接入的带宽是 1gb,实际上一秒最多传输 128 MB的数据。

1gb 对应的是 bit 总数是1,073,741,824,16,367,616,000/1,073,741,824≈15.24,即16gb的网卡才能满足要求,但是一般的服务器网卡达不到这么高,如果有这些节点相互发送数据会造成网络拥堵,这还只是算了主节点,没算副本节点,更不用说8KB的数据了。

内存和cpu执行速度很快。集群的节点数多了这个时候性能瓶颈就在网络上了。所以,主节点数少且是大于3的奇数为好,具体节点数看业务实际情况处理。


http://www.ppmy.cn/news/1109018.html

相关文章

算法:贪心---跳一跳

1、题目: 给你一个非负整数数组 nums ,你最初位于数组的 第一个下标 。数组中的每个元素代表你在该位置可以跳跃的最大长度。 判断你是否能够到达最后一个下标,如果可以,返回 true ;否则,返回 false 。 2…

docker alpine镜像中遇到 not found

1.问题: docker alpine镜像中遇到 sh: xxx: not found 例如 # monerod //注:此可执行文件已放到/usr/local/bin/ sh: monerod: not found2.原因 由于alpine镜像使用的是musl libc而不是gnu libc,/lib64/ 是不存在的。但他们是兼容的&…

ELK学习笔记1:简介及安装

ELK学习笔记1:简介及安装 ELK的简介 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少&a…

Elasticsearch:为具有许多 and/or 高频术语的 top-k 查询带来加速

作者:Adrien Grand Disjunctive queries(term_1 OR term_2 OR ... OR term_n)非常常用,因此在提高查询评估效率方面它们受到了广泛关注。 Apache Lucene 对于评估 disjunctive queries 有两个主要优化:一方面用于详尽评…

2023最新AI创作商用ChatGPT源码分享+支持AI绘画

一、SparkAI智能创作系统 SparkAi创作系统是基于国外很火的ChatGPT进行开发的Ai智能问答系统。本期针对源码系统整体测试下来非常完美,可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT?小编这里写一个详细图文…

西门子S7-1200F或1500F系列安全PLC的组态步骤和基础编程(二)

西门子S7-1200F或1500F系列安全PLC的组态步骤和基础编程(二) 上一次和大家分享了组态相关的重要内容,具体可以参考以下链接中的内容: 西门子S7-1200F或1500F系列安全PLC的组态步骤和基础编程(一) 本次继续和大家分享关于安全PLC基础编程的相关内容: 如下图所示,在左侧的…

并查集快速查找(Java 实例代码)

目录 并查集快速查找 Java 实例代码 UnionFind1.java 文件代码: 并查集快速查找 本小节基于上一小节并查集的结构介绍基础操作,查询和合并和判断是否连接。 查询元素所在的集合编号,直接返回 id 数组值,O(1) 的时间复杂度。 …

后端字典的优雅设计

背景 今天讲到的是数据字典的设计。为什么要讲到这个呢,因为我下午在做开发的时候遇到了一个问题。我先扔出来某个表的字段的定义吧: business_type int default 0 comment 0:收款计划;1:付款计划而且我还有一个字典…