服务(第二十六篇)redis的主从复制、哨兵、集群

news/2024/11/7 5:40:59/

主从复制:

主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。

原理:

主从关系确定好后,开启从节点时,会发送一个sync的同步命令给主节点,主节点接收到后会把redis内存中的数据以快照的方式压缩保存成rdb文件,在这个期间如果有新的数据就会进行缓存保存,当rdb文件生成后会和缓存文件一起发送给从节点,从节点进行保存,这就完成了主从复制。

实验:

①安装redis(上篇文章有)

②修改主配置文件:

bind 0.0.0.0                                    #87行,修改监听地址为0.0.0.0

protected-mode no                        #111行,将本机访问保护模式设置no

port 6379                                       #138行,Redis默认的监听6379端口

daemonize yes                              #309行,设置为守护进程,后台启动

pidfile /usr/local/redis/log/redis_6379.pid         #341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log"      #354行,指定日志文件

dir /usr/local/redis/data                  #504行,指定持久化文件所在目录

#requirepass 123456                     #1037行,可选,设置redis密码

appendonly yes                              #1380行,开启AOF

③修改从配置文件:

bind 0.0.0.0                                    #87行,修改监听地址为0.0.0.0

protected-mode no                        #111行,将本机访问保护模式设置no

port 6379                                       #138行,Redis默认的监听6379端口

daemonize yes                              #309行,设置为守护进程,后台启动

pidfile /usr/local/redis/log/redis_6379.pid         #341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log"      #354行,指定日志文件

dir /usr/local/redis/data                  #504行,指定持久化文件所在目录

#requirepass 123456                     #1037行,可选,设置redis密码

#masterauth abc123                      #535行,可选,指定Master节点的密码,仅在Master节点设置了requirepass

appendonly yes                              #1380行,开启AOF

replicaof 192.168.80.10 6379         #528行,指定要同步的Master节点IP和端口

然后重启redis服务

④验证:

主节点上输入:redis-cli -a123456 info replication

哨兵模式:

哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移

哨兵模式的作用:
监控:哨兵会不断地检查主节点和从节点是否运作正常。

自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其它从节点改为复制新的主节点。


哨兵结构由两部分组成,哨兵节点和数据节点:
哨兵节点:哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的redis节点,不存储数据。
数据节点:主节点和从节点都是数据节点。

故障转移机制:

1.由哨兵节点定期监控发现主节点是否出现了故障
每个哨兵节点每隔1秒会向主节点、从节点及其它哨兵节点发送一次ping命令做一次心跳检测。如果主节点在一定时间范围内不回复或者是回复一个错误消息,那么这个哨兵就会认为这个主节点主观下线了(单方面的)。当超过半数哨兵节点认为该主节点主观下线了,这样就客观下线了。

2.当主节点出现故障,此时哨兵节点会通过Raft算法(选举算法)实现选举机制共同选举出一个哨兵节点为leader,来负责处理主节点的故障转移和通知。所以整个运行哨兵的集群的数量不得少于3个节点。

3.由leader哨兵节点执行故障转移,过程如下:
将某一个从节点升级为新的主节点,让其它从节点指向新的主节点;
若原主节点恢复也变成从节点,并指向新的主节点;
通知客户端主节点已经更换。
 

主节点的选举:
1.过滤掉不健康的(已下线的),没有回复哨兵 ping 响应的从节点。
2.选择配置文件中从节点优先级配置最高的。(replica-priority,默认值为100)
3.选择复制偏移量最大,也就是复制最完整的从节点。
 

实验:三台机子配置一样

①哨兵模式的配置文件复制和给属主和属组

cp /opt/redis-7.0.9/sentinel.conf /usr/local/redis/conf/
chown redis.redis /usr/local/redis/conf/sentinel.conf

他就在redis的安装包里面

②修改配置文件

protected-mode no                               #6行,关闭保护模式
port 26379                                            #10行,Redis哨兵默认的监听端口
daemonize yes                                     #15行,指定sentinel为后台启动
pidfile /usr/local/redis/log/redis-sentinel.pid        #20行,指定 PID 文件
logfile "/usr/local/redis/log/sentinel.log"              #25行,指定日志存放路径
dir /usr/local/redis/data                                       #54行,指定数据库存放路径
sentinel monitor mymaster ip 6379 2                 #73行,修改 指定该哨兵节点监控ip这个主节点,该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意,才能判定主节点故障并进行故障转移
#sentinel auth-pass mymaster abc123                      #76行,可选,指定Master节点的密码,仅在Master节点设置了requirepass
sentinel down-after-milliseconds mymaster 3000      #114行,判定服务器down掉的时间周期,默认30000毫秒(30秒)
sentinel failover-timeout mymaster 180000               #214行,同一个sentinel对同一个master两次failover之间的间隔时间(180秒)
 

③启动sentinel:先启master,再启slave

cd /usr/local/redis/conf/
redis-sentinel sentinel.conf &

④查看哨兵信息:

redis-cli -p 26379 info Sentinel

 ⑤故障切换:

杀死主节点的哨兵进程

群集模式:

集群由多组节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。

集群的作用,可以归纳为两点:
(1)数据分区:数据分区(或称数据分片)是集群最核心的功能。
集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。
Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。

(2)高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。

Redis集群的数据分片:
Redis集群引入了哈希槽的概念
Redis集群有16384个哈希槽(编号0-16383)
集群的每组节点负责一部分哈希槽
每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作

以3个节点组成的集群为例:
节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽

实验:

①创建集群目录,并且创建节点服务器的目录:

cd /usr/local/redis/
mkdir -p redis-cluster/redis600{1..6}

② cp /opt/redis-7.0.9/redis.conf /usr/local/redis/redis-cluster/redis600{1..6}

复制redis.conf 到各个节点服务器的目录

③配置文件:

bind 127.0.0.1                                    #87行,注释掉bind项,默认监听所有网卡
protected-mode no                                #111行,关闭保护模式
port 6001(+1以此类推)                                        #138行,修改redis监听端口
daemonize yes                                    #309行,设置为守护进程,后台启动
pidfile /usr/local/redis/log/redis_6001.pid(+1以此类推)      #341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6001.log"(+1以此类推)    #354行,指定日志文件
dir ./                                            #504行,指定持久化文件所在目录
appendonly yes                                    #1379行,开启AOF
cluster-enabled yes                                #1576行,取消注释,开启群集功能
cluster-config-file nodes-6001.conf(+1以此类推)                #1584行,取消注释,群集名称文件设置
cluster-node-timeout 15000                        #1590行,取消注释群集超时时间设置

④切换到各个文件中启动服务:

cd /usr/local/redis/redis-cluster/redis6001

./redis-server redis.conf

 ⑤然后用cp复制,sed命令去更改配置文件内容

 ⑥ps -ef | grep redis 查看是否都启动了

 ⑦启动集群
redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1

 ⑧查看各个主和从的对应,查看hash槽的范围:

 ⑨测试:

 查看键的hash值:cluster keyslot 键

查看节点的哈希槽编号范围:cluster slots    

集群扩容:

①创建6007和6008的目录,进行修改配置文件:

②创建一个新的主节点127.0.0.1:6007。命令里需要指定一个已有节点以便于获取集群信息(可以知道6007的信息了)

 ③将127.0.0.1:6008创建为127.0.0.1:6007的从节点。命令里需要指定一个已有节点以便于获取集群信息和主节点的node ID

 ④新加入的主节点是没有槽数的,只有初始化集群的时候,才会根据主的数据分配好,如新增的主节点,需要手动分配

 ⑤检测


http://www.ppmy.cn/news/74469.html

相关文章

【Linux之进程间通信】01.fork函数

【Linux之进程间通信】 项目代码获取:https://gitee.com/chenshao777/linux-processes.git (麻烦点个免费的Star哦,您的Star就是我的写作动力!) 01.fork函数 pid_t fork(void);fork()函数的作用:产生一个…

OpenHarmony支持HDMI接口声卡适配说明

高清多媒体接口(High Definition Multimedia Interface,HDMI )是一种全数字化视频和声音发送接口,可以发送未压缩的音频及视频信号。HDMI可用于机顶盒、DVD播放机、个人计算机、电视、游戏主机、综合扩大机、数字音响与电视机等设…

StringBuffer与StringBuilder的区别

🏆今日学习目标: 🍀StringBuffer与StringBuilder的区别 ✅创作者:林在闪闪发光 ⏰预计时间:30分钟 🎉个人主页:林在闪闪发光的个人主页 🍁林在闪闪发光的个人社区,欢迎你…

【机器学习-K近邻算法】绝对通俗易懂的机器学习算法之一

1.k近邻算法 1.1 k近邻算法简介   1.定义:     就是通过你的“邻居”来判断你属于哪个类别。   2.如何计算你到你的“邻居”的距离?     一般时候,都是使用欧氏距离。 1.2 k近邻算法的api初步使用   1.sklearn     优势&a…

xxl-sso 单点登录

目录 1 项目启动修改Host文件运行路径SSO登录/注销流程验证 2 分析登录流程① 首次访问 client1 的 http://xxlssoclient1.com:8081/xxl-sso-web-sample-springboot/ ,进入过滤器② 请求重定向至 server的 http://xxlssoserver.com:8080/xxl-sso-server/login?redi…

代码随想录 哈希表 Java

文章目录 (简单)242.有效的字母异位词(简单)383. 赎金信(中等)49. 字母异位词分组(*中等)438. 找到字符串中所有字母异位词(简单)349. 两个数组的交集&#x…

无效数据处理攻略: 如何从源头开始预防无效数据带来的风险

数据处理在现代社会中变得越来越重要,而对于数据的可靠性和准确性,我们始终非常关注。然而,即使在对数据进行了精心管理的情况下,无效数据依然可能存在,并可能对数据分析和决策带来不良影响。因此,处理无效…

基于Freertos的ESP-IDF开发——5.使用按键[不带消抖、带消抖、长按短按识别]

基于Freertos的ESP-IDF开发——5.使用按键[不带消抖、带消抖、长按短按识别] 0. 前言1. 确定GPIO引脚2. 触发函数(不带消抖)3. 触发函数(带消抖)4. 长按和短按识别5.其他FreeRtos文章 0. 前言 这一节我们来学习使用按键操作。包括带消抖和不带消抖。 由于之前已经学习过FreeR…