MongoDB副本集 集群搭建
一、MongoDB副本集
副本集类似于有自动故障恢复功能的主从集群。通俗的讲就是用多台机器进行同一数据的异步同步,从而使多台机器拥有同一数据的多个副本,并且当主库当掉时在不需要用户干预的情况下自动
切换其他备份服务器做主库。而且还可以利用副本服务器做只读服务器,实现读写分离,提高负载。
- 副本集的两种类型:
主节点(Primary)类型:数据操作的主要连接点,可读写。
次要(辅助、从)节点(Secondaries)类型:数据冗余备份节点,可以读或选举。
- 三种角色:
主要成员(Primary):主要接收所有写操作。就是主节点。
副本成员(Replicate):从主节点通过复制操作以维护相同的数据集,即备份数据,不可写操作,但可以读操作(但需要配置)。是默认的一种从节点类型。
仲裁者(Arbiter):不保留任何数据的副本,只具有投票选举作用。当然也可以将仲裁服务器维护为副
本集的一部分,即副本成员同时也可以是仲裁者。也是一种从节点类型。
二、 MongoDB副本集搭建
架构组织:
主机 | 作用 |
---|---|
192.168.40.129:27017 | 主节点 |
192.168.40.129:27018 | 副本节点一 |
192.168.40.129:27019 | 副本节点二 |
192.168.40.129:27020 | 仲裁节点 |
- 创建主节点存放数据和日志的目录:
mkdir -p /mongodb/replica_sets/myrs_27017/{data/db,log}
- 创建主节点配置文件
vim /mongodb/replica_sets/myrs_27017/mongod.conf
# 设置数据文件的存放目录
dbpath=/mongodb/replica_sets/myrs_27017/data/db# 设置日志文件的存放目录及其日志文件名
logpath=/mongodb/replica_sets/myrs_27017/log/mongodb.log# 设置为以守护进程的方式运行,即在后台运行
fork=true#使用追加的方式写日志
logappend=true#每次写入会记录一条操作日志(通过journal可以重新构造出写入的数据)
journal=true#即使宕机,启动时wiredtiger会先将数据恢复到最近一次的checkpoint点,然后重放后续的journal日志来恢复
#存储引擎有mmapv1、wirtiger、mongorocks
storageEngine=wiredTiger#最大同时连接数
maxConns=100#绑定ip
bind_ip= 0.0.0.0#端口
port=27017# 设置副本集名称
replSet=myrs
- 创建副本集一存放数据和日志的目录:
mkdir -p /mongodb/replica_sets/myrs_27018/{data/db,log}
- 创建副本集一配置文件
vim /mongodb/replica_sets/myrs_27018/mongod.conf
配置文件内容和主节点一至,只需将端口改为27018,及db目录和log目录修改为对应的即可。
副本集二同理。
- 创建仲裁节点存放数据和日志的目录:
mkdir -p /mongodb/replica_sets/myrs_27020/{data/db,log}
- 创建仲裁节点配置文件
vim /mongodb/replica_sets/myrs_27020/mongod.conf
配置文件内容和主节点一至,只需将端口改为27020,及db目录和log目录修改为对应的即可。
- 到mongodb安装目录bin下启动四个节点
./mongod -f /mongodb/replica_sets/myrs_27017/mongod.conf
./mongod -f /mongodb/replica_sets/myrs_27018/mongod.conf
./mongod -f /mongodb/replica_sets/myrs_27019/mongod.conf
./mongod -f /mongodb/replica_sets/myrs_27020/mongod.conf
- 初始化配置副本集和主节点
使用客户端命令连接任意一个节点,尽量要连接主节点:
./mongo --host=127.0.0.1 --port=27017
使用 rs.initiate() 方法对副本集进行初始化
rs.initiate({"_id" : "myrs","members" : [{ "_id" : 0, "host" : "192.168.40.129:27017",priority:3},{ "_id" : 1, "host" : "192.168.40.129:27018",priority:2},{ "_id" : 2, "host" : "192.168.40.129:27019",priority:1},{ "_id" : 3, "host" : "192.168.40.129:27020",arbiterOnly:true}]})
使用 rs.status() 或 rs.config() 可以查看副本集状态和当前配置信息
rs.status()
其中 stateStr 为节点类型:
PRIMARY 主节点
SECONDARY 从节点
ARBITER 仲裁节点
- 在主节点添加数据
show dbs
use testdb
db.testdb.insert({"articleid":"100000","content":"今天天气真好,阳光明 媚","userid":"1001","nickname":"Rose","createdatetime":new Date(),"likenum":NumberInt(10),"state":null})
- 进入任意子节点查询数据
use testdb
db.testdb.find()
会报错:
Error: listDatabases failed:{
“operationTime” : Timestamp(1615907745, 1),
“ok” : 0,
“errmsg” : “not master and slaveOk=false”,
“code” : 13435,
“codeName” : “NotMasterNoSlaveOk”,
“$clusterTime” : {
“clusterTime” : Timestamp(1615907745, 1),
“signature” : {
“hash” : BinData(0,“AAAAAAAAAAAAAAAAAAAAAAAAAAA=”),
“keyId” : NumberLong(0)
}
}
} :
因为默认情况下,从节点是没有读写权限的,可以增加读的权限:
rs.slaveOk()
#或
rs.slaveOk(true)
然后再查看便有数据。
- 别忘了释放对应端口
firewall-cmd --zone=public --add-port=27017/tcp --permanent
firewall-cmd --zone=public --add-port=27018/tcp --permanent
firewall-cmd --zone=public --add-port=27019/tcp --permanent
firewall-cmd --zone=public --add-port=27020/tcp --permanent
firewall-cmd --reload
- 动态添加从节点:
rs.add("192.168.40.129:27021")
- 动态添加仲裁节点
rs.addArb("192.168.40.129:27022")
三、MongoDB副本集选举原则
MongoDB在副本集中,会自动进行主节点的选举,主节点选举的触发条件:
- 主节点故障
- 主节点网络不可达(默认心跳信息为10秒)
- 人工干预(rs.stepDown(600))
选举规则:
一旦触发选举,就要根据一定规则来选主节点。选举规则是根据票数来决定谁获胜:票数最高,且获得了“大多数”成员的投票支持的节点获胜。“大多数”的定义为:假设复制集内投票成员数量为N,则大多数为 N/2 + 1。例如:3个投票成员,则大多数的值是2。当复制集内存活成员数量不足大多数时,整个复制集将无法选举出Primary,
复制集将无法提供写服务,处于只读状态。若票数相同,且都获得了“大多数”成员的投票支持的,数据新的节点获胜。
数据的新旧是通过操作日志oplog来对比的。
在获得票数的时候,优先级(priority)参数影响重大。
可以通过设置优先级(priority)来设置额外票数。优先级即权重,取值为0-1000,相当于可额外增加0-1000的票数,优先级的值越大,就越可能获得多数成员的投票(votes)数。指定较高的值可使成员更有资格成为主要成员,更低的值可使成员更不符合条件。默认情况下,优先级的值是1,可通过rs.conf()查看。
修改节点的优先级:
- 先将配置导入cfg变量
cfg=rs.conf()
- 然后修改值(ID号默认从0开始)
cfg.members[1].priority=2
- 重新加载配置
rs.reconfig(cfg)
四、MongoDB副本集故障测试
假设系统中搭建了一主一从一仲裁则
-
副本节点故障测试
关闭所有副本节点发现,主节点和仲裁节点对副本节点的心跳失败。因为主节点还在,因此,没有触发投票选举。此时只能由主节点负责读写,如果副本节点恢复,则会同步最新的数据。 -
主节点故障测试
关闭主节点,发现,从节点和仲裁节点对主节点的心跳失败,当失败超过10秒,此时因为没有主节点了,会自动发起投票,从节点变为主节点。如果原先主节点恢复则变成从节点。 -
仲裁节点和主节点故障
关闭仲裁节点和主节点,发现,从节点仍然是从节点,副本集中没有主节点了,导致此时,副本集是只读状态,无法写入。因为从节点的票数,没有获得大多数,即没有大于等于2,它只有默认的一票(优先级是1)如果要触发选举,随便加入一个成员即可。如果加入的是仲裁节点,则该从节点直接升级为主节点,如果添加为从节点,则两个都是两票,则按照谁数据新,谁当主节点。 -
仲裁节点和从节点故障
关闭仲裁节点和从节点,10秒后,主节点自动降级为副本节点。(服务降级)副本集不可写数据了,已经故障了。