一.Rsync远程同步
1.Rsync远程同步介绍
-
rsync(Remote Sync,远程同步) 是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适用于异地备份、镜像服务器等应用。
-
在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限。
二.配置Rsync源服务器(只需要配置一台虚拟机)
1.实验前准备
systemctl stop firewalld
setenforce 0
[root@localhost sarg-2.3.7]# systemctl stop firewalld
[root@localhost sarg-2.3.7]# setenforce 0
2.查看并安装Rsync
rpm -q rsync #一般系统已默认安装rsync
[root@localhost sarg-2.3.7]# rpm -q rsync
rsync-3.1.2-4.el7.x86_64
3.建立/etc/rsyncd.conf 配置文件
vim /etc/rsyncd.conf #添加以下配置项uid = rootgid = rootuse chroot = yes #禁锢在源目录address = 192.168.247.134 #监听地址port = 873 #监听端口 tcp/udp 873,可通过cat /etc/services | grep rsync查看log file = /var/log/rsyncd.log #日志文件位置pid file = /var/run/rsyncd.pid #存放进程 ID 的文件位置hosts allow = 192.168.247.0/24 #允许访问的客户机地址dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z #同步时不再压缩的文件类型[kfc] path = /var/www/html read only = yes auth users = xw secrets file = /etc/rsyncd_users.db
4.为备份账户创建数据文件
vim /etc/rsyncd_users.db
backuper:abc123 #无须建立同名系统用户
5.对备份账户进行授权
chmod 600 /etc/rsyncd_users.db
[root@localhost sarg-2.3.7]# chmod 600 /etc/rsyncd_users.db
6.保证所有用户对源目录/var/www/html 都有读取权限
chmod +r /var/www/html/
ls -ld /var/www/html/
[root@localhost sarg-2.3.7]# chmod +r /var/www/html/
[root@localhost sarg-2.3.7]# ls -ld /var/www/html/
drwxr-xr-x. 3 root root 18 7月 4 15:12 /var/www/html/
7.启动 Rsync 服务程序
rsync --daemon #启动 rsync 服务,以独立监听服务的方式(守护进程)运行
netstat -anpt | grep rsync
[root@localhost sarg-2.3.7]# rsync --daemon
[root@localhost sarg-2.3.7]# netstat -anpt | grep rsync
tcp 0 0 192.168.247.134:873 0.0.0.0:* LISTEN 89686/rsync
8.关闭 Rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
[root@localhost sarg-2.3.7]# kill $(cat /var/run/rsyncd.pid)
[root@localhost sarg-2.3.7]# rm -rf /var/run/rsyncd.pid
[root@localhost sarg-2.3.7]# netstat -anpt | grep rsync
9.出现故障报错及处理方法
- 在另一台输入rsync-avz的报错
[root@localhost~]#rsync-avz xw@192168.247.134::kfc /opt/ Password:
@ERROR: auth failed on module kfc
rsync error: error starting client-server p rotocol(code 5) at mainc(1649)[Rec eiver=3.1.2]
(1)第一步检查 /etc/rsyncd_users.db 文件的权限是否是600
ls -ld /etc/rsyncd_users.db
(2)检查 /etc/rsyncd.conf 文件中名字是否一致
(3)打开 /etc/rsyncd_users.db 文件中查看设置的密码最后是否有空格,有空格删除即可
三.发起端配置
- 基本格式
rsync [选项] 原始位置 目标位置
- 常用选项
选项 | 作用 |
---|---|
-r | 递归模式,包含目录及子目录中的所有文件 |
-l | 对于符号链接文件仍然复制为符号链接文件 |
-v | 显示同步过程的详细(verbose)信息 |
-z | 在传输文件时进行压缩(compress) |
-a | 归档模式,保留文件的权限、属性等信息,等同于组合选项“-rlptgoD” |
-p | 保留文件的权限标记 |
-t | 保留文件的时间标记 |
-g | 保留文件的属组标记(仅超级用户使用) |
-o | 保留文件的属主标记(仅超级用户使用) |
-H | 保留硬连接文件 |
-A | 保留 ACL 属性信息 |
-D | 保留设备文件及其他特殊文件 |
–delete | 删除目标位置有而原始位置没有的文件 |
–checksum | 根据校验和(而不是文件大小、修改时间)来决定是否跳过文件 |
1.将指定的资源下载到本地/opt 目录下进行备份
- 方法一
rsync -avz xw@192.168.247.134::kfc /opt/ #密码abc123
[root@localhost ~]# rsync -avz xw@192.168.247.134::kfc /opt/
Password:
receiving incremental file list
sent 20 bytes received 83 bytes 41.20 bytes/sec
total size is 2,865 speedup is 27.82
- 方法二
rsync -avz rsync://xw@192.168.247.134/kfc /opt/
2.免交互格式配置
echo "abc123" > /etc/server.pass
chmod 600 /etc/server.pass
[root@localhost ~]# echo "abc123" > /etc/server.pass
[root@localhost ~]# chmod 600 /etc/server.pass
3.进行时间同步
crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass xw@192.168.247.134::kfc /opt/
[root@localhost ~]# crontab -e
no crontab for root - using an empty one
crontab: installing new crontab
4.重启crond服务
systemctl restart crond
systemctl enable crond
[root@localhost ~]# systemctl restart crond
[root@localhost ~]# systemctl enable crond
四.配置 Rsync+inotify
- 使用inotify通知接口,可以用来监控文件系统的各种变化情况,如文件存取、删除、移动、修改等。利用这一机制,可以非常方便地实现文件异动告警、增量备份,并针对目录或文件的变化及时作出响应
- 将inotify机制与rsync工具相结合,可以实现触发式备份(实时同步),即只要原始位置的文档发生变化,则立即启动增量备份操作;否则处于静默等待状态。这样,就避免了按固定周期备份时存在的延迟性、周期过密等问题
- 因为 inotify 通知机制由 Linux 内核提供,因此主要做本机监控,在触发式备份中应用时更适合上行同步
1.修改Rsync源服务器配置文件
vim /etc/rsyncd.conf
......
read only = no #关闭只读,上行同步需要可以写
2.删除并重启进程
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon
netstat -anpt | grep rsync
chmod 777 /var/www/html/
[root@localhost network-scripts]# kill $(cat /var/run/rsyncd.pid)
[root@localhost network-scripts]# rm -rf /var/run/rsyncd.pid
[root@localhost network-scripts]# rsync --daemon
[root@localhost network-scripts]# netstat -anpt | grep rsync
tcp 0 0 192.168.247.134:873 0.0.0.0:* LISTEN 12587/rsync
[root@localhost network-scripts]# chmod 777 /var/www/html/
3.调整 inotify 内核参数
cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches
vim /etc/sysctl.conffs.inotify.max_queued_events = 16384fs.inotify.max_user_instances = 13424fs.inotify.max_user_watches = 13448576
sysctl -p
[root@localhost network-scripts]# cat /proc/sys/fs/inotify/max_queued_events
16384
[root@localhost network-scripts]# cat /proc/sys/fs/inotify/max_user_instances
128
[root@localhost network-scripts]# cat /proc/sys/fs/inotify/max_user_watches
8192
vim /etc/sysctl.conffs.inotify.max_queued_events = 16384fs.inotify.max_user_instances = 13424fs.inotify.max_user_watches = 13448576
[root@localhost network-scripts]# sysctl -p
net.ipv4.ip_forward = 1
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 13424
fs.inotify.max_user_watches = 13448576
4.安装 inotify-tools
cd /opt/
tar xf inotify-tools-3.14.tar.gz
cd /opt/inotify-tools-3.14
./configure
make -j4 && make install
[root@localhost ~]# cd /opt/
[root@localhost opt]# tar xf inotify-tools-3.14.tar.gz
[root@localhost opt]# cd /opt/inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
......
[root@localhost inotify-tools-3.14]# make -j4 && make install
make all-recursive
make[1]: 进入目录“/opt/inotify-tools-3.14”
Making all in libinotifytools
......
5.先执行“inotifywait”命令,然后另外再开启一个新终端向 /var/www/html 目录下添加文件、移动文件,在原来的终端中跟踪屏幕输出结果
inotifywait -mrq -e modify,create,move,delete /var/www/html
6.在另外一个终端编写触发式同步脚本
vim /opt/inotify.sh#!/bin/bashINOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.247.134::wwwroot/"$INOTIFY_CMD | while read DIRECTORY EVENT FILEdoif [ $(pgrep rsync | wc -l) -le 0 ] ; then$RSYNC_CMDfidone
7.对脚本进行授权
chmod +x /opt/inotify.sh
chmod 777 /var/www/html/
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify.sh' >> /etc/rc.d/rc.local #加入开机自动执行
8.触发式上行同步的验证过程
(1)在本机运行 /opt/inotify.sh 脚本程序
(2)切换到本机的 /var/www/html 目录,执行增加、删除、修改文件等操作
(3)查看远端服务器中的 kfc 目录下的变化情况
[root@localhost ~]# inotifywait -mrq -e modify,create,move,delete /var/www/html
/var/www/html/ CREATE 1.txt
五.使用Rsync来实现快速删除大量文件
1.先建立一个空的文件夹
mkdir /home/blank
2.用Rsync删除目标目录
rsync --delete-before -a -H -v --progress --stats /home/blank/ /usr/local/nginx/proxy_temp/
- 常用选项
选项 | 作用 |
---|---|
–delete-before | 接收者在传输进行删除操作 |
-a | 归档模式,表示以递归方式传输文件,并保持所有文件属性 |
-H | 保持硬连接的文件 |
-v | 详细输出模式 |
–progress | 在传输时显示传输过程 |
–stats | 给出某些文件的传输状态 |