rsync遠(yuǎn)程同步（理論+實(shí)踐篇）

關(guān)于rsync

一款快速增量備份工具

• Remote Sync,遠(yuǎn)程同步
• 支持本地復(fù)制，或者與其他SsH、rsync 主機(jī)同步
• 官方網(wǎng)站: http://rsync.samba.org

配置rsync源服務(wù)器

rsync同步源

• 指?jìng)浞莶僮鞯倪h(yuǎn)程服務(wù)器，也稱為備份源

配置rsync源

• 基本思路
  • 建立rsyncd.conf配置文件、獨(dú)立的賬號(hào)文件
  • 啟用rsync的-daemon模式
• 應(yīng)用示例
  • 用戶backuper, 允許下行同步
  • 操作的目錄為/var/www/html/
• 配置文件rsyncd.conf
  • 需手動(dòng)建立，語法類似于Samba配置
  • 認(rèn)證配置auth users、secrets file, 不加則為匿名
• rsync賬號(hào)文件
  • 采用"用戶名:密碼”的記錄格式，每行一個(gè)用戶記錄
  • 獨(dú)立的賬號(hào)數(shù)據(jù)，不依賴于系統(tǒng)賬號(hào)
• 啟用rsync服務(wù)
  • 通過--daemon獨(dú)自提供服務(wù)
  • 執(zhí)行kill $(cat /var/run/rsyncd.pid)關(guān)閉rsync服務(wù)

使用rsync備份工具

rsync命令用法

• rsync [選項(xiàng)] 原始位置 目標(biāo)位置
• 常用選項(xiàng)
  • -a:歸檔模式，遞歸并保留對(duì)象屬性，等同于-rlptgoD
  • -v:示同步過程的詳細(xì)(verbose)信息
  • -z:在傳輸文件時(shí)進(jìn)行壓縮(compress)
  • -H:保留硬連接文件
  • -A:保留ACL屬性信息
  • --delete:刪除目標(biāo)位置有而原始位置沒有的文件
  • --checksum:根據(jù)對(duì)象的校驗(yàn)和來決定是否跳過文件
• 配置源的兩種表示方法
  • 格式1: 用戶名@主機(jī)地址::共享模塊名
  • 格式2: rsync://用戶名@主機(jī)地址/共享模塊名

rsync實(shí)時(shí)同步

定期同步的不足

• 執(zhí)行備份的時(shí)間固定，延遲明顯、實(shí)時(shí)性差
• 當(dāng)同步源長(zhǎng)期不變化時(shí)，密集的定期任務(wù)是不必要的

實(shí)時(shí)同步的優(yōu)點(diǎn)

• 一旦同步源出現(xiàn)變化，立即啟動(dòng)備份
• 只要同步源無變化，則不執(zhí)行備份

關(guān)于inotify

Linux內(nèi)核的inotify機(jī)制

• 從版本2.6.144開始提供
• 可以監(jiān)控文件系統(tǒng)的變動(dòng)情況，并作出通知響應(yīng)
• 輔助軟件: inotify-tools

rsync+inotify實(shí)時(shí)同步

• 調(diào)整inotify內(nèi)核參數(shù)
  • max_queue_events: 監(jiān)控隊(duì)列大小
  • max_user_instances: 最多監(jiān)控實(shí)例數(shù)
  • max_user_watches:每個(gè)實(shí)例最多監(jiān)控文件數(shù)，配置時(shí)應(yīng)大于監(jiān)控目標(biāo)的總文件數(shù)
• 安裝inotify-tools輔助工具
  • inotifywait:用于持續(xù)監(jiān)控,實(shí)時(shí)輸出結(jié)果
  • 常用選項(xiàng)
  • -m：持續(xù)進(jìn)行監(jiān)控
  • -r：遞歸監(jiān)控所有子對(duì)象
  • -q：簡(jiǎn)化輸出信息
  • -e：指定要監(jiān)控哪些事件類型
  • inotifwatch:用于短期監(jiān)控，任務(wù)完成后再出結(jié)果
• 通過inotifywait觸發(fā)rsync同步操作
  • 使用while、read持續(xù)獲取監(jiān)控結(jié)果
  • 根據(jù)結(jié)果可以作進(jìn)一 步判斷，決定執(zhí)行何種操作

實(shí)踐配置

實(shí)驗(yàn)環(huán)境

• rsyncd服務(wù)器IP地址：192.168.144.128
• client客戶端IP地址：192.168.144.129

在rsyncd服務(wù)器上修改配置文件

[root@rsyncd ~]# rpm -q rsync
rsync-3.0.9-18.el7.x86_64
[root@rsyncd ~]# vim /etc/rsyncd.conf

uid = nobody           //匿名用戶
gid = nobody
use chroot = yes         //禁錮家目錄
pid file = /var/run/rsyncd.pid        //pid文件路徑
address = 192.168.144.128                //配置監(jiān)聽地址
port = 873                        //端口號(hào)
log file = /var/log/rsyncd.log      //日志文件路徑
hosts allow = 192.168.144.0/24         //允許地址段訪問
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2   //不需要壓縮的類型

[wwwroot]           //共享模塊名
path = /var/www/html        //共享文件路徑
comment = www.kgc.com      //定義名稱
read only = yes            //只讀權(quán)限
auth users = backuper       //身份驗(yàn)證用戶名
secrets file = /etc/rsyncd_users.db        //密碼文件
:wq
[root@rsyncd ~]# vim /etc/rsyncd_users.db      //創(chuàng)建密碼文件
backuper:123123       //編輯用戶名：密碼
:wq
[root@rsyncd ~]# chmod 600 /etc/rsyncd_users.db       //更改權(quán)限
[root@rsyncd ~]# rsync --daemon                    //開啟rsync服務(wù)
[root@rsyncd ~]# netstat -ntap | grep rsync         //查看端口
tcp     0     0 192.168.144.128:873      0.0.0.0:*    LISTEN    36346/rsync 
[root@rsyncd ~]# systemctl stop firewalld.service       //關(guān)閉防火墻
[root@rsyncd ~]# setenforce 0
[root@rsyncd ~]# yum install httpd -y           //安裝httpd服務(wù)
[root@rsyncd ~]# cd /var/www/html/
[root@rsyncd html]# echo "this is test web" > index.html      //編輯網(wǎng)頁信息
[root@rsyncd html]# cd ../
[root@rsyncd www]# chmod 777 html/          //放開目錄權(quán)限，方便用戶操作

在客戶端服務(wù)器上，拉取同步源rsyncd

[root@client ~]# systemctl stop firewalld.service      //關(guān)閉防火墻
[root@client ~]# setenforce 0                      //關(guān)閉selinux
[root@client ~]# rpm -q rsync               //檢查是否安裝rsync服務(wù)
rsync-3.0.9-18.el7.x86_64
[root@client ~]# yum install httpd -y         //安裝httpd服務(wù)
[root@client ~]# cd /var/www/
[root@client www]# chmod 777 html/               //放開目錄權(quán)限
[root@client www]# rsync -avz backuper@192.168.144.128::wwwroot /var/www/html      //拉取共享模塊
Password:                        //輸入密碼  
[root@client www]# cat html/index.html          //查看是否同步信息
this is test web
[root@client www]# rm -rf html/index.html 
[root@client www]# vim /etc/server.pass      //創(chuàng)建本地的密碼文件
123123
[root@client www]# chmod 600 /etc/server.pass       //更改權(quán)限
[root@client www]# rsync -avz --delete --password-file=/etc/server.pass backuper@192.168.144.128::wwwroot /var/www/html/         //指定本地密碼文件，刪除目標(biāo)位置有而原始位置沒有的文件，實(shí)現(xiàn)免交互

在client客戶端上安裝inotify（監(jiān)控）

[root@client www]# vim /etc/sysctl.conf        //修改內(nèi)核參數(shù)文件
fs.inotify.max_queued_events = 16384       //隊(duì)列
fs.inotify.max_user_instances = 1024        //每個(gè)隊(duì)列中的實(shí)例數(shù)
fs.inotify.max_user_watches = 1048576      //每個(gè)實(shí)例中的文件數(shù)
[root@client www]# sysctl -p  ##加載
[root@client www]# mount.cifs //192.168.100.8/LNMP-C7 /mnt/    //掛載
Password for root@//192.168.100.3/LNMP-C7:  
[root@client www]# cd /mnt/
[root@client mnt]# tar zxvf inotify-tools-3.14.tar.gz -C /opt/     //解壓inotify到/opt下
[root@client mnt]# cd /opt/
[root@client opt]# cd inotify-tools-3.14/
[root@client inotify-tools-3.14]# yum install gcc gcc-c++ make -y    //安裝環(huán)境
[root@client inotify-tools-3.14]# ./configure              //配置
[root@client inotify-tools-3.14]# make && make install     //編譯安裝
[root@client inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /var/www/html/          //啟動(dòng)監(jiān)控

重新開啟一個(gè)客戶機(jī)的終端

[root@client ~]# cd /var/www/html/
[root@client html]# touch abc
[root@client html]# rm -rf abc

回到開啟監(jiān)控的終端查看

/var/www/html/ CREATE abc
/var/www/html/ DELETE abc    //顯示監(jiān)控信息

在client客戶機(jī)創(chuàng)建腳本，通過inotifywait觸發(fā)rsync同步操作腳本

[root@client inotify-tools-3.14]# cd /opt/
[root@client opt]# vim inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,move,delete /var/www/html/"
RSYNC_CMD="rsync -avz --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.144.128::wwwroot/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
 do
     if [ $(pgrep rsync | wc -l) -le 0 ]; then
            $RSYNC_CMD
     fi
done
[root@client opt]# chmod +x inotify.sh    //添加執(zhí)行權(quán)限

在rsyncd服務(wù)器上修改配置文件

[root@rsyncd www]# vim /etc/rsyncd.conf
read only = no         //關(guān)閉只讀權(quán)限
[root@rsyncd www]# netstat -natp | grep rsync
tcp     0    0 192.168.144.128:873    0.0.0.0:*      LISTEN      36346/rsync         
[root@rsyncd www]# kill -9 36346       //關(guān)閉服務(wù)
[root@rsyncd www]# netstat -natp | grep rsync
[root@rsyncd www]# rm -rf /var/run/rsyncd.pid      //刪除pid文件
[root@rsyncd www]# rsync --daemon              //重新開啟rsync服務(wù)

在client客戶機(jī)上執(zhí)行inotify腳本文件

[root@client opt]# ./inotify.sh

重新開啟一個(gè)client客戶機(jī)終端

[root@client html]# echo "this is test" > test.txt      //添加文本

查看開啟監(jiān)控服務(wù)終端信息

[root@client opt]# ./inotify.sh 
sending incremental file list
./
rsync: failed to set times on "/." (in wwwroot): Operation not permitted (1)
test.txt

sent 121 bytes  received 30 bytes  302.00 bytes/sec
total size is 30  speedup is 0.20
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1052) [sender=3.0.9]
sending incremental file list

sent 66 bytes  received 8 bytes  148.00 bytes/sec
total size is 30  speedup is 0.41

在rsync服務(wù)器上查看

[root@rsyncd www]# cd html/
[root@rsyncd html]# ls
index.html  test.txt       //實(shí)現(xiàn)同步