linux 中怎么利用rsync實現文件增量同步

這篇文章給大家介紹linux 中怎么利用rsync實現文件增量同步，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

一、系統(tǒng)環(huán)境：
更新源服務器：192.0.2.20
目的服務器：192.0.2.21  


二、目的服務器配置:192.0.2.21 （rsync服務端）：
1、檢查rsync是否安裝
rpm -qa|grep rsync 


2、定義rsync配置文件/etc/rsyncd.conf
192.0.2.21:


cat >> /etc/rsyncd.conf << EOF 
uid = root   
gid = root   
use chroot = no 
max connections = 100   
timeout = 600   
pid file = /var/run/rsyncd.pid    
lock file = /var/run/rsyncd.lock    
log file = /var/log/rsyncd.log    
[web1]   
path = /data/www1/    
ignore errors    
read only = no   
list = no   
hosts allow = 192.0.2.0/255.255.255.0    
auth users = root   
secrets file = /etc/www1.pwd   




3、rsyncd.conf配置文件詳解
uid = nobody      //運行RSYNC守護進程的用戶
gid = nobody      //運行RSYNC守護進程的組
use chroot = 0    //不使用chroot
max connections = 0   // 最大連接數,0為不限制
port = 873  //默認端口873


下面這些文件是安裝完RSYNC服務后自動生成的文件
pid file = /var/run/rsyncd.pid    //pid文件的存放位置
lock file = /var/run/rsync.lock   //鎖文件的存放位置.指定支持max connections參數的鎖文件,默認值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log    //日志記錄文件的存放位置


Timeout = 300
通過該選項可以覆蓋客戶指定的IP超時時間.通過該選項可以確保rsync服務器不會永遠等待一個崩潰的客戶端.超時單位為秒鐘,0表示沒有超時定義,這也是默認值.對于匿名rsync服務器來說,一個理想的數字是600.


Log format = %t %a %m %f %b
通過該選項用戶在使用transfer logging可以自己定制日志文件的字段.其格式是一個包含格式定義符的字符串,可以使用的格式定義符如下所示：
%h 遠程主機名
%a 遠程IP地址
%l 文件長度字符數
%p 該次rsync會話的進程id
%o 操作類型：" send" 或" recv"
%f 文件名
%P 模塊路徑
%m 模塊名
%t 當前時間
%u 認證的用戶名(匿名時是null)
%b 實際傳輸的字節(jié)數
%c 當發(fā)送文件時,該字段記錄該文件的校驗碼
默認log格式為：" %o %h [%a] %m (%u) %f %l" ,一般來說,在每行的頭上會添加" %t [%p] " .在源代碼中同時發(fā)布有一個叫rsyncstats的perl腳本程序來統(tǒng)計這種格式的日志文件.


#transfer logging = yes
使rsync服務器使用ftp格式的文件來記錄下載和上載操作在自己單獨的日志中.


syslog facility = local3 
指定rsync發(fā)送日志消息給syslog時的消息級別,常見的消息級別是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默認值是daemon.


模塊參數
[web1]   //這里是認證的模塊名,在client端需要指定
path = /data/www1/  //需要做鏡像的目錄,不可缺少！
comment = backup web  //這個模塊的注釋信息
ignore errors    //可以忽略一些無關的IO錯誤
read only = yes  //該選項設定是否允許客戶上載文件.如果為true那么任何上載請求都會失敗,如果為false并且服務器目錄讀寫權限允許那么上載是允許的.默認值為true.
list = no        //不允許列文件
auth users = bak    //認證的用戶名,如果沒有這行則表明是匿名,此用戶與系統(tǒng)無關
該選項指定由空格或逗號分隔的用戶名列表,只有這些用戶才允許連接該模塊.這里的用戶和系統(tǒng)用戶沒有任何關系.如果" auth users" 被設置,那么客戶端發(fā)出對該模塊的連接請求以后會被rsync請求challenged進行驗證身份這里使用的challenge/response認證協(xié)議.用戶的名和密碼以明文方式存放在" secrets file" 選項指定的文件中.默認情況下無需密碼就可以連接模塊(也就是匿名方式).


secrets file = /etc/www1.pwd      //密碼和用戶名對比表,密碼文件自己生成
該選項指定一個包含定義用戶名:密碼對的文件.只有在" auth users" 被定義時,該文件才有作用.文件每行包含一個username:passwd對.一般來說密碼最好不要超過8個字符.沒有默認的secures file名,需要限式指定一個(例如：/etc/www1.pwd).注意：該文件的權限一定要是600,否則客戶端將不能連接服務器.


hosts allow = 192.168.9.0/255.255.255.0  //允許主機或網段
該選項指定哪些IP的客戶允許連接該模塊.客戶模式定義可以是以下形式：
單個IP地址,例如：192.0.2.20
整個網段,例如：192.168.9.0/24,也可以是192.168.9.0/255.255.255.0
多個IP或網段需要用空格隔開,“*”則表示所有,默認是允許所有主機連接.


hosts deny = 0.0.0.0/0  //禁止主機


4、建立認證文件/etc/www1.pwd ,此文件須與配置文件中指定文件名保持一致
此處格式為：username:password,安全問題,并不建議實際使用中使用root用戶
192.0.2.21:
# echo "root:root" >> /etc/www1.pwd 


并且我們需要設置此文件的權限為600


chmod 600 /etc/www1.pwd  
chmod 600 /etc/rsyncd.conf 


5、建立motd文件（可有可無）
rsyncd.motd記錄了rsync服務的歡迎信息,你可以在其中輸入任何文本信息,如：


echo "Welcome to use the rsync services! " >> /var/rsyncd.motd 


6、啟動rsync


/usr/bin/rsync --daemon  


停止
# /etc/init.d/rsyncd stop






添加到自動啟動 
echo "/usr/bin/rsync --daemon" >> /etc/rc.local 


三、更新源服務器配置:192.0.2.20 （rsync客戶端）


1、inotify 可以監(jiān)視的文件系統(tǒng)事件包括：
IN_ACCESS，即文件被訪問
IN_MODIFY，文件被 write
IN_ATTRIB，文件屬性被修改，如 chmod、chown、touch 等
IN_CLOSE_WRITE，可寫文件被 close
IN_CLOSE_NOWRITE，不可寫文件被 close
IN_OPEN，文件被 open
IN_MOVED_FROM，文件被移走,如 mv
IN_MOVED_TO，文件被移來，如 mv、cp
IN_CREATE，創(chuàng)建新文件
IN_DELETE，文件被刪除，如 rm
IN_DELETE_SELF，自刪除，即一個可執(zhí)行文件在執(zhí)行時刪除自己
IN_MOVE_SELF，自移動，即一個可執(zhí)行文件在執(zhí)行時移動自己
IN_UNMOUNT，宿主文件系統(tǒng)被 umount
IN_CLOSE，文件被關閉，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE，文件被移動，等同于(IN_MOVED_FROM | IN_MOVED_TO)
注：上面所說的文件也包括目錄。




2、更新源服務器安裝inotify-tools
在安裝inotify-tools前請先確認你的linux內核是否打到了2.6.13，并且在編譯時開啟了CONFIG_INOTIFY選項，也可以通過以下命令檢測


ls /proc/sys/fs/inotify 


如果有 max_queued_events，max_user_instances，max_user_watches 三項就說明支持


下載軟件：3.14 是2010最后一個版本
wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz  
tar xvf inotify-tools-3.14.tar.gz  
mv inotify-tools-3.14 /opt/
cd /opt/inotify-tools-3.14/
./configure  
make;make install 




安裝inotify-tools后會在相關安裝目錄下生成如下兩個文件：
ll /usr/local/bin/
-rwxr-xr-x 1 root root 44327 Oct 10 15:32 inotifywait
-rwxr-xr-x 1 root root 41417 Oct 10 15:32 inotifywatch
則表示安裝成功。




注意： 在 源服務器上需要安裝，目標服務器上不需要安裝inotify。


3、編寫rsync監(jiān)控腳本
vi /root/rsync.sh 


#!/bin/bash  
host1=192.0.2.21
src=/data/www/
des1=web1
user1=root


/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format  '%T %w%f' -e modify,delete,create,attrib ${src} | while read file  
        do
                rsync -avzP --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/www1.pwd &&
                echo "${file} was rsynced" >> /tmp/rsync.log 2>&1
                echo "---------------------------------------------------------------------------"  
        done


參數介紹：        
-m， 即--monitor，表示始終保持事件監(jiān)聽狀態(tài)。
-r， 即--recursive，表示遞歸查詢目錄。
-q， 即--quiet，表示打印出監(jiān)控事件。
-e， 即--event，通過此參數可以指定要監(jiān)控的事件，常見的事件有modify、delete、create、attrib等
--timefmt：指定時間的輸出格式
--format：指定變化文件的詳細信息




建立認證文件  (rsync客戶端認證文件只用加入密碼)


echo "root" >> /etc/www1.pwd  
chmod 600 /etc/www1.pwd  
/bin/sh -n /root/rsync.sh  //語法檢查  
chmod +x /root/rsync.sh  


啟動
/root/rsync.sh
出現這個錯誤“/usr/local/bin/inotifywait: error while loading shared libraries: libinotifytools.so.0”


解決方法：
32位系統(tǒng)：ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib/libinotifytools.so.0
64位系統(tǒng)：ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib64/libinotifytools.so.0




放后臺
nohup sh /root/rsync.sh &  


設置自動啟動
echo "nohup sh /root/rsync.sh &" >> /etc/rc.local 






四、同步測試
在更新源服務器上新建一個文件，運行以下的命令，看文件是否可以正常同步，看有無報錯信息


rsync -avzP --delete --progress /data/www/ root@192.0.2.21::web1 --password-file=/etc/www1.pwd
 
將要更新的文件提交到更新源服務器中，這樣就通過inotify+rsync批量的將更新文件同步到所有的目的服務器中，相當方便快捷






五、inotify相關參數
inotify定義了下列的接口參數，可以用來限制inotify消耗kernel memory的大小。由于這些參數都是內存參數，因此，可以根據應用需求，實時的調節(jié)其大?。?br/>

/proc/sys/fs/inotify/max_queued_evnets表示調用inotify_init時分配給inotify instance中可排隊的event的數目的最大值，超出這個值的事件被丟棄，但會觸發(fā)IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances表示每一個real user ID可創(chuàng)建的inotify instatnces的數量上限。
/proc/sys/fs/inotify/max_user_watches表示每個inotify instatnces可監(jiān)控的最大目錄數量。如果監(jiān)控的文件數目巨大，需要根據情況，適當增加此值的大小。


根據以上在32位或者64位系統(tǒng)都可以執(zhí)行：


echo 104857600 > /proc/sys/fs/inotify/max_user_watches
echo 'echo 104857600 > /proc/sys/fs/inotify/max_user_watches' >> /etc/rc.local




http://blog.chinaunix.net/uid-25150840-id-5767502.html
==========================================================================
rsync配合crontab的使用
１安裝
檢查rsync是否安裝
沒安裝的要安裝




兩個服務器：
192.0.2.20 源服務器  有目錄 /upload
192.0.2.21 目標服務器  有目錄 /upload




２創(chuàng)建rsyncd.conf文件
服務器端創(chuàng)建rsyncd.conf文件


#vi /etc/rsyncd.conf
#[global]
uid = root
gid = root
use chroot = no
max connections = 10
list = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
hosts allow = 192.0.2.21 
#允許訪問的IP，就是客戶端ｉｐ
[data] 
#指定發(fā)布名，在客戶端調用ｒｓｙｎｃ的時候需要用這個
path = /upload 
#發(fā)布的路徑，就是你要備份下來的目錄，這個目錄會被備份到客戶端
read only = no
ignore errors
auth users = root 
#認證用戶為root
secrets file = /etc/sery.pass 
#密碼文件


保存退出
//啟動rsync服務端
# rsync --daemon --config=/etc/rsyncd.conf


３密碼
生成客戶端和服務端密碼文件


客戶端：
# vi /etc/sery_client.pass 
123456


# chmod 600 /etc/sery_client.pass


服務端：
#注意。服務器端有用戶名，客戶端之后密碼，權限都是600，還有前面的conf文件也是
# vi /etc/sery.pass
root:123456 
# chmod 600 /etc/sery.pass


４啟動rsync
服務器端啟動
# rsync --daemon --config=/etc/rsyncd.conf


５查看監(jiān)聽狀態(tài)
也是服務器端
# lsof -i:873
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync   15187 root    4u  IPv4  83885      0t0  TCP *:rsync (LISTEN)
rsync   15187 root    5u  IPv6  83886      0t0  TCP *:rsync (LISTEN)


# netstat -antp |grep rsync
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      15187/rsync         
tcp        0      0 :::873                  :::*                    LISTEN      15187/rsync         




６將rsync寫進服務端自啟動


還是服務器端
# echo "/usr/bin/rsync --daemon --config=/etc/rsyncd.conf" >>/etc/rc.local


７測試同步
客戶端執(zhí)行
# rsync -avzP --delete root@192.0.2.20::data /upload --password-file=/etc/sery_client.pass


1. –a 使用archive模式，保持原有的文件權限
2. –v顯示到屏幕上
3. –z傳輸時壓縮數據
4. –P傳輸進度
5. --delete是指如果服務器端刪除了這一文件，那么客戶端也相應把文件刪除，保持真正的一致
6. data就是之前說的那個發(fā)布名，/root/test客戶端本地存放路徑
7. –password-file 指定密碼文件


如需同步硬鏈接，加-H




8 客戶端配置計劃調度任務crontab
 在客戶端上寫進crontab
#vi /root/rsyncd.sh
#!/bin/bash
rsync –avzP –-delete root@192.168.1.64::data /root/test/data –-password-file=/etc/sery_client.pass
#wq


查看是否正常同步。


測試以下項目，同步正常：
創(chuàng)建文件
修改文件
刪除文件
創(chuàng)建文件夾
文件夾中創(chuàng)建文件




９／其他
(1)是客戶端和服務器端連接時也可以使用ssh鏈接不用password的方法
自動ssh/scp方法==
A為本地主機(即用于控制其他主機的機器) ;192.0.2.21
B為遠程主機(即被控制的機器Server),192.0.2.20


A和B的系統(tǒng)都是Linux
在A上運行命令:
# ssh-keygen -t rsa (連續(xù)三次回車,即在本地生成了公鑰和私鑰,不設置密碼)
# ssh root@192.0.2.20 "mkdir .ssh" (需要輸入密碼)
# scp ~/.ssh/id_rsa.pub root@192.0.2.20:.ssh/id_rsa.pub (需要輸入密碼)


在B上的命令:
# touch /root/.ssh/authorized_keys (如果已經存在這個文件, 跳過這條)
# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys (將id_rsa.pub的內容追加到authorized_keys 中)


回到A機器:
# ssh root@192.0.2.20 (不需要密碼, 登錄成功) 




更簡單的方法
打開終端執(zhí)行ssh-keygen，該命令會在~/.ssh/目錄下創(chuàng)建id_rsa、id_rsa.pub兩個文件，分別為公鑰和私鑰。
將公鑰拷貝到服務器的~/.ssh/authorized_keys文件中就可以了。方法如下：
cat ~/.ssh/id_rsa.pub | ssh -p 22 root@host ‘cat >> ~/.ssh/authorized_keys’，


=====================================================================================================================
三／關于ｒｓｙｎｃ的命令


Rsync的命令格式可以為以下六種：
　　rsync [OPTION]... SRC DEST
　　rsync [OPTION]... SRC [USER@]HOST:DEST
　　rsync [OPTION]... [USER@]HOST:SRC DEST
　　rsync [OPTION]... [USER@]HOST::SRC DEST
　　rsync [OPTION]... SRC [USER@]HOST::DEST
　　rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
　　對應于以上六種命令格式，rsync有六種不同的工作模式：
　　1)拷貝本地文件。當SRC和DES路徑信息都不包含有單個冒號":"分隔符時就啟動這種工作模式。如：rsync -a /data /backup
　　2)使用一個遠程shell程序(如rsh、ssh)來實現將本地機器的內容拷貝到遠程機器。當DST路徑地址包含單個冒號":"分隔符時啟動該模式。如：rsync -avz *.c foo:src
　　3)使用一個遠程shell程序(如rsh、ssh)來實現將遠程機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號":"分隔符時啟動該模式。如：rsync -avz foo:src/bar /data
　　4)從遠程rsync服務器中拷貝文件到本地機。當SRC路徑信息包含"::"分隔符時啟動該模式。如：rsync -av root@172.16.78.192::www /databack
　　5)從本地機器拷貝文件到遠程rsync服務器中。當DST路徑信息包含"::"分隔符時啟動該模式。如：rsync -av /databack root@172.16.78.192::www
　　6)列遠程機的文件列表。這類似于rsync傳輸，不過只要在命令中省略掉本地機信息即可。如：rsync -v rsync://172.16.78.192/www


rsync參數的具體解釋如下：
-v, --verbose 詳細模式輸出
-q, --quiet 精簡輸出模式
-c, --checksum 打開校驗開關，強制對文件傳輸進行校驗
-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，并保持所有文件屬性，等于-rlptgoD
-r, --recursive 對子目錄以遞歸模式處理
-R, --relative 使用相對路徑信息
-b, --backup 創(chuàng)建備份，也就是對于目的已經存在有同樣的文件名時，將老的文件重新命名為~filename?？梢允褂?-suffix選項來指定不同的備份文件前綴。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進行更新，也就是跳過所有已經存在于DST，并且文件時間晚于要備份的文件。(不覆蓋更新的文件)
-l, --links 保留軟鏈結
-L, --copy-links 想對待常規(guī)文件一樣處理軟鏈結
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結
--safe-links 忽略指向SRC路徑目錄樹以外的鏈結
-H, --hard-links 保留硬鏈結
-p, --perms 保持文件權限
-o, --owner 保持文件屬主信息
-g, --group 保持文件屬組信息
-D, --devices 保持設備文件信息
-t, --times 保持文件時間信息
-S, --sparse 對稀疏文件進行特殊處理以節(jié)省DST的空間
-n, --dry-run現實哪些文件將被傳輸
-W, --whole-file 拷貝文件，不進行增量檢測
-x, --one-file-system 不要跨越文件系統(tǒng)邊界
-B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節(jié)
-e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步
--rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息
-C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件，用來排除那些不希望傳輸的文件
--existing 僅僅更新那些已經存在于DST的文件，而不備份那些新創(chuàng)建的文件
--delete 刪除那些DST中SRC沒有的文件
--delete-excluded 同樣刪除接收端那些被該選項指定排除的文件
--delete-after 傳輸結束以后再刪除
--ignore-errors 及時出現IO錯誤也進行刪除
--max-delete=NUM 最多刪除NUM個文件
--partial 保留那些因故沒有完全傳輸的文件，以是加快隨后的再次傳輸
--force 強制刪除目錄，即使不為空
--numeric-ids 不將數字的用戶和組ID匹配為用戶名和組名
--timeout=TIME IP超時時間，單位為秒
-I, --ignore-times 不跳過那些有同樣的時間和長度的文件
--size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間
--modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認為0
-T --temp-dir=DIR 在DIR中創(chuàng)建臨時文件
--compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份
-P 等同于 --partial
--progress 顯示備份過程
-z, --compress 對備份的文件在傳輸時進行壓縮處理
--exclude=PATTERN 指定排除不需要傳輸的文件模式
--include=PATTERN 指定不排除而需要傳輸的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 綁定到特定的地址
--config=FILE 指定其他的配置文件，不使用默認的rsyncd.conf文件
--port=PORT 指定其他的rsync服務端口
--blocking-io 對遠程shell使用阻塞IO
-stats 給出某些文件的傳輸狀態(tài)
--progress 在傳輸時現實傳輸過程
--log-format=formAT 指定日志文件格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O帶寬，KBytes per second
-h, --help 顯示幫助信息 
關于linux 中怎么利用rsync實現文件增量同步就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。