LVS負載均衡群集詳解

此博文包含以下內(nèi)容：
1、 群集類型
2、負載均衡的分層結構
3、負載均衡的工作模式
4、LVS的負載調(diào)度算法
5、LVS相關的基礎命令
6、使用ipvsadm管理工具
7、搭建NFS共享存儲服務器
8、搭建基于NAT模式的LVS負載均衡群集實例

根據(jù)生產(chǎn)環(huán)境的不同，群集所提供的功能也各不相同，采用的技術細節(jié)也可能各有千秋。關于群集技術的相關概念如下：

1、 群集類型

無論是哪種群集，都至少包括兩臺節(jié)點服務器，而對外表現(xiàn)為一個整體，只提供一個訪問入口（域名或IP地址），相當于一臺大型計算機。根據(jù)群集所針對的目標差異，可以分為以下三種類型：

• 負載均衡群集（LB）：以提高應用系統(tǒng)的響應能力、盡可能處理更多的訪問請求、較少延遲為目的，獲得高并發(fā)、高負載的整體性能。例如，“DNS輪詢” 、“應用層交換”、“反向代理”等都可用做負載均衡群集。LB的負載分配依賴于主節(jié)點的分流算法，將來自客戶機的訪問請求分擔給多個服務器節(jié)點，從而緩解整個系統(tǒng)的負載壓力。

• 高可用群集（HA）：以提高應用系統(tǒng)的可靠性，盡可能地減少中斷時間為目標，確保服務的連續(xù)性，達到高可用（HA）的容錯效果，例如，“故障切換”。“雙機熱備”、“多機熱備”、等都屬于高可用群集技術，HA的工作方式包括雙工和主從兩種模式。雙工就是所有節(jié)點同時在線；主從則只有主節(jié)點在線，但當出現(xiàn)故障時從節(jié)點能自動切換為主節(jié)點，和Cisco路由器的HSRP原理類似。

• 高性能運算群集（HPC）：以提高應用系統(tǒng)的CPU運算速度，擴展硬件資源和分析能力為目標，獲得相當于大型、超級計算機的高性能運算（HPC）能力。例如，“云計算”、“網(wǎng)格計算”也可以當成HPC的一種。HPC群集的高性能依賴于“分布式計算” “并行計算”，通過專用硬件和軟件將多臺服務器的CPU、內(nèi)存等資源整合在一起，實現(xiàn)只有大型、超級計算機才具備的計算能力。

不同類型的群集可以根據(jù)實際需求進行合并，如高可用的負載均衡群集。

2、負載均衡的分層結構

上圖是一個典型的負載均衡群集，共三層，每層的作用如下：

• 第一層：負載調(diào)度器，這是訪問整個群集系統(tǒng)的唯一入口，對外使用所有服務器共有的VIP（虛擬IP）地址，也稱為群集IP。通常會配置主、備兩臺調(diào)度器實現(xiàn)熱備份。確保高可用性。

• 第二層：服務器池，群集所提供的應用服務（如HTTP、FTP）由服務器池承擔，其中每個節(jié)點具有獨立的RIP（真實IP）地址，只處理調(diào)度器分發(fā)過來的客戶機請求，當某個節(jié)點暫時失效，負載調(diào)度器的容錯機制會將其隔離，等待錯誤排除后在將其重新納入服務器池。

• 第三層：共享存儲，為服務器池中的所有節(jié)點提供穩(wěn)定、一致的文件存取服務，確保整個群集的統(tǒng)一性。在Linux/UNIX環(huán)境中，共享存儲可以使用NAS設備，或者提供NFS（網(wǎng)絡文件系統(tǒng)）共享服務的專用服務器。

3、負載均衡的工作模式
.

• NAT模式：類似于防火墻的私有網(wǎng)絡結構，負載調(diào)度器作為所有服務器節(jié)點的網(wǎng)關，即作為客戶機的訪問入口，也是各節(jié)點回應客戶機的訪問出口。服務器節(jié)點使用私有IP地址，與負載調(diào)度器位于同一個物理網(wǎng)絡，安全性要優(yōu)于其他兩種方式，但負載調(diào)度器的壓力較大。

• TUN模式：采用開放式的網(wǎng)絡結構，負載調(diào)度器僅作為客戶機的訪問入口，各節(jié)點通過各自的Internet連接直接回應客戶機，而不再經(jīng)過負載調(diào)度器，服務器節(jié)點分散在互聯(lián)網(wǎng)中的不同位置，具有獨立的公網(wǎng)IP地址，通過專用IP隧道與負載調(diào)度器相互通信。

• DR模式：采用半開放的網(wǎng)絡結構，與TUN模式的結構類似，但各節(jié)點不是分散在各地的，而是與調(diào)度器位于同一個物理網(wǎng)絡，負載調(diào)度器與各節(jié)點服務器通過本地網(wǎng)絡連接，不需要建立專用的IP隧道。

LVS是針對Linux內(nèi)核開發(fā)的一個負載均衡項目，官網(wǎng)是：http://www.linuxvirtualserver.org/ 可以進入官網(wǎng)查閱相關的技術文檔。LVS現(xiàn)在已經(jīng)成為Linux內(nèi)核的一部分，默認編譯為ip_vs模塊，必要時能夠自動調(diào)用。

4、LVS的負載調(diào)度算法

輪詢（rr）：將收到的訪問請求按照順序輪流分配給群集中的各節(jié)點（真實服務器），均等地對待每臺服務器，而不管服務器實際的連接數(shù)和系統(tǒng)負載。

加權輪詢（wrr）：根據(jù)真實服務器的處理能力輪流分配收到的訪問請求，調(diào)度器可以自動查詢個節(jié)點的負載情況，并動態(tài)調(diào)整其權重。這樣可以保證處理能力強的服務器承擔更多的訪問流量。

最少連接（lc）：根據(jù)真實服務器已建立的連接數(shù)進行分配，將受到的訪問請求優(yōu)先分配給連接數(shù)最少的節(jié)點，如果所有的服務器節(jié)點性能相近，采用這種方式可以更好地均衡負載。

加權最少連接（wlc）：在服務器節(jié)點的性能差異較大的情況下，可以為真實服務器自動調(diào)整權重，權重較高的節(jié)點將承擔更大比例的活動連接負載。

5、LVS相關的基礎命令

默認ip_vs模塊沒有加載，可以執(zhí)行如下命令加載ip_vs模塊：

[root@localhost ~]# modprobe ip_vs                 #加載ip_vs模塊
[root@localhost ~]# lsmod | grep ip_vs             #查看ip_vs模塊是否已加載
ip_vs                 141432  0 
nf_conntrack          133053  8 ip_vs,nf_nat,nf_nat_ipv4,......
libcrc32c              12644  4 xfs,ip_vs,nf_nat,nf_conntrack
[root@localhost ~]# modprobe -r ip_vs             #移除ip_vs模塊
[root@localhost ~]# lsmod | grep ip_vs
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs            #查看ip_vs版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

6、使用ipvsadm管理工具

ipvsadm是在負載調(diào)度器上使用的LVS群集管理工具，通過調(diào)用ip_vs模塊來添加、刪除服務器節(jié)點，以及查看群集的運行狀態(tài)。

[root@localhost ~]# yum -y install ipvsadm               #安裝ipvsadm工具
[root@localhost ~]# ipvsadm -v                                 #查看ipvsadm版本
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)

1）使用ipvsadm工具創(chuàng)建虛擬服務器：

若群集的VIP地址為200.0.0.1，針對TCP 80端口提供負載分流服務，使用的調(diào)度算法為輪詢（rr），則對應的命令如下，對于負載均衡調(diào)度器來說，VIP必須是本機實際已啟用的IP地址：

[root@localhost ~]# ipvsadm -A -t 200.0.0.1:80 -s rr

<!--以上命令中，選項-A表示添加虛擬服務器，-t用來指定虛擬VIP地址和TCP端口，
-s用來指定負載調(diào)度算法——輪詢（rr）、加權輪詢（wrr）、最少連接（lc）、
加權最少連接（wlc）。
若希望使用保持連接，還需要添加“-p 60”選項，其中60為保持時間（單位為s）-->

2)添加服務器節(jié)點：

為虛擬服務器200.0.0.1添加四個服務器節(jié)點，IP地址依次為192.168.1.2~5，命令如下：

[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.2:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.3:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.4:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.5:80 -m -w 1
<!--以上命令中，選項-a表示添加真實服務器，-t用來指定VIP地址及TCP端口，
-r用來指定RIP（真實IP）地址及TCP端口，-m表示使用NAT群集模式
（-g DR模式和-i TUN模式），-w用來設置權重（權重為0時表示暫停節(jié)點）。-->

[root@localhost ~]# ipvsadm -ln                #查看節(jié)點狀態(tài)
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  200.0.0.1:80 rr
  -> 192.168.1.2:80               Masq    1      0          0         
  -> 192.168.1.3:80               Masq    1      0          0         
  -> 192.168.1.4:80               Masq    1      0          0         
  -> 192.168.1.5:80               Masq    1      0          0         
<!--上述輸出結果中，forward列下的Masq對應masquerade（地址偽裝），
表示采用的群集模式為NAT，如果是Route，則表示采用的群集模式為DR。-->

3）刪除服務器節(jié)點：

需要從服務器池中刪除某一個節(jié)點時，使用選項-d。執(zhí)行刪除操作必須指定目標對象，包括節(jié)點地址，虛擬IP地址，例如，如下操作將會刪除LVS群集200.0.0.1中的節(jié)點192.168.1.5。

[root@localhost ~]# ipvsadm -d -r 192.168.1.5:80 -t 200.0.0.1:80

需要刪除整個虛擬服務器時，使用選項-D并指定虛擬IP即可，不需指定節(jié)點。例如執(zhí)行“ipvsadm -D -t 200.0.0.1:80”，則刪除此虛擬服務器。

4）保存負載分配策略：

使用導出/導入工具ipvsadm-save/ipvsadm-restore可以保存、恢復LVS策略（服務器重啟后策略需要重新導入）。

[root@localhost ~]# hostname lvs         #更改主機名
<!--若主機名為默認的localhost，在導出策略時，VIP地址將會自動轉為127.0.0.1，
若是這樣，再次導入后，將會導致負載服務器無法正常工作。-->
[root@localhost ~]# bash                 #使更改的主機名馬上生效
[root@lvs ~]# ipvsadm-save > /etc/sysconfig/ipvsadm.bak                 #保存策略
[root@lvs ~]# cat /etc/sysconfig/ipvsadm.bak                          #確認保存結果
-A -t 200.0.0.1:http -s rr
-a -t 200.0.0.1:http -r 192.168.1.2:http -m -w 1
-a -t 200.0.0.1:http -r 192.168.1.3:http -m -w 1
-a -t 200.0.0.1:http -r 192.168.1.4:http -m -w 1
[root@localhost ~]# ipvsadm -C                  #清除當前策略
[root@localhost ~]# ipvsadm -ln                  #確認當前群集策略已被清除
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@localhost ~]# ipvsadm-restore < /etc/sysconfig/ipvsadm.bak     #導入剛才備份的策略
[root@localhost ~]# ipvsadm -ln              #查看群集策略是否導入成功
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  200.0.0.1:80 rr
  -> 192.168.1.2:80               Masq    1      0          0         
  -> 192.168.1.3:80               Masq    1      0          0         
  -> 192.168.1.4:80               Masq    1      0          0         

7、搭建NFS共享存儲服務器

NFS是一種基于TCP/IP傳輸?shù)木W(wǎng)絡文件系統(tǒng)協(xié)議，通過使用NFS協(xié)議，客戶機可以像訪問本地目錄一樣訪問遠程服務器中的資源，對于大多數(shù)負載均衡群集來說，使用NFS協(xié)議來共享數(shù)據(jù)存儲是比較常見的做法，NFS也是NAS存儲設備必然支持的一種協(xié)議。

使用NFS發(fā)布共享資源：

1）安裝相關軟件包：

[root@localhost ~]# yum -y install nfs-utils rpcbind                 #安裝所需軟件包
[root@localhost ~]# systemctl enable nfs                               #設置NFS開機自啟
[root@localhost ~]# systemctl enable rpcbind                       #設置rpcbind開機自啟

2）設置共享目錄：

[root@localhost ~]# mkdir -p /opt/wwwroot                           #創(chuàng)建需要共享的目錄
[root@localhost ~]# vim /etc/exports                         #編輯NFS的配置文件，默認為空

/opt/wwwroot  192.168.1.0/24(rw,sync,no_root_squash)

<!--上述配置中“192.168.1.0/24”表示允許訪問的客戶機地址，
可以是主機名、IP地址、網(wǎng)段地址、允許使用*、？通配符；
權限選項中的rw表示允許讀寫（ro為只讀），
sync表示同步寫入，因為在客戶機掛載該共享目錄后，若向該目錄中寫入什么東西的話，
會先保存在自己的緩存中，而不會寫入到共享目錄中，加上sync則不會存在自己的緩存，
直接保存到共享目錄中；
no_root_squash表示當前客戶機以root身份訪問時賦予本地root權限
（默認是root_squash，將作為nfsnobody用戶對待），若不加no_root_squash，
可能會導致被降權，而無法進行讀寫（wr）-->

當需要將同一個目錄共享給不同的客戶機，且分配不同權限時，只要用空格分隔指定多個“客戶機（權限選項）”即可。如下：

[root@localhost ~]# vim /etc/exports   
/var/ftp/pub  192.168.2.1(ro,sync) 192.168.2.3(rw,sync)

3）重載NFS服務程序：

[root@localhost ~]# systemctl restart rpcbind
[root@localhost ~]# systemctl restart nfs
[root@localhost ~]# netstat -anpt | grep rpc
tcp        0      0 0.0.0.0:43759         0.0.0.0:*      LISTEN      76336/rpc.statd     
tcp        0      0 0.0.0.0:111           0.0.0.0:*       LISTEN      76307/rpcbind       
tcp        0      0 0.0.0.0:20048       0.0.0.0:*     LISTEN      76350/rpc.mountd    
tcp6       0      0 :::111                  :::*          LISTEN      76307/rpcbind       
tcp6       0      0 :::20048                :::*         LISTEN      76350/rpc.mountd    
tcp6       0      0 :::38355                :::*         LISTEN      76336/rpc.statd     
[root@localhost ~]# showmount -e                      #查看本機發(fā)布的NFS共享目錄
Export list for localhost.localdomain:
/opt/wwwroot 192.168.1.0/24
/var/ftp/pub 192.168.2.3,192.168.2.1

4）在客戶端訪問NFS共享資源：

NFS協(xié)議的目標是提供一種網(wǎng)絡文件系統(tǒng)，因此對NFS共享的訪問也使用mount命令進行掛載，對應的文件系統(tǒng)類型為nfs，既可以手動掛載，也可以加入fstab配置文件來實現(xiàn)開機自動掛載，考慮到群集系統(tǒng)中的網(wǎng)絡穩(wěn)定性，NFS服務器與客戶機之間最好使用專有網(wǎng)絡進行連接。

1.安裝rpcbind軟件包，并啟動rpcbind服務，為了使用showmount查詢工具，所以將nfs-utils也一起裝上：

[root@localhost ~]# yum -y install nfs-utils rpcbind 
[root@localhost ~]# systemctl enable rpcbind
[root@localhost ~]# systemctl start rpcbind

2.查詢NFS服務器端共享了哪些目錄：

[root@localhost ~]# showmount -e 192.168.1.1               #需指定要查詢的服務器地址
Export list for 192.168.1.1:
/opt/wwwroot 192.168.1.0/24
/var/ftp/pub 192.168.2.3,192.168.2.1

3.手動掛載NFS共享目錄，并設置開機自動掛載：

[root@localhost ~]# mount 192.168.1.1:/opt/wwwroot /var/www/html      #掛載到本地
[root@localhost ~]# df -hT /var/www/html                     #查看是否掛載成功
文件系統(tǒng)                 類型  容量  已用  可用 已用% 掛載點
192.168.1.1:/opt/wwwroot nfs4   17G  6.2G   11G   37% /var/www/html
[root@localhost ~]# vim /etc/fstab                #設置自動掛載
                 .........................
192.168.1.1:/opt/wwwroot    /var/www/html     nfs     defaults,_netdev    0    0
<!--文件系統(tǒng)為nfs，掛載參數(shù)添加_netdev（設備需要網(wǎng)絡）-->

完成掛載后，訪問客戶機的/var/www/html文件夾，就相當于訪問NFS服務器中的/opt/wwwroot文件夾，其中網(wǎng)絡映射過程對于用戶程序來說是完全透明的。

基于NAT工作模式的LVS群集配置實例可參考博文：搭建基于NAT模式的LVS負載均衡群集