如何使用Lvs+Nginx集群搭建高并發(fā)架構(gòu)

這篇文章主要介紹“如何使用Lvs+Nginx集群搭建高并發(fā)架構(gòu)”，在日常操作中，相信很多人在如何使用Lvs+Nginx集群搭建高并發(fā)架構(gòu)問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何使用Lvs+Nginx集群搭建高并發(fā)架構(gòu)”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

高并發(fā)站點(diǎn)不僅要考慮網(wǎng)站后端服務(wù)的穩(wěn)定，還需要考慮服務(wù)能否接入巨大流量、承受巨大流量，如下圖：

1:流量接入，可以采用Lvs+Nginx集群，這種方式能接入的QPS能高達(dá)數(shù)百萬

2:通過Lvs實(shí)現(xiàn)Nginx集群，Nginx+Tomcat實(shí)現(xiàn)后端服務(wù)集群，完成了從接入層流量處理到后端服務(wù)集群高并發(fā)處理

1. Lvs介紹

LVS(Linux Virtual Server),即Linux虛擬服務(wù)器。它用于多服務(wù)器的負(fù)載均衡，工作在網(wǎng)絡(luò)四層，可以實(shí)現(xiàn)高性能，高可用的服務(wù)器集群技術(shù)，它穩(wěn)定可靠，即使在集群的服務(wù)器中某臺服務(wù)器無法正常工作，也不影響整體效果。是基于TCP/IP做的路由和轉(zhuǎn)發(fā)，穩(wěn)定性和效率極高。

一個LVS集群往往包含以下角色：

1:DS：Director Server。虛擬服務(wù)，負(fù)責(zé)調(diào)度

2:RS：Real Server。后端真實(shí)的工作服務(wù)器。

3:VIP：向外部直接面向用戶請求，作為用戶請求的目標(biāo)的IP地址

4:DIP：Director Server IP，DS的IP

5:RIP：Real Server IP，后端服務(wù)器的IP地址

6:CIP：Client IP,訪問客戶端的IP地址

2. Lvs 負(fù)載均衡模式

lvs提供了3種負(fù)載均衡模式，每種負(fù)載均衡模式適用的場景有差異，我們來講解一下這三種負(fù)載均衡模式。

2.1 NAT

用戶的請求到分發(fā)器后，通過預(yù)設(shè)的iptables規(guī)則，把請求的數(shù)據(jù)包轉(zhuǎn)發(fā)到后端的RS上去。RS需要設(shè)定網(wǎng)關(guān)為分發(fā)器的內(nèi)網(wǎng)IP。用戶請求的數(shù)據(jù)包和返回給用戶的數(shù)據(jù)包全部經(jīng)過分發(fā)器，所以分發(fā)器稱為瓶頸。在NAT模式中，只需要分發(fā)器有公網(wǎng)IP即可，所以比較節(jié)省公網(wǎng)IP資源。

2.2 TUN

這種模式需要有一個公共的IP配置在分發(fā)器和所有的RS上，我們把它叫做VIP。客戶端請求的目標(biāo)IP為VIP，分發(fā)器接收到請求數(shù)據(jù)包后，會對數(shù)據(jù)包做一個加工，會把目標(biāo)IP改為RS的IP，這樣數(shù)據(jù)包就到了RS上。RS接收數(shù)據(jù)包后，會還原原始數(shù)據(jù)包，這樣目標(biāo)IP為VIP，因?yàn)樗蠷S上配置了這個VIP，所以他會認(rèn)為是它自己。

2.3 DR模式

和IP Tunnel較為相似，不同的是，它會把數(shù)據(jù)包的MAC地址修改為RS的MAC地址。真實(shí)服務(wù)器將響應(yīng)直接返回給客戶。

這種方式?jīng)]有IP隧道的開銷，對集群中的真實(shí)服務(wù)期也沒有必須支持IP隧道協(xié)議的要求，但是要求調(diào)度器與真實(shí)服務(wù)器都有一塊網(wǎng)卡連在同一物理網(wǎng)段上。

3. Lvs DR模式配置

綜合上面分析，我們可以得出結(jié)論，DR模式性能效率比較高，安全性很高，因此一般公司都推薦使用DR模式。我們這里也配置DR模式實(shí)現(xiàn)Lvs+Nginx集群。

我們準(zhǔn)備了3臺機(jī)器：首先確保三臺機(jī)器都安裝了Nginx。

1:192.168.183.133	(DS)		192.168.183.150   對外提供服務(wù)
2:192.168.183.134	(RS)		192.168.183.150   真實(shí)服務(wù)處理業(yè)務(wù)流程 
3:192.168.183.135	(RS)		192.168.183.150   真實(shí)服務(wù)處理業(yè)務(wù)流程

VIP:192.168.183.150

3.1 Vip配置

關(guān)閉網(wǎng)絡(luò)配置管理器(每臺機(jī)器都要做)

systemctl stop NetworkManager
systemctl disable NetworkManager

配置虛擬IP(VIP 192.168.183.133中配置)

在/etc/sysconfig/network-scripts創(chuàng)建文件ifcfg-ens33:1，內(nèi)容如下：

BOOTPROTO=static
DEVICE=ens33:1
ONBOOT=yes
IPADDR=192.168.183.150
NETMASK=255.255.255.0

重啟網(wǎng)絡(luò)服務(wù)：

service network restart

我們可以看到在原來的網(wǎng)卡上面添加了一個虛擬IP 150。

同時需要對192.168.183.134、192.168.183.135構(gòu)建虛擬機(jī)IP，但只是用于返回?cái)?shù)據(jù)，而不能被用戶訪問到，這時候需要操作ifcfg-lo。

IPADDR=127.0.0.1，這里127.0.0.1屬于本地回環(huán)地址，不屬于任何一個有類別地址類。它代表設(shè)備的本地虛擬接口，所以默認(rèn)被看作是永遠(yuǎn)不會宕掉的接口。

NETMASK=255.255.255.255

192.168.183.134：
將ifcfg-lo拷貝一份ifcfg-lo:1,并修改ifcfg-lo:1配置，內(nèi)容如下：

刷新lo：

ifup lo

查看IP可以發(fā)現(xiàn)lo下多了150ip。

192.168.100.133知行和上面相同的操作。

3.2 LVS集群管理工具安裝

ipvsadm用于對lvs集群進(jìn)行管理，需要手動安裝。DS安裝即可。

安裝命令：

yum install ipvsadm

版本查看：

ipvsadm -Ln

效果如下：

3.3 地址解析協(xié)議

在192.168.183.134和192.168.183.135中操作。

arp_ignore和arp_announce參數(shù)都和ARP協(xié)議相關(guān)，主要用于控制系統(tǒng)返回arp響應(yīng)和發(fā)送arp請求時的動作。這兩個參數(shù)很重要，特別是在LVS的DR場景下，它們的配置直接影響到DR轉(zhuǎn)發(fā)是否正常。

arp-ignore：arp_ignore參數(shù)的作用是控制系統(tǒng)在收到外部的arp請求時，是否要返回arp響應(yīng)（0~8，2-8用的很少）

配置文件：/etc/sysctl.conf，將如下文件拷貝進(jìn)去：

net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2

刷新配置：

sysctl -p

添加路由：此時如果無法識別route，需要安裝相關(guān)工具yum install net-tools。

route add -host 192.168.183.150 dev lo:1

添加了一個host地址，目的是用于接收數(shù)據(jù)報(bào)文，接收到了數(shù)據(jù)報(bào)文后會交給lo:1處理。（防止關(guān)機(jī)失效，需要將上述命令添加到/etc/rc.local中）

添加完host后，可以查看一下：route -n,能明顯看到效果。

上述配置我們同樣要在192.168.183.135中配置。

3.4 集群配置

ipvsadm命令講解：

ipvsadm -A:用于創(chuàng)建集群
ipvsadm -E:用于修改集群
ipvsadm -D:用于刪除集群
ipvsadm -C:用于清除集群數(shù)據(jù)
ipvsadm -R:用于重置集群配置規(guī)則
ipvsadm -S:用于保存修改的集群規(guī)則
ipvsadm -a:用于添加一個rs節(jié)點(diǎn)
ipvsadm -e:用于修改一個rs節(jié)點(diǎn)
ipvsadm -d:用于刪除一個rs節(jié)點(diǎn)

添加集群TCP服務(wù)地址：（外部請求由該配置指定的VIP處理）

ipvsadm -A -t 192.168.183.150:80 -s rr

參數(shù)說明：

• -A：添加集群配置

• -t：TCP請求地址(VIP)

• -s：負(fù)載均衡算法
  

負(fù)載均衡算法：

DS中配置rs(2個)節(jié)點(diǎn)：

ipvsadm -a -t 192.168.183.150:80 -r 192.168.183.134:80 -g
ipvsadm -a -t 192.168.183.150:80 -r 192.168.183.135:80 -g

參數(shù)說明：

• -a：給集群添加一個節(jié)點(diǎn)

• -t：指定VIP地址

• -r：指定real server地址

• -g：表示LVS的模式為dr模式
  

添加了節(jié)點(diǎn)后，我們通過ipvsadm -Ln查看，可以看到多了2個節(jié)點(diǎn)。

此時集群列表中客戶端請求數(shù)據(jù)和TCP通信數(shù)據(jù)會持久化保存，為了更好看到效果，我們可以把時間設(shè)置成2秒保存，如下命令：

ipvsadm --set 2 2 2

此時我們請求http://192.168.183.150/測試

可以發(fā)現(xiàn)請求會在兩臺Nginx輪詢切換。

到此，關(guān)于“如何使用Lvs+Nginx集群搭建高并發(fā)架構(gòu)”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！