OpenResty + Lua 動(dòng)態(tài)增加 Zuul 節(jié)點(diǎn)

隱憂

??在 Spring Cloud 微服務(wù)架構(gòu)體系中，所有請(qǐng)求的前門(mén)的網(wǎng)關(guān) Zuul 承擔(dān)著請(qǐng)求轉(zhuǎn)發(fā)的主要功能，對(duì)后端服務(wù)起著舉足輕重的作用。當(dāng)業(yè)務(wù)體量猛增之后得益于 Spring Cloud 的橫向擴(kuò)展能力，往往加節(jié)點(diǎn)、加機(jī)器就可以使得系統(tǒng)支撐性獲得大大提升，但是僅僅加服務(wù)而不加網(wǎng)關(guān)是會(huì)有性能瓶頸的，實(shí)踐經(jīng)驗(yàn)得出的結(jié)論是單一 Zuul 的處理能力十分有限，因此擴(kuò)張節(jié)點(diǎn)往往是服務(wù)連帶 Zuul 一起擴(kuò)張，然后再在請(qǐng)求上層加一層軟負(fù)載，通常是使用 Nginx（Nginx 均分請(qǐng)求到 Zuul 負(fù)載層，“完美”地解決了問(wèn)題），如下圖：

??上圖的這種方式在實(shí)際運(yùn)行中存在兩個(gè)缺點(diǎn)：

在后端 Zuul 運(yùn)行一段時(shí)間之后，其中一臺(tái) Zuul 掛掉了，前端請(qǐng)求的服務(wù)會(huì)有一部分掛掉。原因很簡(jiǎn)單，Nginx 和后端 Zuul 沒(méi)有關(guān)聯(lián)性，Zuul 宕掉以后，Nginx 還是會(huì)把請(qǐng)求分發(fā)過(guò)來(lái)。

新加機(jī)器、對(duì) Zuul 做新的橫向擴(kuò)展，就需要去更改 Nginx 的配置，對(duì)新擴(kuò)展的 Zuul 進(jìn)行配置。

解決方案：

??OpenResty 整合了 Nginx 與 Lua，實(shí)現(xiàn)了可伸縮的 Web 平臺(tái)，內(nèi)部集成了大量精良的 Luα 庫(kù)、第三方模塊以及多數(shù)的依賴項(xiàng)。能夠非常快捷地搭建處理超高并發(fā)、擴(kuò)展性極高的動(dòng)態(tài) Web 應(yīng)用、Web 服務(wù)和動(dòng)態(tài)網(wǎng)關(guān)。我們可以使用 Luα 腳本模塊與注冊(cè)中心構(gòu)建一個(gè)服務(wù)動(dòng)態(tài)增減的機(jī)制，通過(guò) Lua 獲取注冊(cè)中心狀態(tài)為 UP 的服務(wù)，動(dòng)態(tài)地加入到 Nginx 的均衡列表中去。

實(shí)踐

??Spring Cloud 中國(guó)社區(qū)針對(duì)上面說(shuō)的這種場(chǎng)景開(kāi)源了相關(guān)的 Lua 插件源碼（Github 地址）

OpenResty 安裝與配置

1、環(huán)境

yum -y install readline-devel pcre-devel openssl-devel gcc

2、下載解壓OpenResty包

wget https://openresty.org/download/openresty-1.13.6.1.tar.gz

tar -zxvf openresty-1.13.6.1.tar.gz

3、下載ngx_cache_purge模塊，該模塊用于清理nginx緩存

cd openresty-1.13.6.1/bundle

wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz

tar -zxvf ngx_cache_purge-2.3.tar.gz

4、下載nginx_upstream_check_module模塊，該模塊用于upstream健康檢查

wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/v0.3.0.tar.gz

tar -zxvf v0.3.0.tar.gz

5、OpenResty配置增加

cd openresty-1.13.6.1

./configure --prefix=/usr/local/openresty --with-http_realip_module  --with-pcre  --with-luajit --add-module=./bundle/ngx_cache_purge-2.3/ --add-module=./bundle/nginx_upstream_check_module-0.3.0/ -j2 

6、編譯安裝

make

make install

7、OpenResty沒(méi)有http模塊，需要單獨(dú)安裝

cd /usr/local/openresty/lualib/resty

wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http_headers.lua  

wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http.lua

8、項(xiàng)目腳本拷貝到這里

copy dynamic_eureka_balancer.lua into this dir

9、Nginx配置文件

vim /usr/local/openresty/nginx/conf/nginx.conf

Nginx 配置如下

http {

#sharing cache area

lua_shared_dict dynamic_eureka_balancer 128m;

init_worker_by_lua_block {

-- 引入 Lua 插件文件

local file = require "resty.dynamic_eureka_balancer"

local balancer = file:new({dict_name="dynamic_eureka_balancer"})

-- Eureka server list

balancer.set_eureka_service_url({"127.0.0.1:8888", "127.0.0.1:9999"})

-- The service name that needs to be monitored

balancer.watch_service({"zuul", "client"})

}

upstream springcloud_cn {

server 127.0.0.1:666; # Required, because empty upstream block is rejected by nginx (nginx+ can use 'zone' instead)

balancer_by_lua_block {    

--The zuul name that needs to be monitored

local service_name = "zuul"

local file = require "resty.dynamic_eureka_balancer"

local balancer = file:new({dict_name="dynamic_eureka_balancer"}) 

--balancer.ip_hash(service_name) --IP Hash LB

balancer.round_robin(service_name) --Round Robin LB

}

}

    server {

        listen       80;

        server_name  localhost;

location / {

proxy_pass  http://springcloud_cn/;

proxy_set_header Host $http_host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header X-Forwarded-Proto  $scheme;

}

        error_page   500 502 503 504  /50x.html;

        location = /50x.html {

            root   html;

        }

}

}

??實(shí)現(xiàn)原理是使用 Lua 腳本定時(shí)根據(jù)配置的服務(wù)名與 Eureka 地址，去拉取該服務(wù)的信息，在 Eureka 里面提供 /eureka/apps/{serviceId} 端點(diǎn)，返回服務(wù)的注冊(cè)信息，所以我們只需要取用狀態(tài)為 UP 的服務(wù)，將它的地址加入 Nginx 負(fù)載列表即可。此項(xiàng)目使得 Nginx 與 Zuul 之間擁有一個(gè)動(dòng)態(tài)感知能力，不用手動(dòng)配置 Nginx 負(fù)載與 Zuul 負(fù)載，這樣對(duì)于應(yīng)用彈性擴(kuò)展是極其友好的。