您好,登錄后才能下訂單哦!
本篇文章給大家分享的是有關(guān)Soul高可用網(wǎng)關(guān)中配置緩存三大同步策略是什么,小編覺(jué)得挺實(shí)用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說(shuō),跟著小編一起來(lái)看看吧。
網(wǎng)關(guān)是流量請(qǐng)求的入口,在微服務(wù)架構(gòu)中承擔(dān)了非常重要的角色,網(wǎng)關(guān)高可用的重要性不言而喻。在使用網(wǎng)關(guān)的過(guò)程中,為了滿(mǎn)足業(yè)務(wù)訴求,經(jīng)常需要變更配置,比如流控規(guī)則、路由規(guī)則等等。因此,網(wǎng)關(guān)動(dòng)態(tài)配置是保障網(wǎng)關(guān)高可用的重要因素。那么,Soul
網(wǎng)關(guān)又是如何支持動(dòng)態(tài)配置的呢?
使用過(guò) Soul
的同學(xué)都知道,Soul
的插件全都是熱插拔的,并且所有插件的選擇器、規(guī)則都是動(dòng)態(tài)配置,立即生效,不需要重啟服務(wù)。但是我們?cè)谑褂?Soul
網(wǎng)關(guān)過(guò)程中,用戶(hù)也反饋了不少問(wèn)題
依賴(lài) zookeeper
,這讓使用 etcd
、consul
、nacos
注冊(cè)中心的用戶(hù)很是困擾
依賴(lài) redis
、influxdb
,我還沒(méi)有使用限流插件、監(jiān)控插件,為什么需要這些
因此,我們對(duì) Soul
進(jìn)行了局部重構(gòu),歷時(shí)兩個(gè)月的版本迭代,我們發(fā)布了 2.0
版本
數(shù)據(jù)同步方式移除了對(duì) zookeeper
的強(qiáng)依賴(lài),新增 http 長(zhǎng)輪詢(xún)
以及 websocket
限流插件與監(jiān)控插件實(shí)現(xiàn)真正的動(dòng)態(tài)配置,由之前的 yml
配置,改為 admin
后臺(tái)用戶(hù)動(dòng)態(tài)配置
答:首先,引入配置中心,會(huì)增加很多額外的成本,不管是運(yùn)維,而且會(huì)讓 Soul
變得很重;另外,使用配置中心,數(shù)據(jù)格式不可控,不便于 soul-admin
進(jìn)行配置管理。
答:soul作為網(wǎng)關(guān),為了提供更高的響應(yīng)速度,所有的配置都緩存在JVM的Hashmap中,每次請(qǐng)求都走的本地緩存,速度非???。所以本文也可以理解為分布式環(huán)境中,內(nèi)存同步的三種方式。
先來(lái)張高清無(wú)碼圖,下圖展示了 Soul
數(shù)據(jù)同步的流程,Soul
網(wǎng)關(guān)在啟動(dòng)時(shí),會(huì)從從配置服務(wù)同步配置數(shù)據(jù),并且支持推拉模式獲取配置變更信息,并且更新本地緩存。而管理員在管理后臺(tái),變更用戶(hù)、規(guī)則、插件、流量配置,通過(guò)推拉模式將變更信息同步給 Soul
網(wǎng)關(guān),具體是 push
模式,還是 pull
模式取決于配置。關(guān)于配置同步模塊,其實(shí)是一個(gè)簡(jiǎn)版的配置中心。
在 1.x
版本中,配置服務(wù)依賴(lài) zookeeper
實(shí)現(xiàn),管理后臺(tái)將變更信息 push
給網(wǎng)關(guān)。而 2.x
版本支持 webosocket
、http
、zookeeper
,通過(guò) soul.sync.strategy
指定對(duì)應(yīng)的同步策略,默認(rèn)使用 http
長(zhǎng)輪詢(xún)同步策略,可以做到秒級(jí)數(shù)據(jù)同步。但是,有一點(diǎn)需要注意的是,soul-web
和 soul-admin
必須使用相同的同步機(jī)制。
如下圖所示,soul-admin
在用戶(hù)發(fā)生配置變更之后,會(huì)通過(guò) EventPublisher
發(fā)出配置變更通知,由 EventDispatcher
處理該變更通知,然后根據(jù)配置的同步策略(http、weboscket、zookeeper),將配置發(fā)送給對(duì)應(yīng)的事件處理器
如果是 websocket
同步策略,則將變更后的數(shù)據(jù)主動(dòng)推送給 soul-web
,并且在網(wǎng)關(guān)層,會(huì)有對(duì)應(yīng)的 WebsocketCacheHandler
處理器處理來(lái)處 admin
的數(shù)據(jù)推送
如果是 zookeeper
同步策略,將變更數(shù)據(jù)更新到 zookeeper
,而 ZookeeperSyncCache
會(huì)監(jiān)聽(tīng)到 zookeeper
的數(shù)據(jù)變更,并予以處理
如果是 http
同步策略,soul-web
主動(dòng)發(fā)起長(zhǎng)輪詢(xún)請(qǐng)求,默認(rèn)有 90s 超時(shí)時(shí)間,如果 soul-admin
沒(méi)有數(shù)據(jù)變更,則會(huì)阻塞 http 請(qǐng)求,如果有數(shù)據(jù)發(fā)生變更則響應(yīng)變更的數(shù)據(jù)信息,如果超過(guò) 60s 仍然沒(méi)有數(shù)據(jù)變更則響應(yīng)空數(shù)據(jù),網(wǎng)關(guān)層接到響應(yīng)后,繼續(xù)發(fā)起 http 請(qǐng)求,反復(fù)同樣的請(qǐng)求
基于 zookeeper 的同步原理很簡(jiǎn)單,主要是依賴(lài) zookeeper
的 watch 機(jī)制,soul-web
會(huì)監(jiān)聽(tīng)配置的節(jié)點(diǎn),soul-admin
在啟動(dòng)的時(shí)候,會(huì)將數(shù)據(jù)全量寫(xiě)入 zookeeper
,后續(xù)數(shù)據(jù)發(fā)生變更時(shí),會(huì)增量更新 zookeeper
的節(jié)點(diǎn),與此同時(shí),soul-web
會(huì)監(jiān)聽(tīng)配置信息的節(jié)點(diǎn),一旦有信息變更時(shí),會(huì)更新本地緩存。
soul
將配置信息寫(xiě)到zookeeper節(jié)點(diǎn),是通過(guò)精細(xì)設(shè)計(jì)的。
websocket
和 zookeeper
機(jī)制有點(diǎn)類(lèi)似,將網(wǎng)關(guān)與 admin
建立好 websocket
連接時(shí),admin
會(huì)推送一次全量數(shù)據(jù),后續(xù)如果配置數(shù)據(jù)發(fā)生變更,則將增量數(shù)據(jù)通過(guò) websocket
主動(dòng)推送給 soul-web
使用websocket同步的時(shí)候,特別要注意斷線重連,也叫保持心跳。soul
使用java-websocket
這個(gè)第三方庫(kù)來(lái)進(jìn)行websocket
連接。
public class WebsocketSyncCache extends WebsocketCacheHandler { /** * The Client. */ private WebSocketClient client; public WebsocketSyncCache(final SoulConfig.WebsocketConfig websocketConfig) { ScheduledThreadPoolExecutor executor = new ScheduledThreadPoolExecutor(1, SoulThreadFactory.create("websocket-connect", true)); client = new WebSocketClient(new URI(websocketConfig.getUrl())) { @Override public void onOpen(final ServerHandshake serverHandshake) { //.... } @Override public void onMessage(final String result) { //.... } }; //進(jìn)行連接 client.connectBlocking(); //使用調(diào)度線程池進(jìn)行斷線重連,30秒進(jìn)行一次 executor.scheduleAtFixedRate(() -> { if (client != null && client.isClosed()) { client.reconnectBlocking(); } }, 10, 30, TimeUnit.SECONDS); }
zookeeper、websocket 數(shù)據(jù)同步的機(jī)制比較簡(jiǎn)單,而 http 同步會(huì)相對(duì)復(fù)雜一些。Soul 借鑒了 Apollo
、Nacos
的設(shè)計(jì)思想,取決精華,自己實(shí)現(xiàn)了 http
長(zhǎng)輪詢(xún)數(shù)據(jù)同步功能。注意,這里并非傳統(tǒng)的 ajax 長(zhǎng)輪詢(xún)!
http 長(zhǎng)輪詢(xún)機(jī)制如上所示,soul-web 網(wǎng)關(guān)請(qǐng)求 admin 的配置服務(wù),讀取超時(shí)時(shí)間為 90s,意味著網(wǎng)關(guān)層請(qǐng)求配置服務(wù)最多會(huì)等待 90s,這樣便于 admin 配置服務(wù)及時(shí)響應(yīng)變更數(shù)據(jù),從而實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)推送。
http 請(qǐng)求到達(dá) sou-admin 之后,并非立馬響應(yīng)數(shù)據(jù),而是利用 Servlet3.0 的異步機(jī)制,異步響應(yīng)數(shù)據(jù)。首先,將長(zhǎng)輪詢(xún)請(qǐng)求任務(wù) LongPollingClient
扔到 BlocingQueue
中,并且開(kāi)啟調(diào)度任務(wù),60s 后執(zhí)行,這樣做的目的是 60s 后將該長(zhǎng)輪詢(xún)請(qǐng)求移除隊(duì)列,即便是這段時(shí)間內(nèi)沒(méi)有發(fā)生配置數(shù)據(jù)變更。因?yàn)榧幢闶菦](méi)有配置變更,也得讓網(wǎng)關(guān)知道,總不能讓其干等吧,而且網(wǎng)關(guān)請(qǐng)求配置服務(wù)時(shí),也有 90s 的超時(shí)時(shí)間。
public void doLongPolling(final HttpServletRequest request, final HttpServletResponse response) { // 因?yàn)閟oul-web可能未收到某個(gè)配置變更的通知,因此MD5值可能不一致,則立即響應(yīng) List<ConfigGroupEnum> changedGroup = compareMD5(request); String clientIp = getRemoteIp(request); if (CollectionUtils.isNotEmpty(changedGroup)) { this.generateResponse(response, changedGroup); return; } // Servlet3.0異步響應(yīng)http請(qǐng)求 final AsyncContext asyncContext = request.startAsync(); asyncContext.setTimeout(0L); scheduler.execute(new LongPollingClient(asyncContext, clientIp, 60)); } class LongPollingClient implements Runnable { LongPollingClient(final AsyncContext ac, final String ip, final long timeoutTime) { // 省略...... } @Override public void run() { // 加入定時(shí)任務(wù),如果60s之內(nèi)沒(méi)有配置變更,則60s后執(zhí)行,響應(yīng)http請(qǐng)求 this.asyncTimeoutFuture = scheduler.schedule(() -> { // clients是阻塞隊(duì)列,保存了來(lái)處soul-web的請(qǐng)求信息 clients.remove(LongPollingClient.this); List<ConfigGroupEnum> changedGroups = HttpLongPollingDataChangedListener.compareMD5((HttpServletRequest) asyncContext.getRequest()); sendResponse(changedGroups); }, timeoutTime, TimeUnit.MILLISECONDS); // clients.add(this); } }
如果這段時(shí)間內(nèi),管理員變更了配置數(shù)據(jù),此時(shí),會(huì)挨個(gè)移除隊(duì)列中的長(zhǎng)輪詢(xún)請(qǐng)求,并響應(yīng)數(shù)據(jù),告知是哪個(gè) Group 的數(shù)據(jù)發(fā)生了變更(我們將插件、規(guī)則、流量配置、用戶(hù)配置數(shù)據(jù)分成不同的組)。網(wǎng)關(guān)收到響應(yīng)信息之后,只知道是哪個(gè) Group 發(fā)生了配置變更,還需要再次請(qǐng)求該 Group 的配置數(shù)據(jù)。有人會(huì)問(wèn),為什么不是直接將變更的數(shù)據(jù)寫(xiě)出?我們?cè)陂_(kāi)發(fā)的時(shí)候,也深入討論過(guò)該問(wèn)題,因?yàn)?http 長(zhǎng)輪詢(xún)機(jī)制只能保證準(zhǔn)實(shí)時(shí),如果在網(wǎng)關(guān)層處理不及時(shí),或者管理員頻繁更新配置,很有可能便錯(cuò)過(guò)了某個(gè)配置變更的推送,安全起見(jiàn),我們只告知某個(gè) Group 信息發(fā)生了變更。
// soul-admin發(fā)生了配置變更,挨個(gè)將隊(duì)列中的請(qǐng)求移除,并予以響應(yīng) class DataChangeTask implements Runnable { DataChangeTask(final ConfigGroupEnum groupKey) { this.groupKey = groupKey; } @Override public void run() { try { for (Iterator<LongPollingClient> iter = clients.iterator(); iter.hasNext(); ) { LongPollingClient client = iter.next(); iter.remove(); client.sendResponse(Collections.singletonList(groupKey)); } } catch (Throwable e) { LOGGER.error("data change error.", e); } } }
當(dāng) soul-web
網(wǎng)關(guān)層接收到 http 響應(yīng)信息之后,拉取變更信息(如果有變更的話),然后再次請(qǐng)求 soul-admin
的配置服務(wù),如此反復(fù)循環(huán)。
get soul-admin.jar
> wget https://yu199195.github.io/jar/soul-admin.jar
start soul-admin.jar
java -jar soul-admin.jar -Dspring.datasource.url="your mysql url" -Dspring.datasource.username='you username' -Dspring.datasource.password='you password'
visit : http://localhost:8887/index.html username:admin password :123456
get soul-bootstrap.jar
> wget https://yu199195.github.io/jar/soul-bootstrap.jar
start soul-bootstrap.jar
java -jar soul-bootstrap.jar
此文介紹了soul
作為一個(gè)高可用的微服務(wù)網(wǎng)關(guān),為了優(yōu)化響應(yīng)速度,在對(duì)配置規(guī)則選擇器器數(shù)據(jù)進(jìn)行本地緩存的三種方式,學(xué)了此文,我相信你對(duì)現(xiàn)在比較流行的配置中心有了一定的了解,看他們的代碼也許會(huì)變得容易,我相信你也可以自己寫(xiě)一個(gè)分布式配置中心出來(lái)。3.0版本已經(jīng)在規(guī)劃中,肯定會(huì)給大家?guī)?lái)驚喜。
以上就是Soul高可用網(wǎng)關(guān)中配置緩存三大同步策略是什么,小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘9ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。