微服務(wù)架構(gòu)—服務(wù)降級

1 、簡介

什么是服務(wù)降級?當(dāng)服務(wù)器壓力劇增的情況下，根據(jù)實(shí)際業(yè)務(wù)情況及流量，對一些服務(wù)和頁面有策略的不處理或換種簡單的方式處理，從而釋放服務(wù)器資源以保證核心交易正常運(yùn)作或高效運(yùn)作。

如果還是不理解，那么可以舉個(gè)例子：假如目前有很多人想要給我付錢，但我的服務(wù)器除了正在運(yùn)行支付的服務(wù)之外，還有一些其它的服務(wù)在運(yùn)行，比如搜索、定時(shí)任務(wù)和詳情等等。然而這些不重要的服務(wù)就占用了JVM的不少內(nèi)存與CPU資源，為了能把錢都收下來(錢才是目標(biāo))，我設(shè)計(jì)了一個(gè)動態(tài)開關(guān)，把這些不重要的服務(wù)直接在最外層拒掉，這樣處理后的后端處理收錢的服務(wù)就有更多的資源來收錢了(收錢速度更快了)，這就是一個(gè)簡單的服務(wù)降級的使用場景。

2 、使用場景

服務(wù)降級主要用于什么場景呢?當(dāng)整個(gè)微服務(wù)架構(gòu)整體的負(fù)載超出了預(yù)設(shè)的上限閾值或即將到來的流量預(yù)計(jì)將會超過預(yù)設(shè)的閾值時(shí)，為了保證重要或基本的服務(wù)能正常運(yùn)行，我們可以將一些 不重要 或 不緊急 的服務(wù)或任務(wù)進(jìn)行服務(wù)的 延遲使用 或 暫停使用。

3 、核心設(shè)計(jì)

3.1 分布式開關(guān)

根據(jù)上述需求，我們可以設(shè)置一個(gè)分布式開關(guān)，用于實(shí)現(xiàn)服務(wù)的降級，然后集中式管理開關(guān)配置信息即可。具體方案如下：

服務(wù)降級-分布式開關(guān)

3.2 自動降級

超時(shí)降級 —— 主要配置好超時(shí)時(shí)間和超時(shí)重試次數(shù)和機(jī)制，并使用異步機(jī)制探測恢復(fù)情況

失敗次數(shù)降級 —— 主要是一些不穩(wěn)定的API，當(dāng)失敗調(diào)用次數(shù)達(dá)到一定閥值自動降級，同樣要使用異步機(jī)制探測回復(fù)情況

故障降級 —— 如要調(diào)用的遠(yuǎn)程服務(wù)掛掉了(網(wǎng)絡(luò)故障、DNS故障、HTTP服務(wù)返回錯(cuò)誤的狀態(tài)碼和RPC服務(wù)拋出異常)，則可以直接降級

限流降級 —— 當(dāng)觸發(fā)了限流超額時(shí)，可以使用暫時(shí)屏蔽的方式來進(jìn)行短暫的屏蔽

當(dāng)我們?nèi)ッ霘⒒蛘邠屬徱恍┫拶徤唐窌r(shí)，此時(shí)可能會因?yàn)樵L問量太大而導(dǎo)致系統(tǒng)崩潰，此時(shí)開發(fā)者會使用限流來進(jìn)行限制訪問量，當(dāng)達(dá)到限流閥值，后續(xù)請求會被降級;降級后的處理方案可以是：排隊(duì)頁面(將用戶導(dǎo)流到排隊(duì)頁面等一會重試)、無貨(直接告知用戶沒貨了)、錯(cuò)誤頁(如活動太火爆了，稍后重試)。

3.3 配置中心

微服務(wù)降級的配置信息是集中式的管理，然后通過可視化界面進(jìn)行友好型的操作。配置中心和應(yīng)用之間需要網(wǎng)絡(luò)通信，因此可能會因網(wǎng)絡(luò)閃斷或網(wǎng)絡(luò)重啟等因素，導(dǎo)致配置推送信息丟失、重啟或網(wǎng)絡(luò)恢復(fù)后不能再接受、變更不及時(shí)等等情況，因此服務(wù)降級的配置中心需要實(shí)現(xiàn)以下幾點(diǎn)特性，從而盡可能的保證配置變更即使達(dá)到：

服務(wù)降級-配置中心

啟動主動拉取配置 —— 用于初始化配置(減少第一次定時(shí)拉取周期)

發(fā)布訂閱配置 —— 用于實(shí)現(xiàn)配置及時(shí)變更(可以解決90%左右的配置變更)

定時(shí)拉取配置 —— 用于解決發(fā)布訂閱失效或消失丟失的情況(可以解決9%左右的發(fā)布訂閱失效的消息變更)

離線文件緩存配置 —— 用于臨時(shí)解決重啟后連接不上配置中心的問題

可編輯式配置文檔 —— 用于直接編輯文檔的方式來實(shí)現(xiàn)配置的定義

提供Telnet命令變更配置 —— 用于解決配置中心失效而不能變更配置的常見

3.4 處理策略

當(dāng)觸發(fā)服務(wù)降級后，新的交易再次到達(dá)時(shí)，我們該如何來處理這些請求呢?從微服務(wù)架構(gòu)全局的視角來看，我們通常有以下是幾種常用的降級處理方案：

頁面降級 —— 可視化界面禁用點(diǎn)擊按鈕、調(diào)整靜態(tài)頁面

延遲服務(wù) —— 如定時(shí)任務(wù)延遲處理、消息入MQ后延遲處理

寫降級 —— 直接禁止相關(guān)寫操作的服務(wù)請求

讀降級 —— 直接禁止相關(guān)度的服務(wù)請求

緩存降級 —— 使用緩存方式來降級部分讀頻繁的服務(wù)接口

針對后端代碼層面的降級處理策略，則我們通常使用以下幾種處理措施進(jìn)行降級處理：

• 拋異常

• 返回NULL

• 調(diào)用Mock數(shù)據(jù)

• 調(diào)用Fallback處理邏輯

4 、高級特性

我們已經(jīng)為每個(gè)服務(wù)都做好了一個(gè)降級開關(guān)，也已經(jīng)在線上驗(yàn)證通過了，感覺完全沒問題了。

場景一：某一天，運(yùn)營搞了一次活動，突然跑過來說，現(xiàn)在流量已經(jīng)快漲到上限了，有沒有批量降級所有不重要服務(wù)的方式?開發(fā)一臉懵逼的看著，這又不是操作DB，哪里有批量操作呀。

場景二：某一天，運(yùn)營又搞事了，說我們等下要搞一個(gè)活動，讓我們趕緊提前把不重要的服務(wù)都降級了，開發(fā)又是一臉懵逼，我怎么知道要降級哪些服務(wù)呀。

反思：服務(wù)降級的功能雖然是實(shí)現(xiàn)了，可是沒有考慮實(shí)施時(shí)的體驗(yàn)。服務(wù)太多，不知道該降級哪些服務(wù)，單個(gè)操作降級速度太慢……

4.1 分級降級

當(dāng)微服務(wù)架構(gòu)發(fā)生不同程度的情況時(shí)，我們可以根據(jù)服務(wù)的對比而進(jìn)行選擇式舍棄(即丟車保帥的原則)，從而進(jìn)一步保障核心的服務(wù)的正常運(yùn)作。

如果等線上服務(wù)即將發(fā)生故障時(shí)，才去逐個(gè)選擇哪些服務(wù)該降級、哪些服務(wù)不能降級，然而線上有成百上千個(gè)服務(wù)，則肯定是來不及降級就會被拖垮。同時(shí)，在大促或秒殺等活動前才去梳理，也是會有不少的工作量，因此建議在開發(fā)期就需要架構(gòu)師或核心開發(fā)人員來提前梳理好，是否能降級的初始評估值，即是否能降級的默認(rèn)值。

為了便于批量操作微服務(wù)架構(gòu)中服務(wù)的降級，我們可以從全局的角度來建立服務(wù)重要程度的評估模型，如果有條件的話，建議可以使用 層次分析法(The analytic hierarchy process，簡稱AHP) 的數(shù)學(xué)建模模型(或其它模型)來進(jìn)行定性和定量的評估(肯定比架構(gòu)師直接拍腦袋決定是否降級好很多倍，當(dāng)然難度和復(fù)雜度也會高許多，即你需要一個(gè)會數(shù)學(xué)建模人才)，而層次分析法的基本思路是人對一個(gè)復(fù)雜的決策問題的思維和判斷過程大體上是一樣的。

以下是個(gè)人給出的最終評價(jià)模型，可作為服務(wù)降級的評價(jià)參考模型進(jìn)行設(shè)計(jì)：

我們利用數(shù)學(xué)建模的方式或架構(gòu)師直接拍腦袋的方式，結(jié)合服務(wù)能否降級的優(yōu)先原則，并根據(jù)臺風(fēng)預(yù)警(都屬于風(fēng)暴預(yù)警)的等級進(jìn)行參考設(shè)計(jì)，可將微服務(wù)架構(gòu)的所有服務(wù)進(jìn)行故障風(fēng)暴等級劃分為以下四種：

評估模型：

藍(lán)色風(fēng)暴 —— 表示需要小規(guī)模降級非核心服務(wù)

黃色風(fēng)暴 —— 表示需要中等規(guī)模降級非核心服務(wù)

橙色風(fēng)暴 —— 表示需要大規(guī)模降級非核心服務(wù)

紅色風(fēng)暴 —— 表示必須降級所有非核心服務(wù)

設(shè)計(jì)說明：

故障嚴(yán)重程度為：藍(lán)色<黃色<橙色<紅色

建議根據(jù)二八原則可以將服務(wù)劃分為：80%的非核心服務(wù)+20%的核心服務(wù)

以上模型只是整體微服務(wù)架構(gòu)的服務(wù)降級評估模型，具體大促或秒殺活動時(shí)，建議以具體主題為中心進(jìn)行建立(不同主題的活動，因其依賴的服務(wù)不同，而使用不同的進(jìn)行降級更為合理)。當(dāng)然模型可以使用同一個(gè)，但其數(shù)據(jù)需要有所差異。最好能建立一套模型庫，然后實(shí)施時(shí)只需要輸入相關(guān)服務(wù)即可輸出最終降級方案，即輸出本次大促或秒殺時(shí)，當(dāng)發(fā)生藍(lán)色風(fēng)暴時(shí)需要降級的服務(wù)清單、當(dāng)發(fā)生黃色風(fēng)暴時(shí)需要降級的服務(wù)清單……

4.2 降級權(quán)值

微服務(wù)架構(gòu)中有服務(wù)權(quán)值的概念，主要用于負(fù)載時(shí)的權(quán)重選擇，同樣服務(wù)降級權(quán)值也是類似，主要用于服務(wù)降級選擇時(shí)的細(xì)粒度優(yōu)先級抉擇。所有的服務(wù)直接使用以上簡單的四級劃分方式進(jìn)行統(tǒng)一處理，顯然粒度太粗，或者說出于同一級的多個(gè)服務(wù)需要降級時(shí)的 降級順序 該如何?甚至我想要人工智能化的 自動降級，又該如何更細(xì)粒度的控制?

基于上述的這些AI化的需求，我們可以為每一個(gè)服務(wù)分配一個(gè)降級權(quán)值，從而便于更加智能化的實(shí)現(xiàn)服務(wù)治理。而其評估的數(shù)值，同樣也可以使用數(shù)學(xué)模型的方式進(jìn)行 定性與 定量 的評估出來，也可以架構(gòu)師根據(jù)經(jīng)驗(yàn)直接拍腦袋來確定。

5 、總結(jié)與展望

以上提供了半實(shí)際與半理論的服務(wù)降級方案，使用者可以根據(jù)其公司的實(shí)際情況進(jìn)行適當(dāng)?shù)倪x擇，而完整的方案，筆者目前也沒有發(fā)現(xiàn)有實(shí)施過的，但可以建議有長遠(yuǎn)服務(wù)治理規(guī)劃的大廠進(jìn)行完整方案的研究與實(shí)施，會對未來人工智能萬物互聯(lián)的時(shí)代有較好的治理價(jià)值存在(個(gè)人看法)。而小廠出于成本和其發(fā)揮的價(jià)值的考慮，不建議使用這么復(fù)雜的方案，但可以實(shí)現(xiàn)分布式開關(guān)和簡單分級降級的功能特性。

本文主要以服務(wù)降級為核心進(jìn)行更加理想的治理微服務(wù)架構(gòu)，其中建議運(yùn)用數(shù)學(xué)領(lǐng)域的適當(dāng)模型來實(shí)現(xiàn) 定性 和 定量 的合理分析和治理微服務(wù)，為未來 人工智能治理微服務(wù)(Artificial Intelligence Governance Micro Service，簡稱AIGMS)提供方案支持。

本文轉(zhuǎn)自純潔的微笑

本文作者：李茹鈺

原文鏈接：https://mp.weixin.qq.com/s/Ru2VsAKs3dIsPHifnsnPFw