微服務(wù)容錯限流Hystrix入門

為什么需要容錯限流

• 復(fù)雜分布式系統(tǒng)通常有很多依賴，如果一個應(yīng)用不能對來自依賴 故障進行隔離，那么應(yīng)用本身就處在被拖垮的風(fēng)險中。在一個高流量的網(wǎng)站中，某個單一后端一旦發(fā)生延遲，將會在數(shù)秒內(nèi)導(dǎo)致 所有應(yīng)用資源被耗盡（一個臭雞蛋影響一籃筐）。
• 如秒殺、搶購、雙十一等場景，在某一時間點會有爆發(fā)式的網(wǎng)絡(luò)流量涌入，如果沒有好的網(wǎng)絡(luò)流量限制，任由流量壓到后臺服務(wù)實例，很有可能造成資源耗盡，服務(wù)無法響應(yīng)，甚至嚴(yán)重的導(dǎo)致應(yīng)用崩潰。

Hystrix是什么

Hystrix 能使你的系統(tǒng)在出現(xiàn)依賴服務(wù)失效的時候，通過隔離系統(tǒng)所依賴的服務(wù)，防止服務(wù)級聯(lián)失敗，同時提供失敗回退機制，更優(yōu)雅地應(yīng)對失效，并使你的系統(tǒng)能更快地從異常中恢復(fù)。

Hystrix能做什么

• 在通過第三方客戶端訪問（通常是通過網(wǎng)絡(luò)）依賴服務(wù)出現(xiàn)高延遲或者失敗時，為系統(tǒng)提供保護和控制
• 在分布式系統(tǒng)中防止級聯(lián)失敗
• 快速失?。‵ail fast）同時能快速恢復(fù)
• 提供失敗回退（Fallback）和優(yōu)雅的服務(wù)降級機制
• 提供近似實時的監(jiān)控、報警和運維控制手段

Hystrix設(shè)計原則

• 防止單個依賴耗盡容器（例如 Tomcat）內(nèi)所有用戶線程
• 降低系統(tǒng)負(fù)載，對無法及時處理的請求快速失敗（fail fast）而不是排隊
• 提供失敗回退，以在必要時讓失效對用戶透明化
• 使用隔離機制（例如『艙壁』/『泳道』模式，熔斷器模式等）降低依賴服務(wù)對整個系統(tǒng)的影響
• 針對系統(tǒng)服務(wù)的度量、監(jiān)控和報警，提供優(yōu)化以滿足近似實時性的要求
• 在 Hystrix 絕大部分需要動態(tài)調(diào)整配置并快速部署到所有應(yīng)用方面，提供優(yōu)化以滿足快速恢復(fù)的要求
• 能保護應(yīng)用不受依賴服務(wù)的整個執(zhí)行過程中失敗的影響，而不僅僅是網(wǎng)絡(luò)請求

Hystrix設(shè)計思想來源

艙壁隔離模式

貨船為了進行防止漏水和火災(zāi)的擴散,會將貨倉分隔為多個，當(dāng)發(fā)生災(zāi)害時，將所在貨倉進行隔離就可以降低整艘船的風(fēng)險。

斷路器模式

熔斷器就像家里的保險絲，當(dāng)電流過載了就會跳閘，不過Hystrix的熔斷機制相對復(fù)雜一些。

熔斷器開關(guān)由關(guān)閉到打開的狀態(tài)轉(zhuǎn)換是通過當(dāng)前服務(wù)健康狀況和設(shè)定閾值比較決定的.

• 當(dāng)熔斷器開關(guān)關(guān)閉時，請求被允許通過熔斷器。如果當(dāng)前健康狀況高于設(shè)定閾值，開關(guān)繼續(xù)保持關(guān)閉。如果當(dāng)前健康狀況低于設(shè)定閾值，開關(guān)則切換為打開狀態(tài)。
• 當(dāng)熔斷器開關(guān)打開時，請求被禁止通過。
• 當(dāng)熔斷器開關(guān)處于打開狀態(tài)，經(jīng)過一段時間后，熔斷器會自動進入半開狀態(tài)，這時熔斷器只允許一個請求通過。當(dāng)該請求調(diào)用成功時，熔斷器恢復(fù)到關(guān)閉狀態(tài)。若該請求失敗，熔斷器繼續(xù)保持打開狀態(tài)， 接下來的請求被禁止通過。

Hystrix工作流程

官網(wǎng)原圖

中文版

流程說明

1. 每次調(diào)用創(chuàng)建一個新的HystrixCommand,把依賴調(diào)用封裝在run()方法中.
2. 執(zhí)行execute()/queue做同步或異步調(diào)用.
3. 當(dāng)前調(diào)用是否已被緩存，是則直接返回結(jié)果，否則進入步驟 4
4. 判斷熔斷器(circuit-breaker)是否打開,如果打開跳到步驟 8,進行降級策略,如果關(guān)閉進入步驟 5
5. 判斷線程池/隊列/信號量是否跑滿，如果跑滿進入降級步驟8,否則繼續(xù)后續(xù)步驟 6
6. 調(diào)用HystrixCommand的run方法.運行依賴邏輯
   • 6.1. 調(diào)用是否出現(xiàn)異常，否：繼續(xù)，是進入步驟8，
   • 6.2. 調(diào)用是否超時，否：返回調(diào)用結(jié)果，是進入步驟8
7. 搜集5、6步驟所有的運行狀態(tài)(成功, 失敗, 拒絕,超時)上報給熔斷器，用于統(tǒng)計從而判斷熔斷器狀態(tài)
8. getFallback()降級邏輯.四種觸發(fā)getFallback調(diào)用情況（圖中步驟8的箭頭來源）：
   返回執(zhí)行成功結(jié)果

兩種資源隔離模式

線程池隔離模式

使用一個線程池來存儲當(dāng)前的請求，線程池對請求作處理，設(shè)置任務(wù)返回處理超時時間，堆積的請求堆積入線程池隊列。這種方式需要為每個依賴的服務(wù)申請線程池，有一定的資源消耗，好處是可以應(yīng)對突發(fā)流量（流量洪峰來臨時，處理不完可將數(shù)據(jù)存儲到線程池隊里慢慢處理）。

信號量隔離模式

使用一個原子計數(shù)器（或信號量）來記錄當(dāng)前有多少個線程在運行，請求來先判斷計數(shù)器的數(shù)值，若超過設(shè)置的最大線程個數(shù)則丟棄改類型的新請求，若不超過則執(zhí)行計數(shù)操作請求來計數(shù)器+1，請求返回計數(shù)器-1。這種方式是嚴(yán)格的控制線程且立即返回模式，無法應(yīng)對突發(fā)流量（流量洪峰來臨時，處理的線程超過數(shù)量，其他的請求會直接返回，不繼續(xù)去請求依賴的服務(wù)）。

線程池隔離模式 VS 信號量隔離模式

Hystrix主要配置項

快速上手

pom.xml

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>com.netflix.hystrix</groupId>
    <artifactId>hystrix-core</artifactId>
    <version>1.5.12</version>
</dependency>
<dependency>
    <groupId>com.netflix.hystrix</groupId>
    <artifactId>hystrix-metrics-event-stream</artifactId>
    <version>1.5.12</version>
</dependency>
<dependency>
    <groupId>com.netflix.hystrix</groupId>
    <artifactId>hystrix-javanica</artifactId>
    <version>1.5.12</version>
</dependency>

HystrixConfig

@Configuration
public class HystrixConfig {

    /**
     * 聲明一個HystrixCommandAspect代理類，現(xiàn)攔截HystrixCommand的功能
     */
    @Bean
    public HystrixCommandAspect hystrixCommandAspect() {
        return new HystrixCommandAspect();
    }

}

HelloService

@Service
public class HelloService {

    @HystrixCommand(fallbackMethod = "helloError",
            commandProperties = {
                    @HystrixProperty(name = "execution.isolation.strategy", value = "THREAD"),
                    @HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "1000"),
                    @HystrixProperty(name = "circuitBreaker.enabled", value = "true"),
                    @HystrixProperty(name = "circuitBreaker.requestVolumeThreshold", value = "2")},
            threadPoolProperties = {
                    @HystrixProperty(name = "coreSize", value = "5"),
                    @HystrixProperty(name = "maximumSize", value = "5"),
                    @HystrixProperty(name = "maxQueueSize", value = "10")
            })
    public String sayHello(String name) {
        try {
            Thread.sleep( 15000 );
            return "Hello " + name + " !";
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return null;
    }

    public String helloError(String name) {
        return "服務(wù)器繁忙，請稍后訪問~";
    }

}

啟動類

@SpringBootApplication
@RestController
public class HystrixSimpleApplication {

    @Autowired
    private HelloService helloService;

    public static void main(String[] args) {
        SpringApplication.run( HystrixSimpleApplication.class, args );
    }

    @GetMapping("/hi")
    public String hi(String name) {
        return helloService.sayHello( name );
    }

}

測試

訪問 http://localhost:80809/hi?name=zhangsan

curl -X GET -d 'name=zhangsan' http://localhost:8080/hi

返回

服務(wù)器繁忙，請稍后訪問~

源碼

https://github.com/gf-huanchupk/SpringCloudLearning/tree/master/chapter16

參考

https://github.com/Netflix/Hystrix/wiki

https://blog.51cto.com/snowtiger/2057092

歡迎關(guān)注我的公眾號《程序員果果》，關(guān)注有驚喜~~