Kubernetes怎么判斷什么時(shí)候重啟容器

在設(shè)計(jì)關(guān)鍵任務(wù)、高可用應(yīng)用程序時(shí)，彈性是要考慮的最重要因素之一。

當(dāng)應(yīng)用程序可以快速從故障中恢復(fù)時(shí)，它便具有彈性。

云原生應(yīng)用程序通常設(shè)計(jì)為使用微服務(wù)架構(gòu)，其中每個(gè)組件都位于容器中。為了確保Kubernetes托管的應(yīng)用程序高可用，在設(shè)計(jì)集群時(shí)需要遵循一些特定的模式，其中有“健康探測(cè)模式”。應(yīng)用高可觀察性原則（HOP）可確保您的應(yīng)用程序收到的每個(gè)請(qǐng)求都能及時(shí)找到響應(yīng)。

The High Observability Principle (HOP)

高可觀察性原則是基于容器的應(yīng)用程序設(shè)計(jì)原則之一。微服務(wù)體系要求每個(gè)服務(wù)不關(guān)心(也不應(yīng)該關(guān)心)被調(diào)用方如何處理請(qǐng)求。
HOP原則要求每個(gè)服務(wù)必須公開幾個(gè)API端點(diǎn)，其意義在于揭示服務(wù)健康狀態(tài)，Kubernetes調(diào)用這些端點(diǎn)，決定下一步的路由和負(fù)載平衡。

“  

設(shè)計(jì)良好的云原生程序應(yīng)將日志事件記錄到STDERR和STDOUT，由logstash、Fluent等日志攝取服務(wù)將這些日志運(yùn)送到集中式監(jiān)控（例如Prometheus）和日志聚合系統(tǒng)（例如ELK）。下圖說明了云原生應(yīng)用程序如何遵守健康狀況探測(cè)模式和高可觀察性原則。

How to Apply Health Probe Pattern in Kubernetes?

我之前寫過ASP.NetCore + Docker健康檢查的原創(chuàng):[web程序暴露http健康檢查端點(diǎn)，平臺(tái)輪詢探測(cè)]，Kubernetes針對(duì)不同場(chǎng)合細(xì)化了探針，更為強(qiáng)大的是給出對(duì)應(yīng)決策。

Liveness Probes

使用[存活探針]判斷什么時(shí)候重啟容器。
使用存活探針檢查應(yīng)用本身是否無響應(yīng)、死鎖， 有時(shí)候重啟容器常常能解決此類問題。

我們以kubernetes官方demo為例：

apiVersion: v1
kind: Pod
metadata:
  labels:
    test: liveness
  name: liveness-exec
spec:
  containers:
  - name: liveness
    image: busybox
    args:
    - /bin/sh
    - -c
    - touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
    livenessProbe:
      exec:
        command:
        - cat
        - /tmp/healthy
      initialDelaySeconds: 5   # 指示kubectl等待5s才執(zhí)行首次探測(cè)
      periodSeconds: 5         # 間隔5秒輪詢

• 在第5秒kubectl開始首次liveness探測(cè)
• 在30秒進(jìn)行的每次探測(cè)均成功
• 30s之后容器內(nèi)文件被刪除，之后間隔5s的探測(cè)會(huì)失敗，根據(jù)liveness默認(rèn)配置連續(xù)3次失敗就會(huì)放棄探測(cè)，放棄探測(cè)意味著重啟容器，故容器會(huì)在第45s重啟
• 重啟之后又開始以上流程， 故可以看到此探針以重啟的決策嘗試修復(fù)應(yīng)用問題。

這個(gè)探針會(huì)體現(xiàn)到kubectl get pod的RESTARTS列

Readiness Probes

使用[就緒探針]判斷容器是否就緒，是否可以接受流量。
Pod內(nèi)所有容器ready，則該P(yáng)od被認(rèn)為ready，當(dāng)pod沒有ready，將會(huì)從服務(wù)負(fù)載均衡中移除。

“  

有些時(shí)候，應(yīng)用程序臨時(shí)不可用（加載大量數(shù)據(jù)或者依賴外部服務(wù)），這個(gè)時(shí)候，重啟這個(gè)Pod無濟(jì)于事，但你也不希望請(qǐng)求被發(fā)送到該P(yáng)od

下面的應(yīng)用強(qiáng)依賴mongodb，我們針對(duì)這些依賴項(xiàng)設(shè)置了readiness探針

services.AddHealthChecks()
    .AddCheck<MongoHealthCheck>(nameof(MongoHealthCheck), tags: new[] { "readyz" });
// ----------------------
app.UseHealthChecks("/readyz", new HealthCheckOptions
{
        Predicate = (check) => check.Tags.Contains("readyz")
});                

以下代碼探測(cè)Mongodb的連通性

  sealed class MongoHealthCheck : IHealthCheck
    {
        private readonly IMongoDatabase _defaultMongoDatabase;

        public MongoHealthCheck(IDefaultMongoDatabaseProvider defaultMongoDatabaseProvider)
        {
            _defaultMongoDatabase = defaultMongoDatabaseProvider.GetDatabase();
        }

        public async Task<HealthCheckResult> CheckHealthAsync(HealthCheckContext context, CancellationToken cancellationToken = default)
        {
            var doc = await _defaultMongoDatabase.RunCommandAsync(
                new BsonDocumentCommand<BsonDocument>(
                    new BsonDocument() {
                        { "ping", "1" }
                    }), 
                cancellationToken: cancellationToken);

            var ok = doc["ok"].ToBoolean();

            if (ok)
            {
                return HealthCheckResult.Healthy("OK");
            }

            return HealthCheckResult.Unhealthy("NotOK");
        }
    }

對(duì)于依賴項(xiàng)的探測(cè)，探測(cè)周期和超時(shí)時(shí)間可以設(shè)置的稍長(zhǎng)一點(diǎn)

readinessProbe:
  httpGet:
    path: /readyz
    port: 80
  initialDelaySeconds: 5
  periodSeconds: 60     # 60s探測(cè)一次
  timeoutSeconds: 30    # 每次探測(cè)30s超時(shí)，與應(yīng)用建立與依賴項(xiàng)的連接超時(shí)時(shí)間一致
  failureThreshold: 3   # 連續(xù)3次探測(cè)失敗,該P(yáng)od會(huì)被標(biāo)記為`Unready`     

Startup Probes

使用[啟動(dòng)探針]判斷容器應(yīng)用是否已經(jīng)啟動(dòng)。如果配置了這個(gè)探針，則該探針成功之前將會(huì)禁用存活和就緒探針。

配置探針

• initialDelaySeconds：容器啟動(dòng)，探針延后工作，默認(rèn)是0s
• periodSeconds 探針探測(cè)周期，默認(rèn)10s
• timeoutSeconds：探針工作的超時(shí)時(shí)間，默認(rèn)1s
• successThreshold：連續(xù)幾次探測(cè)成功，該探針被認(rèn)為是成功的，默認(rèn)1次
• failureThreshold：連續(xù)幾次探測(cè)失敗，該探針被認(rèn)為最終失敗，對(duì)于livenes探針最終失敗意味著重啟，對(duì)于readiness探針意味著該pod Unready, 默認(rèn)3次。

強(qiáng)烈建議根據(jù)應(yīng)用結(jié)構(gòu)合理設(shè)置探針參數(shù)，避免不切實(shí)際的認(rèn)定失敗導(dǎo)致的頻繁重啟或 Unready。