Kubernetes踩坑舉例分析

1. 荒腔走板

最近一兩個月生產(chǎn)K8s集群頻繁出現(xiàn)短時503 Service Temporarily Unavailable，還不能主動復(fù)現(xiàn)，相當(dāng)郁悶，壓力山大。

HTTP 5xx響應(yīng)狀態(tài)碼用于定義服務(wù)端錯誤。

• 500 Internal Server Error：所請求的服務(wù)器遇到意外的情況并阻止其執(zhí)行請求，通常針對單個請求，整個站點(diǎn)有時還是提供服務(wù)。
• 502 Bad Gateway Error 暗示      連接鏈路中某個服務(wù)器下線或者不可用；
• 503 Service  Unavailable 意味著托管您的應(yīng)用程序的實(shí)際Web服務(wù)器上存在問題。

2. 排查記錄

 

• 基本上每隔2-3天出現(xiàn)一次，每次2-3分鐘，此時整站503；
• 因?yàn)椴荒苤鲃訌?fù)現(xiàn)，8月26日排查相應(yīng)時間段的EFK日志:     impala連接問題，大數(shù)據(jù)運(yùn)維同事排查到     webapp發(fā)起impala的請求與impala集群時鐘未對齊，導(dǎo)致webapp impalaODBC Driver連不上impala集群；

進(jìn)入k8s集群節(jié)點(diǎn)，確實(shí)部分節(jié)點(diǎn)的時鐘對齊服務(wù)未啟動，不定時出現(xiàn)比北京時間慢2,3分鐘的情況，這個確實(shí)可以解釋時間差導(dǎo)致的impala連接認(rèn)證失敗。

• 8月26日同步所有k8s節(jié)點(diǎn)的時鐘，之后接近一周，并未出現(xiàn)問題；
• 9月3日又出現(xiàn)一次短時503無服務(wù)，EFK日志顯示依舊是     impala連接問題，此處大數(shù)據(jù)同事未能定位具體原因，暫時定義為     偶發(fā)/抖動？    

3.思考和推演

故障現(xiàn)場每次只有impala連接問題，我也搞不懂impala連接問題竟然會導(dǎo)致webapp service下線。

我們的webapp兼具toB和toC業(yè)務(wù)，站點(diǎn)強(qiáng)依賴mongodb、弱依賴于impala：impala即使連不上，只是不能查，站點(diǎn)sso+訂單相關(guān)的寫入操作應(yīng)該還可用。

回想起前幾天看到的k8s探針，糟糕，我們的就緒探針好像探測了impala

// ASP.NetCore上暴露的的探測邏輯：impala && mongodb
services.AddHealthChecks()
       .AddCheck<ImpalaHealthCheck>(nameof(ImpalaHealthCheck), tags: new[] { "readyz" })
       .AddCheck<MongoHealthCheck>(nameof(MongoHealthCheck), tags: new[] { "readyz" });
       
app.UseHealthChecks("/readyz", new HealthCheckOptions
  {
      Predicate = (check) => check.Tags.Contains("readyz")
  });

強(qiáng)烈推測:就緒探針3次探測impala失敗, Pod將會被標(biāo)記為Unready, 該P(yáng)od將從webapp服務(wù)負(fù)載均衡器移除, 不再分配流量，導(dǎo)致nginx無實(shí)際意義的后端服務(wù)，站點(diǎn)503。

迅速找一個beta環(huán)境，斷開impala連接，驗(yàn)證猜想。

 

4.問題回顧

bugfix不是我正向推斷出來的，而是純靠經(jīng)驗(yàn)推演出來的，倒不是有明確推斷思路，也算給大家提前踩坑了。

docker的健康檢查只能探測，Kubernetes存活、就緒探針不僅有探測，還有決策能力。

這里我們的k8s就緒探測使用策略出現(xiàn)了問題：
探測到webapp弱依賴impala有問題，就下線了整個webapp服務(wù)，應(yīng)該只探測強(qiáng)依賴，強(qiáng)依賴有問題，才表明容器未就緒，這也是就緒探針的初衷。

強(qiáng)烈建議根據(jù)webapp結(jié)構(gòu)合理設(shè)置探針和探針參數(shù)，避免不切實(shí)際的健康檢查失敗導(dǎo)致的頻繁重啟或服務(wù)下線。