容器場景要選擇什么Linux版本

容器場景要選擇什么Linux版本，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

容器的底層實現(xiàn)深度依賴于內(nèi)核的眾多特性，如 overlay 文件系統(tǒng)，namespace, cgroup 等，因此內(nèi)核的功能和穩(wěn)定性，在很大程度上，決定了整個容器PaaS平臺的功能和穩(wěn)定性。從 TKE 上線三年多以來，上萬集群，數(shù)十萬個節(jié)點的運營經(jīng)驗來看，內(nèi)核問題約占所有節(jié)點問題的三分之一。

那么容器場景選擇哪個Linux版本最好呢？在騰訊云，這個答案是 Tencent Linux。

這時候大家應(yīng)該會有很多的疑問，接下來的 FAQ 會盡力解答大家的疑問。

Tencent Linux是誰維護的？ 基于什么發(fā)行版的？

是騰訊內(nèi)核和虛擬化團隊負責維護的。Tencent Linux 2.4 基于CentOS 7, 用戶態(tài)軟件包保持與最新版 CentOS 7 兼容，CentOS 7 版本的軟件包可以直接在 Tencent Linux 2.4 中使用

Tencent Linux跟CentOS有什么區(qū)別？

關(guān)鍵的區(qū)別在內(nèi)核版本，本文后面會詳細介紹。 用戶態(tài)有少量調(diào)整，如 YUM 源的配置等，詳情請參考官方介紹文檔：https://cloud.tencent.com/document/product/213/38027

內(nèi)核是什么版本？

Tencent Linux 2.4 目前是4.14內(nèi)核。 代碼和 rpm 包在 GitHub 可以獲取： https://github.com/Tencent/TencentOS-kernel。 年底會推出5.4版本。

Tencent Linux跟TKE的Optimized鏡像是什么關(guān)系？

它們的內(nèi)核是一樣的，但Tencent Linux 2.4 是CVM公共鏡像， TKE Optimized鏡像是市場鏡像。

TKE將使用Tencent Linux2.4來替代CentOS 7.6 TKE Optimized以及Ubuntu18.04 TKE Optimized。已經(jīng)在使用CentOS 7.6 TKE Optimized和Ubuntu18.04 TKE Optimized的集群還可以繼續(xù)使用，但以后新建集群將不再支持這兩種鏡像。

預(yù)計11月下旬起，TKE用戶可以自行在控制臺操作，將集群新創(chuàng)建的節(jié)點的OS鏡像切換為Tencent Linux2.4，操作入口如下圖(把操作系統(tǒng)修改為Tencent Linux2.4)：

相比 CentOS 和 Ubuntu 等發(fā)行版有什么優(yōu)勢？

主要優(yōu)勢如下， 后文會詳細介紹：

1. 經(jīng)過騰訊大量內(nèi)部業(yè)務(wù)多年的驗證和打磨。

2. 頂級內(nèi)核專家團隊的支持。

3. 包含一些關(guān)鍵的性能優(yōu)化和針對容器場景的定制特性。

騰訊內(nèi)部業(yè)務(wù)多年的驗證和打磨

Tencent Linux 從 2010 年啟動研發(fā)，在騰訊內(nèi)部已經(jīng)上線運營了 10 年，總部署量已經(jīng)是百萬級，在騰訊內(nèi)部 Linux 系統(tǒng)里占比 99%，覆蓋了騰訊所有的業(yè)務(wù)，同時騰訊有著國內(nèi)最種類繁多的業(yè)務(wù)生態(tài)，從社交，游戲，到金融支付，AI, 安全等, 所以對底層操作系統(tǒng)的穩(wěn)定性，性能，兼容性等都有更強的要求。

對于容器場景來講，騰訊大量核心業(yè)務(wù)幾乎已經(jīng)部分或全部容器化，例如微信所有的邏輯業(yè)務(wù)全部容器化， 針對微信業(yè)務(wù)特點，進行系列優(yōu)化，順利保障了每年春節(jié)的紅包高峰運營，同時在數(shù)據(jù)安全方面，也跟微信緊密合作，提供解決方案。

內(nèi)核專家團隊的支持

目前有三十多位全職內(nèi)核專家為這個內(nèi)核版本提供支持。其中有 kvm 維護者，還有很多內(nèi)核網(wǎng)絡(luò)，存儲，cgroup，調(diào)度等各個子系統(tǒng)的專家。

支持力度也體現(xiàn)在版本更新節(jié)奏和熱補丁服務(wù)。

從版本記錄(https://github.com/Tencent/TencentOS-kernel/releases) 可以看到，從 7 月到 10 月， Tencent Linux 4.14 內(nèi)核系列發(fā)布了 5 個版本。騰訊內(nèi)部業(yè)務(wù)和騰訊云外部客戶碰到的絕大多數(shù)問題，都能及時得到定位和修復。

另外我們針對一些重要的修復，會提供內(nèi)核熱補丁的在線修復方式。熱補丁的安裝和生效，不需要重啟機器，在不中斷客戶業(yè)務(wù)的情況下，提升客戶業(yè)務(wù)的時延 SLA。

對于漏洞修復，Tencent Linux 有著全套的熱補丁方案，包括：應(yīng)用程序級熱補丁，內(nèi)核級熱補丁等。每年發(fā)布 100 多個熱補丁。 大多數(shù)漏洞在一周內(nèi)提供修復方案。

性能優(yōu)化

Tecent Linux 在根據(jù)內(nèi)部與外部的用戶在大規(guī)模落地實踐中遇到的問題，針對容器場景也做了大量性能優(yōu)化，包括但不限于:

1. 解決 IPVS 模式高并發(fā)場景下，連接復用引發(fā)連接異常的問題 (#81775)。

2. 解決 IPVS 模式在高配節(jié)點 (核數(shù)多) 下 IPVS 規(guī)則過多引發(fā)網(wǎng)絡(luò)毛刺的問題。

3. 解決在容器密集場景下(單節(jié)點上容器數(shù)量較多)，cAdvisor 讀取 memcg 陷入內(nèi)核態(tài)過久引發(fā)網(wǎng)絡(luò)毛刺的問題。

4. 解決大 Pod (占用核數(shù)多，單核占用高) 在高配節(jié)點 (核數(shù)多) 場景下，CPU 負載均衡引發(fā)網(wǎng)絡(luò)毛刺的問題。

5. 解決高并發(fā)場景下的 TCP 連接監(jiān)控(比如單獨部署 cAdvisor 配置監(jiān)控 TCP 連接) 引發(fā)網(wǎng)絡(luò)周期性抖動問題。

6. 優(yōu)化網(wǎng)絡(luò)收包軟中斷，提升網(wǎng)絡(luò)性能。

這些針對各種容器場景的優(yōu)化效果非常顯著，以第 3 點為例，ping 時延監(jiān)控效果圖如下 (11:00 之后是優(yōu)化后):

容器定制特性

容器資源展示隔離

很多 golang, java 程序的高效運行依賴于正確獲取進程可用的 CPU 和內(nèi)存資源。但這類程序在容器中獲取到的是節(jié)點的 CPU 和內(nèi)存資源， 與實際容器所分配的資源并不匹配，往往會造成進程的線程池等參數(shù)不合理，從而帶來問題。

社區(qū)主流的解決方案是通過部署 FUSE 實現(xiàn)的 LXCFS 來實現(xiàn)/proc/cpuinfo, /proc/meminfo等資源展示按容器隔離。這個方案需要在節(jié)點部署 LXCFS 文件系統(tǒng)， 也需要往 POD sepc 中插入相關(guān) volume 和掛載點的配置。詳情可以參考：Kubernetes Demystified: Using LXCFS to Improve Container Resource Visibility

Tencnet Linux內(nèi)核中實現(xiàn)了類似 LXCFS 特性，用戶無需在節(jié)點部署 LXCFS 文件系統(tǒng)， 也無需修改 POD spec。只需在節(jié)點開啟一個全局開關(guān)（sysctl -w kernel.stats_isolated=1）， 容器中讀取 /proc/cpuinfo, /proc/meminfo 等文件獲取的就是按容器隔離的，就是這么簡單。

另外，考慮到有些特殊容器， 比如節(jié)點監(jiān)控組件， 可能就是需要讀取節(jié)點級的信息。為了解決這個問題，專門增加了容器級的開關(guān)kernel.container_stats_isolated。在主機級開關(guān)開啟的情況下，只需要在容器的啟動腳本里面，關(guān)閉容器級的開關(guān)(sysctl -w kernel.container_stats_isolated=0)，以后在這個容器里面讀取 /proc/cpuinfo, /proc/meminfo 等文件獲取的就是主機的信息了。(注： 容器級開關(guān)必須在容器中設(shè)置，才能對本容器生效)

請參考詳細使用文檔：容器內(nèi)CPU、內(nèi)存、進程、磁盤等信息隔離

更多內(nèi)核參數(shù)的隔離

• net.ipv4.tcp_max_orphans

• net.ipv4.tcp_workaround_signed_windows

• net.ipv4.tcp_rmem

• net.ipv4.tcp_wmem

• vm.max_map_count

這些內(nèi)核參數(shù)都是業(yè)務(wù)經(jīng)常需要定制修改的。但是社區(qū)內(nèi)核里面并沒有對這些參數(shù)做 namespace 化隔離。一個容器對以上參數(shù)的修改，會對主機以及所有其他容器都起作用。 Tencent Linux根據(jù)內(nèi)外部客戶的需求，實現(xiàn)了這些內(nèi)核參數(shù)的 namespace 化隔離，業(yè)務(wù)容器可以放心的對這些參數(shù)進行個性化設(shè)置而不用擔心對其他業(yè)務(wù)的干擾了。

容器缺省內(nèi)核參數(shù)優(yōu)化

在高并發(fā)的情況下，可能會發(fā)生半連接隊列滿而丟包， 可以通過調(diào)大 net.core.somaxconn 來緩解問題。但是容器網(wǎng)絡(luò) namespace 里面的 net.core.somaxconn 缺省值只有 128，而且是代碼寫死的。 在 Tencent Linux 內(nèi)核中，我們把這個缺省值調(diào)整到 4096， 從而可以減少高并發(fā)情況下半連接隊列滿的丟包問題。

在 TKE 如何使用 Tencent Linux

如果希望 TKE 集群的節(jié)點使用 Tencent Linux 的操作系統(tǒng)，需要在創(chuàng)建 TKE 集群時，操作系統(tǒng)選擇 Tencent Linux 的:

注: Tencent Linux 除了支持普通的云服務(wù)器機型外，還支持黑石物理機與 Nvidia GPU 的機型。

看完上述內(nèi)容，你們掌握容器場景要選擇什么Linux版本的方法了嗎？如果還想學到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！