一文讀懂 K8s 持久化存儲(chǔ)流程

更詳細(xì)的流程如下：

2. 流程詳解

不同 K8s 版本，持久化存儲(chǔ)流程略有區(qū)別。本文基于 Kubernetes 1.14.8 版本。

從上述流程圖中可看到，存儲(chǔ)卷從創(chuàng)建到提供應(yīng)用使用共分為三個(gè)階段： Provision/Delete、Attach/Detach、Mount/Unmount。

provisioning volumes

PV 控制器中有兩個(gè) Worker：

• ClaimWorker：處理 PVC 的 add / update / delete 相關(guān)事件以及 PVC 的狀態(tài)遷移；
• VolumeWorker：負(fù)責(zé) PV 的狀態(tài)遷移。

PV 狀態(tài)遷移（UpdatePVStatus）：

• PV 初始狀態(tài)為 Available，當(dāng) PV 與 PVC 綁定后，狀態(tài)變?yōu)?Bound；
• 與 PV 綁定的 PVC 刪除后，狀態(tài)變?yōu)?Released；
• 當(dāng) PV 回收策略為 Recycled 或手動(dòng)刪除 PV 的 .Spec.ClaimRef 后，PV 狀態(tài)變?yōu)?Available；
• 當(dāng) PV 回收策略未知或 Recycle 失敗或存儲(chǔ)卷刪除失敗，PV 狀態(tài)變?yōu)?Failed；
• 手動(dòng)刪除 PV 的 .Spec.ClaimRef，PV 狀態(tài)變?yōu)?Available。

PVC 狀態(tài)遷移（UpdatePVCStatus）：

• 當(dāng)集群中不存在滿足 PVC 條件的 PV 時(shí)，PVC 狀態(tài)為 Pending。在 PV 與 PVC 綁定后，PVC 狀態(tài)由 Pending 變?yōu)?Bound；
• 與 PVC 綁定的 PV 在環(huán)境中被刪除，PVC 狀態(tài)變?yōu)?Lost；
• 再次與一個(gè) 同名 PV 綁定后，PVC 狀態(tài)變?yōu)?Bound。

Provisioning 流程如下（此處模擬用戶創(chuàng)建一個(gè)新 PVC）：

靜態(tài)存儲(chǔ)卷流程（FindBestMatch）： PV 控制器首先在環(huán)境中篩選一個(gè)狀態(tài)為 Available 的 PV 與新 PVC匹配。

• DelayBinding：PV 控制器判斷該 PVC 是否需要 延遲綁定：1. 查看 PVC 的 annotation 中是否包含volume.kubernetes.io/selected-node，若存在則表示該 PVC 已經(jīng)被調(diào)度器指定好了節(jié)點(diǎn)（屬于 ProvisionVolume），故不需要延遲綁定；2. 若 PVC 的 annotation 中不存在 volume.kubernetes.io/selected-node，同時(shí)沒(méi)有 StorageClass，默認(rèn)表示不需要延遲綁定；若有 StorageClass，查看其 VolumeBindingMode 字段，若為 WaitForFirstConsumer 則需要延遲綁定，若為 Immediate 則不需要延遲綁定；

• FindBestMatchPVForClaim：PV 控制器嘗試找一個(gè)滿足 PVC 要求的環(huán)境中現(xiàn)有的 PV。PV 控制器會(huì)將 所有的 PV 進(jìn)行一次篩選，并會(huì)從滿足條件的 PV 中選擇一個(gè)最佳匹配的PV。篩選規(guī)則：1. VolumeMode 是否匹配；2. PV 是否已綁定到 PVC 上；3. PV 的 .Status.Phase 是否為 Available；4. LabelSelector 檢查，PV 與 PVC 的 label 要保持一致；5. PV 與 PVC 的 StorageClass 是否一致；6. 每次迭代更新最小滿足 PVC requested size 的 PV，并作為最終結(jié)果返回；

• Bind：PV 控制器對(duì)選中的 PV、PVC 進(jìn)行綁定：1. 更新 PV 的 .Spec.ClaimRef 信息為當(dāng)前 PVC；2. 更新 PV 的 .Status.Phase 為 Bound；3. 新增 PV 的 annotation ： pv.kubernetes.io/bound-by-controller: “yes”；4. 更新 PVC 的 .Spec.VolumeName 為 PV 名稱；5. 更新 PVC 的 .Status.Phase 為 Bound；6. 新增 PVC 的 annotation：pv.kubernetes.io/bound-by-controller: “yes” 和 pv.kubernetes.io/bind-completed: “yes”；

動(dòng)態(tài)存儲(chǔ)卷流程（ProvisionVolume）：若環(huán)境中沒(méi)有合適的 PV，則進(jìn)入動(dòng)態(tài) Provisioning 場(chǎng)景：

• Before Provisioning：1. PV 控制器首先判斷 PVC 使用的 StorageClass 是 in-tree 還是 out-of-tree：通過(guò)查看 StorageClass 的 Provisioner 字段是否包含 “kubernetes.io/“ 前綴來(lái)判斷；2. PV 控制器更新 PVC 的 annotation：claim.Annotations[“volume.beta.kubernetes.io/storage-provisioner”] = storageClass.Provisioner；

• in-tree Provisioning（internal provisioning）：1. in-tree 的 Provioner 會(huì)實(shí)現(xiàn) ProvisionableVolumePlugin 接口的 NewProvisioner 方法，用來(lái)返回一個(gè)新的 Provisioner；2. PV 控制器調(diào)用 Provisioner 的 Provision 函數(shù)，該函數(shù)會(huì)返回一個(gè) PV 對(duì)象；3. PV 控制器創(chuàng)建上一步返回的 PV 對(duì)象，將其與 PVC 綁定，Spec.ClaimRef 設(shè)置為 PVC，.Status.Phase 設(shè)置為 Bound，.Spec.StorageClassName 設(shè)置為與 PVC 相同的 StorageClassName；同時(shí)新增 annotation：”pv.kubernetes.io/bound-by-controller”=”yes” 和 “pv.kubernetes.io/provisioned-by”=plugin.GetPluginName()；

• out-of-tree Provisioning（external provisioning）：1. External Provisioner 檢查 PVC 中的 claim.Spec.VolumeName 是否為空，不為空則直接跳過(guò)該 PVC；2. External Provisioner 檢查 PVC 中的 claim.Annotations[“volume.beta.kubernetes.io/storage-provisioner”] 是否等于自己的 Provisioner Name（External Provisioner 在啟動(dòng)時(shí)會(huì)傳入—provisioner 參數(shù)來(lái)確定自己的 Provisioner Name）；3. 若 PVC 的 VolumeMode=Block，檢查 External Provisioner 是否支持塊設(shè)備；4. External Provisioner 調(diào)用 Provision 函數(shù)：通過(guò) gRPC 調(diào)用 CSI 存儲(chǔ)插件的 CreateVolume 接口；5. External Provisioner 創(chuàng)建一個(gè) PV 來(lái)代表該 volume，同時(shí)將該 PV 與之前的 PVC 做綁定。

deleting volumes

Deleting 流程為 Provisioning 的反操作：

用戶刪除 PVC，刪除 PV 控制器改變 PV.Status.Phase 為 Released。

當(dāng) PV.Status.Phase == Released 時(shí)，PV 控制器首先檢查 Spec.PersistentVolumeReclaimPolicy 的值，為 Retain 時(shí)直接跳過(guò)，為 Delete 時(shí)：

• in-tree Deleting：1. in-tree 的 Provioner 會(huì)實(shí)現(xiàn) DeletableVolumePlugin 接口的 NewDeleter 方法，用來(lái)返回一個(gè)新的 Deleter；2. 控制器調(diào)用 Deleter 的 Delete 函數(shù)，刪除對(duì)應(yīng) volume；3. 在 volume 刪除后，PV 控制器會(huì)刪除 PV 對(duì)象；

• out-of-tree Deleting：1. External Provisioner 調(diào)用 Delete 函數(shù)，通過(guò) gRPC 調(diào)用 CSI 插件的 DeleteVolume 接口；2. 在 volume 刪除后，External Provisioner 會(huì)刪除 PV 對(duì)象

Attaching Volumes

Kubelet 組件和 AD 控制器都可以做 attach/detach 操作，若 Kubelet 的啟動(dòng)參數(shù)中指定了—enable-controller-attach-detach，則由 Kubelet 來(lái)做；否則默認(rèn)由 AD 控制起來(lái)做。下面以 AD 控制器為例來(lái)講解 attach/detach 操作。

AD 控制器中有兩個(gè)核心變量：

• DesiredStateOfWorld（DSW）：集群中預(yù)期的數(shù)據(jù)卷掛接狀態(tài)，包含了 nodes->volumes->pods 的信息；
• ActualStateOfWorld（ASW）：集群中實(shí)際的數(shù)據(jù)卷掛接狀態(tài)，包含了 volumes->nodes 的信息。

Attaching 流程如下：

AD 控制器根據(jù)集群中的資源信息，初始化 DSW 和 ASW。

AD 控制器內(nèi)部有三個(gè)組件周期性更新 DSW 和 ASW：

• Reconciler。通過(guò)一個(gè) GoRoutine 周期性運(yùn)行， 確保 volume 掛接/摘除完畢。此期間不斷更新 ASW：

in-tree attaching：1. in-tree 的 Attacher 會(huì)實(shí)現(xiàn) AttachableVolumePlugin 接口的 NewAttacher 方法，用來(lái)返回一個(gè)新的 Attacher；2. AD 控制器調(diào)用 Attacher 的 Attach 函數(shù)進(jìn)行設(shè)備掛接；3. 更新 ASW。

out-of-tree attaching：1. 調(diào)用 in-tree 的 CSIAttacher 創(chuàng)建一個(gè) VolumeAttachement（VA）對(duì)象，該對(duì)象包含了 Attacher 信息、節(jié)點(diǎn)名稱、待掛接 PV 信息；2. External Attacher 會(huì) watch 集群中的 VolumeAttachement 資源，發(fā)現(xiàn)有需要掛接的數(shù)據(jù)卷時(shí)，調(diào)用 Attach 函數(shù)，通過(guò) gRPC 調(diào)用 CSI 插件的 ControllerPublishVolume 接口。

• DesiredStateOfWorldPopulator。通過(guò)一個(gè) GoRoutine 周期性運(yùn)行，主要功能是 更新 DSW：

findAndRemoveDeletedPods - 遍歷所有 DSW 中的 Pods，若其已從集群中刪除則從 DSW 中移除；
findAndAddActivePods - 遍歷所有 PodLister 中的 Pods，若 DSW 中不存在該 Pod 則添加至 DSW。

• PVC Worker。watch PVC 的 add/update 事件，處理 PVC 相關(guān)的 Pod，并實(shí)時(shí)更新 DSW。

Detaching Volumes

Detaching 流程如下：

• 當(dāng) Pod 被刪除，AD 控制器會(huì) watch 到該事件。首先 AD 控制器檢查 Pod 所在的 Node 資源是否包含”volumes.kubernetes.io/keep-terminated-pod-volumes”標(biāo)簽，若包含則不做操作；不包含則從 DSW 中去掉該 volume；

• AD 控制器通過(guò) Reconciler 使 ActualStateOfWorld 狀態(tài)向 DesiredStateOfWorld 狀態(tài)靠近，當(dāng)發(fā)現(xiàn) ASW 中有 DSW 中不存在的 volume 時(shí)，會(huì)做 Detach 操作：

in-tree detaching：1. AD 控制器會(huì)實(shí)現(xiàn) AttachableVolumePlugin 接口的 NewDetacher 方法，用來(lái)返回一個(gè)新的 Detacher；2. 控制器調(diào)用 Detacher 的 Detach 函數(shù)，detach 對(duì)應(yīng) volume；3. AD 控制器更新 ASW。

out-of-tree detaching：1. AD 控制器調(diào)用 in-tree 的 CSIAttacher 刪除相關(guān) VolumeAttachement 對(duì)象；2. External Attacher 會(huì) watch 集群中的 VolumeAttachement（VA）資源，發(fā)現(xiàn)有需要摘除的數(shù)據(jù)卷時(shí)，調(diào)用 Detach 函數(shù)，通過(guò) gRPC 調(diào)用 CSI 插件的 ControllerUnpublishVolume 接口；3. AD 控制器更新 ASW。

Volume Manager 中同樣也有兩個(gè)核心變量：

• DesiredStateOfWorld（DSW）：集群中預(yù)期的數(shù)據(jù)卷掛載狀態(tài)，包含了 volumes->pods 的信息；
• ActualStateOfWorld（ASW）：集群中實(shí)際的數(shù)據(jù)卷掛載狀態(tài)，包含了 volumes->pods 的信息。

Mounting/UnMounting 流程如下：

全局目錄（global mount path）存在的目的：塊設(shè)備在 Linux 上只能掛載一次，而在 K8s 場(chǎng)景中，一個(gè) PV 可能被掛載到同一個(gè) Node 上的多個(gè) Pod 實(shí)例中。若塊設(shè)備格式化后先掛載至 Node 上的一個(gè)臨時(shí)全局目錄，然后再使用 Linux 中的 bind mount 技術(shù)把這個(gè)全局目錄掛載進(jìn) Pod 中對(duì)應(yīng)的目錄上，就可以滿足要求。上述流程圖中，全局目錄即 /var/lib/kubelet/pods/[pod uid]/volumes/kubernetes.io~iscsi/[PV
name]

VolumeManager 根據(jù)集群中的資源信息，初始化 DSW 和 ASW。

VolumeManager 內(nèi)部有兩個(gè)組件周期性更新 DSW 和 ASW：

• DesiredStateOfWorldPopulator：通過(guò)一個(gè) GoRoutine 周期性運(yùn)行，主要功能是 更新 DSW；
• Reconciler：通過(guò)一個(gè) GoRoutine 周期性運(yùn)行， 確保 volume 掛載/卸載完畢。此期間不斷更新 ASW：

unmountVolumes：確保 Pod 刪除后 volumes 被 unmount。遍歷一遍所有 ASW 中的 Pod，若其不在 DSW 中（表示 Pod 被刪除），此處以 VolumeMode=FileSystem 舉例，則執(zhí)行如下操作：

1. Remove all bind-mounts：調(diào)用 Unmounter 的 TearDown 接口（若為 out-of-tree 則調(diào)用 CSI 插件的 NodeUnpublishVolume 接口）；
2. Unmount volume：調(diào)用 DeviceUnmounter 的 UnmountDevice 函數(shù)（若為 out-of-tree 則調(diào)用 CSI 插件的 NodeUnstageVolume 接口）；
3. 更新 ASW。

mountAttachVolumes：確保 Pod 要使用的 volumes 掛載成功。遍歷一遍所有 DSW 中的 Pod，若其不在 ASW 中（表示目錄待掛載映射到 Pod 上），此處以 VolumeMode=FileSystem 舉例，執(zhí)行如下操作：

1. 等待 volume 掛接到節(jié)點(diǎn)上（由 External Attacher or Kubelet 本身掛接）；
2. 掛載 volume 到全局目錄：調(diào)用 DeviceMounter 的 MountDevice 函數(shù)（若為 out-of-tree 則調(diào)用 CSI 插件的 NodeStageVolume 接口）；
3. 更新 ASW：該 volume 已掛載到全局目錄；
4. bind-mount volume 到 Pod 上：調(diào)用 Mounter 的 SetUp 接口（若為 out-of-tree 則調(diào)用 CSI 插件的 NodePublishVolume 接口）；
5. 更新 ASW。

unmountDetachDevices：確保需要 unmount 的 volumes 被 unmount。遍歷一遍所有 ASW 中的 UnmountedVolumes，若其不在 DSW 中（表示 volume 已無(wú)需使用），執(zhí)行如下操作：

1. Unmount volume：調(diào)用 DeviceUnmounter 的 UnmountDevice 函數(shù)（若為 out-of-tree 則調(diào)用 CSI 插件的NodeUnstageVolume接口）；
2. 更新 ASW。

總結(jié)

本文先對(duì) K8s 持久化存儲(chǔ)基礎(chǔ)概念及使用方法進(jìn)行了介紹，并對(duì) K8s 內(nèi)部存儲(chǔ)流程進(jìn)行了深度解析。在 K8s 上，使用任何一種存儲(chǔ)都離不開(kāi)上面的流程（有些場(chǎng)景不會(huì)用到 attach/detach），環(huán)境上的存儲(chǔ)問(wèn)題也一定是其中某個(gè)環(huán)節(jié)出現(xiàn)了故障。

容器存儲(chǔ)的坑比較多，專有云環(huán)境下尤其如此。不過(guò)挑戰(zhàn)越多，機(jī)遇也越多！目前國(guó)內(nèi)專有云市場(chǎng)在存儲(chǔ)領(lǐng)域也是群雄逐鹿，我們敏捷 PaaS 容器團(tuán)隊(duì)歡迎大俠的加入，一起共創(chuàng)未來(lái)！

參考鏈接

1. Kubernetes 社區(qū)源碼
2. 【云原生公開(kāi)課】Kubernetes 存儲(chǔ)架構(gòu)及插件使用（郡寶）
3. 【云原生公開(kāi)課】應(yīng)用存儲(chǔ)和持久化數(shù)據(jù)卷 - 核心知識(shí)（至天）
4. 【kubernetes-design-proposals】volume-provisioning
5. 【kubernetes-design-proposals】CSI Volume Plugins in Kubernetes Design Doc

云原生應(yīng)用團(tuán)隊(duì)招人啦！

阿里云原生應(yīng)用平臺(tái)團(tuán)隊(duì)目前求賢若渴，如果你滿足：

• 對(duì)容器和基礎(chǔ)設(shè)施相關(guān)領(lǐng)域的云原生技術(shù)充滿熱情，在相關(guān)領(lǐng)域如 Kubernetes、Serverless 平臺(tái)、容器網(wǎng)絡(luò)與存儲(chǔ)、運(yùn)維平臺(tái)等云原生基礎(chǔ)設(shè)施其中某一方向有豐富的積累和突出成果（如產(chǎn)品落地，創(chuàng)新技術(shù)實(shí)現(xiàn)，開(kāi)源貢獻(xiàn)，領(lǐng)先的學(xué)術(shù)成果）；

• 優(yōu)秀的表達(dá)能力，溝通能力和團(tuán)隊(duì)協(xié)作能力；對(duì)技術(shù)和業(yè)務(wù)有前瞻性思考；具備較強(qiáng)的 ownership，以結(jié)果為導(dǎo)向，善于決策；

• 至少熟悉 Java、Golang 中的一項(xiàng)編程語(yǔ)言；

• 本科及以上學(xué)歷、3 年以上工作經(jīng)驗(yàn)。

簡(jiǎn)歷可投遞至郵箱：huizhi.szh @alibaba-inc.com，如有疑問(wèn)歡迎加微信咨詢：TheBeatles1994。

云原生網(wǎng)絡(luò)研討會(huì)邀您參加

點(diǎn)擊立即預(yù)約直播

“ 阿里巴巴云原生關(guān)注微服務(wù)、Serverless、容器、Service Mesh 等技術(shù)領(lǐng)域、聚焦云原生流行技術(shù)趨勢(shì)、云原生大規(guī)模的落地實(shí)踐，做最懂云原生開(kāi)發(fā)者的公眾號(hào)?！?/p>