Argo CD中如何構(gòu)建一套完整的GitOps

這篇文章給大家介紹Argo CD中如何構(gòu)建一套完整的GitOps，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

隨著Kubernetes繼續(xù)將自己確立為容器編排的行業(yè)標(biāo)準(zhǔn)，為你的應(yīng)用和工具找到使用聲明式模型的有效方法是成功的關(guān)鍵。在這篇文章中，我們將在AWS中建立一個K3s Kubernetes集群，然后使用Argo CD和Vault實現(xiàn)安全的GitOps。

以下是我們將會使用到的組件：

• AWS——這是我們將在底層基礎(chǔ)設(shè)施使用的云提供商。它將管理我們的虛擬機以及Kubernetes工作所需的網(wǎng)絡(luò)，并允許Ingress從外界進入集群。

• K3s——由Rancher開發(fā)的輕量級Kubernetes發(fā)行版。它對許多alpha功能和云插件進行了清理，同時也使用關(guān)系型數(shù)據(jù)庫（本例中是RDS）代替etcd進行后端存儲。

• Rancher——API驅(qū)動的UI，可以輕松管理你的Kubernetes集群

• Vault——Hashicorp的密鑰管理實現(xiàn)。我將使用Banzai Cloud Vault的bank-- vaults實現(xiàn)，它可以通過使用Admission Webhook將密鑰直接注入pod中。這大大減輕了你在Git倉庫中存儲密鑰的需求。

• Argo CD——這是一個GitOps工具，可以讓你在Git中維護Kubernetes資源的狀態(tài)。Argo CD會自動將你的Kubernetes資源與Git倉庫中的資源進行同步，同時也確保集群內(nèi)對manifest的手動更改會自動還原。這保證了你的聲明式部署模式。

• Cert Manager或LetsEncrypt——提供了一種為Kubernetes Ingress自動生成和更新證書的方法。

讓我們先從AWS基礎(chǔ)架構(gòu)開始。

前期準(zhǔn)備

你需要在你的系統(tǒng)中安裝以下CLI：

• Terraform

• Kubectl

• AWS

同時，你還需要AWS管理員訪問權(quán)限以及一個訪問密鑰。如果你沒有，你可以使用信用卡創(chuàng)建一個賬戶。

最后，你需要一個可以管理/更新的托管域名，以指向你的基于Kubernetes彈性負(fù)載均衡器（ELB）。如果你還沒有，建議你在NameCheap上開一個賬戶，然后購買一個.dev域名。它價格便宜，而且效果很好。

AWS基礎(chǔ)架構(gòu)

對于我們的AWS基礎(chǔ)架構(gòu)，我們將使用Terraform與S3支持來持久化狀態(tài)。這為我們提供了一種方法來聲明性地定義我們的基礎(chǔ)架構(gòu)，并在我們需要的時候反復(fù)進行更改。在基礎(chǔ)設(shè)施倉庫中，你會看到一個k3s/example.tfvars文件。我們需要根據(jù)我們特定的環(huán)境/使用情況更新這個文件，設(shè)置以下值：

• db_username — 將應(yīng)用于Kubernetes后端存儲的RDS實例的管理員用戶名

• db_password — RDS用戶的管理員密碼。這通常應(yīng)該在你的terraform apply命令內(nèi)聯(lián)過程中傳遞此參數(shù)，但為了簡單起見，我們將在文件中設(shè)置它。

• public_ssh_key — 你的公共SSH密鑰，當(dāng)你需要SSH到Kubernetes EC2s時，你將使用它。

• keypair_name — 要應(yīng)用于你的public_ssh_key的密鑰對名稱。

• key_s3_bucket_name — 生成的bucket將在集群成功創(chuàng)建時存儲你的kubeconfig文件。

如果你想修改集群大小或設(shè)置特定的CIDRs（無類域間路由），可以設(shè)置下面的一些可選字段，但默認(rèn)情況下，你會得到一個6節(jié)點（3個服務(wù)器，3個代理）的K3s集群。

同時，你將需要創(chuàng)建S3 bucket來存儲你的Terraform狀態(tài)并且在k3s/backends/s3.tfvars和k3s/main.tf文件中更改bucket字段來與其匹配。

一旦我們更新了所有的字段，并創(chuàng)建了S3狀態(tài)bucket，我們就開始應(yīng)用Terraform吧。首先，確保你在AWS賬戶中有一個管理IAM用戶并且你已經(jīng)在系統(tǒng)上正確設(shè)置了環(huán)境變量或AWS憑證文件，以便能夠與AWS API對接，然后運行以下命令：

cd k3s/
terraform init -backend-config=backends/s3.tfvars
terraform apply -var-file=example.tfvars

一旦你執(zhí)行以上命令，Terraform會在apply成功后輸出預(yù)期的AWS狀態(tài)。如果一切看起來都符合預(yù)期，請輸入yes。這時候由于RDS集群的原因，需要5—10分鐘的時間來配置AWS資源。

驗證你的Kubernetes集群

Terraform成功應(yīng)用之后（再多等幾分鐘的時間確保K3s已經(jīng)部署完畢），你需要使用以下命令從S3 bucket中抓取kubeconfig文件（替換你在example.tfvars中輸入的bucket名稱）：

aws s3 cp s3://YOUR_BUCKET_NAME/k3s.yaml ~/.kube/config

這應(yīng)該成功完成，讓你現(xiàn)在能夠與你的集群通信。讓我們檢查一下我們的節(jié)點狀態(tài)，在繼續(xù)之前，確保它們都處于就緒狀態(tài)。

$ kubectl get nodes
NAME                         STATUS   ROLES    AGE   VERSION
ip-10-0-1-208.ec2.internal   Ready    <none>   39m   v1.18.9+k3s1
ip-10-0-1-12.ec2.internal    Ready    master   39m   v1.18.9+k3s1
ip-10-0-1-191.ec2.internal   Ready    master   39m   v1.18.9+k3s1
ip-10-0-2-12.ec2.internal    Ready    master   39m   v1.18.9+k3s1
ip-10-0-2-204.ec2.internal   Ready    <none>   39m   v1.18.9+k3s1
ip-10-0-1-169.ec2.internal   Ready    <none>   39m   v1.18.9+k3s1

我們也來看看Argo CD的狀態(tài)，它是通過manifest自動部署的：

$ kubectl get pods -n kube-system | grep argocd
helm-install-argocd-5jc9s                        0/1     Completed   1          40m
argocd-redis-774b4b475c-8v9s8                    1/1     Running     0          40m
argocd-dex-server-6ff57ff5fd-62v9b               1/1     Running     0          40m
argocd-server-5bf58444b4-mpvht                   1/1     Running     0          40m
argocd-repo-server-6d456ddf8f-h9gvd              1/1     Running     0          40m
argocd-application-controller-67c7856685-qm9hm   1/1     Running     0          40m

現(xiàn)在我們可以繼續(xù)為我們的ingress和證書自動化配置通配符DNS。

DNS配置

對于DNS，我通過Namecheap獲得atoy.dev域名，但你可以使用任何你喜歡的DNS供應(yīng)商。我們需要做的是創(chuàng)建一個通配符CNAME條目，以將所有請求路由到AWS ELB，它正在管理應(yīng)用程序的ingress。

首先，通過訪問你的AWS控制臺獲取你的彈性負(fù)載均衡器主機名稱——導(dǎo)航到EC2部分并在左邊菜單欄上點擊Load Balancers。然后你應(yīng)該看到一個使用隨機字符創(chuàng)建的新LoadBalancer。如果你檢查tag，它應(yīng)該引用你的新Kubernetes集群。

你需要從該條目復(fù)制DNS名稱。為我的域名訪問NamecCheap 高級DNS頁面，并輸入*.demo.atoy.dev** 的CNAME條目。** 指向你從AWS復(fù)制的域名。你可以根據(jù)你的提供商/域名調(diào)整這個名稱：

要驗證它是否有效，你可以安裝/使用nslookup來確保它解析到正確的主機名：

$ nslookup test.demo.atoy.dev
Server:  71.252.0.12
Address: 71.252.0.12#53

Non-authoritative answer:
test.demo.atoy.dev canonical name = a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com.
Name: a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com
Address: 52.20.5.150
Name: a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com
Address: 23.20.0.2

現(xiàn)在到Umbrella應(yīng)用程序。

Argo CD和Umbrella應(yīng)用程序

我們已經(jīng)知道Argo CD已經(jīng)部署好了，但現(xiàn)在我們要使用Argo CD的App-of-Apps部署模型來部署我們的其余工具套件。由于我們使用的是GitOps，你需要將k8s-tools-app倉庫fork到你自己的Github賬戶上，然后我們需要做一些修改來匹配你各自的環(huán)境。

1. 你需要為https://github.com/atoy3731/k8s-tools-app.git 進行全局查找/替換，并將其更改到之前fork的新存儲庫git URL。這使你可以管理自己的環(huán)境，讓Argo CD可以從那里拉取。另外，需要確保你的Git倉庫是公開的，以便Argo CD可以訪問它。

2. 在resources/tools/resources/other-resources.yaml中，更改argoHostand issuerEmail，使其與你的域名和郵箱相匹配。

3. 在resources/tools/resources/rancher.yaml中，更改主機名稱和郵件以匹配各自的域名和email。

4. 在resources/apps/resources/hello-world.yaml中，將兩個引用app.demo.aptoy.dev改為與你的域名一致。

一旦你做了這些更新，繼續(xù)提交/推送你的更改到你的forked Github倉庫。現(xiàn)在你已經(jīng)準(zhǔn)備好應(yīng)用umbrella應(yīng)用程序了。在本地克隆的倉庫中執(zhí)行以下操作：

$ kubectl apply -f umbrella-tools.yaml
appproject.argoproj.io/tools created
application.argoproj.io/umbrella-tools created

現(xiàn)在，Argo CD將開始配置所有其他工具，這些工具是倉庫為你的集群定義的。你可以通過執(zhí)行以下操作來獲得已部署的應(yīng)用程序的列表：

$ kubectl get applications -n kube-system
NAME                AGE
other-resources     56m
umbrella-tools      58m
rancher             57m
vault-impl          57m
vault-operator      58m
vault-webhook       57m
cert-manager        57m
cert-manager-crds   58m

你將不得不等待5分鐘左右的時間，讓一切都準(zhǔn)備好，讓LetsEncrypt生成暫存證書。一旦事情按預(yù)期運行，你應(yīng)該看到兩個生成的Ingress條目，你可以通過瀏覽器訪問：

$ kubectl get ingress -A
NAMESPACE       NAME             CLASS    HOSTS                     ADDRESS                                                                  PORTS     AGE
cattle-system   rancher          <none>   rancher.demo.atoy.dev   a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com   80, 443   59m
kube-system     argocd-ingress   <none>   argo.demo.atoy.dev      a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com   80, 443   58m

現(xiàn)在你可以通過 https://rancher.YOUR-DOMAIN 瀏覽 Rancher，通過 https://argo.YOUR-DOMAIN 瀏覽 Argo CD。

NOTE 1：為了避免LetsEncrypt的任何速率限制，我們使用的是無效的暫存證書。這有一個好處是當(dāng)你在你的瀏覽器訪問Argo、Rancher或你的hello world應(yīng)用程序，它會給你一個SSL異常。使用Chrome瀏覽器，在你的異常頁面加載時輸入thisisunsafe，它會讓你繞過它。你也可以了解更新Cert-manager的ClusterIssuer，以使用生產(chǎn)級的可信證書。

NOTE 2：K3s預(yù)裝了一個Traefik作為ingress controller，出于簡單起見，我們直接使用它。

NOTE 3：首次登錄Rancher后，你需要生成一個密碼，并接受用于訪問Rancher的URI。URI應(yīng)該是預(yù)先加載在表單中的，所以您可以直接點擊 "Okay"。

NOTE 4： 要登錄Argo CD，它使用admin作為用戶名，使用argocd-server pod名作為密碼。你可以通過下面的操作來獲得這個服務(wù)器的pod名（本例中是argocd-server-5bf58444b4-mpvht）。

$ kubectl get pods -n kube-system | grep argocd-server
argocd-server-5bf58444b4-mpvht                   1/1     Running     0          64m

現(xiàn)在你應(yīng)該能夠訪問Argo CD UI，登錄并查看，如下所示：

既然我們的工具已經(jīng)部署完成，讓我們在Vault中存儲密鑰，以便hello world應(yīng)用程序提取。

在Vault中創(chuàng)建密鑰

為了讓事情變得簡單，在你的工具庫中有一個幫助腳本。運行以下命令來獲取Vault管理員令牌和端口轉(zhuǎn)發(fā)命令：

$ sh tools/vault-config.sh
Your Vault root token is: s.qEl4Ftr4DR61dmbH3umRaXP0

Run the following:
export VAULT_TOKEN=s.qEl4Ftr4DR61dmbH3umRaXP0
export VAULT_CACERT=/Users/adam.toy/.vault-ca.crt
kubectl port-forward -n vault service/vault 8200 &

You will then be able to access Vault in your browser at: [https://localhost:8200](https://localhost:8200)

運行輸出的命令，然后導(dǎo)航到https://localhost:8200。輸入上面的root token進行登錄。

當(dāng)你登錄時，你應(yīng)該在一個密鑰引擎頁面。點擊Secret/條目，然后點擊右上方的創(chuàng)建密鑰。我們將創(chuàng)建一個demo密鑰，所以添加以下內(nèi)容并點擊保存：

現(xiàn)在我們已經(jīng)為hello world應(yīng)用程序準(zhǔn)備好密鑰了。

部署Hello World 應(yīng)用程序

現(xiàn)在，回到我們的父版本，讓我們運行下面的代碼來部署hello world應(yīng)用程序：

$ kubectl apply -f umbrella-apps.yaml
appproject.argoproj.io/apps created
application.argoproj.io/umbrella-apps created

創(chuàng)建完成后，回到Argo CD UI，你先應(yīng)該看到兩個新應(yīng)用程序，umbrella-apps和demo-app。單擊demo-app，然后等待所有資源正常運行：

一旦狀態(tài)都是healthy之后，你應(yīng)該能夠通過訪問https://app.YOUR-DOMAIN 導(dǎo)航到你的應(yīng)用程序。

讓我們也來驗證一下我們的Vault密鑰是否被注入到我們的應(yīng)用程序pod中。在Argo CD UI的demo-app中，點擊應(yīng)用程序的一個Pod，然后點擊頂部的日志標(biāo)簽。左邊應(yīng)該有兩個容器，選擇 test-deployment容器。在日志的頂部，你應(yīng)該看到你的密鑰在兩行等號之間：

測試GitOps

現(xiàn)在我們來測試一下Argo CD，確保當(dāng)我們在倉庫中做一些更改時它能夠自動同步。

在你的工具庫中，找到resources/apps/resources/hello-world.yaml文件，將replicaCount的值從5改到10。提交并推送你的更改到主分支，然后在Argo CD UI中導(dǎo)航回demo-app。當(dāng)Argo CD達(dá)到它的刷新間隔時，它會自動開始部署其他5個應(yīng)用程序副本（如果你不想等待，可以點擊你的** umbrella-apps ** Argo應(yīng)用程序 ** 中的刷新按鈕）：

清 除

如果你準(zhǔn)備拆掉你的集群，你需要先進入AWS控制臺、EC2服務(wù)，然后點擊Load Balancers。你會看到Kubernetes云提供商創(chuàng)建了一個ELB，但不是由Terraform管理的，你需要清理它。你還需要刪除該ELB正在使用的安全組。

清理了ELB之后，運行以下命令并在出現(xiàn)提示時輸入yes：

terraform destroy -var-file=example.tfvars

下一步是什么

我們已經(jīng)有一個很好的工具集來使用GitOps部署應(yīng)用程序。那么下一步是什么？如果你愿意接受挑戰(zhàn)，可以嘗試在hello world應(yīng)用旁邊部署自己的應(yīng)用，甚至嘗試通過在應(yīng)用manifest倉庫中更新鏡像標(biāo)簽來實現(xiàn)CI/CD。這樣一來，當(dāng)構(gòu)建新的應(yīng)用鏡像時，新的標(biāo)簽就會在manifest倉庫中自動更新，Argo CD就會部署新版本。

關(guān)于Argo CD中如何構(gòu)建一套完整的GitOps就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。