6000個(gè)邊緣Kubernetes節(jié)點(diǎn)驅(qū)動(dòng)城市80萬(wàn)次智能停車(chē)，如何成為可能？

?
城市的街道因?yàn)槠?chē)數(shù)量的增長(zhǎng)越來(lái)越繁忙，對(duì)于駕車(chē)一族而言，在熱門(mén)區(qū)域?qū)ふ彝＼?chē)場(chǎng)更是無(wú)比頭痛的事情。然而與此同時(shí)，其實(shí)也許很多辦公樓、住宅樓、酒店和公共車(chē)庫(kù)中仍有許多付費(fèi)停車(chē)的資源未被充分利用。

?

ParkBee就是這樣一家為城市提供智能停車(chē)解決方案的公司。ParkBee平臺(tái)上顯示著每位車(chē)主定位附近的可使用的停車(chē)場(chǎng)，停車(chē)價(jià)格、停車(chē)位的空余情況等都是實(shí)時(shí)更新。ParkBee“打開(kāi)”了城市中的所有停車(chē)場(chǎng)，解決了停車(chē)難題，既節(jié)約車(chē)主時(shí)間，又幫助停車(chē)場(chǎng)最大限度創(chuàng)收。

?
ParkBee近期開(kāi)始嘗試在邊緣位置進(jìn)行容器部署。因?yàn)镻arkBee的整體業(yè)務(wù)的一個(gè)重要部分就是大量的停車(chē)場(chǎng)，與ParkBee合作的停車(chē)場(chǎng)有6000多家，截至目前我們已服務(wù)于80萬(wàn)次停車(chē)服務(wù)。我們必須確保每一個(gè)停車(chē)場(chǎng)的容器都能按預(yù)期工作，因此部署包含業(yè)務(wù)邏輯的應(yīng)用程序至關(guān)重要。

?

ParkBee目前使用Kops部署Kubernetes，公有云選擇的是AWS。雖然這種方法適用于我們的基于云的服務(wù)，但對(duì)于我們的邊緣部署而言，事情卻并不是那么簡(jiǎn)單。我們的理想目標(biāo)是：在ParkBee合作的每一個(gè)停車(chē)場(chǎng)上都有一個(gè)Kubernetes集群，集群中包含停車(chē)點(diǎn)位置的邊緣Kubernetes節(jié)點(diǎn)以及AWS中的Kubernetes主節(jié)點(diǎn)。

?
半個(gè)月前，Rancher Labs發(fā)布了K3s——一個(gè)被認(rèn)為是史上最輕量的Kubernetes發(fā)行版。K3s的設(shè)計(jì)初衷就是為了能讓像樹(shù)莓派一樣的低資源計(jì)算平臺(tái)更容易安裝和維護(hù)Kubernetes。
?

本質(zhì)上講，K3s有望成為一個(gè)輕量級(jí)的、易于使用、只使用一個(gè)二進(jìn)制文件的Kubernetes provisioner。K3s的發(fā)布公告里寫(xiě)到它的主要功能包括：

?

• 生產(chǎn)級(jí)Kubernetes：K3s是一個(gè)符合標(biāo)準(zhǔn)的、已獲CNCF官方認(rèn)證的Kubernetes發(fā)行版。

• 一個(gè)沒(méi)有主機(jī)依賴(lài)的二進(jìn)制文件：在任何設(shè)備上安裝Kubernetes所需的一切都包含在這一個(gè)40MB的二進(jìn)制文件當(dāng)中，不需要像KuberSpray、KubeADM或者RKE這樣的外部安裝程序。只需要一個(gè)命令，用戶(hù)就可以配置或者升級(jí)單節(jié)點(diǎn)K3s集群。

• 一條命令，向集群添加節(jié)點(diǎn)：若想向集群添加其他節(jié)點(diǎn)，管理員只需在新節(jié)點(diǎn)上運(yùn)行一條命令，指向原始服務(wù)器，通過(guò)安全token傳遞即可。

• 自動(dòng)生成證書(shū)：集群?jiǎn)?dòng)時(shí)，在Kubernetes主服務(wù)器和節(jié)點(diǎn)之間建立TLS所需的所有證書(shū)都會(huì)被自動(dòng)創(chuàng)建，還會(huì)自動(dòng)創(chuàng)建服務(wù)賬號(hào)的加密密鑰。

?
準(zhǔn)備工作
?

在這篇文章中，我將使用K3s的第一個(gè)版本v0.1.0。如果你想要按照我的文章來(lái)嘗試一樣的操作，你需要準(zhǔn)備：

?

• Raspberry Pi 3 B+型號(hào)，帶有閃存了Raspbian Stretch Lite 的microSD卡。

• 本地網(wǎng)絡(luò)：為了方便起見(jiàn)，我將在家里使用自己的局域網(wǎng)。

• 在你的筆記本電腦本地安裝的Vagrant：也可以使用Docker for Mac，不過(guò)本質(zhì)上來(lái)說(shuō)，K3s二進(jìn)制文件還是為了Linux、arm64和armhf架構(gòu)而構(gòu)建的。

?

Vagrant

?

如果您正在使用Vagrant，則可以在test目錄中使用以下內(nèi)容創(chuàng)建一個(gè)Vagrantfile：

?

# -*- mode: ruby -*-
# vi: set ft=ruby :

VAGRANT_API = 2

Vagrant.configure(VAGRANT_API) do |config|
  config.vm.box = "bento/ubuntu-18.04"
   config.vm.box_check_update = false
   config.vm.network "forwarded_port", guest: 6443, host: 6443, host_ip: "0.0.0.0"

     config.vm.provider "virtualbox" do |vb|
       vb.cpus = 1
       vb.gui = true
       vb.memory = "2048"
       vb.name = "k3s-master"
     end

    config.vm.provision :docker

    config.vm.provision "shell", inline: <<-SHELL
       sudo modprobe vxlan
       curl -sfL https://get.k3s.io | sh -
       hostnamectl set-hostname k3s-master
     SHELL
end

?
至此，你將安裝好了Docker以及K3s二進(jìn)制文件。安裝腳本也可以方便地將kubectl二進(jìn)制文件符號(hào)鏈接到K3s，因?yàn)樗莾?nèi)置的。

?

防火墻

?

小提示：Raspberry Pi需要連接到LAN中的本地計(jì)算機(jī)。在macOS中，確保轉(zhuǎn)到設(shè)置=>安全和隱私=>防火墻，然后單擊“關(guān)閉 ”按鈕。

?

?
對(duì)于Windows，您可以參考Lifewire關(guān)于在Windows中關(guān)閉防火墻的文章：
?
https://www.lifewire.com/how-to-disable-the-windows-firewall-2624505

?
運(yùn)行K3s主節(jié)點(diǎn)
?

我們將先使用Vagrant機(jī)器作為K3s主節(jié)點(diǎn); 一旦它開(kāi)始正常工作，我們將嘗試將Raspberry Pi連接到本地LAN上的K3s主節(jié)點(diǎn)。

?

與任何Vagrant機(jī)器一樣，只需運(yùn)行vagrant up，一切就開(kāi)始啟動(dòng)了。Vagrant將運(yùn)行K3s自動(dòng)安裝腳本，打開(kāi)本地計(jì)算機(jī)上的6443端口，以便K3s節(jié)點(diǎn)加入，并創(chuàng)建稍后所需的連接令牌。
?

首先，驗(yàn)證主節(jié)點(diǎn)安裝是否成功：
?

root@k3s-master:~# kubectl get nodes
NAME         STATUS   ROLES    AGE     VERSION
k3s-master   Ready    <none>   4m51s   v1.13.3-k3s.6

?

默認(rèn)情況下，K3s安裝腳本不會(huì)將k3s-master標(biāo)記為主節(jié)點(diǎn)；但因?yàn)槲覀円呀?jīng)預(yù)先安裝好了kubectl二進(jìn)制文件，我們現(xiàn)在可以解決這個(gè)問(wèn)題：
?

root@k3s-master:~# kubectl label node k3s-master kubernetes.io/role=master
node/k3s-master labeled
root@k3s-master:~# kubectl label node k3s-master node-role.kubernetes.io/master=""
node/k3s-master labeled

?
K3s安裝也不會(huì)污染NoSchedule的主節(jié)點(diǎn)。在此次測(cè)試中，我們希望確保Raspberry Pi能夠接收測(cè)試部署，因此使用以下方法污染主節(jié)點(diǎn)：

?

root@k3s-master:~# kubectl taint nodes k3s-master node-role.kubernetes.io/master=effect:NoSchedule
node/k3s-master tainted

?

接下來(lái)，我們需要token，來(lái)將K3s節(jié)點(diǎn)連接到新主節(jié)點(diǎn)。該k3s server命令應(yīng)該已經(jīng)為您創(chuàng)建了這個(gè)/var/lib/rancher/k3s/server/node-token。運(yùn)行以下命令：
?

root@k3s-master:~# cat /var/lib/rancher/k3s/server/node-token
<some-long-node-token>

?
在Raspberry Pi上運(yùn)行K3s節(jié)點(diǎn)

?

首先，我們需要為樹(shù)莓派準(zhǔn)備一些初始步驟。首先，使用以下命令來(lái)禁用swap：

?

dphys-swapfile swapoff && \
dphys-swapfile uninstall && \
update-rc.d dphys-swapfile remove

?

然后，將以下文本附加到/boot/cmdline.txt的第一行：
?

cgroup_enable=cpuset cgroup_memory=1 cgroup_enable=memory

?
然后，reboot樹(shù)莓派。返回時(shí)，重新登錄，然后運(yùn)行以下命令下載k3s二進(jìn)制文件。
?

curl -fSL "https://github.com/rancher/k3s/releases/download/v0.1.0/k3s-armhf" \
    -o /usr/local/bin/k3s && \
chmod +x /usr/local/bin/k3s

?
因?yàn)镵3s已經(jīng)不使用containerd了，因此我們無(wú)需安裝Docker ，但最好還是驗(yàn)證一下是不是所有pod都在正常運(yùn)行。通過(guò)運(yùn)行以下命令可以快速安裝Docker：
?

curl -fsSL https://get.docker.com | sh - && \
usermod -aG docker pi

?

獲取從主服務(wù)器創(chuàng)建的token，并將其導(dǎo)出為環(huán)境變量：
?

export NODE_TOKEN="<some-long-node-token>"

?
最后，運(yùn)行k3s agent命令以啟動(dòng)代理程序，然后加入主節(jié)點(diǎn)。在我的這次使用中，192.168.0.10是我網(wǎng)絡(luò)中本地筆記本電腦上運(yùn)行的Vagrant機(jī)器的地址。記得務(wù)必使用適當(dāng)?shù)牡刂诽鎿Q該值。
?

k3s agent \
--docker \
--server https://192.168.0.10:6443 \
--token ${NODE_TOKEN} \
> /root/logs.txt 2>&1 &

?
與K3s主節(jié)點(diǎn)類(lèi)似，這次安裝不會(huì)使用正確的節(jié)點(diǎn)標(biāo)簽標(biāo)記Raspberry Pi。在k3s-master上，在Raspberry Pi加入集群后運(yùn)行以下命令：
?

root@k3s-master:~# kubectl label node raspberrypi kubernetes.io/role=node
node/raspberrypi labeled
root@k3s-master:~# kubectl label node raspberrypi node-role.kubernetes.io/node=""
node/raspberrypi labeled

?
如果Raspberry Pi成功加入，則在主服務(wù)器上運(yùn)行該命令時(shí)應(yīng)該會(huì)看到類(lèi)似以下內(nèi)容：

?

root@k3s-master:~# kubectl get nodes
NAME                                   STATUS   ROLES    AGE    VERSION
raspberrypi                            Ready    node     2m     v1.13.3-k3s.6
k3s-master                             Ready    master   20m    v1.13.3-k3s.6

?

部署一個(gè)測(cè)試NGINX容器

?

為了確保K3s集群能真正正常工作，我們可以部署一個(gè)測(cè)試NGINX pod和NodePort服務(wù)，以確保Raspberry Pi創(chuàng)建了pod，并成功打開(kāi)了端口。

?

在K3s主Vagrant機(jī)器上，使用以下內(nèi)容在/root/nginx-test.yaml上創(chuàng)建一個(gè)文件：
?

---
apiVersion: v1
kind: Service
metadata:
  name: nginx-unprivileged-test
  namespace: default
spec:
  type: NodePort
  selector:
    app: nginx-unprivileged-test
  ports:
  - protocol: TCP
    nodePort: 30123
    port: 8080
    name: http
    targetPort: 8080
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nginx-unprivileged-test
  namespace: default
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: nginx-unprivileged-test
    spec:
      containers:
      - image: nginxinc/nginx-unprivileged
        name: nginx-unprivileged-test
        ports:
        - containerPort: 8080
          name: http
        livenessProbe:
          httpGet:
            path: /
            port: http
          initialDelaySeconds: 3
          periodSeconds: 3

?

然后最終將其部署到集群：

?

root@k3s-master:~# kubectl apply -f /root/nginx-test.yaml
service/nginx-unprivileged-test created
deployment.extensions/nginx-unprivileged-test created

?

因?yàn)檫@是一項(xiàng)NodePort服務(wù)，K3s將在Raspberry Pi上打開(kāi)一個(gè)端口30123。在我的本地網(wǎng)絡(luò)上，Raspberry Pi位于192.168.0.43。

?

結(jié) 語(yǔ)

?
在我使用K3s的過(guò)程中注意到了一些事項(xiàng)，在此想要提醒：

?

• 在部署NGINX測(cè)試容器時(shí)，我最初使用了Docker Hub中的常規(guī)nginx:latest鏡像。但是，似乎K3s還不支持低于1024的端口。在默認(rèn)情況下，nginx鏡像會(huì)嘗試在容器內(nèi)打開(kāi)端口80，而這會(huì)導(dǎo)致一些問(wèn)題。

• 本文中提到過(guò)，通常Kubernetes發(fā)行版中都包含label和taint，但K3s暫時(shí)沒(méi)有完全實(shí)現(xiàn)這一點(diǎn)。

?
K3s將極大地促進(jìn)Kubernetes在邊緣計(jì)算場(chǎng)景的使用，對(duì)這一點(diǎn)我充分相信。