kubernetes集群安裝指南：etcd集群部署

etcd 是基于 Raft 的分布式 key-value 存儲系統(tǒng)，由 CoreOS 開發(fā)，常用于服務(wù)發(fā)現(xiàn)、共享配置以及并發(fā)控制（如 leader 選舉、分布式鎖等）。kubernetes 使用 etcd 存儲所有運(yùn)行數(shù)據(jù)。

部署準(zhǔn)備

所有操作都是在devops機(jī)器上操作，將相關(guān)腳本編輯好，然后通過ansible 腳本模塊統(tǒng)一執(zhí)行。

定義環(huán)境變量

#################### Variable parameter setting ######################
ETCD_INSTALL_PATH="/data/apps/k8s/etcd"
ETCD_BIN_DIR="${ETCD_INSTALL_PATH}/bin"
ETCD_DATA_DIR="${ETCD_INSTALL_PATH}/data"
ETCD_WAL_DIR="${ETCD_INSTALL_PATH}/wal"
N01="master-k8s-n01=https://10.10.10.22:2380"
N02="master-k8s-n02=https://10.10.10.23:2380"
N03="master-k8s-n03=https://10.10.10.24:2380"
ETCD_ENPOIDTS="$N01,$N02,$N03"
CA_PATH="/etc/k8s/ssl"
SOFTWARE="/root/software"
VERSION=v3.3.13
PACKAGE="etcd-${VERSION}-linux-amd64.tar.gz"
HOSTNAME=`hostname`
DOWNLOAD_URL="https://github.com/devops-apps/download/raw/master/etcd/${PACKAG}"
ETH_INTERFACE=eth2
LISTEN_IP=$(ifconfig | grep -A 1 ${ETH_INTERFACE} |grep inet |awk '{print $2}')
USER=k8s

下載和分發(fā) etcd 二進(jìn)制文件

登錄devops訪問etcd 的 release 頁面下載最新版本的發(fā)布包并通過ansible同步到三個master三個節(jié)點(diǎn)/root/software目錄下：

wget $DOWNLOAD_URL -P $SOFTWARE

2 部署etcd集群

在devops主機(jī)上使用ansible分別對三個master節(jié)點(diǎn)執(zhí)行以下操作：

2.1 安裝etcd二進(jìn)制執(zhí)行命令

### 1.Check if the install directory exists.
if [ ! -d $ETCD_BIN_DIR ]; then
     mkdir -p $ETCD_BIN_DIR
     mkdir -p $ETCD_DATA_DIR
     mkdir -p $ETCD_WAL_DIR
fi

### 2.Install etcd binary of kubernetes.
if [ ! -f "$SOFTWARE/etcd-${VERSION}-linux-amd64.tar.gz" ]; then
     sudo wget $DOWNLOAD_URL -P $SOFTWARE >>/tmp/install.log  2>&1
fi

cd $SOFTWARE && tar -xzf etcd-${VERSION}-linux-amd64.tar.gz -C ./
cp -fp etcd-${VERSION}-linux-amd64/etcd* $ETCD_BIN_DIR
ln -sf  $ETCD_BIN_DIR/{etcd,etcdctl} /usr/local/bin
sudo chmod -R 755 $ETCD_INSTALL_PATH
sudo chown -R $USER:$USER $ETCD_INSTALL_PATH

2.2 創(chuàng)建 etcd 的 systemd unit 啟動服務(wù)文件

cat >/usr/lib/systemd/system/etcd.service<<EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
User=${USER}
WorkingDirectory=${ETCD_DATA_DIR}
# set GOMAXPROCS to number of processors
ExecStart=/bin/bash -c "GOMAXPROCS=$(nproc) ${ETCD_BIN_DIR}/etcd  \\
                  --name=${HOSTNAME} \\
                  --data-dir=${ETCD_DATA_DIR} \\
                  --wal-dir=${ETCD_WAL_DIR} \\
                  --cert-file=${CA_PATH}/etcd.pem \\
                  --key-file=${CA_PATH}/etcd-key.pem \\
                  --trusted-ca-file=${CA_PATH}/ca.pem \\
                  --peer-cert-file=${CA_PATH}/etcd.pem \\
                  --peer-key-file=${CA_PATH}/etcd-key.pem \\
                  --peer-trusted-ca-file=${CA_PATH}/ca.pem \\
                  --peer-client-cert-auth=true \\
                  --client-cert-auth=true \\
                  --listen-peer-urls=https://${LISTEN_IP}:2380 \\
                  --initial-advertise-peer-urls=https://${LISTEN_IP}:2380 \\
                  --listen-client-urls=https://${LISTEN_IP}:2379,https://127.0.0.1:2379 \\
                  --advertise-client-urls=https://${LISTEN_IP}:2379 \\
                  --initial-cluster-token=etcd-cluster-0 \\
                  --initial-cluster=${ETCD_ENPOIDTS} \\
                  --initial-cluster-state=new \\
                  --auto-tls=true \\
                  --auto-compaction-mode=periodic \\
                  --auto-compaction-retention=1 \\
                  --max-request-bytes=33554432 \\
                  --quota-backend-bytes=6442450944 \\
                  --heartbeat-interval=250 \\
                  --election-timeout=2000 \\
                  --peer-auto-tls=true"
Restart=on-failure
RestartSec=5
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

• WorkingDirectory、--data-dir：指定工作目錄和數(shù)據(jù)目錄為 ${ETCD_DATA_DIR}，需在啟動服務(wù)前創(chuàng)建這個目錄；
• --wal-dir：指定 wal 目錄，為了提高性能，一般使用 SSD 或者和 --data-dir 不同的磁盤；
• --name：指定節(jié)點(diǎn)名稱，當(dāng) --initial-cluster-state 值為 new 時，--name 的參數(shù)值必須位于 --initial-cluster 列表中；
• --cert-file、--key-file：etcd server 與 client 通信時使用的證書和私鑰；
• --trusted-ca-file：簽名 client 證書的 CA 證書，用于驗(yàn)證 client 證書；
• --peer-cert-file、--peer-key-file：etcd 與 peer 通信使用的證書和私鑰；
• --peer-trusted-ca-file：簽名 peer 證書的 CA 證書，用于驗(yàn)證 peer 證書；

2.3 啟動 etcd 服務(wù)并檢查啟動狀態(tài)

啟動etcd服務(wù)

systemctl  etcd.service start

檢查etcd啟動狀態(tài)

systemctl status etcd|grep Active

確保狀態(tài)為 active (running)，否則查看日志，確認(rèn)原因：

sudo journalctl -u etcd

驗(yàn)證etcd服務(wù)狀態(tài)及查看當(dāng)前l(fā)eader

驗(yàn)證etcd服務(wù)狀態(tài)

ETCDCTL_API=3 etcdctl \
  --endpoints=${ETCD_ENPOIDTS} \
  --cacert=/etc/k8s/ssl/ca.pem \
  --cert=/etc/k8s/ssl/etcd.pem \
  --key=/etc/k8s/ssl/etcd-key.pem endpoint health

當(dāng)輸出值為以下狀態(tài)即為正常：
https://10.10.10.22:2379 is healthy: successfully committed proposal: took = 3.693346ms
https://10.10.10.23:2379 is healthy: successfully committed proposal: took = 2.80687ms
https://10.10.10.24:2379 is healthy: successfully committed proposal: took = 4.493037ms

查看當(dāng)前l(fā)eader

ETCDCTL_API=3 etcdctl \
  --endpoints=${ETCD_ENPOIDTS} \
  --cacert=/etc/k8s/ssl/ca.pem \
  --cert=/etc/k8s/ssl/etcd.pem \
  --key=/etc/k8s/ssl/etcd-key.pem endpoint status

輸出：
https://10.10.10.22:2379, 641670f7677ceff, 3.3.13, 2.9 MB, false, 2, 6198986
https://10.10.10.23:2379, ce37122364c277fa, 3.3.13, 2.9 MB, true, 2, 6198986
https://10.10.10.24:2379, 4d1003897626ccde, 3.3.13, 2.9 MB, false, 2, 6198986

• 當(dāng)前l(fā)eader為master-k8s-n02

到這里，整個etcd集群就部署完成，關(guān)于更多的etcd操作可以閱讀etcd官方文檔，部署好etcd數(shù)據(jù)庫，開部署kubernetes master節(jié)點(diǎn)相關(guān)組件，請參考：kubernetes集群安裝指南：apiserver節(jié)點(diǎn)組件部署，關(guān)于etcd腳本請從此處獲??；