溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Go如何操作etcd

發(fā)布時間:2021-09-02 13:45:38 來源:億速云 閱讀:193 作者:小新 欄目:開發(fā)技術(shù)

小編給大家分享一下Go如何操作etcd,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!

    etcdetcd介紹

    etcd是使用Go語言開發(fā)的一個開源的、高可用的分布式key-value存儲系統(tǒng),可以用于配置共享和服務(wù)的注冊和發(fā)現(xiàn)。

    類似項目有zookeeper和consul。

    etcd具有以下特點:

    • 完全復(fù)制:集群中的每個節(jié)點都可以使用完整的存檔

    • 高可用性:Etcd可用于避免硬件的單點故障或網(wǎng)絡(luò)問題

    • 一致性:每次讀取都會返回跨多主機(jī)的最新寫入

    • 簡單:包括一個定義良好、面向用戶的API(gRPC)

    • 安全:實現(xiàn)了帶有可選的客戶端證書身份驗證的自動化TLS

    • 快速:每秒10000次寫入的基準(zhǔn)速度

    • 可靠:使用Raft算法實現(xiàn)了強(qiáng)一致、高可用的服務(wù)存儲目錄

    etcd應(yīng)用場景

    服務(wù)發(fā)現(xiàn)

    服務(wù)發(fā)現(xiàn)要解決的也是分布式系統(tǒng)中最常見的問題之一,即在同一個分布式集群中的進(jìn)程或服務(wù),要如何才能找到對方并建立連接。本質(zhì)上來說,服務(wù)發(fā)現(xiàn)就是想要了解集群中是否有進(jìn)程在監(jiān)聽 udp 或 tcp 端口,并且通過名字就可以查找和連接。

    Go如何操作etcd

    配置中心

    將一些配置信息放到 etcd 上進(jìn)行集中管理。

    這類場景的使用方式通常是這樣:應(yīng)用在啟動的時候主動從 etcd 獲取一次配置信息,同時,在 etcd 節(jié)點上注冊一個 Watcher 并等待,以后每次配置有更新的時候,etcd 都會實時通知訂閱者,以此達(dá)到獲取最新配置信息的目的。

    分布式鎖

    因為 etcd 使用 Raft 算法保持了數(shù)據(jù)的強(qiáng)一致性,某次操作存儲到集群中的值必然是全局一致的,所以很容易實現(xiàn)分布式鎖。鎖服務(wù)有兩種使用方式,一是保持獨占,二是控制時序。

    保持獨占即所有獲取鎖的用戶最終只有一個可以得到。etcd 為此提供了一套實現(xiàn)分布式鎖原子操作 CAS(CompareAndSwap)的 API。通過設(shè)置prevExist值,可以保證在多個節(jié)點同時去創(chuàng)建某個目錄時,只有一個成功。而創(chuàng)建成功的用戶就可以認(rèn)為是獲得了鎖。

    控制時序,即所有想要獲得鎖的用戶都會被安排執(zhí)行,但是獲得鎖的順序也是全局唯一的,同時決定了執(zhí)行順序。etcd 為此也提供了一套 API(自動創(chuàng)建有序鍵),對一個目錄建值時指定為POST動作,這樣 etcd 會自動在目錄下生成一個當(dāng)前最大的值為鍵,存儲這個新的值(客戶端編號)。同時還可以使用 API 按順序列出所有當(dāng)前目錄下的鍵值。此時這些鍵的值就是客戶端的時序,而這些鍵中存儲的值可以是代表客戶端的編號。

    Go如何操作etcd

    為什么用 etcd 而不用ZooKeeper?

    etcd 實現(xiàn)的這些功能,ZooKeeper都能實現(xiàn)。那么為什么要用 etcd 而非直接使用ZooKeeper呢?

    為什么不選擇ZooKeeper?

    • 部署維護(hù)復(fù)雜,其使用的Paxos強(qiáng)一致性算法復(fù)雜難懂。官方只提供了JavaC兩種語言的接口。

    • 使用Java編寫引入大量的依賴。運維人員維護(hù)起來比較麻煩。

    • 最近幾年發(fā)展緩慢,不如etcdconsul等后起之秀。

    為什么選擇etcd?

    • 簡單。使用 Go 語言編寫部署簡單;支持HTTP/JSON API,使用簡單;使用 Raft 算法保證強(qiáng)一致性讓用戶易于理解。

    • etcd 默認(rèn)數(shù)據(jù)一更新就進(jìn)行持久化。

    • etcd 支持 SSL 客戶端安全認(rèn)證。

    最后,etcd 作為一個年輕的項目,正在高速迭代和開發(fā)中,這既是一個優(yōu)點,也是一個缺點。優(yōu)點是它的未來具有無限的可能性,缺點是無法得到大項目長時間使用的檢驗。然而,目前 CoreOS、KubernetesCloudFoundry等知名項目均在生產(chǎn)環(huán)境中使用了etcd,所以總的來說,etcd值得你去嘗試。

    etcd集群

    etcd 作為一個高可用鍵值存儲系統(tǒng),天生就是為集群化而設(shè)計的。由于 Raft 算法在做決策時需要多數(shù)節(jié)點的投票,所以 etcd 一般部署集群推薦奇數(shù)個節(jié)點,推薦的數(shù)量為 3、5 或者 7 個節(jié)點構(gòu)成一個集群。

    搭建一個3節(jié)點集群示例:

    在每個etcd節(jié)點指定集群成員,為了區(qū)分不同的集群最好同時配置一個獨一無二的token。

    下面是提前定義好的集群信息,其中n1、n2n3表示3個不同的etcd節(jié)點。

    TOKEN=token-01
    CLUSTER_STATE=new
    CLUSTER=n1=http://10.240.0.17:2380,n2=http://10.240.0.18:2380,n3=http://10.240.0.19:2380

    n1這臺機(jī)器上執(zhí)行以下命令來啟動etcd:

    etcd --data-dir=data.etcd --name n1 \
        --initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
        --advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
        --initial-cluster ${CLUSTER} \
        --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

    n2這臺機(jī)器上執(zhí)行以下命令啟動etcd:

    etcd --data-dir=data.etcd --name n2 \
        --initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
        --advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
        --initial-cluster ${CLUSTER} \
        --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

    n3這臺機(jī)器上執(zhí)行以下命令啟動etcd:

    etcd --data-dir=data.etcd --name n3 \
        --initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
        --advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http://10.240.0.19:2379 \
        --initial-cluster ${CLUSTER} \
        --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

    etcd 官網(wǎng)提供了一個可以公網(wǎng)訪問的 etcd 存儲地址。你可以通過如下命令得到 etcd 服務(wù)的目錄,并把它作為-discovery參數(shù)使用。

    curl https://discovery.etcd.io/new?size=3
    https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
     
    # grab this token
    TOKEN=token-01
    CLUSTER_STATE=new
    DISCOVERY=https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
     
     
    etcd --data-dir=data.etcd --name n1 \
        --initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
        --advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
        --discovery ${DISCOVERY} \
        --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
     
     
    etcd --data-dir=data.etcd --name n2 \
        --initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
        --advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
        --discovery ${DISCOVERY} \
        --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
     
     
    etcd --data-dir=data.etcd --name n3 \
        --initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
        --advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http:/10.240.0.19:2379 \
        --discovery ${DISCOVERY} \
        --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

    到此etcd集群就搭建起來了,可以使用etcdctl來連接etcd。

    export ETCDCTL_API=3
    HOST_1=10.240.0.17
    HOST_2=10.240.0.18
    HOST_3=10.240.0.19
    ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379
     
    etcdctl --endpoints=$ENDPOINTS member lis

    Go語言操作etcd

    這里使用官方的etcd/clientv3包來連接etcd并進(jìn)行相關(guān)操作。

    安裝

    go get go.etcd.io/etcd/clientv3

    put和get操作

    put命令用來設(shè)置鍵值對數(shù)據(jù),get命令用來根據(jù)key獲取值。

    package main
     
    import (
        "context"
        "fmt"
        "time"
     
        "go.etcd.io/etcd/clientv3"
    )
     
    // etcd client put/get demo
    // use etcd/clientv3
     
    func main() {
        cli, err := clientv3.New(clientv3.Config{
            Endpoints:   []string{"127.0.0.1:2379"},
            DialTimeout: 5 * time.Second,
        })
        if err != nil {
            // handle error!
            fmt.Printf("connect to etcd failed, err:%v\n", err)
            return
        }
        fmt.Println("connect to etcd success")
        defer cli.Close()
        // put
        ctx, cancel := context.WithTimeout(context.Background(), time.Second)
        _, err = cli.Put(ctx, "q1mi", "dsb")
        cancel()
        if err != nil {
            fmt.Printf("put to etcd failed, err:%v\n", err)
            return
        }
        // get
        ctx, cancel = context.WithTimeout(context.Background(), time.Second)
        resp, err := cli.Get(ctx, "q1mi")
        cancel()
        if err != nil {
            fmt.Printf("get from etcd failed, err:%v\n", err)
            return
        }
        for _, ev := range resp.Kvs {
            fmt.Printf("%s:%s\n", ev.Key, ev.Value)
        }
    }

    watch操作

    watch用來獲取未來更改的通知。

    package main
     
    import (
        "context"
        "fmt"
        "time"
     
        "go.etcd.io/etcd/clientv3"
    )
     
    // watch demo
     
    func main() {
        cli, err := clientv3.New(clientv3.Config{
            Endpoints:   []string{"127.0.0.1:2379"},
            DialTimeout: 5 * time.Second,
        })
        if err != nil {
            fmt.Printf("connect to etcd failed, err:%v\n", err)
            return
        }
        fmt.Println("connect to etcd success")
        defer cli.Close()
        // watch key:q1mi change
        rch := cli.Watch(context.Background(), "q1mi") // <-chan WatchResponse
        for wresp := range rch {
            for _, ev := range wresp.Events {
                fmt.Printf("Type: %s Key:%s Value:%s\n", ev.Type, ev.Kv.Key, ev.Kv.Value)
            }
        }
    }

    將上面的代碼保存編譯執(zhí)行,此時程序就會等待etcd中q1mi這個key的變化。

    例如:我們打開終端執(zhí)行以下命令修改、刪除、設(shè)置q1mi這個key。

    etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb2"
    OK
     
    etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 del q1mi
    1
     
    etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb3"
    OK

    上面的程序都能收到如下通知。

    watch>watch.exe
    connect to etcd success
    Type: PUT Key:q1mi Value:dsb2
    Type: DELETE Key:q1mi Value:
    Type: PUT Key:q1mi Value:dsb3

    lease租約

    package main
     
    import (
        "fmt"
        "time"
    )
     
    // etcd lease
     
    import (
        "context"
        "log"
     
        "go.etcd.io/etcd/clientv3"
    )
     
    func main() {
        cli, err := clientv3.New(clientv3.Config{
            Endpoints:   []string{"127.0.0.1:2379"},
            DialTimeout: time.Second * 5,
        })
        if err != nil {
            log.Fatal(err)
        }
        fmt.Println("connect to etcd success.")
        defer cli.Close()
     
        // 創(chuàng)建一個5秒的租約
        resp, err := cli.Grant(context.TODO(), 5)
        if err != nil {
            log.Fatal(err)
        }
     
        // 5秒鐘之后, /nazha/ 這個key就會被移除
        _, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
        if err != nil {
            log.Fatal(err)
        }
    }

    keepAlive

    package main
     
    import (
        "context"
        "fmt"
        "log"
        "time"
     
        "go.etcd.io/etcd/clientv3"
    )
     
    // etcd keepAlive
     
    func main() {
        cli, err := clientv3.New(clientv3.Config{
            Endpoints:   []string{"127.0.0.1:2379"},
            DialTimeout: time.Second * 5,
        })
        if err != nil {
            log.Fatal(err)
        }
        fmt.Println("connect to etcd success.")
        defer cli.Close()
     
        resp, err := cli.Grant(context.TODO(), 5)
        if err != nil {
            log.Fatal(err)
        }
     
        _, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
        if err != nil {
            log.Fatal(err)
        }
     
        // the key 'foo' will be kept forever
        ch, kaerr := cli.KeepAlive(context.TODO(), resp.ID)
        if kaerr != nil {
            log.Fatal(kaerr)
        }
        for {
            ka := <-ch
            fmt.Println("ttl:", ka.TTL)
        }
    }

    基于etcd實現(xiàn)分布式鎖

    go.etcd.io/etcd/clientv3/concurrency在etcd之上實現(xiàn)并發(fā)操作,如分布式鎖、屏障和選舉。

    導(dǎo)入該包:

    import "go.etcd.io/etcd/clientv3/concurrency"

    基于etcd實現(xiàn)的分布式鎖示例:

    cli, err := clientv3.New(clientv3.Config{Endpoints: endpoints})
    if err != nil {
        log.Fatal(err)
    }
    defer cli.Close()
     
    // 創(chuàng)建兩個單獨的會話用來演示鎖競爭
    s1, err := concurrency.NewSession(cli)
    if err != nil {
        log.Fatal(err)
    }
    defer s1.Close()
    m1 := concurrency.NewMutex(s1, "/my-lock/")
     
    s2, err := concurrency.NewSession(cli)
    if err != nil {
        log.Fatal(err)
    }
    defer s2.Close()
    m2 := concurrency.NewMutex(s2, "/my-lock/")
     
    // 會話s1獲取鎖
    if err := m1.Lock(context.TODO()); err != nil {
        log.Fatal(err)
    }
    fmt.Println("acquired lock for s1")
     
    m2Locked := make(chan struct{})
    go func() {
        defer close(m2Locked)
        // 等待直到會話s1釋放了/my-lock/的鎖
        if err := m2.Lock(context.TODO()); err != nil {
            log.Fatal(err)
        }
    }()
     
    if err := m1.Unlock(context.TODO()); err != nil {
        log.Fatal(err)
    }
    fmt.Println("released lock for s1")
     
    <-m2Locked
    fmt.Println("acquired lock for s2")

    輸出:

    acquired lock for s1
    released lock for s1
    acquired lock for s2

    以上是“Go如何操作etcd”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道!

    向AI問一下細(xì)節(jié)

    免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

    AI