go-zero如何自動管理緩存

本篇內(nèi)容主要講解“go-zero如何自動管理緩存”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“go-zero如何自動管理緩存”吧!

go-zero 概覽

go-zero 雖然是20年8月7號才開源，但是已經(jīng)經(jīng)過線上大規(guī)模檢驗了，也是我近20年工程經(jīng)驗的積累，開源后得到社區(qū)的積極反饋，在5個多月的時間里，獲得了6k stars。多次登頂github Go語言日榜、周榜、月榜榜首，并獲得了gitee最有價值項目（GVP），開源中國年度最佳人氣項目。同時微信社區(qū)極為活躍，3000+人的社區(qū)群，go-zero愛好者們一起交流go-zero使用心得和討論使用過程中的問題。

go-zero 如何自動管理緩存？

緩存設(shè)計原理

我們對緩存是只刪除，不做更新，一旦DB里數(shù)據(jù)出現(xiàn)修改，我們就會直接刪除對應(yīng)的緩存，而不是去更新。

我們看看刪除緩存的順序怎樣才是正確的。

• 先刪除緩存，再更新DB

我們看兩個并發(fā)請求的情況，A請求需要更新數(shù)據(jù)，先刪除了緩存，然后B請求來讀取數(shù)據(jù)，此時緩存沒有數(shù)據(jù)，就會從DB加載數(shù)據(jù)并寫回緩存，然后A更新了DB，那么此時緩存內(nèi)的數(shù)據(jù)就會一直是臟數(shù)據(jù)，直到緩存過期或者有新的更新數(shù)據(jù)的請求。如圖

• 先更新DB，再刪除緩存

A請求先更新DB，然后B請求來讀取數(shù)據(jù)，此時返回的是老數(shù)據(jù)，此時可以認(rèn)為是A請求還沒更新完，最終一致性，可以接受，然后A刪除了緩存，后續(xù)請求都會拿到最新數(shù)據(jù)，如圖

讓我們再來看一下正常的請求流程：

1. 第一個請求更新DB，并刪除了緩存

2. 第二個請求讀取緩存，沒有數(shù)據(jù)，就從DB讀取數(shù)據(jù)，并回寫到緩存里

3. 后續(xù)讀請求都可以直接從緩存讀取

我們再看一下DB查詢有哪些情況，假設(shè)行記錄里有ABCDEFG七列數(shù)據(jù)：

1. 只查詢部分列數(shù)據(jù)的請求，比如請求其中的ABC，CDE或者EFG等，如圖

2. 查詢單條完整行記錄，如圖

3. 查詢多條行記錄的部分或全部列，如圖

對于上面三種情況，首先，我們不用部分查詢，因為部分查詢沒法緩存，一旦緩存了，數(shù)據(jù)有更新，沒法定位到有哪些數(shù)據(jù)需要刪除；其次，對于多行的查詢，根據(jù)實(shí)際場景和需要，我們會在業(yè)務(wù)層建立對應(yīng)的從查詢條件到主鍵的映射；而對于單行完整記錄的查詢，go-zero 內(nèi)置了完整的緩存管理方式。所以核心原則是：go-zero 緩存的一定是完整的行記錄。

下面我們來詳細(xì)介紹 go-zero 內(nèi)置的三種場景的緩存處理方式：

1. 基于主鍵的緩存

   PRIMARY KEY (`id`)

   
   

   這種相對來講是最容易處理的緩存，只需要在 redis 里用 primary key 作為 key 來緩存行記錄即可。

2. 基于唯一索引的緩存

   

   在做基于索引的緩存設(shè)計的時候我借鑒了 database 索引的設(shè)計方法，在 database 設(shè)計里，如果通過索引去查數(shù)據(jù)時，引擎會先在 索引->主鍵 的 tree 里面查找到主鍵，然后再通過主鍵去查詢行記錄，就是引入了一個間接層去解決索引到行記錄的對應(yīng)問題。在 go-zero 的緩存設(shè)計里也是同樣的原理。

   基于索引的緩存又分為單列唯一索引和多列唯一索引：

   但是對于 go-zero 來說，單列和多列只是生成緩存 key 的方式不同而已，背后的控制邏輯是一樣的。然后 go-zero 內(nèi)置的緩存管理就比較好的控制了數(shù)據(jù)一致性問題，同時也內(nèi)置防止了緩存的擊穿、穿透、雪崩問題（這些在 gopherchina 大會上分享的時候仔細(xì)講過，見后續(xù) gopherchina 分享視頻）。

   另外，go-zero 內(nèi)置了緩存訪問量、訪問命中率統(tǒng)計，如下所示：

   dbcache(sqlc) - qpm: 5057, hit_ratio: 99.7%, hit: 5044, miss: 13, db_fails: 0

   
   

   可以看到比較詳細(xì)的統(tǒng)計信息，便于我們來分析緩存的使用情況，對于緩存命中率極低或者請求量極小的情況，我們就可以去掉緩存了，這樣也可以降低成本。

• 單列唯一索引如下：

  UNIQUE KEY `product_idx` (`product`)

  
  

• 多列唯一索引如下：

  UNIQUE KEY `vendor_product_idx` (`vendor`, `product`)

  
  

緩存代碼解讀

1. 基于主鍵的緩存邏輯

具體實(shí)現(xiàn)代碼如下：

func (cc CachedConn) QueryRow(v interface{}, key string, query QueryFn) error {
  return cc.cache.Take(v, key, func(v interface{}) error {
    return query(cc.db, v)
  })
}

這里的 Take 方法是先從緩存里去通過 key 拿數(shù)據(jù)，如果拿到就直接返回，如果拿不到，那么就通過 query 方法去 DB 讀取完整行記錄并寫回緩存，然后再返回數(shù)據(jù)。整個邏輯還是比較簡單易懂的。

我們詳細(xì)看看 Take 的實(shí)現(xiàn)：

func (c cacheNode) Take(v interface{}, key string, query func(v interface{}) error) error {
  return c.doTake(v, key, query, func(v interface{}) error {
    return c.SetCache(key, v)
  })
}

Take 的邏輯如下：

• 用 key 從緩存里查找數(shù)據(jù)

• 如果找到，則返回數(shù)據(jù)

• 如果找不到，用 query 方法去讀取數(shù)據(jù)

• 讀到后調(diào)用 c.SetCache(key, v) 設(shè)置緩存

其中的 doTake 代碼和解釋如下：

// v - 需要讀取的數(shù)據(jù)對象
// key - 緩存key
// query - 用來從DB讀取完整數(shù)據(jù)的方法
// cacheVal - 用來寫緩存的方法
func (c cacheNode) doTake(v interface{}, key string, query func(v interface{}) error,
  cacheVal func(v interface{}) error) error {
  // 用barrier來防止緩存擊穿，確保一個進(jìn)程內(nèi)只有一個請求去加載key對應(yīng)的數(shù)據(jù)
  val, fresh, err := c.barrier.DoEx(key, func() (interface{}, error) {
    // 從cache里讀取數(shù)據(jù)
    if err := c.doGetCache(key, v); err != nil {
      // 如果是預(yù)先放進(jìn)來的placeholder（用來防止緩存穿透）的，那么就返回預(yù)設(shè)的errNotFound
      // 如果是未知錯誤，那么就直接返回，因為我們不能放棄緩存出錯而直接把所有請求去請求DB，
      // 這樣在高并發(fā)的場景下會把DB打掛掉的
      if err == errPlaceholder {
        return nil, c.errNotFound
      } else if err != c.errNotFound {
        // why we just return the error instead of query from db,
        // because we don't allow the disaster pass to the DBs.
        // fail fast, in case we bring down the dbs.
        return nil, err
      }

      // 請求DB
      // 如果返回的error是errNotFound，那么我們就需要在緩存里設(shè)置placeholder，防止緩存穿透
      if err = query(v); err == c.errNotFound {
        if err = c.setCacheWithNotFound(key); err != nil {
          logx.Error(err)
        }

        return nil, c.errNotFound
      } else if err != nil {
        // 統(tǒng)計DB失敗
        c.stat.IncrementDbFails()
        return nil, err
      }

      // 把數(shù)據(jù)寫入緩存
      if err = cacheVal(v); err != nil {
        logx.Error(err)
      }
    }
    
    // 返回json序列化的數(shù)據(jù)
    return jsonx.Marshal(v)
  })
  if err != nil {
    return err
  }
  if fresh {
    return nil
  }

  // got the result from previous ongoing query
  c.stat.IncrementTotal()
  c.stat.IncrementHit()

  // 把數(shù)據(jù)寫入到傳入的v對象里
  return jsonx.Unmarshal(val.([]byte), v)
}

2. 基于唯一索引的緩存邏輯

因為這塊比較復(fù)雜，所以我用不同顏色標(biāo)識出來了響應(yīng)的代碼塊和邏輯，block 2 其實(shí)跟基于主鍵的緩存是一樣的，這里主要講 block 1 的邏輯。

代碼塊的 block 1 部分分為兩種情況：

1. 通過索引能夠從緩存里找到主鍵

   此時就直接用主鍵走 block 2 的邏輯了，后續(xù)同上面基于主鍵的緩存邏輯

2. 通過索引無法從緩存里找到主鍵

• 通過索引從DB里查詢完整行記錄，如有 error，返回

• 查到完整行記錄后，會把主鍵到完整行記錄的緩存和索引到主鍵的緩存同時寫到 redis 里

• 返回所需的行記錄數(shù)據(jù)

// v - 需要讀取的數(shù)據(jù)對象
// key - 通過索引生成的緩存key
// keyer - 用主鍵生成基于主鍵緩存的key的方法
// indexQuery - 用索引從DB讀取完整數(shù)據(jù)的方法，需要返回主鍵
// primaryQuery - 用主鍵從DB獲取完整數(shù)據(jù)的方法
func (cc CachedConn) QueryRowIndex(v interface{}, key string, keyer func(primary interface{}) string,
  indexQuery IndexQueryFn, primaryQuery PrimaryQueryFn) error {
  var primaryKey interface{}
  var found bool

  // 先通過索引查詢緩存，看是否有索引到主鍵的緩存
  if err := cc.cache.TakeWithExpire(&primaryKey, key, func(val interface{}, expire time.Duration) (err error) {
    // 如果沒有索引到主鍵的緩存，那么就通過索引查詢完整數(shù)據(jù)
    primaryKey, err = indexQuery(cc.db, v)
    if err != nil {
      return
    }

    // 通過索引查詢到了完整數(shù)據(jù)，設(shè)置found，后面直接使用，不需要再從緩存讀取數(shù)據(jù)了
    found = true
    // 將主鍵到完整數(shù)據(jù)的映射保存到緩存里，TakeWithExpire方法已經(jīng)將索引到主鍵的映射保存到緩存了
    return cc.cache.SetCacheWithExpire(keyer(primaryKey), v, expire+cacheSafeGapBetweenIndexAndPrimary)
  }); err != nil {
    return err
  }

  // 已經(jīng)通過索引找到了數(shù)據(jù)，直接返回即可
  if found {
    return nil
  }

  // 通過主鍵從緩存讀取數(shù)據(jù)，如果緩存沒有，通過primaryQuery方法從DB讀取并回寫緩存再返回數(shù)據(jù)
  return cc.cache.Take(v, keyer(primaryKey), func(v interface{}) error {
    return primaryQuery(cc.db, v, primaryKey)
  })
}

我們來看一個實(shí)際的例子

func (m *defaultUserModel) FindOneByUser(user string) (*User, error) {
  var resp User
  // 生成基于索引的key
  indexKey := fmt.Sprintf("%s%v", cacheUserPrefix, user)
  
  err := m.QueryRowIndex(&resp, indexKey,
    // 基于主鍵生成完整數(shù)據(jù)緩存的key
    func(primary interface{}) string {
      return fmt.Sprintf("user#%v", primary)
    },
    // 基于索引的DB查詢方法
    func(conn sqlx.SqlConn, v interface{}) (i interface{}, e error) {
      query := fmt.Sprintf("select %s from %s where user = ? limit 1", userRows, m.table)
      if err := conn.QueryRow(&resp, query, user); err != nil {
        return nil, err
      }
      return resp.Id, nil
    },
    // 基于主鍵的DB查詢方法
    func(conn sqlx.SqlConn, v, primary interface{}) error {
      query := fmt.Sprintf("select %s from %s where id = ?", userRows, m.table)
      return conn.QueryRow(&resp, query, primary)
    })
  
  // 錯誤處理，需要判斷是否返回的是sqlc.ErrNotFound，如果是，我們用本package定義的ErrNotFound返回
  // 避免使用者感知到有沒有使用緩存，同時也是對底層依賴的隔離
  switch err {
    case nil:
      return &resp, nil
    case sqlc.ErrNotFound:
      return nil, ErrNotFound
    default:
      return nil, err
  }
}

到此，相信大家對“go-zero如何自動管理緩存”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！