雪花算法中如何使用ID生成工具

本篇內(nèi)容主要講解“雪花算法中如何使用ID生成工具”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“雪花算法中如何使用ID生成工具”吧!

???? 算法介紹

? 這是優(yōu)化的雪花算法（雪花漂移），它生成的ID更短、速度更快。

? 支持 k8s 等容器環(huán)境自動(dòng)擴(kuò)容（自動(dòng)注冊(cè) WorkerId），可在單機(jī)或分布式環(huán)境生成數(shù)字型唯一ID。

? 原生支持 C#/Java/Go/Rust/C/SQL 等語言，并提供 PHP 擴(kuò)展及 Python、Node.js 多線程安全調(diào)用動(dòng)態(tài)庫（FFI）。

? 兼容所有雪花算法（號(hào)段模式或經(jīng)典模式，大廠或小廠），將來你可做任意的升級(jí)切換。（一般無須升級(jí)，但理論上支持）

? 這是計(jì)算機(jī)歷史上最全面的雪花ID生成工具，期待你來超越????

需求來源

???? 作為架構(gòu)設(shè)計(jì)的你，想要解決數(shù)據(jù)庫主鍵唯一的問題，特別是在分布式系統(tǒng)多數(shù)據(jù)庫中。

???? 你希望數(shù)據(jù)表主鍵用最少的存儲(chǔ)空間，索引速度更快，Select、Insert 和 Update 更迅速。

???? 你要考慮在分庫分表（合庫合表）時(shí)，主鍵值可直接使用，并能反映業(yè)務(wù)時(shí)序。

???? 如果這樣的主鍵值太長，超過前端 js Number 類型最大值，須把 Long 型轉(zhuǎn)換為 String 型，你會(huì)覺得有點(diǎn)沮喪。

???? 盡管 Guid 能自增，但占用空間大，索引速度慢，你不想用它。

???? 應(yīng)用實(shí)例可能超過50個(gè)，每個(gè)并發(fā)請(qǐng)求可達(dá)10W/s。

???? 要在容器環(huán)境部署應(yīng)用，支持水平復(fù)制、自動(dòng)擴(kuò)容。

???? 不想依賴 redis 的自增操作獲得連續(xù)的主鍵ID，因?yàn)檫B續(xù)的ID存在業(yè)務(wù)數(shù)據(jù)安全風(fēng)險(xiǎn)。

???? 你希望系統(tǒng)運(yùn)行 100 年以上。

傳統(tǒng)算法問題

? 生成的ID太長。

? 瞬時(shí)并發(fā)量不夠。

? 不能解決時(shí)間回?fù)軉栴}。

? 不支持后補(bǔ)生成前序ID。

? 可能依賴外部存儲(chǔ)系統(tǒng)。

新算法特點(diǎn)

? 整形數(shù)字，隨時(shí)間單調(diào)遞增（不一定連續(xù)），長度更短，用50年都不會(huì)超過 js Number類型最大值。（默認(rèn)配置）

? 速度更快，是傳統(tǒng)雪花算法的2-5倍，0.1秒可生成50萬個(gè)（基于8代低壓i7）。

? 支持時(shí)間回?fù)芴幚?。比?a title="服務(wù)器" target="_blank" href="http://www.kemok4.com/">服務(wù)器時(shí)間回?fù)?秒，本算法能自動(dòng)適應(yīng)生成臨界時(shí)間的唯一ID。

? 支持手工插入新ID。當(dāng)業(yè)務(wù)需要在歷史時(shí)間生成新ID時(shí)，用本算法的預(yù)留位能生成5000個(gè)每秒。

? 不依賴任何外部緩存和數(shù)據(jù)庫。（k8s環(huán)境下自動(dòng)注冊(cè) WorkerId 的動(dòng)態(tài)庫依賴 redis）

? 基礎(chǔ)功能，開箱即用，無需配置文件、數(shù)據(jù)庫連接等。

性能數(shù)據(jù)

(參數(shù)：10位自增序列，1000次漂移最大值)

???? 極致性能：500W/s~3000W/s。（所有測(cè)試數(shù)據(jù)均基于8代低壓i7計(jì)算）

如何處理時(shí)間回?fù)?/h5>

???? 當(dāng)發(fā)生系統(tǒng)時(shí)間回?fù)軙r(shí)，算法采用過去時(shí)序的預(yù)留序數(shù)生成新的ID。

???? 回?fù)苌傻腎D序號(hào)，默認(rèn)靠前，也可以調(diào)整為靠后。

???? 允許時(shí)間回?fù)苤帘舅惴A(yù)設(shè)基數(shù)（參數(shù)可調(diào)）。

???? ID組成說明

• 本算法生成的ID由3部分組成（沿用雪花算法定義）：

• +-------------------------+--------------+----------+

• | 1.相對(duì)基礎(chǔ)時(shí)間的時(shí)間差 | 2.WorkerId | 3.序列數(shù) |

• +-------------------------+--------------+----------+

• 
  

• 第1部分，時(shí)間差，是生成ID時(shí)的系統(tǒng)時(shí)間減去 BaseTime 的總時(shí)間差（毫秒單位）。

• 第2部分，WorkerId，是區(qū)分不同機(jī)器或不同應(yīng)用的唯一ID，最大值由 WorkerIdBitLength（默認(rèn)6）限定。

• 第3部分，序列數(shù)，是每毫秒下的序列數(shù)，由參數(shù)中的 SeqBitLength（默認(rèn)6）限定。

ID示例

???? 本算法生成的 ID ，是整數(shù)（占用空間最多8字節(jié)），以下是基于默認(rèn)配置生成的ID：

129053495681099        (運(yùn)行1年)
387750301904971        (運(yùn)行3年)
646093214093387        (運(yùn)行5年)
1292658282840139       (運(yùn)行10年)
9007199254740992       (js Number 最大值)
165399880288699493     (普通雪花算法生成的ID)

???? 本算法生成的 ID 值，是 js Number 最大值的 1%-10%，是普通雪花算法值的千分之一，而生成速度卻超過普通雪花算法。

???? js Number 類型最大數(shù)值：9007199254740992，本算法在保持并發(fā)性能（5W+/0.01s）和最大64個(gè) WorkerId（6bit）的同時(shí)，能用70年才到 js Number Max 值。

長度估算

???? 每增加 1位 WorkerIdBitLength 或 SeqBitLength，生成的ID數(shù)字值將會(huì)乘以2（基礎(chǔ)長度可參考前一節(jié)“ID示例”），反之則除以2。

能用多久

能用多久的解釋，是指生成的ID數(shù)字，何時(shí)能增長到超過 long（有符號(hào)64位，8字節(jié)）最大值。

???? 在默認(rèn)配置下，ID可用 71000 年不重復(fù)。

???? 在支持 1024 個(gè)工作節(jié)點(diǎn)時(shí)，ID可用 4480 年不重復(fù)。

???? 在支持 4096 個(gè)工作節(jié)點(diǎn)時(shí)，ID可用 1120 年不重復(fù)。

???? 參數(shù)設(shè)置

? WorkerIdBitLength，機(jī)器碼位長，決定 WorkerId 的最大值，默認(rèn)值6，取值范圍 [1, 19]，實(shí)際上有些語言采用 無符號(hào) ushort (uint16) 類型接收該參數(shù)，所以最大值是16，如果是采用 有符號(hào) short (int16)，則最大值為15。

? WorkerId，機(jī)器碼，最重要參數(shù)，無默認(rèn)值，必須 全局唯一，必須 程序設(shè)定，缺省條件（WorkerIdBitLength取默認(rèn)值）時(shí)最大值63，理論最大值 2^WorkerIdBitLength-1（不同實(shí)現(xiàn)語言可能會(huì)限定在 65535 或 32767，原理同 WorkerIdBitLength 規(guī)則）。不同機(jī)器或不同應(yīng)用實(shí)例 不能相同，你可通過應(yīng)用程序配置該值，也可通過調(diào)用外部服務(wù)獲取值。針對(duì)自動(dòng)注冊(cè)WorkerId需求，本算法提供默認(rèn)實(shí)現(xiàn)：通過 redis 自動(dòng)注冊(cè) WorkerId 的動(dòng)態(tài)庫，詳見“Tools\AutoRegisterWorkerId”。

特別提示：如果一臺(tái)服務(wù)器部署多個(gè)獨(dú)立服務(wù)，需要為每個(gè)服務(wù)指定不同的 WorkerId。

? SeqBitLength，序列數(shù)位長，默認(rèn)值6，取值范圍 [3, 21]（建議不小于4），決定每毫秒基礎(chǔ)生成的ID個(gè)數(shù)。規(guī)則要求：WorkerIdBitLength + SeqBitLength 不超過 22。

? MinSeqNumber，最小序列數(shù)，默認(rèn)值5，取值范圍 [5, MaxSeqNumber]，每毫秒的前5個(gè)序列數(shù)對(duì)應(yīng)編號(hào)0-4是保留位，其中1-4是時(shí)間回?fù)芟鄳?yīng)預(yù)留位，0是手工新值預(yù)留位。

? MaxSeqNumber，最大序列數(shù)，設(shè)置范圍 [MinSeqNumber, 2^SeqBitLength-1]，默認(rèn)值0，真實(shí)最大序列數(shù)取最大值（2^SeqBitLength-1），不為0時(shí)，取其為真實(shí)最大序列數(shù)，一般無需設(shè)置，除非多機(jī)共享WorkerId分段生成ID（此時(shí)還要正確設(shè)置最小序列數(shù)）。

? BaseTime，基礎(chǔ)時(shí)間（也稱：基點(diǎn)時(shí)間、原點(diǎn)時(shí)間、紀(jì)元時(shí)間），有默認(rèn)值（2020年），是毫秒時(shí)間戳（是整數(shù)，.NET是DatetTime類型），作用是：用生成ID時(shí)的系統(tǒng)時(shí)間與基礎(chǔ)時(shí)間的差值（毫秒數(shù)）作為生成ID的時(shí)間戳?；A(chǔ)時(shí)間一般無需設(shè)置，如果覺得默認(rèn)值太老，你可以重新設(shè)置，不過要注意，這個(gè)值以后最好不變。

常規(guī)集成

1?? 用單例模式調(diào)用。外部集成方使用更多的實(shí)例并行調(diào)用本算法，不會(huì)增加ID產(chǎn)出效能，因?yàn)楸舅惴ú捎脝尉€程生成ID。

2?? 指定唯一的 WorkerId。必須由外部系統(tǒng)確保 WorkerId 的全局唯一性，并賦值給本算法入口方法。

3?? 單機(jī)多實(shí)例部署時(shí)使用不同 WorkerId。并非所有實(shí)現(xiàn)都支持跨進(jìn)程的并發(fā)唯一，保險(xiǎn)起見，在同一主機(jī)上部署多應(yīng)用實(shí)例時(shí)，請(qǐng)確保各 WorkerId 唯一。

4?? 異常處理。算法會(huì)拋出所有 Exception，外部系統(tǒng)應(yīng) catch 異常并做好應(yīng)對(duì)處理，以免引發(fā)更大的系統(tǒng)崩潰。

5?? 認(rèn)真理解 IdGeneratorOptions 的定義，這對(duì)集成和使用本算法有幫助。

6?? 使用雪花漂移算法。雖然代碼里包含了傳統(tǒng)雪花算法的定義，并且你可以在入口處指定（Method=2）來啟用傳統(tǒng)算法，但仍建議你使用雪花漂移算法（Method=1，默認(rèn)的），畢竟它具有更好的伸縮力和更高的性能。

7?? 不要修改核心算法。本算法內(nèi)部參數(shù)較多，邏輯較為復(fù)雜，在你尚未掌握核心邏輯時(shí)，請(qǐng)勿嘗試修改核心代碼且用于生產(chǎn)環(huán)境，除非通過大量細(xì)致、科學(xué)的測(cè)試驗(yàn)證。

8?? 應(yīng)用域內(nèi)配置策略相同。當(dāng)系統(tǒng)運(yùn)行一段時(shí)間后，項(xiàng)目需要從程序指定 WorkerId 轉(zhuǎn)到自動(dòng)注冊(cè) WorkerId 時(shí)，請(qǐng)確保同一應(yīng)用域內(nèi)所有在用實(shí)例采用一致的配置策略，這不僅僅針對(duì) WorkerId，也包含其他所有配置參數(shù)。

9?? 管理好服務(wù)器時(shí)間。雪花算法依賴系統(tǒng)時(shí)間，不要手工大幅度回調(diào)操作系統(tǒng)時(shí)間。如果一定要調(diào)整，切記：確保服務(wù)再次啟動(dòng)時(shí)的系統(tǒng)時(shí)間大于最后一次關(guān)閉時(shí)的時(shí)間。（注：世界級(jí)或網(wǎng)絡(luò)級(jí)的時(shí)間同步、回?fù)?，引起的系統(tǒng)時(shí)間小幅度變化，對(duì)本算法沒影響）

配置變更

配置變更指是系統(tǒng)運(yùn)行一段時(shí)間后，再調(diào)整運(yùn)行參數(shù)（IdGeneratorOptions 選項(xiàng)值），請(qǐng)注意：

???? 1.最重要的一條原則是：BaseTime 只能往前（比老值更小、距離現(xiàn)在更遠(yuǎn)）賦值，原因是往后賦值極大可能產(chǎn)生相同的時(shí)間戳。[不推薦在系統(tǒng)運(yùn)行之后調(diào)整 BaseTime]

???? 2.任何時(shí)候增加 WorkerIdBitLength 或 SeqBitLength，都是可以的，但是慎用 “減小”的操作，因?yàn)檫@可能導(dǎo)致在未來某天生成的 ID 與過去老配置時(shí)相同。[允許在系統(tǒng)運(yùn)行之后增加任何一個(gè) BitLength 值]

???? 3.如果必須減小 WorkerIdBitLength 或 SeqBitLength 其中的一項(xiàng)，一定要滿足一個(gè)條件：新的兩個(gè) BitLength 之和要大于 老的值之和。[不推薦在運(yùn)行之后縮小任何一個(gè) BitLength 值]

???? 4.上述3條規(guī)則，并未在本算法內(nèi)做邏輯控制，集成方應(yīng)根據(jù)上述規(guī)則做好影響評(píng)估，確認(rèn)無誤后，再實(shí)施配置變更。

自動(dòng)注冊(cè)WorkerId

???? 唯一ID生成器，依賴WorkerId，當(dāng)業(yè)務(wù)服務(wù)需要水平無差別復(fù)制（自動(dòng)擴(kuò)容）時(shí)，這就要求能自動(dòng)注冊(cè)全局唯一WorkerId，然后才能生產(chǎn)唯一ID。

???? 本算法提供開源動(dòng)態(tài)庫（go語言實(shí)現(xiàn)），能在容器 k8s 等容器環(huán)境下，通過 redis 自動(dòng)注冊(cè) WorkerId。

???? 通過redis注冊(cè)WorkerId，并非唯一方法。你還可以開發(fā)中心化的配置服務(wù)，各端點(diǎn)服務(wù)啟動(dòng)時(shí)，通過中心服務(wù)獲取唯一 WorkerId。

???? 當(dāng)然，如果你的服務(wù)無需自動(dòng)擴(kuò)容，那就不必自動(dòng)注冊(cè)WorkerId，而是為它們分別設(shè)置全局唯一值。

???? 發(fā)揮你的想象力，方法還有很多。此處拋磚引玉：開發(fā)中心化的ID生成服務(wù)，由它為各端點(diǎn)服務(wù)（單個(gè)或批量）生成可用ID。

自動(dòng)注冊(cè)流程圖

圖片鏈接：https://cache.yisu.com/upload/information/20210524/357/2830.jpg

源碼路徑：/Go/source/regworkerid/reghelper.go

動(dòng)態(tài)庫下載

下載鏈接：https://github.com/yitter/IdGenerator/releases/download/reg_v1.0/regworkerid_lib_v1.0.zip

動(dòng)態(tài)庫接口定義

// 注冊(cè)一個(gè) WorkerId，會(huì)先注銷所有本機(jī)已注冊(cè)的記錄
// ip: redis 服務(wù)器地址
// port: redis 端口
// password: redis 訪問密碼，可為空字符串“”
// maxWorkerId: 最大 WorkerId
extern GoInt32 RegisterOne(char* ip, GoInt32 port, char* password, GoInt32 maxWorkerId);

// 注銷本機(jī)已注冊(cè)的 WorkerId
extern void UnRegister();

// 檢查本地WorkerId是否有效（0-有效，其它-無效）
extern GoInt32 Validate(GoInt32 workerId);

已實(shí)現(xiàn)的語言

到此，相信大家對(duì)“雪花算法中如何使用ID生成工具”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！