21世紀了還愚公移山？數(shù)據(jù)庫這么遷移更穩(wěn)定！

當然分表分庫也有負面影響，就是表結構變更及相關管理相比單表麻煩，有一定風險，具體如何決擇，還是要根據(jù)實際情況來分析。

TDDL關鍵原理不多做介紹，但是在數(shù)據(jù)庫遷移過程中主鍵沖突風險是故障重要風險點，這里簡要介紹下TDDL的全局唯一主鍵生成原理。

如上圖，TDDL Sequence是基于數(shù)據(jù)庫更新＋內存分配：每次操作批量分配id，分配id的數(shù)量就是sequence的內步長，而原有id值就加上外部長值，后續(xù)的分配直接就在內存里拿，這樣的優(yōu)勢：簡單高效 缺點：無法保證自增順序。

另外數(shù)據(jù)遷移過程中，在新庫中，為了保證跟原數(shù)據(jù)庫主鍵非沖突，需要設置一個躍遷比較大的主鍵，防止出現(xiàn)兩個庫中的主鍵沖突，這是后續(xù)遷移中要注意的關鍵點之一。

但圍繞這個過程細化下去，我們會遇到不少問題，如：
1、數(shù)據(jù)我們該如何遷移，是一次性？還是分階段？
2、如何校驗數(shù)據(jù)遷移過程的正確性?
3、我們業(yè)務改造有問題怎么辦？如何盡早發(fā)現(xiàn)？如何回滾？
4、我們的新庫性能如何？

帶著這些問題，我們進一下細化梳理遷移方案。

如上圖所示，整個方案分為幾個部份：

1、系統(tǒng)改造，包括SQL改造，雙寫開關，新庫sequence創(chuàng)建。

SQL改造：加載兩套TDDL數(shù)據(jù)源，一套是給老庫的，一套是給新庫的，并且生成兩套mybatis sql 模板。
雙寫開關：設置好寫新庫，寫老庫的開關，用于線上遷移過程中雙寫過程及遇到問題及時回滾。
sequence創(chuàng)建：遷移sequence表時，需要抬升新庫的sequence表中的值，用于防止主鍵沖突，并且需要按照主鍵消耗量評估一個安全值，這是非常重要的一個細節(jié)，再次強調一下。

2、穩(wěn)定性保障，遷庫是大事，改造過程中，穩(wěn)定性重中之重，主要有系統(tǒng)壓測，線上流量回放，故障演練。

系統(tǒng)壓測：主要針對新庫進行性能測，防止新庫有意外情況。
線上流量回放：Edsger W. Dijkstra說過如果調試程序是一種標準的可以鏟除BUG的流程，那么，編程就是把他們放進來的流程。通過引入線上數(shù)據(jù)在測試環(huán)境回放，可以盡可能的發(fā)現(xiàn)問題，保證改造后的穩(wěn)定性。
故障演練：通過注入一些人為故障，如寫新庫失敗，新庫邏輯有問題，及時的演練回滾策略。

3、數(shù)據(jù)遷移，主要利用阿里云數(shù)據(jù)傳輸服務DTS[3]的數(shù)據(jù)遷移能力，涉及到全量遷移、增量遷移、一致性校驗及反向任務。

全量遷移:數(shù)據(jù)遷移首要目標如何將歷史全量數(shù)據(jù)遷移到新庫中，我們的做法是指定一個時間點，再根據(jù)這個時間點查找每張源表的最大及最小id,然后分別批量導到目標庫中，如圖：

*整個過程都是查詢在線庫的備庫，因此不影響在線業(yè)務的數(shù)據(jù)庫服務。

增量遷移:由于遷移過程中業(yè)務服務一直運行，因此全量遷移完全成，并且要將全量時間點后的數(shù)據(jù)追回來，這里核心原理是同步全量時間位點后binlog日志數(shù)據(jù)來保證數(shù)據(jù)一致性，需要注意的是增量時間需要前移一小斷時間(如5分鐘)，其主要原因是全量遷移啟動的那刻會有時間差，需要增量前移來保證數(shù)據(jù)最終一致性，如下圖:

一致性校驗：通過全量及增量的遷移后，此時源庫跟目標的數(shù)據(jù)理論上是一致的,但實際上應用在經(jīng)過功能測試，線上流量回放等階段，數(shù)據(jù)在這個過程中有可能會現(xiàn)不一致的情況,因此正式上線前，需要做數(shù)據(jù)一致性校驗，其原理是分批查詢源表(跟全量遷移的查詢方式類似)，再跟目標庫進行比對,如圖所示：

反向任務：遷移到新庫后，會有一線離線業(yè)務對老庫還有依賴，需要建立從新庫到老庫的回流任務，原理跟增量遷移一樣，只是變更一下原庫及目標庫。

1、DTS數(shù)據(jù)追平，即全量同步完成，開啟增量同步，并且延遲在秒級以內。
2、上線前校驗，主要有線上流量回放、壓測、一致性校驗，故障演練。
3、線上開雙寫，線上同時寫新庫及老庫，這時需要關閉增量同步任務，防止無效覆蓋。
4、線上校驗，執(zhí)行預先準備的測試腳本并結合一致性校驗工具，同時將讀流量慢慢切到新庫，驗證雙寫邏輯。
5、切換數(shù)據(jù)源，關閉雙寫并正式寫入新庫。
6、創(chuàng)建反向任務，數(shù)據(jù)回流老庫。

方案二：

1、DTS數(shù)據(jù)追平，即全量同步完成，開啟增量同步，并且延遲在秒級以內。
2、上線前校驗，主要有線上流量回放、壓測、一致性校驗，故障演練。
3、線上切開關，寫新庫， 同時需要關閉增量同步任務，防止無效覆蓋。
4、創(chuàng)建反向任務，數(shù)據(jù)回流老庫。

方案優(yōu)缺點對比：

總結起來方案1遷移流程相對復雜，對遷移的控制力度更細，適合業(yè)務復雜，底層改造比較多，想精細化控制遷移步驟的場景，方案2遷移相對簡單，過程快速，適合業(yè)務流程相對簡單，可控，想快速切換的場景，具體選選擇哪個方案，同學們可以根據(jù)自身的業(yè)務情況做選擇。

這里考慮到閑魚商品業(yè)務復雜，底層改造較多，從穩(wěn)定性的角度考慮，最終選擇方案1。

方案1，最關鍵的是3、4、5步驟，因此需要預先做好回滾計劃。