【MySQL】如何快速執(zhí)行 binlog
【背景】
維護
mysql的時候,總會遇到數(shù)據(jù)庫恢復(fù)的例子。如果把備份集恢復(fù)出來相對比較簡單。然而如果遇到恢復(fù)到時間點的例子,把一個MySQL實例恢復(fù)出來之后,需要執(zhí)行binlog做增量恢復(fù)。
【方法一】
常見的辦法是用mysqlbinlog解析binlog,將解析出來的內(nèi)容重定向到mysql命令行執(zhí)行。
#start是mysql-bin后面的數(shù)字
-
i=start
-
while [ $i -lt end ]
-
do
-
mysqlbinlog mysql-bin.$i | mysql -h 127.0.0.1 -P 4001 -uroot > 0550.log 2>&1
-
done
這樣做確實可以,而且row模式的binlog,也可以通過這種方式來執(zhí)行。但是這樣做有幾個缺點
1. 如果解析出來的binlog在執(zhí)行的過程中報錯,如何處理?直接加 -f 強制執(zhí)行嗎?
2. 執(zhí)行中途如何停下來,下次接著跑? 比如我想調(diào)整一下MySQL的參數(shù)(需要重啟)后繼續(xù)跑?
3. 只能單線程執(zhí)行。而且mysqlbinlog解析再通過管道執(zhí)行,有比較高的性能開銷。
鑒于上面的缺點 下面隆重推出執(zhí)行大量binlog的另外一種方法
【方法二】
我們都知道relay-log的內(nèi)容和binlog的內(nèi)容其實都是一樣的,那么我是否能把binlog作為relay-log來執(zhí)行呢?
答案是肯定的,屢試不爽。
詳細的步驟:
0. 先把實例正常shutdown
1. 把binlog上傳到mysql
服務(wù)器本地磁盤,放到一個固定的目錄,如/home/mysql/restore_1031
2. 如果是M-S 架構(gòu),則需要修改master.info,寫入如下內(nèi)容
-
cat > $BINLOG_DIR/master.info<<eof
</eof
-
18
-
dummy.binlog
-
0
-
dummy.host
-
repl
-
repl
-
3306
-
60
-
0
-
-
-
-
-
-
-
-
-
-
-
0
-
0.000
-
-
-
0
-
-
-
EOF
這里的內(nèi)容需要符合規(guī)則,只要不指向slave 就好,避免應(yīng)用slave的sql。
3. 修改slave-relay-log.info, 把$STAET, $START_BINLOG_POS替換成你需要開始執(zhí)行的binlog的文件名和start-position
-
cat > $BINLOG_DIR/relay-log.info <<EOF
-
/home/mysql/restore_1031/mysql-bin.$STAET
-
$START_BINLOG_POS
-
dummy-binlog.1
-
0
-
EOF
4. 修改slave-relay-log.index, 把你需要執(zhí)行的binlog列表都放進去。
-
#head slave-relay-log.index
-
/home/mysql/restore_1031/mysql-bin.000588
-
/home/mysql/restore_1031/mysql-bin.000589
-
/home/mysql/restore_1031/mysql-bin.000590
-
/home/mysql/restore_1031/mysql-bin.000591
-
/home/mysql/restore_1031/mysql-bin.000592
5. 啟動mysql實例,執(zhí)行start slave sql_thread。
使用
方法二的好處:
解決了上面用mysqlbinlog解析再管道給mysql執(zhí)行的各個缺陷。
1 可以隨時stop slave,調(diào)整一些參數(shù),再start slave。
2 可以選擇忽略一些slave執(zhí)行報錯。
3 如果你的mysql版本支持多線程復(fù)制,你還可以使用它 start slave multi_sql_thread 而且這么做性能更好,在一個數(shù)據(jù)恢復(fù)的場景中,
性能對比:
使用mysqlbinlog 加管道的方式,每秒只能執(zhí)行3000不到IUD,
使用mysql原生slave執(zhí)行的方式,每秒可以執(zhí)行8000 IUD。
缺點:修改master.info slave-relay-log.info等文件,需要重啟實例才會生效。
下一次,如果你需要恢復(fù)大量binlog,你會選擇哪種方式?