MySQL Binlog三種格式介紹及分析

一．Mysql Binlog格式介紹

MySQL binlog日志有三種格式，分別為Statement,MiXED,以及ROW！

1.Statement：每一條會(huì)修改數(shù)據(jù)的sql都會(huì)記錄在binlog中。

優(yōu)點(diǎn)：不需要記錄每一行的變化，減少了binlog日志量，節(jié)約了IO，提高性能。(相比row能節(jié)約多少性能 與日志量，這個(gè)取決于應(yīng)用的SQL情況，正常同一條記錄修改或者插入row格式所產(chǎn)生的日志量還小于Statement產(chǎn)生的日志量，但是考慮到如果帶條 件的update操作，以及整表刪除，alter表等操作，ROW格式會(huì)產(chǎn)生大量日志，因此在考慮是否使用ROW格式日志時(shí)應(yīng)該跟據(jù)應(yīng)用的實(shí)際情況，其所 產(chǎn)生的日志量會(huì)增加多少，以及帶來的IO性能問題。)

缺點(diǎn)：由于記錄的只是執(zhí)行語句，為了這些語句能在slave上正確運(yùn)行，因此還必須記錄每條語句在執(zhí)行的時(shí)候的一些相關(guān)信息，以保證所有語句能在slave得到和在master端執(zhí)行時(shí)候相同的結(jié)果。另外mysql的復(fù)制,像一些特定函數(shù)功能，slave可與master上要保持一致會(huì)有很多相關(guān)問題(如sleep()函數(shù)，last_insert_id()，以及user-defined functions(udf)會(huì)出現(xiàn)問題).

使用以下函數(shù)的語句也無法被復(fù)制：

* LOAD_FILE()

* UUID()

* USER()

* FOUND_ROWS()

* SYSDATE() (除非啟動(dòng)時(shí)啟用了 --sysdate-is-now選項(xiàng))

同時(shí)在INSERT ...SELECT 會(huì)產(chǎn)生比RBR更多的行級(jí)鎖

2.Row:不記錄sql語句上下文相關(guān)信息，僅保存哪條記錄被修改。

優(yōu)點(diǎn)： binlog中可以不記錄執(zhí)行的sql語句的上下文相關(guān)的信息，僅需要記錄那一條記錄被修改成什么了。所以rowlevel的日志內(nèi)容會(huì)非常清楚的記錄下每一行數(shù)據(jù)修改的細(xì)節(jié)。而且不會(huì)出現(xiàn)某些特定情況下的存儲(chǔ)過程，或function，以及trigger的調(diào)用和觸發(fā)無法被正確復(fù)制的問題。

缺點(diǎn):所有的執(zhí)行的語句當(dāng)記錄到日志中的時(shí)候，都將以每行記錄的修改來記錄，這樣可能會(huì)產(chǎn)生大量的日志內(nèi)容,比 如一條update語句，修改多條記錄，則binlog中每一條修改都會(huì)有記錄，這樣造成binlog日志量會(huì)很大，特別是當(dāng)執(zhí)行alter table之類的語句的時(shí)候，由于表結(jié)構(gòu)修改，每條記錄都發(fā)生改變，那么該表每一條記錄都會(huì)記錄到日志中。

3.MixedLevel: 是以上兩種level的混合使用，一般的語句修改使用statment格式保存binlog，如一些函數(shù)，statement無法完成主從復(fù)制的操作，則 采用row格式保存binlog,MySQL會(huì)根據(jù)執(zhí)行的每一條具體的sql語句來區(qū)分對(duì)待記錄的日志形式，也就是在Statement和Row之間選擇 一種。新版本的MySQL中隊(duì)row level模式也被做了優(yōu)化，并不是所有的修改都會(huì)以row level來記錄，像遇到表結(jié)構(gòu)變更的時(shí)候就會(huì)以statement模式來記錄。至于update或者delete等修改數(shù)據(jù)的語句，還是會(huì)記錄所有行的變更。

二.Binlog基本配制與格式設(shè)定

1.基本配制

MySQL binlog日志格式可以通過mysql的my.cnf文件的屬性binlog_format指定。如以下：

binlog_format = MIXED            //binlog日志格式

log_bin = /mysql-bin.log         //binlog日志名

expire_logs_days = 7             //binlog過期清理時(shí)間

max_binlog_size 100m             //binlog每個(gè)日志文件大小

2.Binlog日志格式選擇

   MySQL默認(rèn)是使用Statement日志格式，推薦使用MIXED。由于一些特殊使用，可以考慮使用ROWED，如自己通過binlog日志來同步數(shù)據(jù)的修改，這樣會(huì)節(jié)省很多相關(guān)操作。對(duì)于binlog數(shù)據(jù)處理會(huì)變得非常輕松,相對(duì)mixed，解析也會(huì)很輕松(當(dāng)然前提是增加的日志量所帶來的IO開銷在容忍的范圍內(nèi)即可)。

3.MySQL binlog格式選擇

   MySQL對(duì)于日志格式的選定原則:如果是采用INSERT，UPDATE，DELETE等直接操作表的情況，則日志格式根據(jù)binlog_format的設(shè)定而記錄,如果是采用GRANT，REVOKE，SET PASSWORD等管理語句來做的話，那么無論如何都采用SBR模式記錄。

三．MySQL binlog日志分析

通過MySQL binlog指令查看具體的mysql日志，如下:

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

SET TIMESTAMP=1350355892/*!*/;

BEGIN

/*!*/;

# at 1643330

#121016 10:51:32 server id 1 end_log_pos 1643885 Query thread_id=272571 exec_time=0 error_code=0

SET TIMESTAMP=1350355892/*!*/;

Insert into T_test….)

/*!*/;

# at 1643885

#121016 10:51:32 server id 1 end_log_pos 1643912 Xid = 0

COMMIT/*!*/;

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

1.開始事物的時(shí)間:

SET TIMESTAMP=1350355892/*!*/;

BEGIN

2.sql event起點(diǎn)

#at 1643330 :為事件的起點(diǎn)，是以1643330字節(jié)開始。

3.sqlevent 發(fā)生的時(shí)間點(diǎn)

#121016 10:51:32:是事件發(fā)生的時(shí)間，

4.server Id

server id 1 :為master的server Id

5.sql event終點(diǎn)及花費(fèi)時(shí)間，錯(cuò)誤碼

end_log_pos 1643885:為事件的終點(diǎn)，是以1643885 字節(jié)結(jié)束。

execTime 0: 花費(fèi)的時(shí)間

error_code=0:錯(cuò)誤碼

Xid:事件指示提交的XA事務(wù)

Mixed日志說明：

在slave日志同步過程中，對(duì)于使用now這樣的時(shí)間函數(shù)，MIXED日志格式，會(huì)在日志中產(chǎn)生對(duì)應(yīng)的 unix_timestamp()*1000的時(shí)間字符串，slave在完成同步時(shí)，取用的是sqlEvent發(fā)生的時(shí)間來保證數(shù)據(jù)的準(zhǔn)確性。另外對(duì)于一些功能性函數(shù)slave能完成相應(yīng)的數(shù)據(jù)同步，而對(duì)于上面指定的一些類似于UDF函數(shù)，導(dǎo)致Slave無法知曉的情況，則會(huì)采用ROW格式存儲(chǔ)這些 Binlog，以保證產(chǎn)生的Binlog可以供Slave完成數(shù)據(jù)同步。

以上在開發(fā)通過MySQL binlog完成數(shù)據(jù)同步的模塊前調(diào)研時(shí)所積累的一點(diǎn)資料，如有不對(duì)的地方請(qǐng)指正！