MySql的Binlog日志工具舉例分析

這篇文章主要介紹“MySql的Binlog日志工具舉例分析”，在日常操作中，相信很多人在MySql的Binlog日志工具舉例分析問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”MySql的Binlog日志工具舉例分析”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

Canal

定位：基于數(shù)據(jù)庫增量日志解析，提供增量數(shù)據(jù)訂閱&消費(fèi)，目前主要支持了mysql。

原理：

• canal模擬mysql slave的交互協(xié)議，偽裝自己為mysql slave，向mysql master發(fā)送dump協(xié)議

• mysql master收到dump請求，開始推送binary log給slave(也就是canal)

• canal解析binary log對象(原始為byte流)

•  Connection獲取上一次解析成功的位置（如果第一次啟動(dòng)，則獲取初始制定的位置或者是當(dāng)前數(shù)據(jù)庫的binlog位點(diǎn)）

• Connection建立連接，發(fā)生BINLOG_DUMP命令

• Mysql開始推送Binary Log

• 接收到的Binary Log通過Binlog parser進(jìn)行協(xié)議解析，補(bǔ)充一些特定信息

• 傳遞給EventSink模塊進(jìn)行數(shù)據(jù)存儲，是一個(gè)阻塞操作，直到存儲成功

• 存儲成功后，定時(shí)記錄Binary Log位置

   

• 數(shù)據(jù)過濾：支持通配符的過濾模式，表名，字段內(nèi)容等

• 數(shù)據(jù)路由/分發(fā)：解決1:n (1個(gè)parser對應(yīng)多個(gè)store的模式)

• 數(shù)據(jù)歸并：解決n:1 (多個(gè)parser對應(yīng)1個(gè)store)

• 數(shù)據(jù)加工：在進(jìn)入store之前進(jìn)行額外的處理，比如join

Maxwell

• 源與消費(fèi)者之間的隔離

• 保證按順序和至少一次交付具有高可用性

• 從更改流中的任意時(shí)間點(diǎn)開始消耗，包括整個(gè)數(shù)據(jù)的完全引導(dǎo)功能。

• 分區(qū)消費(fèi)

• 源一致性保存

到此，關(guān)于“MySql的Binlog日志工具舉例分析”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！