溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

深入理解MySQL主從原理專欄 發(fā)布

發(fā)布時間：2020-08-10 15:25:12 來源：ITPUB博客 閱讀：195 作者：gaopengtttt 欄目：MySQL數(shù)據(jù)庫

深入理解MySQL主從原理專欄 發(fā)布

相信作為一名DBA來講MySQL主從一直都是一個繞不開的話題，我們在很多高可用構(gòu)架中都能看到它的身影。在我們心中一定都或多或少的產(chǎn)生過一些疑問，比如：

  • 主從延遲為什么會高？
  • 主從延遲為什么一直不動？
  • 主從延遲為什么瞬間跳動？
  • 延遲為0就一定代表沒有延遲嗎？
  • 從庫異常重啟為什么會報錯？
  • 從庫能和主庫一樣利用索引嗎？
  • MTS是如何提高從庫應(yīng)用效率的？
  • 為什么會有那么多和從庫相關(guān)的sync參數(shù)，我該怎么配置？
  • mysql.gtid_executed表有什么用？
    ……

這個系列就是想通過描述主從原理，抽絲剝繭解開大家對這些問題的疑惑。我認為如果要深入學(xué)習(xí)主從原理需要按照一定的順序進行學(xué)習(xí)，如果不知道GTID、不知道Event、不知道主庫如何生成Event的，那么肯定不能深入理解主從原理 ，因此本系列按照這種順序講解。本系列一共分為5個部分如下：

第一部分 GTID相關(guān) 第1節(jié)： GTID的基本概念
第2節(jié)： mysql.gtid_executed表/gtid_executed變量/gtid_purged變量的更改時機
第3節(jié)： GTID模塊初始化簡介和參數(shù)binlog_gtid_simple_recovery
第4節(jié)： GTID中的運維
第二部分 Event相關(guān) 第5節(jié)： Binary log Event 的總體格式
第6節(jié)： 重點Event FORMAT_DESCRIPTION_EVENT/PREVIOUS_GTIDS_LOG_EVENT
第7節(jié)： 重點Event GTID_LOG_EVENT
第8節(jié)： 重點Event QUERY_EVENT/MAP_EVENT
第9節(jié)： 重點Event WRITE_ROWS_EVENT/DELETE_ROWS_EVENT
第10節(jié)：重點Event UPDATE_ROWS_EVENT/XID_EVENT
第11節(jié)：參數(shù)binlog_row_image的影響
第12節(jié)：巧用Event發(fā)現(xiàn)問題
第三部分 主庫相關(guān) 第13節(jié)：binlog cache簡介
第14節(jié)：事務(wù)Event的生成和寫入流程
第15節(jié)：MySQL層事務(wù)提交流程簡析
第16節(jié)：基于WRITESET的并行復(fù)制方式
第17節(jié)：主庫的DUMP線程
第18節(jié)：DUMP線程查找和過濾GTID的基本算法
第四部分 從庫相關(guān) 第19節(jié)：從庫MTS多線程并行回放（一）
第20節(jié)：從庫MTS多線程并行回放（二）
第21節(jié)：MTS中GAP測試和參數(shù)slave_preserve_commit_order
第22節(jié)：從庫的IO線程
第23節(jié)：從庫的SQL線程（MTS協(xié)調(diào)線程）和參數(shù)sql_slave_skip_counter
第24節(jié)：從庫數(shù)據(jù)的查找和參數(shù)slave_rows_search_algorithms
第25節(jié)：從庫的關(guān)閉和恢復(fù)流程
第26節(jié)：合理的從庫設(shè)置
第27節(jié)：從庫Seconds_Behind_Master的計算方式
第28節(jié)：從庫Seconds_Behind_Master延遲總結(jié)
第五部分 其他 第29節(jié)：線程簡介和MySQL調(diào)試環(huán)境搭建
第30節(jié)：Delete與Insert 死鎖案例分析
第31節(jié)：Innodb Buffer Pool的三種Page和鏈表
第32節(jié)：利用performance_schema獲取造成死鎖的語句

其中：

  • 前面29節(jié)由我獨自編寫。
  • 第30節(jié)和第31節(jié)分別由我的朋友楊奇龍和王航威編寫，他們都是有贊的DBA，在平時的交流中我感到他們涉獵之廣是我不能及的。
  • 第32節(jié)由我的同事田興椿編寫，在平時的工作和學(xué)習(xí)中他總是能找到一些讓我詫異的案例，然后一起學(xué)習(xí)研究。

討論范圍和約定

本系列使用源碼版本為Percona 5.7.22，因此討論的范圍肯定是5.7版本。
本系列雖然包含了主從中的大部分知識點，但是仍然有部分內(nèi)容沒有覆蓋，如下：

  • 不覆蓋半同步。
  • 只考慮master_info_repository和relay_log_info_repository設(shè)置為‘table’的情況。
  • 只考慮binlog_format設(shè)置為‘row’的情況。

本系列約定如下：

  • 行格式：binlog_format設(shè)置為‘row’。
  • 語句格式：binlog_format設(shè)置為‘statement’。
  • binary log：這里代表是我們常說的binlog物理文件。
  • order commit：代表的是‘MYSQL_BIN_LOG::ordered_commit’函數(shù)，因為本系列中使用頻率很高因此做了簡化。將會在15節(jié)詳細它的流程。
  • GTID AUTO_POSITION MODE：代表主從使用的是GTID同時使用了master_auto_position=1。
  • POSITION MODE：代表主從使用的是傳統(tǒng)的位點模式。
  • 單SQL線程：用來和MTS進行區(qū)分，代表只有一個SQL線程進行Event的應(yīng)用。
  • MTS：‘multi-threaded slaves’的簡稱，包含一個協(xié)調(diào)線程和多個工作線程，Event由工作線程應(yīng)用。

編寫方式

在編寫之初有些朋友建議我不寫源碼而有些朋友建議我多貼些代碼，因此我做了一下綜合，整個系列中我會給出一些源碼接口和必要的源碼證明，但是不會貼很多源碼和棧幀。有些章節(jié)會包含一個筆記放到我的簡書，這個筆記就是我學(xué)習(xí)的時候記錄的源碼調(diào)用順序和一些棧幀供自己復(fù)習(xí)之用也供想了解源碼的朋友查看，但是可讀性不是那么好。如果對源碼不感興趣的朋友可以跳過這些源碼接口和代碼，我認為這并不會影響閱讀的連續(xù)性。

從2016年開始八怪（本名高鵬）經(jīng)常向我請教一些源碼問題，可見八怪是一個對源碼非常執(zhí)著的人?？v觀整個目錄覆蓋了主從的方方面面，希望他的這個系列能夠讓大家對主從原理有更加深入的理解。

————翟衛(wèi)祥（網(wǎng)名印風(fēng)） 阿里云智能數(shù)據(jù)庫產(chǎn)品事業(yè)部高級MySQL內(nèi)核專家

和八怪（本名叫高鵬）認識，源于他的一位同事參加了知數(shù)堂的MySQL課程，學(xué)習(xí)之余和八怪有些交流互動，對一些觀點有些探討，然后就順理成章的認識了。八怪原本是ORACLE DBA，但他接觸MySQL之后，開始對MySQL各種深入探究，這種學(xué)習(xí)的態(tài)度和方法令我折服，也反過來促進我更深入理解MySQL。
為了更好理解InnoDB引擎，八怪還曾經(jīng)開發(fā)了bctool、bcview和innblock等幾個工具（還有些是我不知道的），其中innblock工具的開發(fā)我也作為“產(chǎn)品經(jīng)理”幫忙提了一些建議，這個工具發(fā)布后，也在我的公眾號幫忙隆重的推了一波：innblock | InnoDB page觀察利器。
自從聽聞八怪要寫專欄，我就一直關(guān)注著進展，偶爾也會幫忙提些建議。這個專欄主要內(nèi)容是MySQL主從復(fù)制相關(guān)的內(nèi)容，從源碼層面深入解析MySQL主從復(fù)制的方方面面，略有遺憾的是本書沒有涉及半同步復(fù)制、組復(fù)制這兩方面的熱門內(nèi)容，期待八怪在未來能有精力增加這兩大塊知識點。

————葉金榮 MySQL ACE、知數(shù)堂聯(lián)合創(chuàng)始人

高鵬是一位做事非常專注而且動手能力超強的人。其中有一件事情我印象特別深刻，在通過和我交流MGR高可用節(jié)點選擇后，不到兩周時間，又給我講他實現(xiàn)了一個MGR vip漂移的Python腳本。他先后實現(xiàn)了InnoDB的Page分析，MySQL InnoDB加鎖分析，又開始轉(zhuǎn)戰(zhàn)努力寫作本系列，通過本系列的目錄可以看到高鵬基本把復(fù)制相關(guān)原理做了一個徹底的分析，對于想深入理解MySQL復(fù)制及Binlog相關(guān)內(nèi)容的朋友來說是一個不可多得的學(xué)習(xí)資料。

————吳炳錫 知數(shù)堂聯(lián)合創(chuàng)始人

作為一個曾今混跡于itpub的老人，拜讀過不少高鵬的Oracle方面的文章。偶然之間發(fā)現(xiàn)其轉(zhuǎn)戰(zhàn)MySQL領(lǐng)域，并攥寫了大量原理性剖析的文章，印象較為深刻的是幾篇關(guān)于MDL lock的源碼層面的解析，讀完后感覺豁然開朗。開源數(shù)據(jù)庫目前越來越火，尤其以MySQL表現(xiàn)最為搶眼，如果要深入學(xué)習(xí)MySQL主從原理，本系列實在是不可多得的資料，強烈推薦之！

————李真旭 Oracle ACE 云和恩墨服務(wù)產(chǎn)品群總經(jīng)理

認識高鵬源于ITPUB blog 專家推薦，初識于Oracle技術(shù)，隨后MySQL技術(shù)興起，大家轉(zhuǎn)戰(zhàn)MySQL，高鵬兄側(cè)重源碼剖析，對各種疑難雜癥分析入木三分，熱心幫助很多網(wǎng)友解決各種問題?，F(xiàn)在他將自己對MySQL 主從復(fù)制部分源碼的解讀匯總成系列文章分享給大家。細細品讀，必定受益良多。

————楊奇龍 杭州有贊科技DBA，公眾號yangyidba作者

購買可聯(lián)系我 wx:gaopp_22389860

向AI問一下細節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手