MySql中的分表、分庫、分片和分區(qū)的分析

本篇內(nèi)容介紹了“MySql中的分表、分庫、分片和分區(qū)的分析”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！                          

一、前言

數(shù)據(jù)庫的數(shù)據(jù)量達(dá)到一定程度之后，為避免帶來系統(tǒng)性能上的瓶頸。需要進(jìn)行數(shù)據(jù)的處理，采用的手段是分區(qū)、分片、分庫、分表。

二、分片（類似分庫）

分片是把數(shù)據(jù)庫橫向擴(kuò)展（Scale Out）到多個(gè)物理節(jié)點(diǎn)上的一種有效的方式，其主要目的是為突破單節(jié)點(diǎn)數(shù)據(jù)庫服務(wù)器的 I/O 能力限制，解決數(shù)據(jù)庫擴(kuò)展性問題。Shard這個(gè)詞的意思是“碎片”。如果將一個(gè)數(shù)據(jù)庫當(dāng)作一塊大玻璃，將這塊玻璃打碎，那么每一小塊都稱為數(shù)據(jù)庫的碎片（DatabaseShard）。將整個(gè)數(shù)據(jù)庫打碎的過程就叫做分片，可以翻譯為分片。

形式上，分片可以簡(jiǎn)單定義為將大數(shù)據(jù)庫分布到多個(gè)物理節(jié)點(diǎn)上的一個(gè)分區(qū)方案。每一個(gè)分區(qū)包含數(shù)據(jù)庫的某一部分，稱為一個(gè)片，分區(qū)方式可以是任意的，并不局限于傳統(tǒng)的水平分區(qū)和垂直分區(qū)。一個(gè)分片可以包含多個(gè)表的內(nèi)容甚至可以包含多個(gè)數(shù)據(jù)庫實(shí)例中的內(nèi)容。每個(gè)分片被放置在一個(gè)數(shù)據(jù)庫服務(wù)器上。一個(gè)數(shù)據(jù)庫服務(wù)器可以處理一個(gè)或多個(gè)分片的數(shù)據(jù)。系統(tǒng)中需要有服務(wù)器進(jìn)行查詢路由轉(zhuǎn)發(fā)，負(fù)責(zé)將查詢轉(zhuǎn)發(fā)到包含該查詢所訪問數(shù)據(jù)的分片或分片集合節(jié)點(diǎn)上去執(zhí)行。

三、Scale Out/Scale Up 和 垂直切分/水平拆分

Mysql的擴(kuò)展方案包括Scale Out和Scale Up兩種。

Scale Out（橫向擴(kuò)展）是指Application可以在水平方向上擴(kuò)展。一般對(duì)數(shù)據(jù)中心的應(yīng)用而言，Scale out指的是當(dāng)添加更多的機(jī)器時(shí)，應(yīng)用仍然可以很好的利用這些機(jī)器的資源來提升自己的效率從而達(dá)到很好的擴(kuò)展性。

Scale Up（縱向擴(kuò)展）是指Application可以在垂直方向上擴(kuò)展。一般對(duì)單臺(tái)機(jī)器而言，Scale Up值得是當(dāng)某個(gè)計(jì)算節(jié)點(diǎn)（機(jī)器）添加更多的CPU Cores，存儲(chǔ)設(shè)備，使用更大的內(nèi)存時(shí)，應(yīng)用可以很充分的利用這些資源來提升自己的效率從而達(dá)到很好的擴(kuò)展性。

MySql的Sharding策略包括垂直切分和水平切分兩種。

垂直(縱向)拆分：是指按功能模塊拆分，以解決表與表之間的io競(jìng)爭(zhēng)。比如分為訂單庫、商品庫、用戶庫…這種方式多個(gè)數(shù)據(jù)庫之間的表結(jié)構(gòu)不同。

水平(橫向)拆分：將同一個(gè)表的數(shù)據(jù)進(jìn)行分塊保存到不同的數(shù)據(jù)庫中，來解決單表中數(shù)據(jù)量增長(zhǎng)出現(xiàn)的壓力。這些數(shù)據(jù)庫中的表結(jié)構(gòu)完全相同。

表結(jié)構(gòu)設(shè)計(jì)垂直切分。常見的一些場(chǎng)景包括

• 大字段的垂直切分。單獨(dú)將大字段建在另外的表中，提高基礎(chǔ)表的訪問性能，原則上在性能關(guān)鍵的應(yīng)用中應(yīng)當(dāng)避免數(shù)據(jù)庫的大字段

• 按照使用用途垂直切分。例如企業(yè)物料屬性，可以按照基本屬性、銷售屬性、采購屬性、生產(chǎn)制造屬性、財(cái)務(wù)會(huì)計(jì)屬性等用途垂直切分

• 按照訪問頻率垂直切分。例如電子商務(wù)、Web 2.0系統(tǒng)中，如果用戶屬性設(shè)置非常多，可以將基本、使用頻繁的屬性和不常用的屬性垂直切分開

表結(jié)構(gòu)設(shè)計(jì)水平切分。常見的一些場(chǎng)景包括

• 比如在線電子商務(wù)網(wǎng)站，訂單表數(shù)據(jù)量過大，按照年度、月度水平切分

• Web 2.0網(wǎng)站注冊(cè)用戶、在線活躍用戶過多，按照用戶ID范圍等方式，將相關(guān)用戶以及該用戶緊密關(guān)聯(lián)的表做水平切分

• 例如論壇的置頂帖子，因?yàn)樯婕暗椒猪搯栴}，每頁都需要顯示置頂貼，這種情況可以把置頂貼水平切分開來，避免取置頂帖子時(shí)從所有帖子的表中讀取

四、分表和分區(qū)

分表從表面意思說就是把一張表分成多個(gè)小表，分區(qū)則是把一張表的數(shù)據(jù)分成N多個(gè)區(qū)塊，這些區(qū)塊可以在同一個(gè)磁盤上，也可以在不同的磁盤上。

分表和分區(qū)的區(qū)別

• 實(shí)現(xiàn)方式上

mysql的分表是真正的分表，一張表分成很多表后，每一個(gè)小表都是完正的一張表，都對(duì)應(yīng)三個(gè)文件（MyISAM引擎：一個(gè).MYD數(shù)據(jù)文件，.MYI索引文件，.frm表結(jié)構(gòu)文件）。

• 數(shù)據(jù)處理上

分表后數(shù)據(jù)都是存放在分表里，總表只是一個(gè)外殼，存取數(shù)據(jù)發(fā)生在一個(gè)一個(gè)的分表里面。分區(qū)則不存在分表的概念，分區(qū)只不過把存放數(shù)據(jù)的文件分成了許多小塊，分區(qū)后的表還是一張表，數(shù)據(jù)處理還是由自己來完成。

• 提高性能上

分表后，單表的并發(fā)能力提高了，磁盤I/O性能也提高了。分區(qū)突破了磁盤I/O瓶頸，想提高磁盤的讀寫能力，來增加mysql性能。

在這一點(diǎn)上，分區(qū)和分表的測(cè)重點(diǎn)不同，分表重點(diǎn)是存取數(shù)據(jù)時(shí)，如何提高mysql并發(fā)能力上；而分區(qū)呢，如何突破磁盤的讀寫能力，從而達(dá)到提高mysql性能的目的。

• 實(shí)現(xiàn)的難易度上

分表的方法有很多，用merge來分表，是最簡(jiǎn)單的一種方式。這種方式和分區(qū)難易度差不多，并且對(duì)程序代碼來說可以做到透明的。如果是用其他分表方式就比分區(qū)麻煩了。分區(qū)實(shí)現(xiàn)是比較簡(jiǎn)單的，建立分區(qū)表，跟建平常的表沒什么區(qū)別，并且對(duì)代碼端來說是透明的。

分區(qū)的適用場(chǎng)景

1. 一張表的查詢速度已經(jīng)慢到影響使用的時(shí)候。

2. 表中的數(shù)據(jù)是分段的

3. 對(duì)數(shù)據(jù)的操作往往只涉及一部分?jǐn)?shù)據(jù)，而不是所有的數(shù)據(jù)

CREATE TABLE sales (

    id INT AUTO_INCREMENT,

    amount DOUBLE NOT NULL,

    order_day DATETIME NOT NULL,

    PRIMARY KEY(id, order_day)) ENGINE=InnodbPARTITION BY RANGE(YEAR(order_day)) (

    PARTITION p_2010 VALUES LESS THAN (2010),

    PARTITION p_2011 VALUES LESS THAN (2011),

    PARTITION p_2012 VALUES LESS THAN (2012),PARTITION p_catchall VALUES LESS THAN MAXVALUE);

分表的適用場(chǎng)景

1. 一張表的查詢速度已經(jīng)慢到影響使用的時(shí)候。

2. 當(dāng)頻繁插入或者聯(lián)合查詢時(shí)，速度變慢。

分表的實(shí)現(xiàn)需要業(yè)務(wù)結(jié)合實(shí)現(xiàn)和遷移，較為復(fù)雜。

五、分表與分庫

分表能夠解決單表數(shù)據(jù)量過大帶來的查詢效率下降的問題，但是，卻無法給數(shù)據(jù)庫的并發(fā)處理能力帶來質(zhì)的提升。面對(duì)高并發(fā)的讀寫訪問，當(dāng)數(shù)據(jù)庫master服務(wù)器無法承載寫操作壓力時(shí)，不管如何擴(kuò)展slave服務(wù)器，此時(shí)都沒有意義了。因此，我們必須換一種思路，對(duì)數(shù)據(jù)庫進(jìn)行拆分，從而提高數(shù)據(jù)庫寫入能力，這就是所謂的分庫。

與分表策略相似，分庫可以采用通過一個(gè)關(guān)鍵字取模的方式，來對(duì)數(shù)據(jù)訪問進(jìn)行路由，如下圖所示

六、分區(qū)與分片區(qū)別 原文

“MySql中的分表、分庫、分片和分區(qū)的分析”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！