Mycat分庫(kù)分表的簡(jiǎn)單實(shí)踐

   MySQL的使用場(chǎng)景中，讀寫(xiě)分離只是方案中的一部分，想要擴(kuò)展，勢(shì)必會(huì)用到分庫(kù)分表，可喜的是Mycat里已經(jīng)做到了，今天花時(shí)間測(cè)試了一下，感覺(jué)還不錯(cuò)。

關(guān)于分庫(kù)分表

    當(dāng)然自己也理了一下，分庫(kù)分表的這些內(nèi)容，如果分成幾個(gè)策略或者階段，大概有下面的幾種。

最上面的第一種是直接拆表，比如數(shù)據(jù)庫(kù)db1下面有test1,test2,test3三個(gè)表，通過(guò)中間件看到的還是表test,里面的數(shù)據(jù)做了這樣的拆分，能夠咋一定程度上分解壓力，如果細(xì)細(xì)品來(lái)，和分區(qū)表的套路有些像。

  接下來(lái)的幾類(lèi)也是不斷完善，把表test拆解到多個(gè)庫(kù)中，多個(gè)服務(wù)器中，如果做了讀寫(xiě)分離，全套的方案這樣的拆解改進(jìn)還是很大的。如此來(lái)看，數(shù)據(jù)庫(kù)中間件做了很多應(yīng)用和數(shù)據(jù)庫(kù)之間的很多事情，能夠流行起來(lái)除了技術(shù)原因還是有很多其他的因素。 

分庫(kù)分表的測(cè)試環(huán)境模擬

  如果要在一臺(tái)服務(wù)器上測(cè)試分庫(kù)分表，而且要求架構(gòu)方案要全面，作為技術(shù)可行性的一個(gè)判定參考，是否可以實(shí)現(xiàn)呢。

   如果模擬一主兩從的架構(gòu)，模擬服務(wù)分布在3臺(tái)服務(wù)器上，這樣的方案需要?jiǎng)?chuàng)建9個(gè)實(shí)例,每個(gè)實(shí)例上有3個(gè)db需要分別拆分。

   大體的配置如下：

  master1:   端口33091  

(m1)slave1: 端口33092

(m1)slave2: 端口33093

   master2:  端口33071

(m2)slave1: 端口33072

(m2)slave2: 端口33073

master3:  端口33061

(m3)slave1: 端口33062

(m3)slave2: 端口33063

畫(huà)個(gè)圖來(lái)說(shuō)明一下，其中db1,db2,db3下面有若個(gè)表，需要做sharding

所以我們需要模擬的就是這個(gè)事情。

使用Mycat碰到的幾個(gè)小問(wèn)題解惑

使用Mycat的時(shí)候碰到了幾個(gè)小問(wèn)題，感覺(jué)比較有代表性，記錄了一下。

問(wèn)題1：

手下是使用Mycat連接到數(shù)據(jù)庫(kù)之后，如果不切換到具體的數(shù)據(jù)庫(kù)下，使用[數(shù)據(jù)庫(kù)名].[表名]的方式會(huì)拋出下面的錯(cuò)誤，可見(jiàn)整個(gè)過(guò)程中，Mycat攔截了SQL信息做了過(guò)濾，在轉(zhuǎn)換的時(shí)候找不到目標(biāo)路由。當(dāng)然實(shí)際使用中，規(guī)范使用肯定不會(huì)有這個(gè)問(wèn)題。

mysql> select * from db1.shard_auto;
ERROR 1064 (HY000):  find no Route:select * from db1.shard_auto
問(wèn)題2：
在配置了sharding策略之后，insert語(yǔ)句拋出了下面的錯(cuò)誤，這個(gè)是對(duì)語(yǔ)法的一個(gè)基本的要求。
mysql> insert into shard_mod_long values(1,'aa',date);
ERROR 1064 (HY000): partition table, insert must provide ColumnList
問(wèn)題3：

如果sharding策略配置有誤，很可能出現(xiàn)表訪問(wèn)正常，但是DML會(huì)有問(wèn)題，提示數(shù)據(jù)沖突了。至于如何配置sharding,下面會(huì)講。
mysql> select *from shard_mod_long;
Empty set (0.00 sec)

mysql> insert into shard_mod_long(ID,name,shard_date) values(1,'aa',current_date);
ERROR 1105 (HY000): Duplicate entry '1' for key 'PRIMARY'
問(wèn)題4：
如果sharding的配置有誤，很可能出現(xiàn)多份冗余數(shù)據(jù)。

查看執(zhí)行計(jì)劃就一目了然，通過(guò)data_node可以看到數(shù)據(jù)指向了多個(gè)目標(biāo)庫(kù)。

mysql> explain insert into shard_auto(ID,name,shard_date) values(1,'aa',current_date);
+-----------+------------------------------------------------+
| DATA_NODE | SQL                                                                    |
+-----------+------------------------------------------------+
| pxcNode11 | insert into shard_auto(ID,name,shard_date) values(1,'aa',current_date) |
| pxcNode21 | insert into shard_auto(ID,name,shard_date) values(1,'aa',current_date) |
| pxcNode31 | insert into shard_auto(ID,name,shard_date) values(1,'aa',current_date) |
+-----------+------------------------------------------------+

這種情況如果有一定的需求還是蠻不錯(cuò)的，做sharding可惜了。問(wèn)題就在于下面的這個(gè)table配置。

<table name="shard_auto" primaryKey="ID" type="global"   dataNode="pxcNode11,pxcNode21,pxcNode31" rule="auto-sharding-long" />

需要去掉 type="global"的屬性，讓它sharding。

Mycat里面的sharding策略

 Mycat的分片策略很豐富，這個(gè)是超出自己的預(yù)期的，也是Mycat的一大亮點(diǎn)。

大體分片規(guī)則如下，另外還有一些其他分片方式這里不全部列舉：
（1）分片枚舉：sharding-by-intfile
（2）主鍵范圍：auto-sharding-long
（3）一致性hash：sharding-by-murmur
（4）字符串hash解析：sharding-by-stringhash
（5）按日期（天）分片：sharding-by-date
（6）按單月小時(shí)拆分：sharding-by-hour
（7）自然月分片：sharding-by-month

在開(kāi)始之前，我們要?jiǎng)?chuàng)建下面的表來(lái)模擬幾個(gè)sharding的場(chǎng)景,表名根據(jù)需求可以改變。
create table shard_test(ID int primary key, name varchar(20),shard_date date); 

主鍵范圍分片

主鍵范圍分片是參考了主鍵值，按照主鍵值的分布來(lái)分布數(shù)據(jù)庫(kù)在不同的庫(kù)中，我們現(xiàn)在對(duì)應(yīng)的sharding節(jié)點(diǎn)上創(chuàng)建同樣的表結(jié)構(gòu)。

關(guān)于sharding的策略，需要修改rule.xml文件。

常 用的sharding策略已經(jīng)在Mycat里面實(shí)現(xiàn)了，如果要自行實(shí)現(xiàn)也可以定制。比如下面的規(guī)則，是基于主鍵字段ID來(lái)做sharding,分布的算法 是rang-long,引用了function rang-long,這個(gè)function是在對(duì)應(yīng)的一個(gè)Java類(lèi)中實(shí)現(xiàn)的。

        <tableRule name="auto-sharding-long">
                <rule>
                        <columns>ID</columns>
                        <algorithm>rang-long</algorithm>
                </rule>

        <function name="rang-long"
                class="io.mycat.route.function.AutoPartitionByLong">
                <property name="mapFile">autopartition-long.txt</property>
當(dāng) 然主鍵的范圍是不固定的，可以根據(jù)需求來(lái)定制，比如按照一百萬(wàn)為單位，或者1000位單位，文件是 autopartition-long.txt  文件的內(nèi)容默認(rèn)如下，模板里是分為了3個(gè)分片，如果要定制更多的就需要繼續(xù)配置了，目前來(lái)看這個(gè)配置只能夠承載15億的數(shù)據(jù)量，可以根據(jù)需求繼續(xù)擴(kuò)展定 制。           
# range start-end ,data node index
# K=1000,M=10000.
0-500M=0
500M-1000M=1
1000M-1500M=2

插入一些數(shù)據(jù)來(lái)驗(yàn)證一下，我們可以查看執(zhí)行計(jì)劃來(lái)做基本的驗(yàn)證，配置無(wú)誤，數(shù)據(jù)就根據(jù)規(guī)則流向了指定的數(shù)據(jù)庫(kù)下的表里。

mysql> explain insert into shard_auto(ID,name,shard_date) values(1,'aa',current_date);
+-----------+------------------------------------------------+
| DATA_NODE | SQL                                                                    |
+-----------+------------------------------------------------+
| pxcNode11 | insert into shard_auto(ID,name,shard_date) values(1,'aa',current_date) |
+-----------+------------------------------------------------+

還有一個(gè)查看sharding效果的小方法，比如我插入一個(gè)極大的值，保證和其他數(shù)據(jù)不在一個(gè)分片上，我們運(yùn)行查詢語(yǔ)句兩次，結(jié)果會(huì)有點(diǎn)變化。

sharing的效果
mysql> select *from shard_auto;
+---------+------+------------+
| ID      | name | shard_date |
+---------+------+------------+
|       1 | aa   | 2017-09-06 |
|       2 | bb   | 2017-09-06 |
| 5000001 | aa   | 2017-09-06 |
+---------+------+------------+
3 rows in set (0.00 sec)
稍作停頓，繼續(xù)運(yùn)行。
mysql> select *from shard_auto;
+---------+------+------------+
| ID      | name | shard_date |
+---------+------+------------+
| 5000001 | aa   | 2017-09-06 |
|       1 | aa   | 2017-09-06 |
|       2 | bb   | 2017-09-06 |
+---------+------+------------+
3 rows in set (0.01 sec)

Hash分片

   Hash分片其實(shí)企業(yè)級(jí)應(yīng)用尤其廣泛，我覺(jué)得很的一個(gè)原因是通過(guò)這種數(shù)據(jù)路由的方式，得到的數(shù)據(jù)情況是基本可控的，和業(yè)務(wù)的關(guān)聯(lián)起來(lái)比較直接。很多拆分方法都是根據(jù)mod方法來(lái)平均分布數(shù)據(jù)。

  sharding的策略在rule.xml里面配置，還是默認(rèn)的mod-long規(guī)則，引用了算法mod-long,這里是根據(jù)sharding的節(jié)點(diǎn)數(shù)來(lái)做的，默認(rèn)是3個(gè)。

   <tableRule name="mod-long">
                <rule>
                        <columns>id</columns>
                        <algorithm>mod-long</algorithm>
                </rule>
        </tableRule>
       
        <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
                <!-- how many data nodes -->
                <property name="count">3</property>
        </function>
比如查看兩次insert的結(jié)果情況。

mysql> explain insert into shard_mod_long(ID,name,shard_date) values(4,'dd',current_date);
+-----------+------------------------------------------------+
| DATA_NODE | SQL                                                                        |
+-----------+------------------------------------------------+
| pxcNode22 | insert into shard_mod_long(ID,name,shard_date) values(4,'dd',current_date) |
+-----------+------------------------------------------------+

mysql> explain insert into shard_mod_long(ID,name,shard_date) values(5,'ee',current_date);
+-----------+------------------------------------------------+
| DATA_NODE | SQL                                                                        |
+-----------+------------------------------------------------+
| pxcNode23 | insert into shard_mod_long(ID,name,shard_date) values(5,'ee',current_date) |
+-----------+------------------------------------------------+
可以看到數(shù)據(jù)還是遵循了節(jié)點(diǎn)的規(guī)律，平均分布。

  至于schema.xml的配置，是整個(gè)分庫(kù)的核心，我索性也給出一個(gè)配置來(lái)，供參考。

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://io.mycat/">

        <!-- 定義MyCat的邏輯庫(kù) -->
        <schema name="db1" checkSQLschema="false" sqlMaxLimit="100" >
        <table name="shard_mod_long" primaryKey="ID" type="global" dataNode="pxcNode11,pxcNode21,pxcNode31" rule="mod-long" />
        <table name="shard_auto" primaryKey="ID" type="global" dataNode="pxcNode11,pxcNode21,pxcNode31" rule="auto-sharding-long" />
        </schema>


        <!-- 定義MyCat的數(shù)據(jù)節(jié)點(diǎn) -->
        <dataNode name="pxcNode11" dataHost="dtHost" database="db1" />
        <dataNode name="pxcNode21" dataHost="dtHost2" database="db1" />
        <dataNode name="pxcNode31" dataHost="dtHost3" database="db1" />

        <!-- 定義數(shù)據(jù)主機(jī)dtHost，連接到MySQL讀寫(xiě)分離集群 ,schema中的每一個(gè)dataHost中的host屬性值必須唯一-->
        <!-- dataHost實(shí)際上配置就是后臺(tái)的數(shù)據(jù)庫(kù)集群，一個(gè)datahost代表一個(gè)數(shù)據(jù)庫(kù)集群 -->
        <!-- balance="1"，全部的readHost與stand by writeHost參與select語(yǔ)句的負(fù)載均衡-->
        <!-- writeType="0"，所有寫(xiě)操作發(fā)送到配置的第一個(gè)writeHost，這里就是我們的hostmaster，第一個(gè)掛了切到還生存的第二個(gè)writeHost-->
        <dataHost name="dtHost" maxCon="500" minCon="20" balance="1"
            writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
            <!--心跳檢測(cè) -->
            <heartbeat>show slave status</heartbeat>
            <!--配置后臺(tái)數(shù)據(jù)庫(kù)的IP地址和端口號(hào)，還有賬號(hào)密碼 -->
            <writeHost host="hostMaster" url="192.168.163.128:33091" user="mycat_user" password="mycat" />
        </dataHost>
         <dataHost name="dtHost2" maxCon="500" minCon="20" balance="1"
            writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
            <!--心跳檢測(cè) -->
            <heartbeat>show slave status</heartbeat>
            <!--配置后臺(tái)數(shù)據(jù)庫(kù)的IP地址和端口號(hào)，還有賬號(hào)密碼 -->
            <writeHost host="hostMaster" url="192.168.163.128:33071" user="mycat_user" password="mycat" />
        </dataHost>
        <dataHost name="dtHost3" maxCon="500" minCon="20" balance="1"
            writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
            <!--心跳檢測(cè) -->
            <heartbeat>show slave status</heartbeat>
            <!--配置后臺(tái)數(shù)據(jù)庫(kù)的IP地址和端口號(hào)，還有賬號(hào)密碼 -->
            <writeHost host="hostMaster" url="192.168.163.128:33061" user="mycat_user" password="mycat" />
        </dataHost>
</mycat:schema