怎么用ShardingSphere5.0.0-alpha實現(xiàn)mysql數(shù)據(jù)分表分片

本篇內(nèi)容主要講解“怎么用ShardingSphere5.0.0-alpha實現(xiàn)mysql數(shù)據(jù)分表分片”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“怎么用ShardingSphere5.0.0-alpha實現(xiàn)mysql數(shù)據(jù)分表分片”吧!

聲明

• 本文會基于 Springboot + mybatis + shardingsphere + mysql5.6 + druid 進(jìn)行實戰(zhàn)講解

• 本文的實戰(zhàn)內(nèi)容為分表、以及數(shù)據(jù)分片, 不涉及分庫, 讀寫分離之類的

• 本文不會介紹 shardingsphere 的歷史、概念以及分庫分表的相關(guān)理論

• 本文采用的 shardingsphere 版本是 5.0.0-alpha, 具體見 pom 文件

• 本文涉及的源碼請參考 碼云地址

• 如果看 官方文檔 時, 請選對版本 !!!

正文

實現(xiàn)目標(biāo)

我們有一張邏輯用戶表 user_info, 我們把它水平拆分成 user_info0 和 user_info1 兩張物理表 當(dāng)我們往用戶表插數(shù)據(jù)時, 數(shù)據(jù)會按照一定的規(guī)則(根據(jù)id取模), 寫入到其中一張 user_info 表中.

準(zhǔn)備工作

1. 數(shù)據(jù)庫表

create database miaosha;

DROP TABLE IF EXISTS `user_info0`;
CREATE TABLE `user_info0` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `user_label` varchar(32) COLLATE utf8_bin DEFAULT NULL,
  `username` varchar(64) COLLATE utf8_bin DEFAULT NULL,
  `email` varchar(64) COLLATE utf8_bin DEFAULT NULL,
  `phone` varchar(64) COLLATE utf8_bin DEFAULT NULL,
  `password` varchar(128) COLLATE utf8_bin NOT NULL,
  `active` tinyint(4) NOT NULL DEFAULT '1',
   PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;


DROP TABLE IF EXISTS `user_info1`;
CREATE TABLE `user_info1` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `user_label` varchar(32) COLLATE utf8_bin DEFAULT NULL,
  `username` varchar(64) COLLATE utf8_bin DEFAULT NULL,
  `email` varchar(64) COLLATE utf8_bin DEFAULT NULL,
  `phone` varchar(64) COLLATE utf8_bin DEFAULT NULL,
  `password` varchar(128) COLLATE utf8_bin NOT NULL,
  `active` tinyint(4) NOT NULL DEFAULT '1',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

2. pom 依賴

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.2.RELEASE</version>
        <relativePath/>
    </parent>
    <groupId>com.nimo</groupId>
    <artifactId>shardingsphere-demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>shardingsphere-demo</name>

    <properties>
        <java.version>1.8</java.version>
    </properties>
  
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
      
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.1.4</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
      
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
      
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!-- shardingsphere -->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
            <version>5.0.0-alpha</version>
        </dependency>

        <!-- 阿里數(shù)據(jù)源 -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.2.3</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

3. application.yml

再次強(qiáng)調(diào)下, 本文采用的 shardingsphere 版本是 5.0.0-alpha. 不同版本配置會有差異.

填寫配置文件時,一定要小心, 坑死了; 不信你不配置 com.alibaba.druid.pool.DruidDataSource試試,

或者你用默認(rèn)的數(shù)據(jù)源替換試試 om.zaxxer.hikari.HikariDataSource

server:
  port: 8777

spring:
  shardingsphere:
 
    props:
      sql-show: true
      
    datasource:
      names: ds0
      # 注意這里的數(shù)據(jù)源配置用的是 druid
      common:
        type: com.alibaba.druid.pool.DruidDataSource
      ds0:
        url: jdbc:mysql://127.0.0.1:3306/miaosha?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2b8
        username: root
        password: '123456'
        driver-class-name: com.mysql.cj.jdbc.Driver
    rules:
      sharding:
        key-generators:
          # 此處必須要配置，否則會導(dǎo)致報錯，因為shardingsphere-jdbc-core-spring-boot-starter需要加載此項配置，官網(wǎng)的demo例子有錯
          snowflake:
            type: SNOWFLAKE
            props:
              worker-id: 123
        sharding-algorithms:
          table-inline:
            type: INLINE
            props:
              # 不要漏掉 $ 或 ->
              algorithm-expression: user_info$->{id % 2}
        tables:
          user_info:
            # 配置 user_info 的分表的規(guī)則
            actual-data-nodes: ds0.user_info$->{0..1}
            table-strategy:
              standard:
                sharding-column: id
                sharding-algorithm-name: table-inline
    enabled: true

mybatis:
  typeAliasesPackage: com.nimo.shardingspheredemo.entity
  mapperLocations: classpath:mapper/*.xml

4. 主要代碼

// sql 
<insert id="addUser" parameterType="com.nimo.shardingdemo.entity.UserInfo">
   insert into user_info(id, username, password) values (#{id}, #{username}, #{password})
</insert>
 
 // 新增一個用戶信息
@PostMapping("userinfo")
public Object addUserInfo(@RequestBody UserInfo userInfo) {
   return userInfoMapper.addUser(userInfo);
}

5. 測試命令

curl -X POST --location "http://localhost:8777/userinfo" \
    -H "Content-Type: application/json" \
    -d "{
          \"id\": 18,
          \"username\": \"wangbadan\",
          \"password\": \"123456\"
        }"

問題

我們創(chuàng)建表時設(shè)置的 主鍵id 是自增的, 理論上是不用傳的, 但是我們往表中插數(shù)據(jù), 是根據(jù) 主鍵id 取模 來決定具體往哪張表中插的. 所以這個主鍵 id 此時必須得有.

另外, 如果我們的服務(wù)有多個, 那么這個 id 如何生成?

如何解決

首先把 sql 改寫為如下方式:

// sql 
<insert id="addUser" parameterType="com.nimo.shardingdemo.entity.UserInfo">
   insert into user_info(username, password)
    values ( #{username}, #{password})
</insert>

然后在原有配置的基礎(chǔ)上, 追加如下配置信息(通過雪花算法生成id)

spring:
  shardingsphere:
    rules:
      sharding: 
        tables:
          user_info:
            key-generate-strategy:
              key-generator-name: snowflake
              column: id

測試

curl -X POST --location "http://localhost:8777/userinfo" \
    -H "Content-Type: application/json" \
    -d "{
          \"username\": \"wangbadan\",
          \"password\": \"123456\"
        }"

總結(jié)

本文強(qiáng)調(diào)的是 分表, 分片 的實戰(zhàn) demo 配置, 后面會逐漸更新 分庫、讀寫分離 的實戰(zhàn) demo, 跟之前的 Spring Secutiry 的實戰(zhàn)教程一樣, 講究循序漸進(jìn).

到此，相信大家對“怎么用ShardingSphere5.0.0-alpha實現(xiàn)mysql數(shù)據(jù)分表分片”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！