溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Springboot2.x中怎么利用ShardingSphere實(shí)現(xiàn)分庫分表

發(fā)布時(shí)間:2021-08-09 16:33:47 來源:億速云 閱讀:169 作者:Leah 欄目:編程語言

本篇文章給大家分享的是有關(guān)Springboot2.x中怎么利用ShardingSphere實(shí)現(xiàn)分庫分表,小編覺得挺實(shí)用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。

章中我們講了基于Mysql8的讀寫分離(文末有鏈接),這次來說說分庫分表的實(shí)現(xiàn)過程。

概念解析

垂直分片

按照業(yè)務(wù)拆分的方式稱為垂直分片,又稱為縱向拆分,它的核心理念是專庫專用。 在拆分之前,一個(gè)數(shù)據(jù)庫由多個(gè)數(shù)據(jù)表構(gòu)成,每個(gè)表對應(yīng)著不同的業(yè)務(wù)。而拆分之后,則是按照業(yè)務(wù)將表進(jìn)行歸類,分布到不同的數(shù)據(jù)庫中,從而將壓力分散至不同的數(shù)據(jù)庫。 下圖展示了根據(jù)業(yè)務(wù)需要,將用戶表和訂單表垂直分片到不同的數(shù)據(jù)庫的方案。

垂直分片往往需要對架構(gòu)和設(shè)計(jì)進(jìn)行調(diào)整。通常來講,是來不及應(yīng)對互聯(lián)網(wǎng)業(yè)務(wù)需求快速變化的;而且,它也并無法真正的解決單點(diǎn)瓶頸。 垂直拆分可以緩解數(shù)據(jù)量和訪問量帶來的問題,但無法根治。如果垂直拆分之后,表中的數(shù)據(jù)量依然超過單節(jié)點(diǎn)所能承載的閾值,則需要水平分片來進(jìn)一步處理。

水平分片

水平分片又稱為橫向拆分。 相對于垂直分片,它不再將數(shù)據(jù)根據(jù)業(yè)務(wù)邏輯分類,而是通過某個(gè)字段(或某幾個(gè)字段),根據(jù)某種規(guī)則將數(shù)據(jù)分散至多個(gè)庫或表中,每個(gè)分片僅包含數(shù)據(jù)的一部分。 例如:根據(jù)主鍵分片,偶數(shù)主鍵的記錄放入0庫(或表),奇數(shù)主鍵的記錄放入1庫(或表),如下圖所示。

水平分片從理論上突破了單機(jī)數(shù)據(jù)量處理的瓶頸,并且擴(kuò)展相對自由,是分庫分表的標(biāo)準(zhǔn)解決方案。

開發(fā)準(zhǔn)備

分庫分表常用的組件就是shardingsphere,目前已經(jīng)是apache頂級項(xiàng)目,這次我們使用springboot2.1.9 + shardingsphere4.0.0-RC2(均為最新版本)來完成分庫分表的操作。

假設(shè)有一張訂單表,我們需要將它分成2個(gè)庫,每個(gè)庫三張表,根據(jù)id字段取模確定最終數(shù)據(jù)的位置,數(shù)據(jù)庫環(huán)境配置如下:

172.31.0.129

blog      t_order_0    t_order_1    t_order_2

172.31.0.131

blog      t_order_0    t_order_1    t_order_2

三張表的邏輯表為t_order,大家可以根據(jù)建表語句準(zhǔn)備好其他所有數(shù)據(jù)表。

DROP TABLE IF EXISTS `t_order_0;CREATE TABLE `t_order_0` ( `id` bigint(20) NOT NULL, `name` varchar(255) DEFAULT NULL COMMENT '名稱', `type` varchar(255) DEFAULT NULL COMMENT '類型', `gmt_create` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '創(chuàng)建時(shí)間', PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

注意,千萬不能將主鍵的生成規(guī)則設(shè)置成自增長,需要按照一定規(guī)則來生成主鍵,這里使用shardingsphere中的SNOWFLAKE俗稱雪花算法來生成主鍵

代碼實(shí)現(xiàn)

修改pom.xml,引入相關(guān)組件

<properties>    <java.version>1.8</java.version>    <mybatis-plus.version>3.1.1</mybatis-plus.version>    <sharding-sphere.version>4.0.0-RC2</sharding-sphere.version>  </properties>  <dependencies>    <dependency>      <groupId>org.springframework.boot</groupId>      <artifactId>spring-boot-starter-web</artifactId>    </dependency>    <dependency>      <groupId>org.mybatis.spring.boot</groupId>      <artifactId>mybatis-spring-boot-starter</artifactId>      <version>2.0.1</version>    </dependency>    <dependency>      <groupId>mysql</groupId>      <artifactId>mysql-connector-java</artifactId>      <version>8.0.15</version>    </dependency>    <dependency>      <groupId>com.baomidou</groupId>      <artifactId>mybatis-plus-boot-starter</artifactId>      <version>${mybatis-plus.version}</version>    </dependency>    <dependency>      <groupId>org.apache.shardingsphere</groupId>      <artifactId>sharding-jdbc-spring-boot-starter</artifactId>      <version>${sharding-sphere.version}</version>    </dependency>    <dependency>      <groupId>org.apache.shardingsphere</groupId>      <artifactId>sharding-jdbc-spring-namespace</artifactId>      <version>${sharding-sphere.version}</version>    </dependency>    <dependency>      <groupId>org.projectlombok</groupId>      <artifactId>lombok</artifactId>      <optional>true</optional>    </dependency>    <dependency>      <groupId>org.springframework.boot</groupId>      <artifactId>spring-boot-starter-test</artifactId>      <scope>test</scope>    </dependency>  </dependencies>  <build>    <plugins>      <plugin>        <groupId>org.springframework.boot</groupId>        <artifactId>spring-boot-maven-plugin</artifactId>      </plugin>    </plugins>  </build>

配置mysql-plus

@Configuration  @MapperScan("com.github.jianzh6.blog.mapper")  public class MybatisPlusConfig {      /**       * 攻擊 SQL 阻斷解析器       */      @Bean      public PaginationInterceptor paginationInterceptor(){          PaginationInterceptor paginationInterceptor = new PaginationInterceptor();          List<ISqlParser> sqlParserList = new ArrayList<>();          sqlParserList.add(new BlockAttackSqlParser());          paginationInterceptor.setSqlParserList(sqlParserList);          return new PaginationInterceptor();      }      /**       * SQL執(zhí)行效率插件       */      @Bean      // @Profile({"dev","test"})      public PerformanceInterceptor performanceInterceptor() {          return new PerformanceInterceptor();      }  }

編寫實(shí)體類Order

@Data  @TableName("t_order")  public class Order {      private Long id;      private String name;      private String type;      private Date gmtCreate;  }

編寫DAO層,OrderMapper

/**   * 訂單Dao層   */  public interface OrderMapper extends BaseMapper<Order> {  }

編寫接口及接口實(shí)現(xiàn)

public interface OrderService extends IService<Order> {  }  /**   * 訂單實(shí)現(xiàn)層   * @author jianzh6   * @date 2019/10/15 17:05   */  @Service  public class OrderServiceImpl extends ServiceImpl<OrderMapper, Order> implements OrderService {  }

配置文件(配置說明見備注)

server.port=8080  # 配置ds0 和ds1兩個(gè)數(shù)據(jù)源  spring.shardingsphere.datasource.names = ds0,ds1  #ds0 配置  spring.shardingsphere.datasource.ds0.type = com.zaxxer.hikari.HikariDataSource  spring.shardingsphere.datasource.ds0.driver-class-name = com.mysql.cj.jdbc.Driver  spring.shardingsphere.datasource.ds0.jdbc-url = jdbc:mysql://192.168.249.129:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false  spring.shardingsphere.datasource.ds0.username = root  spring.shardingsphere.datasource.ds0.password = 000000  #ds1 配置  spring.shardingsphere.datasource.ds1.type = com.zaxxer.hikari.HikariDataSource  spring.shardingsphere.datasource.ds1.driver-class-name = com.mysql.cj.jdbc.Driver  spring.shardingsphere.datasource.ds1.jdbc-url = jdbc:mysql://192.168.249.131:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false  spring.shardingsphere.datasource.ds1.username = root  spring.shardingsphere.datasource.ds1.password = 000000  # 分庫策略 根據(jù)id取模確定數(shù)據(jù)進(jìn)哪個(gè)數(shù)據(jù)庫  spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column = id  spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression = ds$->{id % 2}  # 具體分表策略  # 節(jié)點(diǎn) ds0.t_order_0,ds0.t_order_1,ds1.t_order_0,ds1.t_order_1  spring.shardingsphere.sharding.tables.t_order.actual-data-nodes = ds$->{0..1}.t_order_$->{0..2}  # 分表字段id  spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column = id  # 分表策略 根據(jù)id取模,確定數(shù)據(jù)最終落在那個(gè)表中  spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression = t_order_$->{id % 3}  # 使用SNOWFLAKE算法生成主鍵  spring.shardingsphere.sharding.tables.t_order.key-generator.column = id  spring.shardingsphere.sharding.tables.t_order.key-generator.type = SNOWFLAKE  #spring.shardingsphere.sharding.binding-tables=t_order  spring.shardingsphere.props.sql.show = true

編寫單元測試,查看結(jié)果是否正確

public class OrderServiceImplTest extends BlogApplicationTests {    @Autowired    private OrderService orderService;    @Test    public void testSave(){      for (int i = 0 ; i< 100 ; i++){        Order order = new Order();        order.setName("電腦"+i);        order.setType("辦公");        orderService.save(order);      }    }    @Test    public void testGetById(){      long id = 1184489163202789377L;      Order order = orderService.getById(id);      System.out.println(order.toString());    }  }

以上就是Springboot2.x中怎么利用ShardingSphere實(shí)現(xiàn)分庫分表,小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘9ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI