溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

SpringBoot2如何整合Sharding-Jdbc中間件實(shí)現(xiàn)數(shù)據(jù)分庫(kù)分表

發(fā)布時(shí)間：2021-11-20 15:36:50 來(lái)源：億速云 閱讀：129 作者：小新 欄目：編程語(yǔ)言

小編給大家分享一下SpringBoot2如何整合Sharding-Jdbc中間件實(shí)現(xiàn)數(shù)據(jù)分庫(kù)分表，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

一、水平分割

1、水平分庫(kù)

1)、概念：
以字段為依據(jù)，按照一定策略，將一個(gè)庫(kù)中的數(shù)據(jù)拆分到多個(gè)庫(kù)中。
2)、結(jié)果
每個(gè)庫(kù)的結(jié)構(gòu)都一樣；數(shù)據(jù)都不一樣；
所有庫(kù)的并集是全量數(shù)據(jù)；

2、水平分表

1)、概念
以字段為依據(jù)，按照一定策略，將一個(gè)表中的數(shù)據(jù)拆分到多個(gè)表中。
2)、結(jié)果
每個(gè)表的結(jié)構(gòu)都一樣；數(shù)據(jù)都不一樣；
所有表的并集是全量數(shù)據(jù)；

二、Shard-jdbc 中間件

1、架構(gòu)圖

SpringBoot2如何整合Sharding-Jdbc中間件實(shí)現(xiàn)數(shù)據(jù)分庫(kù)分表

2、特點(diǎn)

1)、Sharding-JDBC直接封裝JDBC API，舊代碼遷移成本幾乎為零。
2)、適用于任何基于Java的ORM框架，如Hibernate、Mybatis等 。
3)、可基于任何第三方的數(shù)據(jù)庫(kù)連接池，如DBCP、C3P0、 BoneCP、Druid等。
4)、以jar包形式提供服務(wù)，無(wú)proxy代理層，無(wú)需額外部署，無(wú)其他依賴。
5)、分片策略靈活，可支持等號(hào)、between、in等多維度分片，也可支持多分片鍵。
6)、SQL解析功能完善，支持聚合、分組、排序、limit、or等查詢。

三、項(xiàng)目演示

1、項(xiàng)目結(jié)構(gòu)

SpringBoot2如何整合Sharding-Jdbc中間件實(shí)現(xiàn)數(shù)據(jù)分庫(kù)分表

springboot     2.0 版本
druid          1.1.13 版本
sharding-jdbc  3.1 版本

2、數(shù)據(jù)庫(kù)配置

SpringBoot2如何整合Sharding-Jdbc中間件實(shí)現(xiàn)數(shù)據(jù)分庫(kù)分表

SpringBoot2如何整合Sharding-Jdbc中間件實(shí)現(xiàn)數(shù)據(jù)分庫(kù)分表

SpringBoot2如何整合Sharding-Jdbc中間件實(shí)現(xiàn)數(shù)據(jù)分庫(kù)分表

一臺(tái)基礎(chǔ)庫(kù)映射（shard_one）
兩臺(tái)庫(kù)做分庫(kù)分表（shard_two，shard_three）。
表使用：table_one，table_two

3、核心代碼塊

  • 數(shù)據(jù)源配置文件

    spring:
datasource:
  # 數(shù)據(jù)源：shard_one
  dataOne:
    type: com.alibaba.druid.pool.DruidDataSource
    druid:
      driverClassName: com.mysql.jdbc.Driver
      url: jdbc:mysql://localhost:3306/shard_one?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull&useSSL=false
      username: root
      password: 123
      initial-size: 10
      max-active: 100
      min-idle: 10
      max-wait: 60000
      pool-prepared-statements: true
      max-pool-prepared-statement-per-connection-size: 20
      time-between-eviction-runs-millis: 60000
      min-evictable-idle-time-millis: 300000
      max-evictable-idle-time-millis: 60000
      validation-query: SELECT 1 FROM DUAL
      # validation-query-timeout: 5000
      test-on-borrow: false
      test-on-return: false
      test-while-idle: true
      connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
  # 數(shù)據(jù)源：shard_two
  dataTwo:
    type: com.alibaba.druid.pool.DruidDataSource
    druid:
      driverClassName: com.mysql.jdbc.Driver
      url: jdbc:mysql://localhost:3306/shard_two?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull&useSSL=false
      username: root
      password: 123
      initial-size: 10
      max-active: 100
      min-idle: 10
      max-wait: 60000
      pool-prepared-statements: true
      max-pool-prepared-statement-per-connection-size: 20
      time-between-eviction-runs-millis: 60000
      min-evictable-idle-time-millis: 300000
      max-evictable-idle-time-millis: 60000
      validation-query: SELECT 1 FROM DUAL
      # validation-query-timeout: 5000
      test-on-borrow: false
      test-on-return: false
      test-while-idle: true
      connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
  # 數(shù)據(jù)源：shard_three
  dataThree:
    type: com.alibaba.druid.pool.DruidDataSource
    druid:
      driverClassName: com.mysql.jdbc.Driver
      url: jdbc:mysql://localhost:3306/shard_three?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull&useSSL=false
      username: root
      password: 123
      initial-size: 10
      max-active: 100
      min-idle: 10
      max-wait: 60000
      pool-prepared-statements: true
      max-pool-prepared-statement-per-connection-size: 20
      time-between-eviction-runs-millis: 60000
      min-evictable-idle-time-millis: 300000
      max-evictable-idle-time-millis: 60000
      validation-query: SELECT 1 FROM DUAL
      # validation-query-timeout: 5000
      test-on-borrow: false
      test-on-return: false
      test-while-idle: true
      connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000

  • 數(shù)據(jù)庫(kù)分庫(kù)策略

    /**
* 數(shù)據(jù)庫(kù)映射計(jì)算
*/
public class DataSourceAlg implements PreciseShardingAlgorithm<String> {
  private static Logger LOG = LoggerFactory.getLogger(DataSourceAlg.class);
  
@Override
  public String doSharding(Collection<String> names, PreciseShardingValue<String> value) {
      LOG.debug("分庫(kù)算法參數(shù) {},{}",names,value);
      int hash = HashUtil.rsHash(String.valueOf(value.getValue()));
      return "ds_" + ((hash % 2) + 2) ;
  }
}

  • 數(shù)據(jù)表1分表策略

    /**
* 分表算法
*/
public class TableOneAlg implements PreciseShardingAlgorithm<String> {
  private static Logger LOG = LoggerFactory.getLogger(TableOneAlg.class);
  /**
   * 該表每個(gè)庫(kù)分5張表
   */
  
@Override
  public String doSharding(Collection<String> names, PreciseShardingValue<String> value) {
      LOG.debug("分表算法參數(shù) {},{}",names,value);
      int hash = HashUtil.rsHash(String.valueOf(value.getValue()));
      return "table_one_" + (hash % 5+1);
  }
}

  • 數(shù)據(jù)表2分表策略

    /**
* 分表算法
*/
public class TableTwoAlg implements PreciseShardingAlgorithm<String> {
  private static Logger LOG = LoggerFactory.getLogger(TableTwoAlg.class);
  /**
   * 該表每個(gè)庫(kù)分5張表
   */
  
@Override
  public String doSharding(Collection<String> names, PreciseShardingValue<String> value) {
      LOG.debug("分表算法參數(shù) {},{}",names,value);
      int hash = HashUtil.rsHash(String.valueOf(value.getValue()));
      return "table_two_" + (hash % 5+1);
  }
}

  • 數(shù)據(jù)源集成配置

    /**
* 數(shù)據(jù)庫(kù)分庫(kù)分表配置
*/
@Configuration
public class ShardJdbcConfig {
  // 省略了 druid 配置，源碼中有
  /**
   * Shard-JDBC 分庫(kù)配置
   */
  
@Bean
  public DataSource dataSource (
@Autowired DruidDataSource dataOneSource,
                                
@Autowired DruidDataSource dataTwoSource,
                                
@Autowired DruidDataSource dataThreeSource) throws Exception {
      ShardingRuleConfiguration shardJdbcConfig = new ShardingRuleConfiguration();
      shardJdbcConfig.getTableRuleConfigs().add(getTableRule01());
      shardJdbcConfig.getTableRuleConfigs().add(getTableRule02());
      shardJdbcConfig.setDefaultDataSourceName("ds_0");
      Map<String,DataSource> dataMap = new LinkedHashMap<>() ;
      dataMap.put("ds_0",dataOneSource) ;
      dataMap.put("ds_2",dataTwoSource) ;
      dataMap.put("ds_3",dataThreeSource) ;
      Properties prop = new Properties();
      return ShardingDataSourceFactory.createDataSource(dataMap, shardJdbcConfig, new HashMap<>(), prop);
  }
  /**
   * Shard-JDBC 分表配置
   */
  private static TableRuleConfiguration getTableRule01() {
      TableRuleConfiguration result = new TableRuleConfiguration();
      result.setLogicTable("table_one");
      result.setActualDataNodes("ds_${2..3}.table_one_${1..5}");
      result.setDatabaseShardingStrategyConfig(new StandardShardingStrategyConfiguration("phone", new DataSourceAlg()));
      result.setTableShardingStrategyConfig(new StandardShardingStrategyConfiguration("phone", new TableOneAlg()));
      return result;
  }
  private static TableRuleConfiguration getTableRule02() {
      TableRuleConfiguration result = new TableRuleConfiguration();
      result.setLogicTable("table_two");
      result.setActualDataNodes("ds_${2..3}.table_two_${1..5}");
      result.setDatabaseShardingStrategyConfig(new StandardShardingStrategyConfiguration("phone", new DataSourceAlg()));
      result.setTableShardingStrategyConfig(new StandardShardingStrategyConfiguration("phone", new TableTwoAlg()));
      return result;
  }
}

  • 測(cè)試代碼執(zhí)行流程

    @RestController
public class ShardController {
  
@Resource
  private ShardService shardService ;
  /**
   * 1、建表流程
   */
  
@RequestMapping("/createTable")
  public String createTable (){
      shardService.createTable();
      return "success" ;
  }
  /**
   * 2、生成表 table_one 數(shù)據(jù)
   */
  
@RequestMapping("/insertOne")
  public String insertOne (){
      shardService.insertOne();
      return "SUCCESS" ;
  }
  /**
   * 3、生成表 table_two 數(shù)據(jù)
   */
  
@RequestMapping("/insertTwo")
  public String insertTwo (){
      shardService.insertTwo();
      return "SUCCESS" ;
  }
  /**
   * 4、查詢表 table_one 數(shù)據(jù)
   */
  
@RequestMapping("/selectOneByPhone/{phone}")
  public TableOne selectOneByPhone (
@PathVariable("phone") String phone){
      return shardService.selectOneByPhone(phone);
  }
  /**
   * 5、查詢表 table_one 數(shù)據(jù)
   */
  
@RequestMapping("/selectTwoByPhone/{phone}")
  public TableTwo selectTwoByPhone (
@PathVariable("phone") String phone){
      return shardService.selectTwoByPhone(phone);
  }
}

看完了這篇文章，相信你對(duì)“SpringBoot2如何整合Sharding-Jdbc中間件實(shí)現(xiàn)數(shù)據(jù)分庫(kù)分表”有了一定的了解，如果想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手