您好,登錄后才能下訂單哦!
【技術(shù)沙龍002期】數(shù)據(jù)中臺:宜信敏捷數(shù)據(jù)中臺建設(shè)實踐|宜信技術(shù)沙龍 將于5月23日晚8點線上直播,點擊報名
Sharding-JDBC定位為輕量級Java框架,在Java的JDBC層提供的額外服務。它使用客戶端直連數(shù)據(jù)庫,以jar包形式提供服務,無需額外部署和依賴,可理解為增強版的JDBC驅(qū)動,完全兼容JDBC和各種ORM框架。
分庫 & 分表
讀寫分離
分布式主鍵
分布式事務
Sharding-JDBC適用于:
任何基于Java的ORM框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
基于任何第三方的數(shù)據(jù)庫連接池,如:DBCP, C3P0, BoneCP, Druid, HikariCP等。
支持任意實現(xiàn)JDBC規(guī)范的數(shù)據(jù)庫,目前支持MySQL,Oracle,SQLServer和PostgreSQL。
<!-- sharding jdbc 開始--> <dependency> <groupId>io.shardingsphere</groupId> <artifactId>sharding-core</artifactId> <version>${sharding.version}</version> </dependency> <dependency> <groupId>io.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-namespace</artifactId> <version>${sharding.version}</version> </dependency> <!—如果不配置分布式事務的話配置上邊兩個就夠了 --> <!--分布式事務引用依賴--> <dependency> <groupId>io.shardingsphere</groupId> <artifactId>sharding-transaction-2pc-xa</artifactId> <version>${sharding.version}</version> </dependency> <dependency> <groupId>io.shardingsphere</groupId> <artifactId>sharding-transaction-spring</artifactId> <version>${sharding.version}</version> </dependency> <!-- sharding jdbc 結(jié)束--> <!--AspectJ AOP支持 --> <dependency> <groupId>org.aspectj</groupId> <artifactId>aspectjweaver</artifactId> <version>${aspectjweaver.version}</version> </dependency>
先配置數(shù)據(jù)源
也可以配置讀寫分離
以下配置是
ds0
和
ds1
兩個數(shù)據(jù)庫的主和從一共四個數(shù)據(jù)源。
parentDs
是數(shù)據(jù)源公共的配置,抽出去以免寫重復代碼。
<!-- ds0的主--> <bean id="ds0_master" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close" parent="parentDs"> <property name="driverClassName" value=""/> <property name="url" value=""/> </bean> <!-- ds0的從--> <bean id="ds0_slave" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close" parent="parentDs"> <property name="driverClassName" value=""/> <property name="url" value="${sharding.connection.url.0}"/> </bean> <!-- ds1的主--> <bean id="ds1_master" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close" parent="parentDs"> <property name="driverClassName" value=""/> <property name="url" value="${sharding.connection.url.1}"/> </bean> <!-- ds1的從--> <bean id="ds1_slave" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close" parent="parentDs"> <property name="driverClassName" value=""/> <property name="url" value="${sharding.connection.url.1}"/> </bean>
只配置主從不配置分庫分表的情況如下,如果要配置分庫分表則不需要下面這個配置。
master-data-source-name
是主數(shù)據(jù)源ID
slave-data-source-names
是從數(shù)據(jù)源ID
<master-slave:data-source id="masterSlaveDataSource" master-data-source-name="ds0_master, ds1_master" slave-data-source-names="ds0_slave, ds1_slave " > <master-slave:props> <prop key="sql.show">${sql_show}</prop> <prop key="executor.size">10</prop> <prop key="foo">bar</prop> </master-slave:props> </master-slave:data-source>
如果讀寫分離和分庫分表一起使用的話把主從路由配置到 shardingdata-source下就可以了。
sharding:master-slave-rule
的 id 就是配置出來的邏輯的數(shù)據(jù)源的名稱,如果多個從的話還可以通過配置strategy-ref來配置負載均衡。
master-data-source
配置的是主庫數(shù)據(jù)源ID 。
slave-data-source
配置的是從庫數(shù)據(jù)源ID,多個以逗號分開。
<!-- sharding數(shù)據(jù)源--> <sharding:data-source id="shardingDataSource"> <!-- 讀寫分離的話要把所有的主從數(shù)據(jù)源都寫在這里--> <sharding:sharding-rule data-source-names="ds0_master,ds0_slave,ds1_master,ds1_slave "> <!-- 讀寫分離的路由 一主一從配置 strategy-ref --> <sharding:master-slave-rules> <sharding:master-slave-rule id="ds0" master-data-source-name="ds0_master" slave-data-source-names="ds0_slave"/> <sharding:master-slave-rule id="ds1" master-data-source-name="ds1_master" slave-data-source-names="ds1_slave"/> </sharding:master-slave-rules> <!-- 讀寫分離配置 結(jié)束--> <sharding:table-rules> <!— 這里是分庫分表路由的配置 --> </sharding:table-rules> <sharding:binding-table-rules> <!—- 綁定表的配置 --> </sharding:binding-table-rules> </sharding:sharding-rule> <sharding:props> <!-- 顯示SQL --> <prop key="sql.show">true</prop> </sharding:props> </sharding:data-source>
Sharding-JDBC提供了5種分片策略。由于分片算法和業(yè)務實現(xiàn)緊密相關(guān),因此Sharding-JDBC并未提供內(nèi)置分片算法,而是通過分片策略將各種場景提煉出來,提供更高層級的抽象,并提供接口讓應用開發(fā)者自行實現(xiàn)分片算法。
StandardShardingStrategy
標準分片策略。提供對SQL語句中的=, IN和BETWEEN AND的分片操作支持。StandardShardingStrategy只支持單分片鍵,提供PreciseShardingAlgorithm和RangeShardingAlgorithm兩個分片算法。PreciseShardingAlgorithm是必選的,用于處理=和IN的分片;RangeShardingAlgorithm是可選的,用于處理BETWEEN AND分片,如果不配置RangeShardingAlgorithm,SQL中的BETWEEN AND將按照全庫路由處理。
ComplexShardingStrategy
復合分片策略。提供對SQL語句中的=, IN和BETWEEN AND的分片操作支持。ComplexShardingStrategy支持多分片鍵,由于多分片鍵之間的關(guān)系復雜,因此Sharding-JDBC并未做過多的封裝,而是直接將分片鍵值組合以及分片操作符交于算法接口,完全由應用開發(fā)者實現(xiàn),提供最大的靈活度。
InlineShardingStrategy
Inline表達式分片策略。使用Groovy的Inline表達式,提供對SQL語句中的=和IN的分片操作支持。InlineShardingStrategy只支持單分片鍵,對于簡單的分片算法,可以通過簡單的配置使用,從而避免繁瑣的Java代碼開發(fā),如: tuser${user_id % 8} 表示t_user表按照user_id按8取模分成8個表,表名稱為t_user_0到t_user_7。
HintShardingStrategy
通過Hint而非SQL解析的方式分片的策略。
NoneShardingStrategy
不分片的策略。
標準分片配置
<!-- 標準分片策略。--> <bean id="demoUserStandardStrategy" class="shard.strategy.DemoUserStandardStrategy"/> <sharding:standard-strategy id="shardingDemoUserStandardStrategy" precise-algorithm-ref="demoUserStandardStrategy" sharding-column="id" range-algorithm-ref=""/>
DemoUserStandardStrategy標準分片要實現(xiàn) PreciseShardingAlgorithm 接口,doSharding的兩個參數(shù)一個是所有數(shù)據(jù)源的cllection.另一個參數(shù)是執(zhí)行SQL時傳過來的分片的值。
/** * 根據(jù)ID取 * 標準分片策略 * 用于處理=和IN的分片 * @author yulonggao * @date 2019/1/31 14:35 */ @Slf4j public class DemoUserStandardStrategy implements PreciseShardingAlgorithm<Long> { @Override public String doSharding(Collection<String> collection, PreciseShardingValue<Long> preciseShardingValue) { //這個里邊有異常會被處理掉,然后導致拿不到分片。但出異常一般是業(yè)務代碼寫錯了。 //每條指定分片的操作都會調(diào)用此方法,如果是in 條件查詢的話每個值會調(diào)用一次此方法,如果是批量插入也是每一條都要調(diào)用一次進行分片 log.info("DemoUserStandardStrategy_preciseShardingValue={}", preciseShardingValue); Long suffix = preciseShardingValue.getValue() % 4; log.info("suffix={}", suffix); final String targetDb = String.valueOf(Math.abs(suffix.intValue())); String shardingValue = collection.stream().filter(p -> p.endsWith(targetDb)).findFirst().get(); log.info("preciseShardingValue={},shardingValue={}", preciseShardingValue, shardingValue); return shardingValue; }
強制分片
<!-- 強制路由分片策略--> <bean id="demoUserHintStrategy" class="shard.strategy.DemoUserHintStrategy"/> <!-- 強制路由例子使用--> <sharding:hint-strategy id="shardingDemoUserHintStrategy" algorithm-ref="demoUserHintStrategy"/> DemoUserHintStrategy 的Java 如下,強制分片要實現(xiàn)HintShardingAlgorithm接口。 /** * DemoUserHint強制路由分片策略,其實可以共用,只是例子 * @author yulonggao * @date 2019/1/31 14:35 */ @Slf4j public class DemoUserHintStrategy implements HintShardingAlgorithm { @Override public Collection<String> doSharding(Collection<String> availableTargetNames, ShardingValue shardingValue) { //availableTargetNames 這個參數(shù)是所有的dataSource的集合,shardingValue是HintManager傳過來的分片信息 log.info("DemoUserHintStrategy_availableTargetNames={}", availableTargetNames); log.info("DemoUserHintStrategy_shardingValue={}", shardingValue); ListShardingValue listShardingValue = (ListShardingValue) shardingValue; Collection shardingValueList = listShardingValue.getValues(); //因為調(diào)用的時候分片是直接傳的 DataSource的名稱,所以直接返回就可以了,如果傳其它值則要加業(yè)務邏輯進行分片篩選 //返回結(jié)果只能是availableTargetNames 里邊所包含的 return shardingValueList; } }
生成分部式ID的配置,生成主鍵的類要實現(xiàn)KeyGenerator接口。
<!—主鍵生成 --> <bean id="keyId" class="shard.key.DefaultKeyGenerator"/>
把下面這行代碼配置在spring里,shardingTransaction.xml 是jar包里邊帶的。
文件的源碼只有兩行配置:
<bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <property name="dataSource" ref="shardingDataSource"></property> </bean> <tx:annotation-driven transaction-manager="transactionManager"/> <!-- 事務支持--> <import resource="classpath:META-INF/shardingTransaction.xml"/>
使用注解配置事務要同時使用ShardingTransactionType和Transactional兩個注解。
/** * 注意:@ShardingTransactionType需要同Spring的@Transactional配套使用,事務才會生效。 * @param param * @return */ @ShardingTransactionType(TransactionType.XA) @Transactional(rollbackFor = Exception.class) @Override public int addParam(DemoParam param) { log.info("addParam-param={}", param); return demoParamDao.addParam(param); }
完全支持非跨庫事務,例如:僅分表或分庫但是路由的結(jié)果在單庫中。
完全支持因邏輯異常導致的跨庫事務。例如:同一事務中跨兩個庫更新,更新完畢后,拋出空指針,則兩個庫的內(nèi)容都能回滾。
支持數(shù)據(jù)庫字段約束造成的回滾。
不支持因網(wǎng)絡、硬件異常導致的跨庫事務。例如:同一事務中跨兩個庫更新,更新完畢后、未提交之前,第一個庫死機,則只有第二個庫數(shù)據(jù)提交。
關(guān)于order by 排序,如果排序的字段不在查詢結(jié)果中,生成的SQL也會被帶上,但結(jié)果不返回給你。
https://shardingsphere.apache.org/document/current/cn/manual/sharding-jdbc/usage/sharding/
作者:高玉瓏
來源: 宜信技術(shù)學院
免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。