🗒️Spring Boot 采用Sharding-JDBC 实现Mybatis的分库分表功能
2017-9-12
| 2023-7-13
0  |  0 分钟
type
status
date
slug
summary
tags
category
icon
password
标签

背景

在开发大数据量的应用时为了减少单表数据量经常会使用到分库分表功能，以前对分库分表功能都是自己在代码上单独对需要分库分表的实体进行特殊逻辑处理。此种开发方式非常繁琐且很容易出问题。 业内其实也有很多比较成熟的解决方案，如：Cobar、Cobar-client、TDDL、Sharding-JDBC等，这次就拿当当网开源的Sharding-JDBC来实现基于Mybatis的分库分表功能。

Sharding-JDBC简介

Sharding-JDBC是当当网的开源产品，他直接封装JDBC API，可以理解为增强版的JDBC驱动，旧代码迁移成本几乎为零：
  • 可适用于任何基于java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
  • 可基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid等。
  • 理论上可支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和PostgreSQL。
Sharding-JDBC定位为轻量级java框架，使用客户端直连数据库，以jar包形式提供服务，未使用中间层，无需额外部署，无其他依赖，DBA也无需改变原有的运维方式。采用"半理解"理念的SQL解析引擎，以达到性能与兼容性的最大平衡。
Sharding-JDBC功能灵活且全面：
  • 分片策略灵活，可支持=，BETWEEN，IN等多维度分片，也可支持多分片键共用。
  • SQL解析功能完善，支持聚合，分组，排序，Limit，TOP等查询，并且支持Binding Table以及笛卡尔积的表查询。
  • 支持柔性事务(目前仅最大努力送达型)。
  • 支持读写分离。
  • 支持分布式生成全局主键。
Sharding-JDBC配置多样：
  • 可支持YAML和Spring命名空间配置
  • 灵活多样的inline方式

Sharding-JDBC与其它分库分表产品对比

以下是常见的分库分表产品和Sharding-JDBC的对比：
功能
Cobar
Cobar-client
TDDL
Sharding-JDBC
分库
有
有
未开源
有
分表
无
无
未开源
有
中间层
是
否
否
否
ORM支持
任意
仅MyBatis
任意
任意
数据库支持
仅MySQL
任意
任意
任意
异构语言
可
仅Java
仅Java
仅Java
外部依赖
无
无
Diamond
无

引入依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="<http://maven.apache.org/POM/4.0.0>" xmlns:xsi="<http://www.w3.org/2001/XMLSchema-instance>"
	xsi:schemaLocation="<http://maven.apache.org/POM/4.0.0> <http://maven.apache.org/xsd/maven-4.0.0.xsd>">
	<modelVersion>4.0.0</modelVersion>

	<groupId>io.github.calfgz</groupId>
	<artifactId>sharding-demo</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>sharding-demo</name>
	<description>Demo project for Spring Boot Bybatis Sharding-jdbc</description>

	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>1.5.7.RELEASE</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
		<java.version>1.8</java.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-actuator</artifactId>
		</dependency>
		<dependency>
			<groupId>org.mybatis.spring.boot</groupId>
			<artifactId>mybatis-spring-boot-starter</artifactId>
			<version>1.3.1</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>


		<!-- aigorithm jdbc -->
		<dependency>
			<groupId>com.dangdang</groupId>
			<artifactId>sharding-jdbc-core</artifactId>
			<version>1.5.3</version>
		</dependency>
		<dependency>
			<groupId>com.dangdang</groupId>
			<artifactId>sharding-jdbc-config-yaml</artifactId>
			<version>1.5.3</version>
		</dependency>
		<!--
		<dependency>
			<groupId>com.dangdang</groupId>
			<artifactId>aigorithm-jdbc-self-id-generator</artifactId>
			<version>1.4.2</version>
		</dependency>
		-->

		<!-- mybatis -->
		<dependency>
			<groupId>org.mybatis.spring.boot</groupId>
			<artifactId>mybatis-spring-boot-starter</artifactId>
			<version>1.3.1</version>
		</dependency>
		<dependency>
			<groupId>tk.mybatis</groupId>
			<artifactId>mapper-spring-boot-starter</artifactId>
			<version>1.1.4</version>
		</dependency>
		<dependency>
			<groupId>com.github.pagehelper</groupId>
			<artifactId>pagehelper-spring-boot-starter</artifactId>
			<version>1.2.1</version>
		</dependency>

		<!-- druid -->
		<dependency>
			<groupId>com.alibaba</groupId>
			<artifactId>druid-spring-boot-starter</artifactId>
			<version>1.1.0</version>
		</dependency>
		<dependency>
			<groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
			<scope>runtime</scope>
		</dependency>

		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
			<optional>true</optional>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>


</project>

实现Sharding-JDBC的配置

配置sharding jdbc有三种方式，可以用java代码配置，YAML配置和Spring xml配置，这里使用YAML配置方式。
新建sharding.yml配置文件：
dataSource:
  ds_0: !!org.apache.commons.dbcp.BasicDataSource
    driverClassName: com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/ds_yaml_0
    username: root
    password:
  ds_1: !!org.apache.commons.dbcp.BasicDataSource
    driverClassName: com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/ds_yaml_1
    username: root
    password:

tables:
  sc_user:
    actualTables: sc_user_${0..5}
    tableStrategy:
      shardingColumns: id
      algorithmExpression: sc_user_${id.longValue() % 6}

bindingTables:
  - tableNames: sc_user

#默认数据库分片策略
defaultDatabaseStrategy:
  shardingColumns: id
  algorithmExpression: ds_0

props:
  sql.show: true
实现Sharding-JDBC的分库分表配置:
package io.github.calfgz.config;

import com.dangdang.ddframe.rdb.sharding.config.yaml.api.YamlShardingDataSource;
import org.apache.ibatis.session.SqlSessionFactory;
import org.mybatis.spring.SqlSessionFactoryBean;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.ClassPathResource;
import org.springframework.core.io.Resource;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;
import org.springframework.transaction.PlatformTransactionManager;

import javax.sql.DataSource;
import java.io.File;

/**
 * @author calf
 * @create 2017-09-15 10:10
 */
@Configuration
public class ShardingConfig {

    @Bean
    public DataSource dataSource() throws Exception {
        Resource resource = new ClassPathResource("sharding.yml");
        File file = resource.getFile();
        DataSource dataSource = new YamlShardingDataSource(file);
        return dataSource;
    }

    @Bean
    public SqlSessionFactory sqlSessionFactoryBean() throws Exception {
        SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();
        sqlSessionFactoryBean.setDataSource(dataSource());
        return sqlSessionFactoryBean.getObject();
    }

    @Bean
    public PlatformTransactionManager transactionManager() throws Exception {
        return new DataSourceTransactionManager(dataSource());
    }
}

具体实现

实体类：
@Data
@Table(name = "sc_user")
public class User implements Serializable{
    private static final long serialVersionUID = -6356423424942543731L;

    @Id
    long id;
    String name;
    int sex;
}
Mapper类:
public interface UserMapper extends MyMapper<User> {
}
Service类：
@Service
public class UserService extends BaseService<User> {
}
通用Service类：
public abstract class BaseService<T> {

    @Autowired
    protected Mapper<T> mapper;

    /**
     * 获取通用Mapper
     * @return
     */
    public Mapper<T> getMapper() {
        return mapper;
    }

    /**
     * 根据主键查询实体类
     * @param key
     * @return
     */
    public T selectByKey(Object key) {
        return mapper.selectByPrimaryKey(key);
    }

    /**
     * 新增实体类，不采用数据库默认值，所有字段写入数据库,包括null字段
     * @param entity
     * @return
     */
    public int save(T entity) {
        return mapper.insert(entity);
    }

    /**
     * 新增实体类，空字段不写入数据库，采用数据库默认值
     * @param entity
     * @return
     */
    public int saveSelective(T entity) {
        return mapper.insertSelective(entity);
    }

    /**
     * 根据主键删除实体类
     * @param key
     * @return
     */
    public int delete(Object key) {
        return mapper.deleteByPrimaryKey(key);
    }

    /**
     * 根据主键更新实体类，所有字段写入数据库,包括null字段
     * @param entity
     * @return
     */
    public int update(T entity) {
        return mapper.updateByPrimaryKey(entity);
    }

    /**
     * 根据主键更新实体类，只更新不为空的字段
     * @param entity
     * @return
     */
    public int updateSelective(T entity) {
        return mapper.updateByPrimaryKeySelective(entity);
    }

    /**
     * 根据examplt条件查找List
     * @param example
     * @return
     */
    public List<T> selectByExample(Object example) {
        return mapper.selectByExample(example);
    }

    /**
     * 查询所有列表
     * @return
     */
    public List<T> selectAll() {
        return mapper.selectAll();
    }

}
Controller类实现REST接口：
package io.github.calfgz.controller;

import io.github.calfgz.model.User;
import io.github.calfgz.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;

import java.util.List;

/**
 * @author calf
 * @create 2017-09-14 17:32
 */
@RestController
@RequestMapping("/users")
public class UserController {

    @Autowired
    UserService userService;

    @GetMapping
    public List<User> getList() {
        return userService.selectAll();
    }

    @GetMapping("/{id}")
    public User detail(@PathVariable(name = "id", required = true) long id) {
        return userService.selectByKey(id);
    }

    @PostMapping
    public long create(User user) {
        return userService.save(user);
    }

    @PutMapping("/{id}")
    public long update(@PathVariable(name = "id", required = true) long id, User user) {
        return userService.updateSelective(user);
    }
}
测试ok! done!!!
源码查看：github
相关文章 :
SpringBoot
  • SpringBoot
  • MyBatis
    • 如何在Linux安装RabbitMQ分布式消息队列[转]
    目录