MyBatisPlus批量写入方法saveBatch速度很慢的解决方案

得意时要看淡,失意时要看开。不论得意失意,切莫大意;不论成功失败,切莫止步。志得意满时,需要的是淡然,给自己留一条退路;失意落魄时,需要的是泰然,给自己觅一条出路MyBatisPlus批量写入方法saveBatch速度很慢的解决方案,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com,来源:原文

一、场景描述

项目组在使用MyBatisPlus的批量插入方法saveBatch时速度缓慢,插入1w条数据,需要近1分钟的时间。

二、解决方案

解决方案很简单,在数据库配置的uri后面加上下面这个属性即可:

rewriteBatchedStatements=true

MyBatisPlus批量写入方法saveBatch速度很慢的解决方案

加上之后发现,1w条数据入库也就在几百毫秒左右。
那么这个参数究竟是干什么用的呢,查阅了一下资料,得到下面这个描述:

rewriteBatchedStatements 是 MySQL JDBC 驱动程序的一个参数,用于启用或禁用批量更新语句的优化。当该参数设置为 true 时,JDBC 驱动程序会将多个 SQL 语句封装成一条批量更新语句,从而提高更新操作的效率;而当该参数设置为 false 时,JDBC 驱动程序则会将多个 SQL 语句单独发送到数据库服务器,并逐一执行,这种方式比较耗费时间和资源。

相当于这个参数设置为true的时候,执行的sql是类似下面这种形式:

insert into t (…) values (…) , (…), (…)

所以,如果自己在xml中写批量插入语句也是可以解决这个问题,例如下面这个写法:

<insert id="insertUsers">
  INSERT INTO user (user_id, user_name)
  VALUES
  <foreach collection ="userList" item="user" separator =",">
    (#{user.userId}, #{user.userName})
  </foreach>
</insert>

这样的话,每个xml中都需要写这一段,不用代码生成工具的话,不太友好,所以MyBatisPlus中有一个InsertBatchSomeColumn方法

三、拓展学习InsertBatchSomeColumn

这个InsertBatchSomeColumn方法可以给每个xml添加批量插入的方法,当然这个方法主要是为了,指定插入具体的列,而不是全部列,从而减轻数据库服务器的负担,提高数据插入效率。下面我们来配置下这个方法
1、首先拓展下MyBatisPlus自带的一个SQL注入器,加入InsertBatchSomeColumn方法

public class MySqlInjector extends DefaultSqlInjector {

    @Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
        List<AbstractMethod> methodList = super.getMethodList(mapperClass);
        methodList.add(new InsertBatchSomeColumn(i -> i.getFieldFill() != FieldFill.UPDATE));
        return methodList;
    }
}

2、然后配置下我们的SQL

@Configuration
public class MybatisPlusConfig {
    @Bean
    public MySqlInjector sqlInjector() {
        return new MySqlInjector();
    }
}

3、拓展BaseMapper加入insertBatchSomeColumn方法

public interface MyBaseMapper<T> extends BaseMapper<T> {
    /**
     * 批量插入 仅适用于mysql
     *
     * @param entityList 实体列表
     * @return 影响行数
     */
    Integer insertBatchSomeColumn(Collection<T> entityList);
}

4、最后调用一下试试

@Test
public void insertBatchSomeColumnTest() {
    List<User> userList = new ArrayList<>();
    for (int i = 0; i < 10000; i++) {
        User user = new User();
        user.setUserId("userId" + i);
        user.setUserName("userName" + i);
        userList.add(user);
    }
    long startTime = System.currentTimeMillis();
    userMapper.insertBatchSomeColumn(userList);
    long endTime = System.currentTimeMillis();
    log.info("执行时间:" + (endTime - startTime) + "ms");
}

发现执行时间:824ms
具体执行的sql是什么样子的呢,我们可以在 InsertBatchSomeColumn 的方法 injectMappedStatement 里打上断点,删除数据,再执行一次看看
MyBatisPlus批量写入方法saveBatch速度很慢的解决方案

可以看到,sql正是我们想看到的,foreach循环

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/154480.html

(0)
飞熊的头像飞熊bm

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!