一、场景描述
项目组在使用MyBatisPlus的批量插入方法saveBatch时速度缓慢,插入1w条数据,需要近1分钟的时间。
二、解决方案
解决方案很简单,在数据库配置的uri后面加上下面这个属性即可:
rewriteBatchedStatements=true
加上之后发现,1w条数据入库也就在几百毫秒左右。
那么这个参数究竟是干什么用的呢,查阅了一下资料,得到下面这个描述:
rewriteBatchedStatements 是 MySQL JDBC 驱动程序的一个参数,用于启用或禁用批量更新语句的优化。当该参数设置为 true 时,JDBC 驱动程序会将多个 SQL 语句封装成一条批量更新语句,从而提高更新操作的效率;而当该参数设置为 false 时,JDBC 驱动程序则会将多个 SQL 语句单独发送到数据库服务器,并逐一执行,这种方式比较耗费时间和资源。
相当于这个参数设置为true的时候,执行的sql是类似下面这种形式:
insert into t (…) values (…) , (…), (…)
所以,如果自己在xml中写批量插入语句也是可以解决这个问题,例如下面这个写法:
<insert id="insertUsers">
INSERT INTO user (user_id, user_name)
VALUES
<foreach collection ="userList" item="user" separator =",">
(#{user.userId}, #{user.userName})
</foreach>
</insert>
这样的话,每个xml中都需要写这一段,不用代码生成工具的话,不太友好,所以MyBatisPlus中有一个InsertBatchSomeColumn方法
三、拓展学习InsertBatchSomeColumn
这个InsertBatchSomeColumn方法可以给每个xml添加批量插入的方法,当然这个方法主要是为了,指定插入具体的列,而不是全部列,从而减轻数据库服务器的负担,提高数据插入效率。下面我们来配置下这个方法
1、首先拓展下MyBatisPlus自带的一个SQL注入器,加入InsertBatchSomeColumn方法
public class MySqlInjector extends DefaultSqlInjector {
@Override
public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
List<AbstractMethod> methodList = super.getMethodList(mapperClass);
methodList.add(new InsertBatchSomeColumn(i -> i.getFieldFill() != FieldFill.UPDATE));
return methodList;
}
}
2、然后配置下我们的SQL
@Configuration
public class MybatisPlusConfig {
@Bean
public MySqlInjector sqlInjector() {
return new MySqlInjector();
}
}
3、拓展BaseMapper加入insertBatchSomeColumn方法
public interface MyBaseMapper<T> extends BaseMapper<T> {
/**
* 批量插入 仅适用于mysql
*
* @param entityList 实体列表
* @return 影响行数
*/
Integer insertBatchSomeColumn(Collection<T> entityList);
}
4、最后调用一下试试
@Test
public void insertBatchSomeColumnTest() {
List<User> userList = new ArrayList<>();
for (int i = 0; i < 10000; i++) {
User user = new User();
user.setUserId("userId" + i);
user.setUserName("userName" + i);
userList.add(user);
}
long startTime = System.currentTimeMillis();
userMapper.insertBatchSomeColumn(userList);
long endTime = System.currentTimeMillis();
log.info("执行时间:" + (endTime - startTime) + "ms");
}
发现执行时间:824ms
具体执行的sql是什么样子的呢,我们可以在 InsertBatchSomeColumn 的方法 injectMappedStatement 里打上断点,删除数据,再执行一次看看
可以看到,sql正是我们想看到的,foreach循环
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/154480.html