一 简介
A库的一张1000W数据的表 同步到B库
终于搞好了 用的多数据源+线程池+mybatis二级缓存
思路:
比方说 100W数据量
每次查1W 这样 insert into … values … 1W每次 很快
100W需要查100次 则跑100次线程
设置线程池最多同时跑15个线程
15个线程 最多15W 加上线程开销 不会内存溢出
mybatis二级缓存主要用来避免多次求表总数
测试时间: 每条记录60+字段 100W跑了9分钟 1000W 大概一个半小时 等差的
如果用存储过程 40+分钟就好了。。。 也不存在内存溢出什么鬼。。。
只是存储过程有限制: 如果俩个库在同一台服务器可用, 否则不行。
二 思路
三 代码
TODO 待demo
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/17774.html