同步千万级表数据(思路) TODO 代码待demo

导读:本篇文章讲解 同步千万级表数据(思路) TODO 代码待demo,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com

一 简介

A库的一张1000W数据的表 同步到B库  
终于搞好了   用的多数据源+线程池+mybatis二级缓存    

思路: 
  比方说  100W数据量  
  每次查1W   这样  insert into … values …  1W每次 很快 
  100W需要查100次  则跑100次线程  
  设置线程池最多同时跑15个线程
  15个线程  最多15W  加上线程开销  不会内存溢出
  
  mybatis二级缓存主要用来避免多次求表总数
  
  测试时间:  每条记录60+字段   100W跑了9分钟   1000W 大概一个半小时  等差的  
  
  如果用存储过程 40+分钟就好了。。。 也不存在内存溢出什么鬼。。。   
  只是存储过程有限制: 如果俩个库在同一台服务器可用,  否则不行。
  

二 思路

三 代码

TODO 待demo

同步千万级表数据(思路)  TODO 代码待demo

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/17774.html

(0)
小半的头像小半

相关推荐

极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!