DBSyncer是一款开源的数据同步中间件,提供MySQL
、Oracle
、SqlServer
、PostgreSQL
、Elasticsearch(ES)
、Kafka
、File
、SQL
等同步场景。
支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。
特点
-
组合驱动,自定义库同步到库组合,关系型数据库与非关系型之间组合,任意搭配表同步映射关系
-
实时监控,驱动全量或增量实时同步运行状态、结果、同步日志和系统日志
-
开发插件,自定义转化同步逻辑
设计
架构图

应用场景

使用教程
1.启动 代理 和 数据库 服务

2.准备测试账号,test

3.分配sysadmin角色

4.分配指定数据库权限

PostgreSQL
通过复制流技术监听增量事件,基于内置插件pgoutput
、test_decoding
实现解析wal日志
1、修改postgresql.conf
文件,重启服务
wal_level=logical
2、授予账号权限LOGIN
和REPLICATION
File
监听文件修改时间得到变化文件,通过文件偏移量读取最新数据
https://gitee.com/ghi/dbsyncer/issues/I55EP5
ES
-
定时获取增量数据。 -
账号具有访问权限。
日志
建议MySQL、SqlServer、PostgreSQL都使用日志

定时
假设源表数据格式


预览
驱动管理

驱动详情

驱动表字段关系配置

监控

上传插件

开源地址
https://gitee.com/ghi/dbsyncer
构建高质量的技术交流社群,欢迎从事编程开发、技术招聘HR进群,也欢迎大家分享自己公司的内推信息,相互帮助,一起进步!
文明发言,以
交流技术
、职位内推
、行业探讨
为主
广告人士勿入,切勿轻信私聊,防止被骗

原文始发于微信公众号(Java笔记虾):星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/142928.html