星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

DBSyncer是一款开源的数据同步中间件,提供MySQLOracleSqlServerPostgreSQLElasticsearch(ES)KafkaFileSQL等同步场景。

支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

特点

  • 组合驱动,自定义库同步到库组合,关系型数据库与非关系型之间组合,任意搭配表同步映射关系

  • 实时监控,驱动全量或增量实时同步运行状态、结果、同步日志和系统日志

  • 开发插件,自定义转化同步逻辑

设计

架构

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

应用场景

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

使用教程

1.启动 代理 和 数据库 服务

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

2.准备测试账号,test

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

3.分配sysadmin角色

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

4.分配指定数据库权限

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

PostgreSQL

通过复制流技术监听增量事件,基于内置插件pgoutputtest_decoding实现解析wal日志

1、修改postgresql.conf文件,重启服务

wal_level=logical

2、授予账号权限LOGINREPLICATION

File

监听文件修改时间得到变化文件,通过文件偏移量读取最新数据

  • https://gitee.com/ghi/dbsyncer/issues/I55EP5

ES

  • 定时获取增量数据。
  • 账号具有访问权限。

日志

建议MySQL、SqlServer、PostgreSQL都使用日志

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

定时

假设源表数据格式

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!
星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

预览

驱动管理

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

驱动详情

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

驱动表字段关系配置

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

监控

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

上传插件

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

开源地址

  • https://gitee.com/ghi/dbsyncer
后端专属技术群

构建高质量的技术交流社群,欢迎从事编程开发、技术招聘HR进群,也欢迎大家分享自己公司的内推信息,相互帮助,一起进步!

文明发言,以交流技术职位内推行业探讨为主

广告人士勿入,切勿轻信私聊,防止被骗

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!
加我好友,拉你进群  

原文始发于微信公众号(Java笔记虾):星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/142928.html

(0)
小半的头像小半

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!