Go Mysql Transfer
| Project Name | Stars | Downloads | Repos Using This | Packages Using This | Most Recent Commit | Total Releases | Latest Release | Open Issues | License | Language |
|---|---|---|---|---|---|---|---|---|---|---|
| Javaguide | 139,083 | 2 days ago | 54 | apache-2.0 | Java | |||||
| 「Java学习+面试指南」一份涵盖大部分 Java 程序员所需要掌握的核心知识。准备 Java 面试，首选 JavaGuide！ | ||||||||||
| Mall | 72,048 | a day ago | 40 | apache-2.0 | Java | |||||
| mall项目是一套电商系统，包括前台商城系统及后台管理系统，基于SpringBoot+MyBatis实现，采用Docker容器化部署。 前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。 后台管理系统包含商品管理、订单管理、会员管理、促销管理、运营管理、内容管理、统计报表、财务管理、权限管理、设置等模块。 | ||||||||||
| Architect Awesome | 57,200 | a year ago | 62 | |||||||
| 后端架构师技术图谱 | ||||||||||
| Interview_internal_reference | 34,839 | 7 months ago | 30 | Python | ||||||
| 2023年最新总结，阿里，腾讯，百度，美团，头条等技术面试题目，以及答案，专家出题人分析汇总。 | ||||||||||
| Javafamily | 34,620 | a month ago | 1 | |||||||
| 【Java面试+Java学习指南】 一份涵盖大部分Java程序员所需要掌握的核心知识。 | ||||||||||
| Miaosha | 25,528 | a year ago | 1 | November 10, 2021 | 1 | Java | ||||
| ⭐⭐⭐⭐秒杀系统设计与实现.互联网工程师进阶与分析🙋🐓 | ||||||||||
| Ruoyi Vue Pro | 20,917 |  | 2 | 2 days ago | 4 | August 11, 2022 | 10 | mit | Java | |
| 🔥 官方推荐 🔥 RuoYi-Vue 全新 Pro 版本，优化重构所有功能。基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 微信小程序，支持 RBAC 动态权限、数据权限、SaaS 多租户、Flowable 工作流、三方登录、支付、短信、商城等功能。你的 ⭐️ Star ⭐️，是作者生发的动力！ | ||||||||||
| Yudao Cloud | 14,394 | 2 days ago | 7 | mit | Java | |||||
| ruoyi-vue-pro 全新 Cloud 版本，优化重构所有功能。基于 Spring Cloud Alibaba + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能。你的 ⭐️ Star ⭐️，是作者生发的动力！ | ||||||||||
| Flink Learning | 13,801 | 3 months ago | 8 | apache-2.0 | Java | |||||
| flink learning blog. http://www.54tianzhisheng.cn/ 含 Flink 入门、概念、原理、实战、性能调优、源码解析等内容。涉及 Flink Connector、Metrics、Library、DataStream API、Table API & SQL 等内容的学习案例，还有 Flink 落地应用的大型项目案例（PVUV、日志存储、百亿数据实时去重、监控告警）分享。欢迎大家支持我的专栏《大数据实时计算引擎 Flink 实战与性能优化》 | ||||||||||
| Mall Learning | 12,417 | 22 days ago | 27 | apache-2.0 | Java | |||||
| mall学习教程，架构、业务、技术要点全方位解析。mall项目（50k+star）是一套电商系统，使用现阶段主流技术实现。涵盖了SpringBoot 2.3.0、MyBatis 3.4.6、Elasticsearch 7.6.2、RabbitMQ 3.7.15、Redis 5.0、MongoDB 4.2.5、Mysql5.7等技术，采用Docker容器化部署。 | ||||||||||
简介
go-mysql-transfer是一款MySQL数据库实时增量同步工具。
能够监听MySQL二进制日志(Binlog)的变动，将变更内容形成指定格式的消息，实时发送到接收端。从而在数据库和接收端之间形成一个高性能、低延迟的增量数据同步更新管道。
特性
1、简单，不依赖其它组件，一键部署
2、集成多种接收端，如：Redis、MongoDB、Elasticsearch、RocketMQ、Kafka、RabbitMQ、HTTP API等，无需编写客户端，开箱即用
3、内置丰富的数据解析、消息生成规则、模板语法
4、支持Lua脚本扩展，可处理复杂逻辑
5、集成Prometheus客户端，支持监控告警
6、集成Web Admin监控页面
7、支持高可用集群部署
8、数据同步失败重试
9、支持全量数据初始化
原理
1、将自己伪装为MySQL的Slave监听binlog，获取binlog的变更数据
2、根据规则或者lua脚本解析数据，生成指定格式的消息
3、将生成的消息批量发送给接收端
与同类工具比较
| 特色 | Canal | mysql_stream | go-mysql-transfer |
|---|---|---|---|
| 开发语言 | Java | Python | Golang |
| 高可用 | 支持 | 支持 | 支持 |
| 接收端 | 编码定制 | Kafka等(MQ) | Redis、MongoDB、Elasticsearch、RabbitMQ、Kafka、RocketMQ、HTTP API 后续支持更多 |
| 全量数据初始化 | 不支持 | 支持 | 支持 |
| 数据格式 | 编码定制 | Json（固定格式） | Json（规则配置) 模板语法 Lua脚本 |
安装包
二进制安装包
直接下载安装包: 点击下载
源码编译
1、依赖Golang 1.14 及以上版本
2、设置' GO111MODULE=on '
3、拉取源码 ' git clone https://github.com/wj596/go-mysql-transfer.git '
4、进入目录，执行 ' go build '编译
全量数据初始化
go-mysql-transfer -stock
运行
开启MySQL的binlog
#Linux在my.cnf文件
#Windows在my.ini文件
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 go-mysql-transfer 的 slave_id 重复
命令行运行
1、修改app.yml
2、Windows直接运行 go-mysql-transfer.exe
3、Linux执行 nohup go-mysql-transfer &
gitee
如果您的github访问不稳定，可以在码云(gitee)上star项目：go-mysql-transfer 码云(gitee)
使用说明
- 高可用集群
- 同步数据到Redis
- 同步数据到MongoDB
- 同步数据到RocketMQ
- 同步数据到Kafka
- 同步数据到RabbitMQ
- 同步数据到Elasticsearch
- 全量数据导入
- Lua脚本
- 监控
- 性能测试
- 常见问题
感谢
更新日志
v1.0.0 bate
- 9.17 初始化提交bate版本
v1.0.1 release
- 9.22 release
v1.0.2 release
- 添加dbOps（数据库操作）、httpOps（http操作）两个Lua模块
- 修复enum类型字段出现的乱码问题
- redis接收端增加Sorted Set数据类型支持
- 修复了近来反馈的bug
v1.0.3 release
- 添加了Web Admin监控界面
- 改进了全量数据同步的速度
- 重构了失败重试机制
- 功能优化，如：针对MongoDB添加UPSERT操作、针对消息队列添加了update原始数据保留，等等
v1.0.4 release
- 修复了 -position 命令，binlog 名称验证问题
