将 MySQL 8.0 的数据实时同步到 Elasticsearch 7

Canal 是阿里巴巴开源的一个用于 MySQL 数据库增量订阅和消费的项目，用于将 MySQL 的增量数据实时传输到 Elasticsearch、HBase、HDFS 等各种数据存储系统中。Canal 的基本原理是模拟 MySQL Slave 的交互协议，伪装自己为 MySQL Slave，向 MySQL Master 发送 dump 协议，并解析 MySQL 的 binlog。

以下是将 MySQL 8.0 的数据实时同步到 Elasticsearch 7 的基本步骤：

安装和配置 MySQL：确保在 MySQL 中已经开启了 binlog 并且使用 row 模式，同时设置 server_id。这些可以在 MySQL 的配置文件(my.cnf)中设置：

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 row 模式
server_id=1 # 设置 MySQL replaction 的 server_id，不能和其他的 MySQL server_id 重复

安装 Canal Server：从 GitHub 上下载并解压 Canal 的最新版本，然后修改 conf/example/instance.properties 文件以配置 Canal，主要是指定数据库地址、用户名和密码。你可能需要修改以下参数：
```
canal.instance.master.address = 127.0.0.1:3306
canal.instance.dbUsername = canal
canal.instance.dbPassword = canal
canal.instance.connectionCharset = UTF-8
canal.instance.tsdb.enable = true
```
运行 Canal Server：在 Canal 的安装目录下，运行以下命令启动 Canal Server：
```
./bin/startup.sh
```

安装 Canal Adapter：同样从 GitHub 下载并解压 Canal Adapter 的最新版本。然后修改 conf/application.yml 文件以配置 Canal Adapter，主要是指定 Canal Server 的地址和端口，以及 Elasticsearch 的地址和端口。你可能需要修改以下参数：

canal.conf:
  canalServerHost: 127.0.0.1:11111
  srcDataSources:
    defaultDS:
      url: jdbc:mysql://127.0.0.1:3306/your-database?useUnicode=true
      username: canal
      password: canal
  canalAdapters:
    - instance: default # canal instance Name
      groups:
        - groupId: g1
          outerAdapters:
            - name: es
              hosts: 127.0.0.1:9300
              properties:
                mode: transport
                # security.auth: test:123456 #  only used for es security
                cluster.name: elasticsearch

运行 Canal Adapter：在 Canal Adapter 的安装目录下，运行以下命令启动 Canal Adapter：
```
./bin/startup.sh
```

通过以上步骤，你应该可以实现 MySQL 8.0 到 Elasticsearch 7 的数据实时同步了。需要注意的是，这只是基本的步骤，你可能还需要进行更多的配置以满足你的实际需求。例如，你可能需要配置数据过滤规则、映射

为了实时地将 MySQL 的数据同步到 Elasticsearch，你需要按照以下步骤操作：

准备环境：为了避免兼容性问题，需要确保你的系统中的 MySQL、Elasticsearch 和 Canal 的版本能够兼容。这里我们使用的版本是：MySQL 8.0，Elasticsearch 7.16.2，Canal 1.1.5，JDK 1.8.0【8†source】。
安装 Elasticsearch：根据你的需要下载 Elasticsearch 的版本，这里我们使用的是 7.16.2 版本。下载后将 elasticsearch-7.16.2-windows-x86_64.zip 解压到本地路径，然后进入 \elasticsearch-7.16.2\config 路径，修改 elasticsearch.yml 文件。设置 Elasticsearch 的账户密码，开启 Elasticsearch 服务并进行验证【9†source】【10†source】。
安装 Kibana：同样的，根据你的需要下载 Kibana 的版本，这里我们使用的是 7.16.2 版本。下载后将 kibana-7.16.2-windows-x86_64.zip 解压到本地目录，然后进入 \kibana-7.16.2\config 路径，修改 kibana.yml 文件。开启 Kibana 服务并进行验证【11†source】【12†source】。
安装 Canal：下载 Canal 版本 1.1.5，解压到本地目录。修改 canal.properties 和 example/instance.properties 的配置信息，启动 Canal【13†source】【14†source】。
安装 MySQL：下载并安装 MySQL，导入数据【15†source】。

然后你需要创建 MySQL 连接 Canal，这样你就可以通过 Canal 将 MySQL 的数据实时同步到 Elasticsearch 中了

遗憾的是，由于时间关系，我未能找到 Canal Adapter 的详细配置步骤。你可能需要在网上搜索一下如何配置 Canal Adapter 来将 MySQL 数据映射到 Elasticsearch 的索引上。

Canal 提供了表过滤功能，可以通过配置 canal.instance.filter.regex 选项来指定 Canal 应该同步哪些表的数据。如果你只想同步 card_dtl 这一个表，那么你可以将 canal.instance.filter.regex 配置为 .*\\..* 更改为你的数据库名与表名，如 your_database\\.card_dtl。下面是具体的步骤：