canal同步原理

canal同步原理
Canal是基于阿里巴巴开源的一款具有数据同步功能的中间件，是易展开源项
目分支，支持MySQL、MongoDB、Oracle和DB2数据库实现数据同步。

Canal是
一种由源端（如MySQL）和目标端（如Elasticsearch）之间的点对点的双向同步
框架，可以用来收集、过滤、实时同步数据，最终实现从MySQL数据库实时同步到Elasticsearch，以便用户更快地搜索和使用数据。

Canal实现数据同步的原理是：Canal首先通过过滤binlog日志，捕获MySQL
数据变更信息（DDL、DML等），然后通过JSON格式传输给客户端，客户端收
到Canal的数据变更信息，解析处理后，再将变更的数据更新至目标系统（Elasticsearch），实现数据的实时一致性同步。

Canal使用checkpoint机制来记录上一次的binlog的位置，每次启动和重启的
时候，Canal都会根据Checkpoint记录点继续同步binlog，实现无中断数据同步。

此外，Canal还提供了可靠性保障功能，就是重发机制。

在Canal传输过程中，如果由于网络原因传输失败，Canal就会重新传输而不会丢失数据，从而保证数据
的可靠性。

总之，Canal 通过捕获mysql binlog并将其解析, 并支持持久化及重发机制, 来
实现点对点的双向同步，可以实现MySQL和Elasticsearch之间的实时数据同步，
使用者可以更加便捷地进行搜索及使用数据。