TDSQL异构数据同步与迁移方案

难点
⚫
设计原则
⚫
一致性保障—消费者自动化冲突检测与恢复
14
基于r o w 格式binlog 日志的幂 等 重放机制
⚫
一致性保障—消费者自动化冲突检测与恢复
15
基于r o w 格式binlog 日志的幂 等 重放机制
⚫
一致性保障—跨城数据同步数回环检测
16
基于r o w 格式binlog 日志的幂 等 重放机制
⚫
应用案例-保单信息实时数据汇总
28
支持表粒度同步实现数据汇总
⚫
高性能，低延迟
⚫
应用案例-报表系统异构数据实时同步
29
数据类型自动转换映射
⚫
D D L 语法自动转换同步
⚫
完善的运维及监控
⚫
强大的自动容错机制
⚫
应用案例-核心交易系统异构数据库实时备份
30
完善的数据一致性校验
⚫
高性能数据同步
⚫
第四章：总结
22
同步任务多机漂移与互斥
高性能优化—并发控制
垂直扩容及目标实例扩容
⚫
23
源分布式实例水平扩容
第三章：应用场景、案例及最佳实践
实现业务验证
25
新老系统并行跑验证数据正确性
⚫
实现业务灰度
26
将数据实时备份到另外的T D S Q L 或Oracle中作为应急预案
⚫
实现业务割接
27
将非分布式实例或O racle实时同 步到分布式实例中实现分布式 改 造及灰度割接
总结
高一致
⚫ ⚫ ⚫ ⚫
高性能
⚫ ⚫ ⚫
高可用
⚫ ⚫
THANKS
⚫
多源同步- M U L T I S R C S Y N C
多源同步- M U L T I S R C S Y N C
07
基于数据同步的跨城双活架构
第一章：特性、难点及解决方案
多源同步- M U L T I S R C S Y N C
09
高性能
⚫ ⚫ ⚫
难点与挑战
一致性
⚫ ⚫ ⚫ ⚫
服务高可用
T D S Q L 异构数据同步与迁移方案
第一章 异构迁移的背景及架构简介 第二章 特性、难点及解决方案 第三章 不同场景的最佳实践 第四章 总结
第一章：异构迁移的背景及架构简介
数据同步与迁移 – 背景
03
数据汇总
⚫
数据同步与迁移 – 背景
04
跨城容灾
⚫
数据同步与迁移 – 背景
百度文库
05
异构分发与迁移
⚫ ⚫
一致性保障—生产者消息连续性异常检测
10
GTID连续性与消息自增ID连续性检测
一致性保障—生产者异常自动切换机制
11
切换触发条件
⚫ ⚫
切换流程—冷备节点切换
一致性保障—生产者异常自动切换机制
12
切换流程—日志补偿切换
一致性保障—消费者自动化冲突检测与恢复
13
实现动机
⚫
⚫
基于r o w 格式binlog日志的幂等重放机制
⚫
一致性保障—跨城数据同步数回环检测
高性能优化—有序消息的并发重放
18
基于r o w 格式binlog日志的hash并发策略
高性能优化—有序消息的并发解析
高性能优化—并发控制
20
多唯一约束条件下的并发控制
⚫ ⚫ ⚫
高性能优化—并发控制
21
多唯一约束条件下的并发控制
消费者高可用保障—多机容灾保护