2019年传统企业数据库上云实践研究大数据报告PPT(完整版)图文

半同步通道
1
异步通道
2
半同步通道
异步通道
半同步通道
3
异步通道
双通道复制——数据一致性判断
网络故障区，放弃同步
备库数据一致
当主库宕机时，备库 具有确定性状态即：
网络故障区，放弃同步 网络故障区，放弃同步
主库宕机点
时间
备库数据不一致 可补偿到一致
主库宕机点
时间
备库数据不一致 无法补偿
主库宕机点
时间
备库数据一致，放心切换
NoSQL数据库
NoSQL Database Service
Redis MongoDB HBase Memcache
混合分析数据库
HTAP Database
搜索与时序数据库
Search and time-series Database
HybridDB for MySQL HybridDB for PostgreSQL
数据加密
金融版
SQL审计 秒级高频监控
MySQL金融版
Client
读/写
读写分离
写(Write)
4/7层代理
读(Read)
master
主节点
Raft
备节点
备节点
内置读写分离
slave
slave
只读
只读
只读
MySQL金融版——产品特征
数据强一致
* 节点故障 * 机房故障
完全兼容MySQL
*表 * 数据类型 * 函数/存储过程 * sql_mode * ……
OpenSearch Elasticsearch HiTSDB
数据库服务与工具
Data Backup and Migration
DTS DMS HDM
版本不同，普惠相同
从初创企业到金融巨擘的共同认可
基础版
与云服务器一样的成本
IaaS的价格，PaaS的服务
高可用版
多项企业级功能，包括
读写分离 实时升降配置
无成本迁移
* 免费热迁移（DTS）
MySQL金融版——产品规格
4核 16G 60核 470G 3T
…
规格 与 性能
MySQL金融版——同城多机房容灾
Client
代理
Failover
Client
代理
切换过程，对上层无感知：
➢ 新连接直接到备节点 ➢ 空闲的老连接，自动切换到备节点； ➢ 事务中或运行中的老连接，等待10s
AliSQL改进：双通道数据复制
主备间有两条数据复制通道： 1. 半同步复制通道——只接收最新的binlog，不回放。网络故障就放弃接收，恢复后不追数据，接收最新的binlog 2. 异步复制通道——正常按异步复制逻辑拖取和回放binlog，保持备库数据再现
当主库宕机时，双通道模式可以确定性得知，备库的数据是否跟主库一致
网关/代理（四层/七层）
网关/代理（四层/七层）
备节点
机房A
主节点
机房B备节点机ຫໍສະໝຸດ CRaft协议，日志同 步
主：上海（三机房）
Binlog同步
DTS
DRC
备节点
主节点
机房A
MQ
灾备：北京（单机房）
金融级可靠性原理揭秘
•数据复制的演进——双通道binlog复制 •拜占庭将军问题与Raft一致性算法 •Raft in MySQL负责选主、控制复制关系 •Flashback确保数据强一致 •………..
异步复制 陷。
除了延迟导致的日志丢失，当Master意外故障时，没有来得及复制到备库的日
(一主一备/一主多备)
志是不会在新Master执行。但老Master恢复后，会对PendingBinlog执行
Engine Commit。导致新老Master数据不一致。
MySQL原生半同步复制的问题
网络故障时，半同步会降级成异步（可以设降级的延迟时间） 网络恢复后，从节点异步复制追数据，直到追平后，提升成半同步复制 因此，当主节点宕机时，无法判断从库当前是异步状态，还是半同步状态，不知道从库数据是 否追平。 即：半同步状态下，也不能确定备库的数据是不是最新的。
飞天技术汇
2019传统企业数据库上云实践
传统行业应用架构的变迁
——互联网分布式应用对数据库挑战
传统企业应用
可控发布，保守运维 Spring/Struts/SOA
J2EE/.NET WebLogic/WAS/MQ Oracle/DB2集中数据库
小机，X86，存储
开发运维 应用框架 发布封装
中间件 数据 资源
互联网+分布式应用
DevOps/持续集成 微服务架构 容器
Swarm/K8S/Mesos MySQL/Redis/HBase 公有云/私有云/混合云
敏捷性
微服务
分布式
容器化
低成本
分布式
传统行业的互联网创新需要什么样的数据库？
●自主可控：基于开放架构，基于开源的优化 ●高可用：跨机房容灾，满足金融级业务系统全天候对外提供稳定可靠的客户服务 ●高性能：互联网+金融的创新业务所需的流量弹性 ●支持云：私有云和公有云互通一致的体感，降低使用和运维难度 ●易运维：大体量自动化、运维体系合规化要求（基线、环境适配、管理体系等） ●数据安全： 审计&数据强一致性&多中心容灾部署 ●成本优化：IT总体拥有成本必须下降
后切换到备节点，超时Kill。
备节点
机房A
主节点
机房B
机房间的延迟带来的性能损耗不到5%
备节点
机房C
三机房部署
➢ 分布式高频探测
新主库
机房A
➢ 网络/硬件/OS/数据库 多重监控
➢ 智能决策系统
➢ 数据一致性保护
主节点
机房B
备节点
机房C
灾备切换
MySQL金融版——两地多中心
用户流量

阿里云数据库
——开放，多机房容灾，强一致性，助力科技创新
如今，阿里云数据库产品已聚木成林
ApsaraDB Product Catalog
关系型数据库
Relational Database Service
MySQL SQL Server PostgreSQL PPAS(高度兼容Oracle) POLARDB
备库数据不一致，根据不同SLA 做出动作，即RTO优先时，可以 切换；RPO优先时，需人工做数 据恢复
2.拜占庭将军问题与分布式一致性算法
Raft分布式一致性算法
——简化的Paxos算法，解决拜占庭将军问题
Raft Visualization
1. 数据复制技术的演进
MySQL原生异步复制的问题 永远不知道备库的数据是不是最新
MySQL的日志复制是异步的，也就是说主备库客观上存在延迟。虽然
IO_Thread传输日志的延迟（大部分所说的延迟都是指SQL_Thread Apply的
延迟）小到几乎可以忽略不计，但对数据安全性要求极高的场景下却存在天然缺