基于阿里云RDS的数据库架构实践

袋鼠云基于阿里云RDS的数据库架构实践

袋鼠云-数据库服务总监俊达

个人简介2009淘宝网业务DBA

2012支付宝MySQL运维体系建设

2013RDS运维

2016加入袋鼠云

1234余额宝项目轻松筹分布式改造金融云迁移总结

余额宝－项目背景资金规模

用户规模

收益分配

核心服务

性能优化

压测选型

业务改造线上护航

业务改造 业务流程优化

数据迁移

一键迁移工具，自动，高效

数据核对

确保每一笔数据精确无误

压测选型确定压测目标

实例规格

实例数量 系统容量

性能剖析和分析

资源消耗情况

SQL Profiler

优化

制定压测计划

选择对比组

明确观察指标

CPU 独享型RDS 内存I/O

预留

空间

CPU 独享型RDS 内存I/O

预留

空间

资源调度&隔离Host （硬件/OS/网络)

Host （硬件/OS/网络)

资源调度&隔离复用的CPU 和存储空间

内存I/O

通用型RDS 内存I/O

通用型RDS 内存I/O

通用型RDS 内存I/O

通用型RDS 独享型

独占CPU / 内存/ 存储

通用型

通用vs.独享

双11护航 业务梳理

系统健康检查

应急方案

现场支持

轻松筹-项目背景上亿用户

百万项目数

数亿支持数

数据分布的两种方式

主实例只读实例

只读实例只读实例

只读实例

读写分离

分片

分片分片水平拆分

分片

分片

分片

Proxy

Proxy

轻松筹数据库分布式改造

单节点限制

空间限制

性能限制（CPU，IO）

支持灵活扩容

8倍容量

更高性能分布式改造

轻松筹数据库分布式改造选择拆分键

选择拆分数量

存量数据迁移

多维度查询

分片分片分片分片分片分片分片分片

买家维度项目维度

复制

某金融客户业务迁移 行业合规－等保四级

数据安全性

MySQL节点

分布式存储

主节点备节点

主节点

备节点备节点

Raft

云数据库MySQL产品序列

单机基础版性价比 双机高可用版

业务连续

多副本金融版

金融级数据安全

云数据库MySQL金融版—历史限制

异步复制(一主一备/一主多备)

云数据库MySQL金融版—AliSQL内核改进

强同步复制(三节点/一主多备)

云数据库MySQL金融版—AliSQL内核改进

Raft分布式一致性协议

项目整体流程

调研评估迁移方案迁移实施联调割接

对象存储

OSS

云数据库

Redis

云数据库

MongoDB

云数据库

Memcache

云数据库

RDS

资源

访问控制

Web应用防火墙

安骑士

DDOS高防IP

先知计划

态势感知

移动安全

CDN

请求

阿里云VPC

安全防护

公网用户

公网SLB

云监控

WEB 服务集群

APP 服务集群

整体架构设计

①初始化RDS

杭州公共云数据库上海金融云数据库

②备份数据库。③全量迁移，全量导入数据。④增量迁移

⑤数据校验，业务验证

迁移工具全量迁移增量迁移

DTS

数据库迁移

总结

基础架构

硬件平台 基础运维 高可用架构 监控告警 安全业务架构

数据库选型 数据模型设计 数据迁移

容量预测

SQL调优