迁移方案设计思路和工具

第一部分迁移介绍
迁移上云简介迁移上云场景迁移通用流程迁移一般路径迁移上云收益
迁移上云简介
迁移
物品：家电、家具
货运工具：金杯／大车
搬家步骤：一车搬完／多次搬完
搬家公司
数据、文件、代码：迁移内容
DTS ／cos 迁移：迁移工具
全量迁移／平滑迁移：迁移步骤
迁移合作伙伴
搬家很简单，迁移并
不难
21
3
4
134
2
搬家
迁移上云场景
上云迁移
数据迁移解决方案帮助客户轻松从本地数据中心迁移到腾讯云数据库。

该解决方案可保证业务在不停机情况下完成迁移任务，最小程度影响业务的正常运行数据灾备迁移
在各类业务中，数据灾备一直
是被提及和重点考虑的问题。

数据迁移方案可有效解决这一
问题，不仅支持数据备份，更
可实现异地灾备。

跨地域部署迁移
对于业务分布比较广的客户，
如果只部署了一个区域实例的
数据库，对于另外区域的应用
需要通过远距离来访问该数据。

数据迁移可复制一份数据到多
点，实现就近访问
业务快速扩张
业务快速扩张，需要更多的IT
资源支持，但短时间内，无法
具备相应的资源和人才。

使用
混合云方式，将原有环境和云
环境相结合，进行统一管理，
适应业务的快速扩张。

迁移通用流程
业务架构评估
方案设计
测试验证
环境部署
迁移执行
上线切割
云上优化
1.系统架构
2.流量特点
3.数据特点
4.网络环境
服务分层耦合依赖
数据：UPV/TPS/QPS 周期特点峰值情况
数据体量读写频率
结构化、非结构化
服务发现策略安全组配置流控策略
防火墙配置等
1.资源评估
2.迁移方案设计
3.网络和时长
单例性能增量buff
停服方案流量切割方案回滚方案
1.POC 测试
2.性能压测
3.输出checklist
产品能满足需求
性能能达标
功能验证性能验证
1.联通测试
2.迁移演练
内网、外网安全策略
封板停服回滚流量切割
1.把握停服时长
2.业务验证
数据迁移文件迁移应用迁移大数据迁移
1.DNS 切换
2.数据库切换
长尾效应处理缓存
1.数据
2.需求
压测数据监控数据
用户痛点云上适配
评估迁移
专线/公网/VPN 专线带宽停机时长
准备
读写流量专线压力
3.全功能验证
优化
迁移一般路径
评估设计保留／不动
使用工具迁移
手动安装
系统改造
手动配置
手动部署
测试验证过度上线重构后上云
迁移上云收益
云上服务
成本控制
多IDC 部署
■多IDC 部署能力
异地部署异地灾备异地多活
■云上服务能力
弹性扩容安全稳定
高可用。

■成本节省能力
提高资源利用率降低运维成本
第二部分迁移方案设计
了解自身架构选择迁移方式确定迁移节奏确定迁移内容迁移工具选型
了解自身架构
用户访问
接入层服务层数据层
CLB
nginx
经典服务架构分层
业务逻辑
基础服务
中间件缓存
数据库
CVM
负载均衡大禹天御
云镜
CVM CPM弹性服务VPC块存储对象存储
CDN
CDN 应用接入
文件存储
对象存储
归档存储
大数据
OLTP类型OLAP类型内容管理型大数据类型企业类型
选择迁移方式
业务特性
数据体量吞吐
架构耦合依赖
考虑因素
迁移目标
方法论
逻辑先简单后复杂
业务先普通后核心尽量避免异构迁移数据层优先迁移保持同步
从上层到底层迁移
从底层到上层迁移
全量迁移
平滑迁移
停服时长可控迁移方案全面高效
一刀切完，不回滚
业务分批迁移迁移过程随时回滚灰度流量可监控
业务切换过程时间可控制
选择迁移方式
服务层
M
S 服务层
M
S
W R W R
业务层业务层优点：通用性强
过程简单流程清晰
对业务系统要求低缺点：
停服时长不好把控回滚问题多
系统规模小业务简单流量不大允许停服
机房B
机房A
一刀切，保证一次迁移完毕
全量迁移
选择迁移方式
专线
优点：
对业务影响小迁移过程灵活持续时间可能很长对业务系统要求很高缺点：
专线压力迁移顺序粒度把控
系统规模大
业务复杂流量大敏感不允许停服业务架构清晰
切换部分库的读写
低一致性读逻辑可以指向本机房
专线评估案例：
数据库实例峰值流量推算总流量:400MB 加上预留buff 专线带宽预估:~3Gbps
选用10Gbps 专线，成本: （当地运营商+ 距离）
上层业务同机房调用高一致性业务跨机房读写
服务层
M
S 服务层
M
S
W R
R
业务层业务层
机房B
机房A
W/R
平滑迁移
确定迁移节奏
存量数据迁移
停服
增量数据迁移
验证
恢复服务
存量数据迁移
增量数据迁移流量切换
流量切换验证
迁移完成
ToB 非核心业务
ToB 核心业务
ToC 非核心业务
ToC 核心业务
全量迁移
平滑迁移
迁移内容
环境配置
01
02
03
04
应用内容
文件
大数据
05
数据库
网络配置、安全组、负载均衡、防护配置
应用业务逻辑、配置管理、服务发现
对象存储、文件存储、归档存储
HDFS 、HBASE 等
Mysql 、MongoDB 、Redis 、中间件
应用迁移
模块间的服务发现
安全策略内外网调用配置管理
同步、异步
主机克隆应用程序容器
手动部署机房A
机房B
CLB
nginx
业务逻辑基础服务
应用接入
CLB
nginx
业务逻辑基础服务
应用接入
VPC
离线迁移
在线迁移
CDM
源
目标
寄出
寄回
本地文件
友商云
迁移工具
腾讯云
数据体量大（TB 、PB 、EB ）接受离线传输有一定时间周期
数据体量不大（<TB ）业务不接受停服迁移支持实时增量同步可能会产生公网流量费用
在线的迁移方式如果要不停机迁移
文件的迁移可通过配置回源（镜像和重定向）的方式实现
直接访问
镜像回源
重定向回源
①
已经迁移完部分，直接访问
②cos 下没有的小文件，发生回源，完成迁移和访问
③
cos 下没有的较大文件，
可以通过配置重定向的方式在源站访问
迁移完成之前可以采用以上策略迁移完毕，取消回源和重定向配置
COS
源站
迁移工具
目前腾讯云COS 的回源机制包含镜像和重定向两种
普通迁移：将本地HDFS 中的数据通过迁移工具（如Distcp 等）迁移至目标环境
12
计算存储分离迁移：将本地HDFS 中和实时计算关系不大的冷数据迁移至COS ，可以大大
降低存储的成本，适用于离线计算的场景
Hadoop
EMR
COS
HDFS 迁移工具
HDFS_TO_COS
目标
源
手动迁移
1.定点停机迁移
2.自研工具迁移
3.中间件迁移
DTS工具迁移
借助DTS迁移工具迁移，推荐的迁移方式
源目标
注意
网络
数据
业务
权限
源目标
DTS CDB 数据库
VPN
专线
公网
迁移工具
文件迁移工具
DTS
COS 本地上传
COS 在线迁移
HDFS_TO_COS
CDM _M30_
CDM _L80_
迁移合作伙伴
第三部分迁移案例分享全量迁移平滑迁移
迁移案例－全量迁移Server Logic service IOTServer 1.900G mongo 实例，(最长路径，执行前置)在线迁移存量数据同步时间约8小时
2.60GMysql 实例，导入时间约60分钟
3.流量切换有延时(DNS 生效情况)
4.安全方面:公网IP ，安全组策略
5.压力测试重点是发现一些隐患问题，而不是单纯追
求容量极限值
6.功能测试最好提前拿到全功能list nginx Mongo Mysql Redis
MQ 迁移方式迁移概况整个迁移过程历时:1个月停服时长: 4个小时
迁移场景
停服全量迁移
Mongo 实例: 900GB Mysql 实例: 60GB CVM 实例: 150台Mongo | Mysql | Redis DTS 代码| 环境| 配置手动部署对象存储cos_migrate_tool 迁移方案评估设计
单模块benchmark
测试环境搭建
性能测试，方案验证环境搭建部署环境联通测试迁移方案演练业务迁移
迁移完毕和扫尾设备用户
迁移案例－平滑迁移Logic service Nginx Mysql MC Redis
迁移方式迁移概况迁移场景
不停服迁移RDS : 40台数据库：120（库）EC2实例: 1200台网络流量：10000（GB ）S3 ：400TB EBS : 14TB ELB : 150（个）专线带宽：10Gbps 数据库流量：400MB 迁移难点
①业务逻辑强耦合
②MC 缓存有部分数据做持久逻辑用
③120个库，全量切换时间成本比较大④原AWS 是域名CNAME 解析，
腾讯云是基于IP 的A 记录DNS 解析
API 消息总线Logic service Nginx 用户MC Redis Mysql 商家API 消息总
线公网
DTS 专线80%20%①业务逻辑1：1部署
②切部分流量，灰度验证专线连接AWS 数据库
AWS 腾讯云③数据库部分写操作切换到腾讯云，走专线④数据库全量切换⑤应用流量全部切换
⑥流量验证，迁移完毕AWS ⑤120个库，全量切换时间成本比较大。