HDS大数据迁移解决方案设计

HDS数据迁移解决方案

1.数据迁移概述

数据迁移是企业IT建设经常面对的工作。在开发环境向运行环

境转换、低版本数据库向高版本数据库转换、两个不同数据库之间进行转换以至系统硬件升级时，数据均可能需要被转移并使之迁移后正常运行。

基于存储的数据迁移是一次性的将数据从一个存储转移到另一

个存储系统上，它包括对新存储的启用和数据可用性的保证。在一些情况下，基于存储的数据迁移是进行数据大集中的手段，非常适合大规模数据迁移需求。

基于存储的数据迁移又可分为同构存储迁移和异构存储迁移两

大类。目前基于同构存储的迁移是指在同厂家同型号产品之间数据迁移，需要配置支持基于磁盘阵列内（间）的数据复制软件，在HDS同系列存储环境下，经常性的数据迁移可利用存储产品中的迁移复制（Volume M igration，ShadowImage）及存储间的复制TrueCopy功能简化数据迁移工作；对EMC而言是配置SRDF-DM或TIMEFINDER等。

异构存储间数据迁移需要虚拟化技术支持，HDS虚拟化技术非常成熟，在虚拟化基础上将原来不能完成数据复制的存储设备整合在一起，形成统一存储池，这时物理上在两个磁盘的数据卷之间的迁移，

在逻辑上来讲是在整合虚拟后的同一个磁盘阵列内卷迁移，大大简化了数据迁移的复杂性。许许多多国内外客户都通过这种数据迁移方式

实现了在线数据迁移。

2.数据迁移的难题

当今数据迁移的主要难题是进行一次成功的数据迁移时间要求

越来越短。然而应用在存储方面的需求不断增加，存储的升级和更替更加频繁；同时，用户的应用趋向于全年不停顿运行、对系统的可靠性、可用性要求不断提高，维护时间窗口的不断减少等因素，使得进行一次平滑的成功数据迁移越来越具挑战。

在进行数据迁移项目计划时，一些因素是必须考虑的。

2.1数据的保护

数据的保护是最重要的，在数据迁移中数据的安全必须得到完全的保护。任何一个更换过个人计算机中的硬盘的人，都对因为在更换过程中对某些细节的忽视造成的数据丢失有预期和经验。当在企业级数据迁移中，数据备份、实施步骤的回退计划是保证数据在迁移后的可用性的必需准备。

2.2在线或离线迁移

如果应用可以暂停，则迁移过程可以更快捷；但是当今大多数系统有着严格的可用性要求。当数据迁移在生产环境中进行时，不仅要密切监控数据迁移的过程，而且要将迁移对生产系统的影响降到最

低。

2.3维护时间窗口

通常迁移工作只能在预先确定的维护时间窗口中进行。通常时间

窗口是在夜间或周末生产活动最少的时候。这些严格的时间窗口的存在使得迁移项目可能表现出不规则间断的情况：紧张的迁移在时间窗口中进行，然后在时间窗口关闭时停止，业务继续运行；迁移工作只

有在时间窗口再次打开后才可以继续进行。从而使得迁移工作分散成数成不连续的多个阶段性工作。

2.4迁移技术

在开放系统环境中，没有一个完美的数据迁移技术。每个迁移技术均有优势和劣势。针对每个特定的业务环境，应该根据不同技术的特点进行仔细甄别选择。直接费用（人力、硬件和软件等）因素应该和间接因素（应用停止和生产系统性能影响等）结合起来作为选择迁移技术的判据。有些需要更大的维护时间窗口，而有些对生产系统的性能会有较大影响。这些都会成为选择相应存储技术的考虑因素。2.5计划和应用停顿的容忍程度

数据迁移会对生产系统有着或多或少的影响，当分析完应用可用性要求，完成维护时间窗口的选择后，可供选择的技术就相对比较固定。

2.6测试需求

根据应用的情况，特定时间的迁移前测试和迁移后测试是必须的。因为没有一个普遍适用的测试计划，所以针对每个特定的环境都需要做出详细的有针对性的测试计划。测试的时间跨度也与应用情况相关，时间长短也是根据应用的需求决定。

2.7数据迁移的时间跨度

总的来说，决定数据迁移时间跨度的最主要因素是用户对迁移对

原应用的影响的容忍程度。而时间跨度与应用可用性之间密切相关。

通常，在费用和可以接受的应用可用性之间有着一定的关系。越高要求的应用可用性意味着越多的费用，从而也就制约了时间跨度。经验表明，在没有详细彻底的评估环境和项目目标的情况下，进行迁移时间的预测是很困难的。一般来说，需要经过评估，分析，计划和实施

等几个步骤。

2.8整个环境的复杂性

在数据迁移过程中涉及到各种应用和数据之间的关系，越复杂的应用环境，则相应的计划和实施就越复杂。

3.数据迁移技术的选择

客户的原系统应用系统架构中包括了HP、IBM等多种主机平台，存储为HDS9970V，将来可扩展个多种存储平台，在进行初步分析的

基础上，针对未来主机操作系统改变与否，我们认为未来系统的选择可以分为两大类：同构环境和异构环境。

3.1同构环境的数据迁移技术

针对与现有系统同构，我们认为至少可以有以下一些技术手段可以选择：

基于磁盘阵列远程数据复制技术的数据迁移。

基于主机操作系统逻辑卷镜像技术的数据迁移。

基于数据库备份和恢复技术的数据迁移。

基于三方工具的数据迁移。

基于存储虚拟化技术的数据迁移

3.2异构环境的数据迁移技术

针对异构计算环境，一般推荐可以使用以下几种方法之一，具体方法的选择还需进一步详细了解现有系统运行环境：

基于主机操作系统逻辑卷镜像技术的数据迁移。

基于数据库备份和恢复技术的数据迁移。

基于三方工具的数据迁移。

基于存储虚拟化技术的数据迁移

3.3可选的数据迁移技术

对于业务数据的迁移，目前主要采用如下五种方法：

基于磁盘阵列远程数据复制技术的数据迁移。

基于主机操作系统逻辑卷镜像技术的数据迁移。

基于数据库备份和恢复技术的数据迁移。

基于第三方工具的数据迁移。

基于存储虚拟化技术的数据迁移

最后的迁移方案应该是上述方案的结合，我们会在上述方法结合过程中找到最佳数据迁移方案。

3.3.1基于主机操作系统逻辑卷镜像技术的数据迁移

此种数据迁移方法，主要利用业务主机操作系统内置的逻辑卷管

理系统的逻辑卷镜像（LV Mirror）技术，对于业务系统所使用的每