数据迁移

第六章数据迁移

数据迁移是数据系统整合中保证系统平滑升级和更新的关键部分。在信息化建设过程中，随着技术的发展，原有的信息系统不断被功能更强大的新系统所取代。从两层结构到三层结构，从Client/Server 到Browser/Server。在新旧系统的切换过程中，必然要面临一个数据迁移的问题。

6.1 数据迁移的概念

原有的旧系统从启用到被新系统取代，在其使用期间往往积累了大量珍贵的历史数据，其中许多历史数据都是新系统顺利启用所必须的。另外，这些历史数据也是进行决策分析的重要依据。数据迁移，就是将这些历史数据进行清洗、转换，并装载到新系统中的过程。数据迁移主要适用于一套旧系统切换到另一套新系统，或多套旧系统切换到同一套新系统时，需要将旧系统中的历史数据转换到新系统中的情况。银行、电信、税务、工商、保险以及销售等领域发生系统切换时，一般都需要进行数据迁移。对于多对一的情况，例如由于信息化建设的先后，造成有多个不同的系统同时运行，但相互间不能做到有效信息共享，所以就需要一套新系统包容几套旧系统的问题。

数据迁移对系统切换乃至新系统的运行有着十分重要的意义。数据迁移的质量不光是新系统成功上线的重要前提，同时也是新系统今后稳定运行的有力保障。如果数据迁移失败，新系统将不能正常启用；如果数据迁移的质量较差，没能屏蔽全部的垃圾数据，对新系统将会造成很大的隐患，新系统一旦访问这些垃圾数据，可能会由这些垃圾数据产生新的错误数据，严重时还会导致系统异常。

相反，成功的数据迁移可以有效地保障新系统的顺利运行，能够继承珍贵的历史数据。因为无论对于一个公司还是一个部门，历史数据无疑都是十分珍贵的一种资源。例如公司的客户信息、银行的存款记录、税务部门的纳税资料等。

6.2 数据迁移的特点

系统切换时的数据迁移不同于从生产系统OLTP （On-line Transaction Processing），到数据仓库DW（Data Warehouse）的数据抽取。后者主要将生产系统在上次抽取后所发生的数据变化同步到数据仓库，这种同步在每个抽取周期都进行，一般以天为单位。而数据迁移是将需要的历史数据一次或几次转换到新的生产系统，其最主要的特点是需要在短时间内完成大批量数据的抽取、清洗和装载。

数据迁移的内容是整个数据迁移的基础，需要从信息系统规划的角度统一考虑。划分内容时，可以从横向的时间和纵向的模块两个角度去考虑。

横向划分

以产生数据的时间为划分依据，需要考虑比较久远的历史数据如何迁移的问题。由于信息技术的发展，以及存储工程师对计算机依赖性的增强，新系统每天往往需要比旧系统存储更多的信息，同时为了解决数据量高增长带来的性能瓶颈，新系统一般只保留一定时期的数据，比如1 年，而把超过保存周期的数据，即1 年以前的数据转移到数据仓库中，以便用于决策分析。对于这种新系统的数据迁移，主要迁移1 年以内的数据，1 年以前的历史数据需要另外考虑。

纵向划分

以处理数据的功能模块为划分依据，需要考虑在新系统中没有被包含的功能模块，其所涉及数据的处理问题。这类数据由于无法建立映射关系，一般不需要迁移到新系统中。但对于模块间偶合度比较紧密的旧系统，在纵向划分时需要注意数据的完整性。

6.3 数据迁移的三种方法

数据迁移可以采取不同的方法进行，归纳起来主要有三种方法，即系统切换前通过工具迁移、系统切换前采用手工录入、系统切换后通过新系统生成。

系统切换前通过工具迁移

在系统切换前，利用ETL（Extract Transform Load）工具把旧系统中的历史数据抽取、转换，并装载到新系统中去。其中ETL 工具可以购买成熟的产品，也可以是自主开发的程序。这种方法是数据迁移最主要，也是最快捷的方法。其实施的前提是，历史数据可用并且能够映射到新系统中。

系统切换前采用手工录入

在系统切换前，组织相关人员把需要的数据手工录入到新系统中。这种方法消耗的人力、物力比较大，同时出错率也比较高。主要是一些无法转换到新系统中的数据，和新系统启用时必需要而旧系统无法提供的数据采用这种方法，可作为第一种方法的有益补充。

系统切换后通过新系统生成

在系统切换后，通过新系统的相关功能，或为此专门开发的配套程序生成所需要的数据。通常根据已经迁移到新系统中的数据来生成所需的信息。其实施的前提是，这些数据能够通过其它数据产生。

数据迁移的策略

数据迁移的策略是指采用什么方式进行数据的迁移。结合不同的迁移方法，主要有一次迁移、分次迁移、先录后迁、先迁后补等几种方式可供选择。

一次迁移

一次迁移是通过数据迁移工具或迁移程序，将需要的历史数据一次性全部迁移到新系统中。一次迁移的优点是迁移实施的过程短，相对分次迁移，迁移时涉及的问题少，风险相对比较低。其缺点工作强度比较大，由于实施迁移的人员需要一直监控迁移的过程，如果迁移所需的时间比较长，工作人员会很疲劳。一次迁移的前提是新旧系统数据库差异不大，允许的宕机时间内可以完成所有数据量的迁移。

分次迁移

分次迁移是通过数据迁移工具或迁移程序，将需要的历史数据分几次迁移到新系统中。分次迁移可以将任务分开，有效地解决了数据量大和宕机时间短之间的矛盾。但是分次切换导致数据多次合并，增加了出错的概率，同时为了保持整体数据的一致性，分次迁移时需要对先切换的数据进行同步，增加了迁移的复杂度。分次迁移一般在系统切换前先迁移将静态数据和变化不频繁的数据，例如代码、用户信息等，然后在系统切换时迁移动态数据，例如交易信息，对于静态数据迁移之后发生的数据变更，可以每天同步到新系统中，也可以在系统切换时通过增量的方式一次同步到新系统中。

先录后迁

先录后迁是在系统切换前，先通过手工把一些数据录入到新系统中，系统切换时再迁移其它的历史数据。先录后迁主要针对新旧系统数据结构存在特定差异的情况，即对于新系统启用时必需的期初数据，无法从现有的历史数据中得到。对于这部分期初数据，就可以在系统切换前通过手工录入。

先迁后补

先迁后补是指在系统切换前通过数据迁移工具或迁移程序，将原始数据迁移到新系统中，然后通过新系统的相关功能，或为此专门编写的配套程序，根据已经迁移到新系统中的原始数据，生成所需要的结果数据。先迁后补可以减少迁移的数据量。

6.4 数据迁移的实现

数据迁移的实现可以分为三个阶段：数据迁移前的准备、数据迁移的实施和数据迁移后的校验。

由于数据迁移的特点，大量的工作都需要在准备阶段完成，充分而周到的准备工作是完成数据迁移的主要基础。具体而言，要进行待迁移数据源的详细说明，包括数据的存放方式、数据量、数据的时间跨度，建立新旧系统数据库的数据字典，对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；新旧系统代码数据的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的处理方法，开发、部属ETL 工具，编写数据转换的测试计划和校验程序，制定数据转换的应急措施。