数据迁移整合方案

1.历史数据的迁移整合

本次系统是在原有系统的基础上开发完成，因此，新旧系统间就存在着切换的问题。另外，新开发的系统还存在与其他一些应用系统，例如，企业信用联网应用系统、企业登记子网站、外资登记子网站等系统进行整合使之成为一个相互连通的系统。本章将针对新老系统迁移和整合提出解决方案。

1.1.新老系统迁移整合需求分析

系统迁移又称为系统切换，即新系统开发完成后将老系统切换到新系统上来。

系统切换得主要任务包括：数据资源整合、新旧系统迁移、新系统运行监控过程。数据资源整合包含两个步骤：数据整理与数据转换。数据整理就是将原系统数据整理为系统转换程序能够识别的数据；数据转换就是将整理完成后的数据按照一定的转换规则转换成新系统要求的数据格式，数据的整合是整合系统切换的关键；新旧系统迁移就是在数据正确转换的基础上，制定一个切实可行的计划，保证业务办理顺利、平稳过渡到新系统中进行；新系统运行监控就是在新系统正常运转后，还需要监控整个新系统运行的有效性和正确性，以便及时对数据转换过程中出现的问题进行纠正。

系统整合是针对新开发的系统与保留的老系统之间的整合，以保证新开发的系统能与保留的老系统互动，保证业务的顺利开展。主要的任务是接口的开发。

1.2.需要进行迁移整合的系统

1.3.数据迁移整合分析

根据招标文件工商总局新建系统的数据库基于IBM DB2，而原有系统的数据库包括ORACLE，SQL Server，DB2。这种异构数据在总局主要存在于两个方面，即部门内部的异构数据和上下级部门之间的异构数据。同时，系统的技术构件

有.NET和J2EE两大类。

对于部门内部的异构数据的集成采用数据移植的方法，如：如果数据有基于DB2管理的，有ORACLE管理的，有SQL Server管理的，就根据新系统DB2的要求，把ORACLE的数据迁移到DB2数据库中，把SQL Server的数据迁移到DB2数据库中。

上下级国工商局之间的异构数据的集成利用数据交换系统来完成，重点在于数据库存储标准、交换标准的制定和遵守，保证数据的共享，这部分工作由数据中心完成。

1.4.系统迁移和整合目标

1.4.1.系统迁移的主要目标：

1.保证系统正常运行

在数据转换过程中，由于原有的系统数据的复杂性，给数据转换工作带来了很大的难度，为了在新系统启动后不影响原系统正常的业务，因此数据转换完成后，必须保证新系统的正常运行。

2.保证原有系统在新系统中的独立性

原有系统是独立运行的系统，数据在新系统中虽然是集中存放的，但是各个系统由于存在业务上的差别，数据在逻辑上应当保持一定的独立性。

1.4.

2.系统整合的目标：

保证直接关联的系统互动，保证业务的正常办理。例如公众服务系统与基本业务系统之间互动，基本业务与协同业务之间互动等等。

1.5.系统切换方案

1.5.1.系统切换工作流程

系统切换包括前期调研、数据整理、数据转换、系统切换、运行监控五个阶段。系统切换的整个工作流程如下所示。

1.5.

2.系统切换工作步骤

1.前期调研阶段

前期调研是数据转换中很重要的一个步骤，也是至关重要的一部分。在进行数据转换工作前，我们需要先认真阅读系统的相关文档，如《数据字典》、《系统概要设计报告》等，来熟悉原有的系统。当然在阅读文档的过程中肯定还会有理解不清晰的地方，这时还需要熟悉原有系统的工程师的帮助。数据转换的前期工作就是对原系统做一次彻底的全面了解，主要需要的考虑的有下面一些情况：

1)原系统的网络结构；

2)原系统的业务范围、存在几套业务系统以及他们之间的关系；

3)原系统的开发商、开发工具、开发平台以及采用的数据库；

4)原系统的数据分布状况：包括数据范围、数据量大小等；

5)原系统的业务流程；

6)原系统的数据流程；

7)原系统的数据结构；

在了解这些要素的基础上，需要编写《前期调研分析报告》。调研报告主要包含如下一些方面：

1、将所有数据表进行分类，如系统参数类、代码类、综合业务类、相关业务类等等。

2、对所有数据表的数据组成、数据来源、用途等进行描述。

3、并非所有的数据都是需要进行转换的，在《数据字典分析报告》中要指出那些数据表是需要进行转换的，那些是不需要进行转换的，对于不需要转换的表要说明不需要转换的原因。

4、描述数据在各表中的流向，对于关键的或复杂的业务点要做详细说明。

2.转换设计阶段

转换设计阶段主要是完成新旧数据字典的对照，同时明确各个表中具体数据字段的转换方式。在转换设计阶段主要是编写《数据字典对照报告》

《数据字典对照报告》主要描述新旧系统数据表间的对照关系以及代码对照关系。以新系统为准，原系统作参照，将原系统的数据字典对应到相应的系统数据字典中。在对照过程中，需要遵循数据照搬原则，数据尽量不要作处理。

在数据字典对照表中需要进行转换的数据字段应该一一对应，对新旧数据表中字段的名称、类型、精度等都要有详细的描述，同时还要明确数据的转换方式。数据转换方式主要有以下几种：

1)直接转换。直接转换方式是最常用的方式，就是将原表中对应字段的数据原

封不动的搬到新表中来。按照“数据照搬”原则，我们应该应该尽量采用这种方法。

2)程序转换。对那些需要进行计算才能进行转换的数据将采用程序转换方式进

行。

3)代码对照。某些代码字段，往往新旧系统的编码不相同，这时就需要参照代

码对照表进行代码对照转换。

4)类型转换。少数数据可能需要对类型进行转换，如就表以字符串‘YYYY-MM-

DD’来存放日期，而新表中以DATE型来存放日期，这时就需要进行类型转换。

5)常量转换。新表中某些字段可能存在缺省值，这时将采用常量转换方式，当

旧表没有对应字段或旧表对应字段数据为空时，将直接在新表中写入缺省数据。

6)不转换。对于旧表有但新表中没有的字段将不作任何转换。

7)新旧系统代码对照列出了全部需要进行转换的新旧系统数据表中存在的二

级代码间的对照关系，主要以二级代码对照表的形式来反映。

1.6.数据迁移方案

1.6.1.数据整理策略

数据整理就是将原系统数据整理为系统转换程序能够识别的数据。数据整理大致分为两个阶段：第一阶段就是将不同类型来源数据采集备份到统一的数据库中；第二阶段就是将原始数据进行整理，按照不同的要求分类进入不同的中间数据库，为数据转换提供中间数据。数据整理过程采用了以下方法：

1.确保原始数据的完整性

在进行数据整理之间，我们先需要对原始采集数据进行备份。备份的目的有两个：一个是统一数据库，便于数据转换，另一个就是为以后数据追根溯源提供参考依据。在本系统中，我们将采用DB2作为备份统一数据库。

2.数据分级过滤策略

数据分级过滤就是把数据按照不同的数据级别进行分类整理进入不同的中间数据库中。本系统中我们把数据分为三个级别：废弃数据、待调整数据、可转换数据。废弃数据就是该部分数据的存在对系统资源造成浪费的数据，并且会影响以后系统的运行。待调整数据就是该部分数据严重影响新系统的运行，必须进行人