关于数据迁移的各种方法

关于数据迁移的各种方法

在项目中经常会遇到系统完全更换后的历史数据迁移问题，以示对客户历史工作的尊重，何况很多数据仍有保留的必要。

那怎么做历史数据迁移呢？

系统分析：

1、分析原有的业务系统

精确到大致的系统功能模块、大致的处理流程即可

2、分析现有的业务系统

精确到大致的系统功能模块、大致的处理流程即可

3、分析两者自己的区别和差异

大致分析一下两个业务系统之间的区别，有助于确定工作量和工作进

4、分析用户对旧有数据的需求

分析对旧有数据的需求，才不至于盲目的全部性的进行迁移

5、分析用户对旧有数据的处理规则

旧有数据的处理规则，一般分为以下几类：

1、基础数据，通常这一类容易迁移，数据格式简单，但是会影响所有的相关业务数据，关注点为数据的主键和唯一键的方式。

2、纯历史数据的导入，仅供参考用的，这一类数据导入容易

2.1 纯历史数据

这一类数据处理起来会比较容易，一次性导入即可，后续采用增量数据导入。

2.2 流程性数据

这一类数据只有在记录完全关闭后才能结束，需要进行增量导入和

数据更新，同时还要进行相关查询界面的开发，以保证旧有数据能够在新系统中查询的到。

3、新老系统表结构变化较大的历史数据

这一类数据的工作量是最重的，就需要仔细去研究新老业务系统的数据结构了。

1、尽量通过甲方单位来收集齐全相关原系统的相关设计文档，这一点对数据分析很有帮助，通过人的感觉和对数据的观察来分析毕竟不太靠谱。

2、在原系统上进行相关数据的观察，了解数据的变化和数据表数据的关系（对于比较难以理解的相关字段很有帮助）

3、比较新老系统数据的差异，如果实在很不靠谱的话，建议按2.2去处理。

系统设计：

1、做完系统分析之后，对相关数据进行归类，基础数据、纯历史数据、变化较大的历史数据

2、先从简单的入手，给自己点信心

3、在excel表中进行相关表的数据字典对照，勾画出对应字段、转换逻辑、依赖关系、必要时在新系统表上做相应的冗余，等数据迁移完毕后再清除。

关键点：

不同数据库的字段类型的匹配问题，比如SQLServer的text，在Oracle应该对应clob，但是宁愿转换成几个varchar2，从实现角度相对容易些。

关于主键的问题，一致的数据类型尽量维持现有状态，不一致的尽量采用oracle的序列或sqlserver的identity int，但是迁移完毕后，要注意序列值的更新

系统实现：

1、PL/SQL或T-SQL，DTS、SSIS或者PowerBuilder的管道作为数据迁移的方式

2、相关业务逻辑的迁移，与数据完整性和业务相关的存储过程、触发器、函数的改写，甚至SQL的改写

3、业务查询页面的编写

后话：

1、数据迁移没有特别或高级的方法

2、对业务数据的分析最为关键，需要不断的尝试在新系统上不断的测试

3、数据迁移技术，主要通过SQL、存储过程、甚至游标来实现，优先级也如上

还有一种数据迁移仅仅是数据库的平迁或异构数据库迁移

数据库平迁，即为了性能扩展需要从一台服务器迁移到另外一台服务器上，用数据库的导出导入或备份恢复工具处理即可，当然也要考虑迁移后的一些序列字段的初始值。

异构数据迁移，即从一个数据库平台迁移到另外一个数据库平台，用ETL工具或SQL均可实现，不过要注意业务逻辑的迁移，即存储过

程、函数、触发器之类的。

历史数据迁移测验

数据迁移重要利用在新老系统到切换，重要有两种种类，一种是将老系统的数据全副迁移到新系统中，业务上只利用新系统，老系统不再利用，另外一种是，老系统的局部功能在新系统中临时无法告终，然而在业务上必需利用新系统，必需将新系统中发生到数据导入到老系统到数据库中，做特异用处。

利用从老系统中迁移到来的数据，在业务系统中举行流程测验，功能测验确保迁移后到数据可用。

数据迁移后的校验

在数据迁移完成后，需要对迁移后的数据进行校验。数据迁移后的校验是对迁移质量的检查，同时数据校验的结果也是判断新系统能否正式启用的重要依据。

可以通过以下2种方式对迁移后的数据进行校验：新旧系统查询数据对比检查，通过新旧系统各自的查询工具，对相同指标的数据进行查询，并比较最终的查询结果；先将新系统的数据恢复到旧系统迁移前一天的状态，然后将最后一天发生在旧系统上的业务全部补录到新系统，检查有无异常，并和旧系统比较最终产生的结果。

对迁移后的数据进行质量分析，可以通过数据质量检查工具或编写有针对性的检查程序进行。对迁移后数据的校验有别于迁移前历史数据的质量分析，主要是检查指标的不同。迁移后数据校验的指标主要包括5方面：完整性检查，引用的外键是否存在；一致性检查，相同含义的数据在不同位置的值是否一致；总分平衡检查，例如欠税指标的总和与分部门、分户不同数据的合计对比；记录条数检查，检查新旧数据库对应的记录条数是否一致；特殊样本数据的检查，检查同一样本在新旧数据库中是否一致。