核电厂管理信息系统(N1-EAM)数据迁移解决方案

核电厂管理信息系统(N1-EAM)数据迁移解决方案

【摘要】本文针对中核集团核电厂生产管理信息系统（N1-EAM）数据迁移问题，归纳总结了企业级数据迁移过程中不可回避的问题，通过几种数据迁移技术的分析比较，最终采取ETL技术，经过基于ETL原理的程序设计和编程校验，实现了N1-EAM系统数据的有效迁移，从而获得了满足该系统需求较为可行的数据迁移解决方案。

【关键词】信息系统；N1-EAM；数据迁移；解决方案

1.数据迁移问题的提出和N1-EAM系统数据迁移难题

数据是信息系统的最为基础的组成部分，是企业的宝贵资源。随着业务不断发展，数据量的增长是十分惊人的。为满足发展中对海量数据的管理，企业要进行信息系统的升级，进而解决成数据迁移问题。数据迁移是信息化社会中企业发展过程中经常面临的问题，也是企业信息化程度不断提升的表现。在进行数据迁移中，不同企业原有管理系统的进步程度、原有数据的来源渠道、企业数据的管理和应用特殊要求，决定了数据迁移的难易程度。

1.1 数据迁移的提出

在企业不断发展壮大的同时，一方面企业积累了越来越多的珍贵历史数据，另一方面企业原有的信息管理系统已经难以满足对庞大数据有效管理的需求。这就要求企业在保留原有数据有效使用的前提下，对其数据管理系统进行改造升级和对原有数据结构进行改造，进而实现新系统对数据有效的管理。要实现这一目标，就要进行数据迁移处理。

数据迁移，就是在旧系统切换到新系统之后，将原有数据进行收集、清洗、转换，装载到新系统中的过程。

数据迁移对数据整合和新系统的运行起着相当关键的作用。数据迁移的质量不只是新系统成功上线的重要前提，也是新系统今后安全、稳定运行的有力保障。

1.2 N1-EAM系统

N1-EAM(N1-Enterprise Asset Manag-ement)系统是“中国核电”统筹规划，打造核电厂生产管理标准化信息平台，以福清、方家山两个核电厂生产管理信息系统建设为示范的重点信息化建设项目。

N1-EAM系统基于核电标准绩效模型SNPM，覆盖16个核电管理领域，与生产控制系统、企业资源计划管理系统、群堆管理等有效集成的大型软件信息系统。

1.3 数据迁移的难题

经过对N1-EAM系统的具体分析，其数据迁移主要难题可以归纳为以下三种情况。

1)原始数据来源于福清、方家山两家核电厂，数据结构存在诸多不同，数据迁移中需考虑因素必须兼顾众多数据差异；

2)原始数据来源形式多样，除原有系统的数据外，还有相当数量的人工数据，致使数据的分散度大，清洁度低；

3)由于核电厂运行的特殊要求，除原有数据外，还有系统在线运行后完成核电运行系统自身的数据迁移以及利用核电厂检修停堆有限的时间窗口进行数据迁移。

2.数据迁移技术及方案

2.1 数据迁移基本方法及技术特点分析

2.1.1 数据迁移基本技术

数据迁移国内外已有成熟的理论和方法。目前常见的成熟技术有如下三种：

1)基于磁盘阵列远程数据复制技术的数据迁移。

2)基于主机操作系统逻辑卷镜像技术的数据迁移。

3)基于数据库备份和恢复技术的数据迁移。

以上三种技术虽然成熟，基本上只是实现“备份”功能。要实现在信息系统发生变更或进行整合中跨系统的数据迁移是不能满足要求的。

4)基于数据仓库技术的数据迁移。

ETL即E(extract)抽取、T(transform)转换、L(load)加载，原本是构建数据仓库的一种方法，是联机分析处理、数据挖掘的基础。其基本原理就是将各种源数据按照预先设计好的规则进行转换，按计划数据增量或全部数据导入到目标数据库中。现在已被越来越多的数据库管理技术人员基于其原理来实现数据迁移，逐步形成为一种数据迁移主流技术。

2.1.2 数据迁移技术特点

其特点通过列表说明，如表1所示。

2.2 基于N1-EAM系统特殊性考虑数据迁移方法的选择

N1-EAM系统从数据迁移角度来看，是为满足更为庞大数据管理需求，适应中国核电纵深发展目标新开发的目标系统。因此需要把原有旧核电信息管理系统中的源数据安全迁移到新的目标系统中。

由此带来了在数据迁移中不得不考虑的几个方面的特殊性：

1)源数据分布较为分散；

2)源数据清洁度不高；

3)需要在线做数据迁移；

4)对数据迁移的性能以及实时性要求没有严格限制；

5)目标系统本身已经具备ETL方法部分导入功能。

不难看出，ETL数据迁移方法适合N1-EAM系统特殊性的要求。

2.3 历史数据迁移(ETL)方法在N1-EAM系统中的实现原理

N1-EAM的数据迁移方法分为基线与非基线两类。

所谓基线数据迁移方法，就是基于N1-EAM系统的子系统AS(Asset Suit)—资产管理套件的数据转化和迁移功能，来实现从源数据到目标数据的数据转化和迁移。其基本原理是按照AS系统所规定的数据格式要求，将要迁移的源数据通过ORACLE的视图逻辑进行数据整理，形成一个作为AS系统的输入的dat文件，运行AS系统下的X792页面进行校验，如果没有问题，直接完成数据迁移；如待迁移的数据不满足AS系统的校验要求，将会产生错误数据报告，终止数据迁移。待进一步对源数据进行补充修改，通过校验后，完成源数据到目标数据的迁移。

由于AS系统在美国Ventyx公司设计之初就考虑到了核电数据的特殊性，有针对地研发了数据迁移功能，致使大量核电系统的源数据能够通过AS的迁移功能实现向目标数据的数据迁移。依靠AS系统进行基线数据迁移的源数据主要包括：分布较为分散的数据、清洁度不高的数据、需要在线迁移的数据等。所以基线数据迁移方法是N1-EAM项目中数据迁移采用的主流方法。其过程如图1所示。

虽然基线数据迁移能够实现大部分源数据的迁移，但是其包含的导入数据的