跨系统数据同步技术的研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Basic 6.0编程语言.编程逻辑为实现从图档管理系统数据
l的SQL脚本代码: 视图1铀Iel的脚本为:
SELECT XXXI,XXX2,XXX3,XXX4,XXX5 FROM dbo.Nvjewl UNION ALL SELECT XXXI,XX2,XXX3,XXX4,XXX5 FROM dbo.NView2
在企业发展及信息化建设中,信息孤岛是全球任何 一家企业发展进程中均会遇到的问题。信息孤岛fj}是指 相互之间在功能上不关联互助、信息不共享互换以及信 息与业务流程和应用相互脱节的计算机应用系统。应当 看到,在整个信息技术产业飞速发展过程中,企业的rr 应用也伴随着技术的发展而前进。但与企业的其它变革 明显不同的是,IT应用的变化速度更快,也就是说,企 业进行的每一次局部的11r应用都可能与以前的应用不 配套.也可能与以后的“更高级”的应用不兼容。因 此.从产业发展的角度来看,信息孤岛的产生有着一定 的必然性。 信息孤岛大体可分为数据孤岛、系统孤岛、业务孤 岛、管控孤岛四种类型。从大的方面来分析,信息孤岛
万方数据
・制造业信息化・
1.1初步分析 系统架构:图档管理系统。前台B,S结构.后台 SQL Server2005数据库;图纸借阅系统,前台C/S结构, 后台SQL Server2005数据库。 (1)修改图纸借蠲系统的开发源代码.满足新需求变 化后数据库结构的变化。涉及对原项目的重新开发。 (2)开发定时同步接口工具。实现源数据向目标数据 表的同步。不涉及原项目的开发,重新开发一个定时同 步的小工具.不会对业务逻辑产生影响。 (3)从数据库表结构层面做考虑.利用SQL Server2005 特点完成数据表的同步。不涉及前台代码级变化。仅需 要配置数据本身。 通过对此案例的分析,在大多数情况下,应用系统 功能逻辑比较完善应用也比较广泛的基础上.不建议直 接去做源代码的修改完善。因为一套复杂的系统做了版 本升级后。后期的测试、应用发布、版本管理的工作量 依旧是巨大的。因此分析(1)中谈到的不在最紧迫的情 况下不采用此方案。 下面仔细分析下。新泪业务需求变化后,带来的数 据结构变化及存在的问题。旧业务需求下存在的两个系 统之间的关系如图1所示。
图2业务需求变化后系统之间的关系图
旧图档管理系统中的Tablel在做系统迁移时,完全 同步到新图档管理系统中的NTableI中,新图档管理系 统中产生的新的业务数据根据类另0不同,分别存储到
眦lel和NTable2中。
94
1曲lel一致即可。
万方数据
・制造业信息化・
将NViewl和NView2视图合并为一个新视图’rablel
库表NTablel和NTable2读取数据,通过数据查重后。定 期将新增的数据从NTablel和NTable2查询出来写入数据 库实例NewDB的Tablel中。首次运行需要实现初始数据 的导人工作。正常运行后。需要常驻内存开启一个应用 程序设置定期同步时间点,定期更新的数据日志进行保 存。实旋效果分析:两个系统的数据不能随时保持一致, 根据设置的定期同步时同点有关,与程序同步运行一次 所耗的时间有关。经过初版未经过优化的代码分析,在 同步30万条数据级规模的,~次比对查重及写入的周期 约需要几分钟;同时耗费了2人/天的编程工作量。 (3)创建一个跨数据库的链接服务器”的应用实施效 果如下:在图纸借阅系统中创建一个跨服务器数据库连
dhlink!ieiver
cm SOlVe this problem effectively.
which gives懈¥OITlc reference. Key words:information island;separated system;data
synchromntion|metadata
0引言
第25卷第3期
机电产品开发与纠辫
堕!!!!竺坐苎!竺!型!!竺竺竺!竺!!垦!!竺竺!型!型!竺
V01.2.5。No.3
1111生!旦
文章编号:1002-6673(2012)03-093-03
塑型:!!!!!
跨系统数据同步技术的研究
王平
(中冶南方_T程技术有限公司,湖北武汉430223)
摘要:信息孤岛是企业在发展及信息化建设中必然会遇到的一个棘手问题,如何以最低的成本最高的效 率降低信息孤岛所带来的影响。也一直是各大企业信息化管理部门研究的重点。论文以企业在用 的两个独立应用系统为倒,通过几类跨系统敷椐同步方法的尝试,得出保障各系统之阐基础元数 据单元信息的一致的有效方案.能起到借鉴意艾。 关键词:信息孤岛;跨系统;数据同步;元数据 中图分类号:TP391 文献标识码:A
and醉n
the m讲c benefit.This paper of
gi憾世3
sql
exanvte about tWO
separated‘j,譬£蹦k usi工喀
different method
tO
realize the database metada协be shared,especially the method
sen"r
●OLE DB.
●
葡l;舔
固回囤匠
j—o皿}e提I、 {F J叫,j・
图3链接服务器配置的基本工作方式
由于新的图档管理系统、图纸借阅系统均采用的后 台数据库MS SQLserver2005。在图纸倍阅系统所在的数 据库服务器上,创建一个“服务器对象”添加“链接服 务器”,实现通过SQL provider驱动H通过网络跨服务器 访问图梢管理系统数据库。再通过此链接服务器.将需 要访问的图档管理系统的两张源数据表Nnlblel和 NTabIe2分别在图纸借阅系统中创建两张视图NViewl和 NView2对应。将同步过来的NViewl、NView2的数据汇 总中同一个视图中,视图命名与以前的数据接口表
Abstract:This problem ofinformation island is alway¥inborn in the IT corutrucUon.which强a least
inv咖ei'It
k吖point put
On
the IT managers us=g the
tO
avoid the risk ofthis problem
产生的原因国:①信息化发展的阶段性;②认识误区;礓) 需求不到位;④标准不统一;⑤管理体制问题。信息孤
岛解决对策分析,可从三个方面着手:一是理顺企业的 数据流;二是统一进行信息资源规划;三是通过集成平
收稿日期:2012—03--26 作者简介:王平(1982-),男,湖北荆州人,硕士研究生。工程师。
2应用实施效果分析
本文以上述中提到的案例为前提进行分析,对提及到 的业务背景下跨系统数据同步的要求的分析及方案的考 虑,本文对i种方案均傲了实际的应用实施。通过对不同 同步方案的实践.可以为其他正在从事此领域工作的同行 提供一点借鉴,在实际的工作中遇到问题能少走弯路。 (1)对图纸借阅系统的源代码进行修改后重新发布”, 案例中的图档管理系统已经上线运行了6年。图纸借阅 系统已经上线运行了4年。由于年代比较久远了,使用 其间各自系统均发布过一些版本更新,由于历史记录不 全的原因,重新修改源代码及发布新的应用风险巨大, 耗时耗力。此方案未能进行尝试。 (2)开发单独的数据同步工具实现跨系统数据的同步” 的应用实施效果如下:重新部署了一台新的数据库实例 NewDB,创建一张新的数据库表Tablel。通过Visual
的保护现有投资并随着企业发展不断推动整体信息化建 I设依据是摆在企业CIO及rr技术人员面前的重大难题,
需要信息化管理者根据企业实际情况权衡考虑处理。 参考文献:
[1l曾雪梅,陈兴蜀,等.基于IDM3的跨系统平台技术研究咖.信息 技术与信息化,2011。2. 【2]夏怀楠.支持跨域数据汇聚的关系数据访问服务研究IV】.山东科 教大学・20IO・
台实现系统应用的集成。 正确认识信息孤岛的成因,为解决存在的信息孤岛 问题提供有效可行的解决方案。下面以“跨系统数据接 口”的方式研究数据同步的几种方案.可作为参考。
1跨系统数据同步方案研究
在企业未全面部署整体信息孤岛解决方案之前,对 于实际应用中遇到的问题,分析具体涉及的应用系统信 息孤岛生成的原因,迅速找到对症下药的解决方案并有 效实施能有效保障基础业务的稳定开展。 本文以两个独立的应用系统中存在的信息不一致的 问题作为前提,研究跨系统数据同步的可行方案。 案例业务背景:企业在实施图档管理系统升级改造 的过程中.业务需求的调整导致了图挡管理系统的数据 库结构中存储图纸信息的用户表,由1个单页表Tablel 分解为2张数据表NTablel和Mr曲le2。此图档管理系 统中存储图纸信息的数据表Tablel是另外一个应用系统 “图纸借阅系统”中打印图纸条形码的源数据来源。 业务需求发生了变化,图纸借阅系统的功能逻辑来发 生变化.如何通过数据层面的处理以达到满足两个应用系 统业务数据接口一致的目标。是当前急需解决的问题。
在此业务变化后.图纸借阅系统从图档管理系统的数 据来源接口发生了变化.只能读取到旧图档管理系统中所 存储的数据库表中的数据,新产生的业务数据无法获取到。
1.2解决方案
为解决上述问题,经过仔细研究分析.得到如下几 种解决方案: (1)对图纸借阅系统的源代码进行修改后重新发布。 可行的思路是,将图纸借阅系统的源代码中涉及到与图 档管理系统接口的读取逻辑进行修改,修改前只从一个 数据表Tablel中读取数据.修改为分别从NTablel和 NTable2中读取数据,代码的判断逻辑也需要发生变化。 (2)开发单独的数据同步工具实现跨系统数据的同步。 在不修改图纸借阅系统源代码的情况下,需要保持读取 图档管理系统申韵接口表的表名称不变、接口表的数据 结构字段必须保留必须的关键字段。 为此。在第三个数据库上建立一个固定名称的数据 库NewDB,创建一表名为TableI的数据表,利用编程
doi:lO.3969/j.issn.1002—6673.2012,03.039
The Research of Data Synchronization Technology Between Separated System
WANG只增
(Wisdri Engineering&Research Incorporation Limited,Wuhan Hube 430223,China)
3结束语
信息孤岛在企业的信息化建设中是难免会遇到的现
l象,本文通Fra Baidu bibliotek一个实际案例的分析,在对IH有信息系统
投资的保护及减少冗繁的维护量的思路指导下,对跨系 统数据同步技术这个较大的课题的研究中通过实际的应
J用实施总结出比较实用的一套操作方法,期望能对正在 f从事类似运维工作的人员提供借鉴。
同时,在对跨系统做数据同步的过程中.过多的数 一据接12也会增加企业的IT的维护管理成本,如何合理
利用SQL Server2005数据库管理器的特性151,通过跨
J
照务器的链接服务器实现了鼯个系统数据的实时川同步,
-并且无需前台编程语言.是一种比较好的解决方案。 通过对跨系统数据同步案例拟定的三种方案的实
{践。选择一种最简单最高效的处理方案不但能节约信息
系统维护成本,促进企业新的应用系统按期上线,又能 :保护旧有的信息系统投资继续发挥功效,具有比较重要 的意义。
工具,实现新图档数据库中的M铀lel和Ⅳ仙le2的关
键字段定期同步到NewDB中的表7rablel中来。 (3)创建一个跨数据库的链接服务器。在图纸借阅系 统中,创建一个跨数据库的链接服务器。链接服务器 工作机理131如图3所示。
客户 客户应用程序
I
臼
围1旧业务需求下两个系统的关系围
SQL
●
在旧的业务需求下.数据底层的逻辑关系为.图纸 借阕系统读取到图档管理系统数据库的表Tablel;为保 障数据的安全性.图纸借阅系统以只读的方式读取数 据。没有可写的操作权限。同时。图纸借阅系统的数据 接口访问链接是可以灵活配置的。 新业务需求下,在冈档管理系统升级后,因业务发 生部分调整。在做旧图档数据库迁移时,原表Tablel存 储的数据分解为新的NTablel和NTable2,其它业务变 化不影响图纸借阅系统对图档管理系统的接口访问。业 务变化后两个系统的关系如图2所示。
l的SQL脚本代码: 视图1铀Iel的脚本为:
SELECT XXXI,XXX2,XXX3,XXX4,XXX5 FROM dbo.Nvjewl UNION ALL SELECT XXXI,XX2,XXX3,XXX4,XXX5 FROM dbo.NView2
在企业发展及信息化建设中,信息孤岛是全球任何 一家企业发展进程中均会遇到的问题。信息孤岛fj}是指 相互之间在功能上不关联互助、信息不共享互换以及信 息与业务流程和应用相互脱节的计算机应用系统。应当 看到,在整个信息技术产业飞速发展过程中,企业的rr 应用也伴随着技术的发展而前进。但与企业的其它变革 明显不同的是,IT应用的变化速度更快,也就是说,企 业进行的每一次局部的11r应用都可能与以前的应用不 配套.也可能与以后的“更高级”的应用不兼容。因 此.从产业发展的角度来看,信息孤岛的产生有着一定 的必然性。 信息孤岛大体可分为数据孤岛、系统孤岛、业务孤 岛、管控孤岛四种类型。从大的方面来分析,信息孤岛
万方数据
・制造业信息化・
1.1初步分析 系统架构:图档管理系统。前台B,S结构.后台 SQL Server2005数据库;图纸借阅系统,前台C/S结构, 后台SQL Server2005数据库。 (1)修改图纸借蠲系统的开发源代码.满足新需求变 化后数据库结构的变化。涉及对原项目的重新开发。 (2)开发定时同步接口工具。实现源数据向目标数据 表的同步。不涉及原项目的开发,重新开发一个定时同 步的小工具.不会对业务逻辑产生影响。 (3)从数据库表结构层面做考虑.利用SQL Server2005 特点完成数据表的同步。不涉及前台代码级变化。仅需 要配置数据本身。 通过对此案例的分析,在大多数情况下,应用系统 功能逻辑比较完善应用也比较广泛的基础上.不建议直 接去做源代码的修改完善。因为一套复杂的系统做了版 本升级后。后期的测试、应用发布、版本管理的工作量 依旧是巨大的。因此分析(1)中谈到的不在最紧迫的情 况下不采用此方案。 下面仔细分析下。新泪业务需求变化后,带来的数 据结构变化及存在的问题。旧业务需求下存在的两个系 统之间的关系如图1所示。
图2业务需求变化后系统之间的关系图
旧图档管理系统中的Tablel在做系统迁移时,完全 同步到新图档管理系统中的NTableI中,新图档管理系 统中产生的新的业务数据根据类另0不同,分别存储到
眦lel和NTable2中。
94
1曲lel一致即可。
万方数据
・制造业信息化・
将NViewl和NView2视图合并为一个新视图’rablel
库表NTablel和NTable2读取数据,通过数据查重后。定 期将新增的数据从NTablel和NTable2查询出来写入数据 库实例NewDB的Tablel中。首次运行需要实现初始数据 的导人工作。正常运行后。需要常驻内存开启一个应用 程序设置定期同步时间点,定期更新的数据日志进行保 存。实旋效果分析:两个系统的数据不能随时保持一致, 根据设置的定期同步时同点有关,与程序同步运行一次 所耗的时间有关。经过初版未经过优化的代码分析,在 同步30万条数据级规模的,~次比对查重及写入的周期 约需要几分钟;同时耗费了2人/天的编程工作量。 (3)创建一个跨数据库的链接服务器”的应用实施效 果如下:在图纸借阅系统中创建一个跨服务器数据库连
dhlink!ieiver
cm SOlVe this problem effectively.
which gives懈¥OITlc reference. Key words:information island;separated system;data
synchromntion|metadata
0引言
第25卷第3期
机电产品开发与纠辫
堕!!!!竺坐苎!竺!型!!竺竺竺!竺!!垦!!竺竺!型!型!竺
V01.2.5。No.3
1111生!旦
文章编号:1002-6673(2012)03-093-03
塑型:!!!!!
跨系统数据同步技术的研究
王平
(中冶南方_T程技术有限公司,湖北武汉430223)
摘要:信息孤岛是企业在发展及信息化建设中必然会遇到的一个棘手问题,如何以最低的成本最高的效 率降低信息孤岛所带来的影响。也一直是各大企业信息化管理部门研究的重点。论文以企业在用 的两个独立应用系统为倒,通过几类跨系统敷椐同步方法的尝试,得出保障各系统之阐基础元数 据单元信息的一致的有效方案.能起到借鉴意艾。 关键词:信息孤岛;跨系统;数据同步;元数据 中图分类号:TP391 文献标识码:A
and醉n
the m讲c benefit.This paper of
gi憾世3
sql
exanvte about tWO
separated‘j,譬£蹦k usi工喀
different method
tO
realize the database metada协be shared,especially the method
sen"r
●OLE DB.
●
葡l;舔
固回囤匠
j—o皿}e提I、 {F J叫,j・
图3链接服务器配置的基本工作方式
由于新的图档管理系统、图纸借阅系统均采用的后 台数据库MS SQLserver2005。在图纸倍阅系统所在的数 据库服务器上,创建一个“服务器对象”添加“链接服 务器”,实现通过SQL provider驱动H通过网络跨服务器 访问图梢管理系统数据库。再通过此链接服务器.将需 要访问的图档管理系统的两张源数据表Nnlblel和 NTabIe2分别在图纸借阅系统中创建两张视图NViewl和 NView2对应。将同步过来的NViewl、NView2的数据汇 总中同一个视图中,视图命名与以前的数据接口表
Abstract:This problem ofinformation island is alway¥inborn in the IT corutrucUon.which强a least
inv咖ei'It
k吖point put
On
the IT managers us=g the
tO
avoid the risk ofthis problem
产生的原因国:①信息化发展的阶段性;②认识误区;礓) 需求不到位;④标准不统一;⑤管理体制问题。信息孤
岛解决对策分析,可从三个方面着手:一是理顺企业的 数据流;二是统一进行信息资源规划;三是通过集成平
收稿日期:2012—03--26 作者简介:王平(1982-),男,湖北荆州人,硕士研究生。工程师。
2应用实施效果分析
本文以上述中提到的案例为前提进行分析,对提及到 的业务背景下跨系统数据同步的要求的分析及方案的考 虑,本文对i种方案均傲了实际的应用实施。通过对不同 同步方案的实践.可以为其他正在从事此领域工作的同行 提供一点借鉴,在实际的工作中遇到问题能少走弯路。 (1)对图纸借阅系统的源代码进行修改后重新发布”, 案例中的图档管理系统已经上线运行了6年。图纸借阅 系统已经上线运行了4年。由于年代比较久远了,使用 其间各自系统均发布过一些版本更新,由于历史记录不 全的原因,重新修改源代码及发布新的应用风险巨大, 耗时耗力。此方案未能进行尝试。 (2)开发单独的数据同步工具实现跨系统数据的同步” 的应用实施效果如下:重新部署了一台新的数据库实例 NewDB,创建一张新的数据库表Tablel。通过Visual
的保护现有投资并随着企业发展不断推动整体信息化建 I设依据是摆在企业CIO及rr技术人员面前的重大难题,
需要信息化管理者根据企业实际情况权衡考虑处理。 参考文献:
[1l曾雪梅,陈兴蜀,等.基于IDM3的跨系统平台技术研究咖.信息 技术与信息化,2011。2. 【2]夏怀楠.支持跨域数据汇聚的关系数据访问服务研究IV】.山东科 教大学・20IO・
台实现系统应用的集成。 正确认识信息孤岛的成因,为解决存在的信息孤岛 问题提供有效可行的解决方案。下面以“跨系统数据接 口”的方式研究数据同步的几种方案.可作为参考。
1跨系统数据同步方案研究
在企业未全面部署整体信息孤岛解决方案之前,对 于实际应用中遇到的问题,分析具体涉及的应用系统信 息孤岛生成的原因,迅速找到对症下药的解决方案并有 效实施能有效保障基础业务的稳定开展。 本文以两个独立的应用系统中存在的信息不一致的 问题作为前提,研究跨系统数据同步的可行方案。 案例业务背景:企业在实施图档管理系统升级改造 的过程中.业务需求的调整导致了图挡管理系统的数据 库结构中存储图纸信息的用户表,由1个单页表Tablel 分解为2张数据表NTablel和Mr曲le2。此图档管理系 统中存储图纸信息的数据表Tablel是另外一个应用系统 “图纸借阅系统”中打印图纸条形码的源数据来源。 业务需求发生了变化,图纸借阅系统的功能逻辑来发 生变化.如何通过数据层面的处理以达到满足两个应用系 统业务数据接口一致的目标。是当前急需解决的问题。
在此业务变化后.图纸借阅系统从图档管理系统的数 据来源接口发生了变化.只能读取到旧图档管理系统中所 存储的数据库表中的数据,新产生的业务数据无法获取到。
1.2解决方案
为解决上述问题,经过仔细研究分析.得到如下几 种解决方案: (1)对图纸借阅系统的源代码进行修改后重新发布。 可行的思路是,将图纸借阅系统的源代码中涉及到与图 档管理系统接口的读取逻辑进行修改,修改前只从一个 数据表Tablel中读取数据.修改为分别从NTablel和 NTable2中读取数据,代码的判断逻辑也需要发生变化。 (2)开发单独的数据同步工具实现跨系统数据的同步。 在不修改图纸借阅系统源代码的情况下,需要保持读取 图档管理系统申韵接口表的表名称不变、接口表的数据 结构字段必须保留必须的关键字段。 为此。在第三个数据库上建立一个固定名称的数据 库NewDB,创建一表名为TableI的数据表,利用编程
doi:lO.3969/j.issn.1002—6673.2012,03.039
The Research of Data Synchronization Technology Between Separated System
WANG只增
(Wisdri Engineering&Research Incorporation Limited,Wuhan Hube 430223,China)
3结束语
信息孤岛在企业的信息化建设中是难免会遇到的现
l象,本文通Fra Baidu bibliotek一个实际案例的分析,在对IH有信息系统
投资的保护及减少冗繁的维护量的思路指导下,对跨系 统数据同步技术这个较大的课题的研究中通过实际的应
J用实施总结出比较实用的一套操作方法,期望能对正在 f从事类似运维工作的人员提供借鉴。
同时,在对跨系统做数据同步的过程中.过多的数 一据接12也会增加企业的IT的维护管理成本,如何合理
利用SQL Server2005数据库管理器的特性151,通过跨
J
照务器的链接服务器实现了鼯个系统数据的实时川同步,
-并且无需前台编程语言.是一种比较好的解决方案。 通过对跨系统数据同步案例拟定的三种方案的实
{践。选择一种最简单最高效的处理方案不但能节约信息
系统维护成本,促进企业新的应用系统按期上线,又能 :保护旧有的信息系统投资继续发挥功效,具有比较重要 的意义。
工具,实现新图档数据库中的M铀lel和Ⅳ仙le2的关
键字段定期同步到NewDB中的表7rablel中来。 (3)创建一个跨数据库的链接服务器。在图纸借阅系 统中,创建一个跨数据库的链接服务器。链接服务器 工作机理131如图3所示。
客户 客户应用程序
I
臼
围1旧业务需求下两个系统的关系围
SQL
●
在旧的业务需求下.数据底层的逻辑关系为.图纸 借阕系统读取到图档管理系统数据库的表Tablel;为保 障数据的安全性.图纸借阅系统以只读的方式读取数 据。没有可写的操作权限。同时。图纸借阅系统的数据 接口访问链接是可以灵活配置的。 新业务需求下,在冈档管理系统升级后,因业务发 生部分调整。在做旧图档数据库迁移时,原表Tablel存 储的数据分解为新的NTablel和NTable2,其它业务变 化不影响图纸借阅系统对图档管理系统的接口访问。业 务变化后两个系统的关系如图2所示。