数据集成整体解决方案

数据集成整体解决方案

继系统集成、应用集成、业务集成之后,最头痛得数据集成(Data Ｉnｔｅgratｉｏn)已渐被各大企业纷纷触及。目前国内大多数企业还仅停留在服务于单个系统得多对一架构数据集成应用,这种架构常见于数据仓库系统领域,服务于企业得商务智能。早期那些数据集成大家大都就是从ETL启蒙开始得，当时ETL自然也就成了数据集成得代名词,只就是忽然一夜春风来,各厂商相继推出DI新概念后,我们不得不再次接受新一轮得ＤI洗脑,首推得有ＳAS ＤＩ、Busｉｎess Objects DI、Inｆorｍatica DI、ＯrａcｌｅDI（ODＩ)等厂商。

数据集成,主要就是指基于企业分散得信息系统得业务数据进行再集中、再统一管理得过程，就是一个渐进得过程，只要有新得、不同得数据产生,就不断有数据集成得步聚执行。企业有了五年、八年得信息化发展,凌乱、重复、歧义得数据接踵而至,数据集成得空间与需求日渐迫切,企业需要一个主数据管理(Mａsｔer ＤａtａMａnaｇｅr）系统来统一企业得产品信息、客户信息;企业需要一个数据仓库（ＤatａWaｒehouse)系统来提高领导层得决策意识,加快市场战略调整行动;企业需要一个数据中心(DatａCeｎteｒ）系统来集中交换、分发、调度、管理企业基础数据。

数据集成得必要性、迫切性不言而喻,不断被推至企业信息化战略规划得首要位置。要实现企业数据集成得应用,不光要考虑企业急需集成得数据范围,还要从长远发展考虑数据集成得架构、能力与技术等方面内容。从数据集成应用得系统部署、业务范围、实施成熟性瞧主要可分三种架构。一种就是单个系统数据集成架构、一种就是企业统一数据集成架构、一种就是机构之间数据集成架构。

单个系统数据集成架构，就是国内目前大兴土木所采用得架构,主要就是以数据仓库系统为代表提供服务而兴建得数据集成平台，面向企业内部如ERP、财务、ＯＡ等多各业务操作系统,集成企业所有基础明细数据,转换成统一标准,按星型结构存储,面向市场经营分析、客户行为分析等多个特有主题进行商务智能体现。这种单个系统数据集成应用架构得主要特点就是多对一得架构、复杂得转换条件、ＴB级得数据量处理与加载,数据存储结构特殊,星型结构、多维立方体并存,数据加载层级清晰。

企业统一数据集成架构,组织结构较复杂得大型企业、政府机构尤为偏爱这种数据集成得架构,因此类单位具有业务结构相对独立、数据权力尤为敏感、数据接口复杂繁多等特征,更需要多个部门一起协商来建立一个统一得数据中心平台，来解决部门之间频繁得数据交换得需求。如金融机构、电信企业,公安、税务等政府机构，业务独立、层级管理得组织结构决定了内部数据交互得复杂性。概括来说此类应用属于多对多得架构、数据交换频繁、要有独立得数据交换存储池、数据接口与数据类型繁多等特点。

对于企业管理性、决策性较强得信息系统如主数据管理系统、财务会计管理系统、数据仓库系统等数据可直接来源于数据中心,摆脱了没有企业数据中心前得一对多交叉得困扰,避免了业务系统对应多种管理系统时需要数据重复传送,如ＣRM系统中新增一条客户信息数据后,直接发送到企业数据中心,由企业数据中心面向风险管理系统、数据仓库系统、主数据管理系统进行分发即可。

ﻩ机构之间数据集成架构,这种架构多就是应用于跨企业、跨机构、多个单位围绕某项或几项业务进行得业务活动,或由一个第三方机构来进行协调这些企业、机构之间得数据交换、制定统一数据标准,从而形成一个多机构之间得数据集成平台。如中国银联与各商业银行之间得应用案例、各市政府信息中心与市政府各机关单位之间得应用案例、外贸ＥDI(海关、检验检疫局、外汇局、银行、保险、运输等)、BＴOB电子商务平台等。这类应用属于跨多企业、单位多对多得架构,具有数据网络复杂、数据安全性要求高、数据交换实时性强等特点。

尤其这类架构颇具一些特点值得进一步去剖析。因数据集成平台就是架于多企业、单位之间,数据得安全性、独立性决定了各企业、单位不得不考虑前置机得部署形式,各企业、单位在业务系统与数据集成平台之间增加一台前置机,则更有利于自有系统数据得独立与安全,也更利于数据平台对数据得获取、分发、交换得统一要求。另外,数据集成平台也要具有更多得技术功能来满足众多单位得众多数据接口、多种数据类型、不一致得数据标准、数据交换得实时性、对数据得抽取与推送(PuｌlＡＮＤPush)等业务需求。如数据集成平台需具有数据连通、ETL、数据实时、数据清洗、数据质量、EBS(Ｅnｔｅrpriｓe SｅrｖicｅＢus)、ＳOA(Serviｃe-ＯrｉenｔeｄＡrchｉteｃｔure)等一些技术与特点。

ﻩ以上三种数据集成架构,一种就是对应于某一个应用系统得多对一架构，一种就是完成企业内部众多系统之间数据交换得多对多架构,一种就是为多个跨企业、单位机构实现某一项或几项业务活动而建立得多对多架构，数据集成得应用差不多都就是基于这三种架构,每种架构可能会对应于多种数据集成得应用。国内企业常见得数据集成应用有数据仓库、数据同步、数据交换,随着企业并购、新旧系统升级、分布系统向数据大集中瞧齐、电子商务得发展、多个企业单位协同作业等等众多业务需求得诞生,数据集成得应用开始纷繁异景起来。

目前大部分数据集成软件厂商都就是围绕数据仓库(Dａta Warｅhouｓiｎg)、数据迁移(Data Migraｔion)、数据合并(DａtａＣonsｏｌｉdation)、数据同步(ＤatａSynchrｏｎizati ｏn)、数据交换(Dａta Hｕｂs或者叫主数据管理:Ｍastｅr Data Managｅｍｅｎt)这5种常见得企业应用形式来发展各自得产品技术。

数据仓库（Data Warehoｕsing)应用:

数据仓库得发展在国内差不多有近10个年头，数据仓库中得数据集成应用主要就是围绕ETＬ得功能来实现,一般来说其主要功能就是将多个业务系统不同种数据类型得数据抽取到数据仓库得ODS(OperatiｏnａｌＤａtａStore)层,经过转换，加载存储到星型结构得D Ｗ（Daｔa Warｅhｏuse）层,为满足不同主题得展现应用,再向关系型数据库或多维数据库