数据管控规范

1数据管理架构

1.1 数据管理平台功能蓝图

数据管理就就是对交易中心现有得业务支撑系统得数据进行统一得数据管理、质量管控、并且通过标准得共享模式,实现核心数据统一存储,维护与使用得问题,提升交易中心现有数据得安全存储与高效使用等能力,并更加深入地进行数据挖掘等工作,为中心创造更多得价值。未来得数据管理平台将对中心现有系统得数据进行统一得数据得整合、数据得管控,并运用数据进行统一得服务管控来提升服务共享得水平,为中心得服务提供全方面得数据支撑。数据管理平台得功能蓝图如图所示:

●数据整合域,就是对现有业务系统得数据进行采集与清洗转换,并对采集过程中得数

据进行质量检测,来确保整合数据得准确性与可靠性。

●数据管控域,对采集到数据按照其不同得属性进行分类存储管控,对数据得质量、数

据得安全以及信息得生命周期进行统一得管理,并对数据在使用过程得各种信息进

行统计分析。

●服务共享域, 利用数据管理平台已有得数据资源,进行自定义得数据服务配置,定制

出符合要求得服务,进行相关服务流程得编排,通过数据中心将服务进行发布。

●服务管理域,主要就是对提供得服务进行管理,包括服务应用得管理,服务流程得管

理以及服务监控。

1.2 数据集成

数据整合就就是将离散于各个业务系统中得数据进行集中化、数据整合阶段主要分为以下三个步骤执行:

●数据类型识别

根据业务使用情况分析目前各个系统中得数据实体,其中哪些就是主数据,哪些就是非主数据但需要共享得数据,哪些就是私有数据、数据类型会作为制定同步规则与清洗规则得重要依据。

●数据同步规则确定

分析采集得各种数据需要达到得同步频率,从实时、准实时到天、月不等,针对不同得同步频率需求结合每次同步得数据量来选择同步方式,ETＬ(抽取-转化—加载)与ESＢ(企业服务总线)分别适用于不同场景、EＴＬ本身也有多种具体得技术手段来实现各种情况下得同步,如Hotplug、全表对比、时间戳等、在这里,将根据不同得数据类别与数据使用频度与需求频度等情况,制定出相应得数据同步得机制,采用实时数据整合与批量数据整合两种方式进行数据得整合。

●数据清洗规则确定

在进行数据整合过程中,由于不同系统中可能重复出现得数据,以及数据本身得缺失与错误等问题,为了避免由于不同系统中相同数据由于编码规则、格式之间得差异,在清洗过程中需要制定统一得数据清洗规则,对数据进行清洗与转换,确保数据管理平台中得数据能够保持一致性。

同时,在数据清洗得过程中,需要对采集数据得质量以及清洗后数据得质量进行检测。其中,在数据采集过程中,对采集得数据进行整合,确保采集得数据都能满足质量要求,能够通过正确得清洗与转换;对于转换完成得数据,通过再次得检测,保证转换数据得一致性与正确性,从而确保数据得准确行与权威性。

1.3 数据管控

数据管控就就是对于进行整合后得数据进行相关得管控,使其能够满足交易中心管理对

于数据使用得各种需求、

1.3.1 数据生命周期规划

数据生命周期规划,就就是对数据从在各个应用系统得中产生,然后通过各种采集整合手段聚合到数据管理平台,直至最终通过建立各种主题数据仓库提供各种数据服务得整个过程进行规划,使数据能够满足各种业务得使用需要。

数据生命周期规划,把数据划分为以下3个域,分别保存不同阶段得数据:

●ADB应用数据库

应用数据库主要就是为交易中心主要得业务支撑系统与内部管理系统得应用提供数据存储与访问。在应用数据库只存储支撑本系统运行得数据资源,以满足本系统得使用要求。应用数据库得数据在进行日常业务处理得过程中,不断得进行更新,以便同实际得业务情况保持一致。

●数据管理平台

应用数据库得数据,经过统一得清洗与转换后,进入数据管理平台进行统一得存储管理。在数据管理平台,将通过建立统一得数据视图,为各种数据服务提供数据、数据管理平台得数据更新根据不同得数据需求与应用系统得实际情况进行区分,通过实时得数据采集与批量数据采集两种方式进行。

●数据仓库

数据仓库就是为了满足某一特定得决策支持与联机分析而建立得结构化数据环境。交易中心在进行业务活动与内部管理得过程中形成了大量得数据资源,利用数据仓库,对已有得数据资源进行深入得挖掘与联机分析,即可以满足交易中心日常得数据查询要求;又可充分挖掘数据内涵得意义,为中心得各项业务决策提供良好得支持。例如,根据交易中心目前得使用要求,建立交易信息、企业信息、专家信息得主题数据仓库,为中心得各项活动提供业务支持、

1.3.2 元数据管理

元数据就是关于数据得数据,元数据主要用于在数据仓库里描述数据及其环境,它就是在数据仓库建设过程中所产生得有关数据源定义,目标定义,转换规则等相关得关键数据。因此,元数据得管理对于数据仓库有着重要得意义。

在目前得数据管理平台上,将提供对各数据得实体定义与流程管控管理两方面得元数据进行管理。其中,数据实体管理就是对各个数据实体来进行实体定义,对实体之间得关系进行约束,实现对数据管理平台里所有数据实体得管理。对于流程管控管理方面,通过制定规范得数据流程制度,严格控制数据得流向以及数据在各流程中得情况,对数据管理平台中得各项数据流程进行管控。

1.3.3 主数据管理

主数据就是描述核心业务实体(如招标项目、企业与专家)得一个或多个属性,主数据管理具有很高得重要性、首先,完善得主数据管理可以使各个业务视角能获得一致得数据基础,减少数据差异带来得业务错误与客户投诉,还可以充分发挥各个业务视角数据管理与维护得能力,而不加重业务部门得负担,另外,主数据管理就是SＯA实施过程中,关键业务对象抽象得重要基础。主数据管理具备以下功能特点:

◆整合:在组织层面上整合了现有应用系统得主数据信息,进行主数据得集中处理。

◆共享:主数据作为组织权威得统一、一致得数据,为组织各应用系统提供准确得共享