电信数据仓库设计的六个关键环节

电信数据仓库设计的六个关键环节

编者按

数据仓库技术经过了十几年的发展，在理论与工程实践上都取得了显著的成果。国际上许多重要的学术会议，如超大型数据库国际会议（VLDB）、数据工程国际会议（Data Engineering）等，都有大量专门研究数据仓库（Data Warehousing）、联机分析处理（On-Line Analytical Processing）、数据挖掘（Data Mining）的论文，各大数据库厂商纷纷推出相应产品支持数据仓库，比如NCR、SAS、Oracle、IBM、Informix、Sybase等都提出了相应的数据仓库解决方案。

随着信息技术的飞速发展，企业内部产生了越来越多的数据，但这些数据并没有产生应有的信息，困此，我们常常可以看到企业“数据爆炸、知识贫乏”的窘迫局面。如何有效地整合与充分利用信息资源，成为企业提高核心竞争力的关键。此外，数据仓库的设计与实现，在不同的行业存在着极大的差别，企业在设计过程中应该注意哪些细节问题？

本期“方案评析”专题中所选的几篇文章，以电信、银行、医疗行业为实例，在实际操作的基础上，分析了企业经营分析与决策支持系统的建设应用，分析了建设数据仓库及基于数据仓库的商业智能系统应具备的基本条件，从确定主题、数据准备、建立模型、评估和解释模型、运用和巩固模型等方面，对数据仓库的设计方法，以及解决关键环节问题的技巧进行了深入剖析，具有较高的实用价值。

大型企业数据仓库系统的建设是一项复杂的系统工程，在设计中会遇到各种各样的技术问题。本文以电信行业数据创库设计为例，提供数据仓库设计过程中的六个关键环节，从技术上给读者提供参考。

环节一：异种数据源集成

企业在经营分析与决策支持系统的建设时，必须将遗留系统（Legacy System）进行高效全面的集成。由于遗留系统是在企业发展的不同时期建设的，往往缺乏全局规划，所以拥有不同的操作系统、不同的数据库、不同的网络通信机制等，形成了所谓的“信息孤岛”。

系统中采用异种数据源企业应用集成接口，来实现对异种数据源的透明访问，包括数据源元数据访问及业务操作数据访问。数据源分为在线数据源和离线数据源，在线数据源是指允许在线抽取的业务数据源，如营业数据; 离线数据源是指不允许直接在线抽取的数据源，如计费样单数据就是采用以脱机文件数据格式及FTP方式集成进系统。

对数据源实现元数据级的管理，数据源的连接类型（ODBC、OLEDB、JDBC、Native）、连接字符串，以及数据结构信息都以元数据的形式存储于元数据库中，通过控制台对其进行业务语义定义，使用户对整个企业的信息系统有了全面的掌握。

环节二：ODS层的设计

操作数据存储ODS（Operation Data Storage）是一个集成了来自不同数据库数据的环境。其目的是为终端用户提供一致的企业数据集成视图。它可以帮助用户轻松应对跨多个商业功能的操作挑战，是面向主题的、集成的、近实时的数据存储。

设计ODS层的目的在于改善了对关键操作数据库的存取，用户能获得收益、客户等主题的企业级完整视图，有利于更好地通观全局。近实时的数据存储提供了查询与服务能力，并以更高的性能生成操作报告。设计ODS的核心是实现焦点主题全局试图应用，如企业的客户管理系统，可以建立以客户为中心的ODS 客户主题视图，向上层提供高效的服务。而对于话费结算则采取了从综合结算系统中直接抽取到数据仓库的方式，抽取周期为结算周期，能完全满足决策分析的时间窗要求。

环节三：ETL过程的设计

数据抽取、转换和加载，是数据仓库实现过程中，数据由数据源系统向数据仓库加载的主要方法，整个数据处理过程如下：

数据抽取从数据源系统抽取数据仓库系统所需的数据，数据抽取采用统一的接口，可以从数据库抽取数据，也可以从文件抽取。对于不同数据平台、源数据形式、性能要求的业务系统，以及不同数据量的源数据，可能采用的接口方式不同，为保证抽取效率，减少对生产运营的影响，对于大数据量的抽取，采取“数据分割、缩短抽取周期”的原则，对于直接的数据库抽取，采取协商接口表的方式，保障生产系统数据库的安全。

数据转换数据转换是指对抽取的源数据根据数据仓库系统模型的要求，进行数据的转换、清洗、拆分、汇总等，保证来自不同系统、不同格式的数据和信息模型具有一致性和完整性，并按要求装入数据仓库。

数据加载数据加载是将转换后的数据加载到数据仓库中，可以采用数据加载工具，也可以采用API编程进行数据加载。数据加载策略包括加载周期和数据追加策略，对于电信企业级应用，采用对ETL工具DataStage进行功能封装，向上提供监控与调度接口的方式。数据加载周期要综合考虑经营分析需求和系统加载的代价，对不同业务系统的数据采用不同的加载周期，但必须保持同一时间业务数据的完整性和一致性。

环节四：仓库模型设计

由于经营分析需求的不断变化，数据仓库中数据的存储必须采用主题分域的方式，及尽可能小的业务单元进行数据的组织和存储，以满足数据仓库的灵活性。此外，任何一个信息系统都具有整体性、结构性、层次性、相对性、可变性，数据仓库的目标逻辑结构的设计要体现这些特征。

例如，某电信运营商的业务可以按照不同的主题域分为八类：客户、账务、资源、服务、客服、营销、服务使用、结算。客户主题包含与客户相关的基本信息，如客户的自然属性（姓名、年龄、职业等）、分类信息（现有客户、潜在客户、大客户等）、重要属性信息（信用度、忠诚度、消费层次等）。账务主题中包含了与客户相关的费用信息，如明细账单、综合账单、账本、账户、付费记录、销账流水等；资源主题中包含网络资源和服务资源信息及占用情况；服务主题包含产品、套餐、资费与优惠规则等的信息；客服主题包含与客户服务相关的部门信息、流程信息、分类信息等; 营销主题包含销售机会、营销渠道、促销活动等相关信息；服务使用主题描述客户购买和使用电信服务产品的信息，包括用户、服务使用记录、清单等；结算主题包含结算清单、结算明细账单、合作服务方等信息。对于主题的建模采用星型结构允率当砘蚋乓砑酉喙匚砉钩伞?

环节五：元数据管理

元数据（Metadata）是关于数据、操纵数据的进程，以及应用程序的结构、意义的描述信息，其主要目标是提供数据资源的全面指南。元数据是描述数据仓库内数据结构和建立方法的数据，可将其按用途分为两