基于CWM的数据仓库体系结构设计

粒度3
数据集市的特点
面向部门应用
规模小，投资少
使用方便且成本低
元数据库
类型：
中央元数据库 本地元数据库
内容：
抽取过程：任务、执行顺序、映射关系、转换规则 描述数据 ：方位图、数据之间的商业关系、商业规 则、数据的改变 数据仓库管理：安全性、运行状态、抽取过程的调 度、I/O对象及其关系
数据 联机 分析 展示
WEB 服务器
客户端
元数据库
数 据 建 模
系统部署图
数据仓库 服务器 W W W 服务器 WEB浏览
自动邮件 OLTP 服务器 OLAP 服务器 工具 客户端
CWM和XMI的关系
CWM的组成
CWM元模型
基础包 资源包 分析包 管理包
CWM DTD和CWM XML CWM IDL
提纲
背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍
基于CWM的数据仓库体系结构设计
电信综合业务信息服务平台设计
Column：查询和设置属性
Row：查询和修改一条记录的内容
RowSet：查询和修改包含的记录
ETL
读取数据 清洁数据 转换数据
装载数据
ETL组件的接口
黑盒变换： Transformation ，DataObjectSet ， TransformationUse 白盒变换： FeatureMap ，ClassifierMap ， ClassifierFeatureMap ，TransformationMap 变换的执行顺序控制： TransformationTask ，TransformationStep ， TransformationActivity ，StepPrecedence ， PrecedenceConstraint
提纲
背景介绍 数据仓库、元数据理论介绍
CWM、MOF、UML、XMI规 范介绍
基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计
元数据的层次
通用的元元模型
MetaClass（“Record”， [MetaAttr(（“name”）,String), MetaAttr((“fields”),list<Field>)] MetaClass（“Field”，…）
元元模型（M3）
元模型（M2）
Record（“Student”， Field（“name”，String）， (Field（“sex”，String）…) Student （“张东”，“男”， …） Student （“李芳”，“女”， …） ……
模型（M1）
信息，数据 （M0）
OMG规范和元数据层次的关系
对象请求代理（ORB）
对象服务
提纲
背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计
电信综合业务信息服务平台设计
系统体系结构设计
管 理 系 统
省分公司 上报数据
计费 结算 数据
抽 清 转 装
取 洁 换 载 元数据交换
面向主题 的企业 数据仓库
立方体到物理数据源的映射 StructureMap， LevelBasedHierarchy， ValueBasedHierarchy
数据挖掘组件的主要类及接口
MiningModel：模型属性和模型的输入 MiningSettings：对象属性，输入参数的说明 ApplicationInputSpecification， ApplicationAttribute： 使用模型时的参数 MiningModelResult：挖掘的结果 SupervisedMiningModel: 描述预言性算法产生的模 型 StatisticsSettings, AssociationRulesSettings, ClusteringSettings, ClassificationSettings, RegressionSettings：对应模型的设置
Relational元模型（续2）
Extent Instance AttributeLink
RowSet
Object
DataValue
ColumnSet
Row
ColumnValue
Attribute
关系型数据源的主要接口
BaseTable：查询和修改表的属性、触发 器和结构
Catalog：查询和修改包含的元素
元数据 层次 M3 M2 MOF术语 元元模型 元模型， 元元数据
示例
MOF模型 UML元模型， CWM元模型 UML模型， CWM模型 数据仓库数据
M1
M0
模型， 元数据
对象，数据
CWM和相关规范的关系
CWM和MOF的关系 CWM和UML的关系
直接继承了UML核心元模型 使用UML图形标记 使用UML中的OCL（对象约束语言）
中央数据仓库
数据粒度最细且多层次 数据是历史的
数据是时间相关的
大数据量
数据是整合的
通用的、全局的
操作数据存储ODS
1/2 操作型系统 1/2 企 业 数据仓库
ODS
数据集市
部门1 外部 数据源
数据 集市
粒度1
部门2
企业 数据 仓库 最细粒度
数据 集市
粒度2 部门3
数据 集市
基于CWM的数据仓库体系结构的 特点及优点
统一的数据集市和数据仓库 中央元数据库驱动机制 灵活高效的数据交换方式 易于升级 高度的可集成性 高度的可扩展性
基于CORBA的企业数据仓库扩展结构
通用数据仓库 工具 C W M（IDL） 企业数据仓库 平台 C W M（IDL）
数据仓库的定义
数据仓库的建设
数据仓库的应用 国内数据仓库建设的问题
元数据
定义
描述数据的数据
研究元数据的原因
管理、使用数据的需求
系统分布和互通的要求
元数据重用、共享的要求
元数据的建模和标准化
建模的两大方向
元数据参考模型 元数据模型
标准化
OMG MDC
OLAP组件接口
立方体的定义： Cube，CubeDimAssoc，CubeRegion， Dimension，Hierarchy，Level，Mearsure， LevelBasedHierarchy，HierarchyLevelAsso， ValueBasedHierarchy，MemberSelection， MemberSelGrp，
背景介绍
数据仓库的应用越来越广泛 不同数据仓库工具之间无法进行数据交换 企业的应用受到工具的限制 利用元数据可以实现数据交换
提纲
背景介绍
数据仓库、元数据理论介绍
CWM、MOF、UML、XMI规范介绍
基于CWM的数据仓库体系结构设计
电信综合业务信息服务平台设计
数据仓库理论
数据仓库管理
访问控制和安全性管理 数据增长管理 抽取过程的管理 性能管理 故障恢复 扩充和演变管理
数据仓库管理接口
抽取过程的调度（WarehouseProcess， WarehouseEvent，InternalEvent， ScheduleEvent，ExternalEvent） 抽取过程的执行 （TransformationExecution， StepExecution，ActivityExecution） 数据元素的变化（Measurement， ChangeRequest）
基于CWM的 数据仓库体系结构设计
我的工作
提出了一个基于CWM的数据仓库体系结构 基于该体系结构，参与设计和实现了一个 电信综合业务信息服务平台
提纲
背景介绍
数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计
基于CWM的数据仓库体系结构
DW管理 系统
O D S
OLTP系统 抽 清 转 装 取 洁 换 载 中央 数据仓库
OLAP工具
遗留系统
办公系统
中央 元数据库
元 数 本地元数据库 据 交 数据集市 换
挖掘工具
报表工具
外部数据
数据模型 本地元数据库
数据源
OLTP数据库 遗留数据 内部办公系统数据
外部数据
数据源
多种类型：关系型、多维、 记录、XML 以及其它一些工具类型 关系型：模式，物理表， 视图，字段，索引，触
发器，外关键字 ，主关键字 ，数据类型，字段 值，数据记录，记录的集合
Relational元模型
ቤተ መጻሕፍቲ ባይዱ
Relational元模型（续1）
Package ColumnSet Catalog Trigger Index Procedure BaseTable View Table SQLQuery SQLDataType Column