数据仓库开发应用过程
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2.逻辑模型最终设计成果：
➢每个主题的逻辑定义，并将相关内容记录在数据仓库 的元数据中 ➢粒度划分 ➢数据分割策略 ➢表划分和数据来源等。
14
5.4.1 分析主题域
主题名 公共码键
属性组
商品固有信息：商品号，商品名，类型，颜色等
商 品
商品号
商品采购信息：商品号，供应商号，供应价，供应日期， 供应量等
其它目标是确定数据仓库内部数据的规模。
从用户的角度分析
从技术的角度分析
3
5.2.3 数据仓库的结构
1.数据仓库的应用结构
1) 基于业务处理系统的数据仓库 2) 单纯数据仓库 3) 单纯数据集市 4) 数据仓库和数据集市
2.数据仓库的技术平台结构
1) 单层结构 2) 客户/服务器两层结构 (C/S) 3) 三层客户/服务器 (B/W/S) 4) 多层式结构
商品 种类ID 小类ID 商品ID
年龄 60岁以上 40岁以上 30岁以上 20岁以上 20岁以下
信用 10万元以上 1万元以上 1千元以上 1千元以下
0元
经济
(年收入)
100万以上
10万以上
1万以上
1万以下
11
日期 年 月 日
地点 国家 省 市 销售 销售ID 销售数量 销售价格 销售金额 时间ID 地点ID 商品ID 信用 10万元以上 1万元以上 1千元以上 1千元以下 0元
规划 与确 定需 求
数据 仓库 评价
规划 分析阶段
使用 维护阶段
数据仓库 开发过程
数据 仓库 维护
数据 仓库 应用
设计 体系 结构
设计 实施阶段
数据 库与 元数 据设 计
数据 抽取 转换 与加 载
填充 与测 试数 据仓 库
开发 中间 件
2
5.2 数据仓库的规划
5.2.1 选择数据仓库实现策略
开发策略主要有： 1) 自顶向下：实际应用比较困难 。 2) 自底向上：用于一个数据集市或一个部门的数据仓库开发 ，
商品库存信息：商品号，库房号，库存量，日期等
√ √(Excel)
√ √
√ 外部数据源
√ √
9
5.3.3 概念模型的分析
商品固有信息
客户固有 信息
日期
商品
商品变动信息 商品号
供应商 号
客户号
销售
客户
开户日 期
客户变动信 息
日期
客户号
销售数量
10
5.3.4 概念模型的设计
日期 年 月 日
地点 国家 省 市
销售 销售数量 销售价格 销售金额 时间ID 地点ID 商品ID
RU
RU
CRUD
RU
R
R
RU
R
RU
R
Rபைடு நூலகம்
CRUD
R
R
RU
C：Create产生、R：Read引用、U：Update更新 D：Delete删除。
8
5.企业业务处理系统数据存储表
销售单输入 销售单处理 商品管理 预算系统 财务计算 库存控制 后勤
商品供应商 市场调查公司
Oracle √ √
Sysbase SQL Server VFP 其它模式 √ √
商品ID 种类 小类 商品 年龄 60岁以上 40岁以上 30岁以上 20岁以上 20岁以下 经济 (年收入) 100万以上 10万以上 1万以上
商品ID 生产厂家 进货价格 进货日期
详细类别表
客户
客户ID
姓名
地址
电话 邮政编码
12
5.3.5 概念模型文档与评审
1.概念模型设计文档
➢数据仓库开发需求分析报告 ➢概念模型分析报告 ➢概念模型 ➢概念模型的评审报告。
1.数据仓库用户的决策分析 2.支持决策的数据需求分析 3.数据需求分析工具
决策分析问题
客户购买商品趋势分析
需求信息类
需求信息1层 需求信息2层 需求信息3层 需求信息4层 需求信息5层 ……
日期
年(4) 季(16) 月(48) ……
地点
商品
客户年 客户经济 客户信用
龄组
状况
国家(15) 省(60) 市(200) 街道(2100) 商店(20000)
第五讲 数据仓库开发应用过程
5.1数据仓库开发应用过程 5.2数据仓库的规划 5.3数据仓库的概念模型设计 5.4数据仓库的逻辑模型设计 5.5数据仓库的物理模型设计 5.6数据仓库的实施 5.7数据仓库的应用、支持和增强 练习
1
5.1 数据仓库的螺旋式开发方法
开发 概念 模型
开发 逻辑 模型
4
5.2.4 数据仓库使用方案和项目规划预算
1.实际使用方案还可以将最终用户的决策支持要求与 数据仓库的技术要求联系起来 2.开发方案的预算进行估计 3.编制数据仓库开发说明书 ：
➢说明系统与企业战略目标的关系，系统与企业急需处理的、范围相对有 限的开发机会。 ➢业务机会的说明以及任务概况说明、重点支持的职能部门和今后工作的 建议。 ➢计划中需要阐明期望取得的有形和无形利益 ➢业务价值计划最好由目标业务主管来完成 ➢规划书中要确定数据仓库的开发目标实现范围、体系结构和使用方案及 开发预算。
容易获得成功 。 3) 两种策略的联合使用 ：能够快速地完成数据仓库的开发与
应用，而且还可以建立具有长远价值的数据仓库方案。在 实际使用中难以操作 。
5.2.2 确定数据仓库的开发目标和实现范围
首要目标是确定所需要信息的范围，确定数据仓库在为用户
提供决策帮助时，在主题和指标领域需要哪些数据源。
另一个重要目标是确定利用哪些方法和工具访问和导航数据？
……
商品种类(7) 年龄组 经济类 信用
商品小类
（8） （10） （10）
(40)
…… ……
……
商品(220)
……
7
4.CRUD矩阵
实体 客户 功能
销售单输入 CRUD 销售单处理
商品管理
R
预算系统
R
财务计算
RU
库存控制
R
后勤
R
销售单
CRUD CRUD
R R R RU RU
商品 销售代表 供货商
R
5
5.3 数据仓库的概念模型设计
概念模型的设计可以分为以下几个阶段：用户需求调查、模 型定义、模型分析和模型设计。
5.3.1 概念模型的需求调查
➢数据仓库开发的任务书 ➢首先要明确用户的信息需求 ➢了解管理人员在信息需求方面的内容 ➢了解关于信息的来源 ➢组织所使用的系统环境
6
5.3.2 概念模型的定义
2.概念模型的评审 3.概念模型的评审人员 4.概念模型的评审内容
数据仓库开发任务书；用户决策分析信息需求调查表；数据仓库主 题；E-R图、星型模型和雪花模型。
13
5.4 数据仓库的逻辑模型设计
1.数据仓库的逻辑模型设计任务：
➢分析主题域，确定要装载到数据仓库的主题； ➢确定粒度层次划分； ➢确定数据分割策略； 关系模式的定义和记录系统定义、确定数据抽取模型等。
➢每个主题的逻辑定义，并将相关内容记录在数据仓库 的元数据中 ➢粒度划分 ➢数据分割策略 ➢表划分和数据来源等。
14
5.4.1 分析主题域
主题名 公共码键
属性组
商品固有信息：商品号，商品名，类型，颜色等
商 品
商品号
商品采购信息：商品号，供应商号，供应价，供应日期， 供应量等
其它目标是确定数据仓库内部数据的规模。
从用户的角度分析
从技术的角度分析
3
5.2.3 数据仓库的结构
1.数据仓库的应用结构
1) 基于业务处理系统的数据仓库 2) 单纯数据仓库 3) 单纯数据集市 4) 数据仓库和数据集市
2.数据仓库的技术平台结构
1) 单层结构 2) 客户/服务器两层结构 (C/S) 3) 三层客户/服务器 (B/W/S) 4) 多层式结构
商品 种类ID 小类ID 商品ID
年龄 60岁以上 40岁以上 30岁以上 20岁以上 20岁以下
信用 10万元以上 1万元以上 1千元以上 1千元以下
0元
经济
(年收入)
100万以上
10万以上
1万以上
1万以下
11
日期 年 月 日
地点 国家 省 市 销售 销售ID 销售数量 销售价格 销售金额 时间ID 地点ID 商品ID 信用 10万元以上 1万元以上 1千元以上 1千元以下 0元
规划 与确 定需 求
数据 仓库 评价
规划 分析阶段
使用 维护阶段
数据仓库 开发过程
数据 仓库 维护
数据 仓库 应用
设计 体系 结构
设计 实施阶段
数据 库与 元数 据设 计
数据 抽取 转换 与加 载
填充 与测 试数 据仓 库
开发 中间 件
2
5.2 数据仓库的规划
5.2.1 选择数据仓库实现策略
开发策略主要有： 1) 自顶向下：实际应用比较困难 。 2) 自底向上：用于一个数据集市或一个部门的数据仓库开发 ，
商品库存信息：商品号，库房号，库存量，日期等
√ √(Excel)
√ √
√ 外部数据源
√ √
9
5.3.3 概念模型的分析
商品固有信息
客户固有 信息
日期
商品
商品变动信息 商品号
供应商 号
客户号
销售
客户
开户日 期
客户变动信 息
日期
客户号
销售数量
10
5.3.4 概念模型的设计
日期 年 月 日
地点 国家 省 市
销售 销售数量 销售价格 销售金额 时间ID 地点ID 商品ID
RU
RU
CRUD
RU
R
R
RU
R
RU
R
Rபைடு நூலகம்
CRUD
R
R
RU
C：Create产生、R：Read引用、U：Update更新 D：Delete删除。
8
5.企业业务处理系统数据存储表
销售单输入 销售单处理 商品管理 预算系统 财务计算 库存控制 后勤
商品供应商 市场调查公司
Oracle √ √
Sysbase SQL Server VFP 其它模式 √ √
商品ID 种类 小类 商品 年龄 60岁以上 40岁以上 30岁以上 20岁以上 20岁以下 经济 (年收入) 100万以上 10万以上 1万以上
商品ID 生产厂家 进货价格 进货日期
详细类别表
客户
客户ID
姓名
地址
电话 邮政编码
12
5.3.5 概念模型文档与评审
1.概念模型设计文档
➢数据仓库开发需求分析报告 ➢概念模型分析报告 ➢概念模型 ➢概念模型的评审报告。
1.数据仓库用户的决策分析 2.支持决策的数据需求分析 3.数据需求分析工具
决策分析问题
客户购买商品趋势分析
需求信息类
需求信息1层 需求信息2层 需求信息3层 需求信息4层 需求信息5层 ……
日期
年(4) 季(16) 月(48) ……
地点
商品
客户年 客户经济 客户信用
龄组
状况
国家(15) 省(60) 市(200) 街道(2100) 商店(20000)
第五讲 数据仓库开发应用过程
5.1数据仓库开发应用过程 5.2数据仓库的规划 5.3数据仓库的概念模型设计 5.4数据仓库的逻辑模型设计 5.5数据仓库的物理模型设计 5.6数据仓库的实施 5.7数据仓库的应用、支持和增强 练习
1
5.1 数据仓库的螺旋式开发方法
开发 概念 模型
开发 逻辑 模型
4
5.2.4 数据仓库使用方案和项目规划预算
1.实际使用方案还可以将最终用户的决策支持要求与 数据仓库的技术要求联系起来 2.开发方案的预算进行估计 3.编制数据仓库开发说明书 ：
➢说明系统与企业战略目标的关系，系统与企业急需处理的、范围相对有 限的开发机会。 ➢业务机会的说明以及任务概况说明、重点支持的职能部门和今后工作的 建议。 ➢计划中需要阐明期望取得的有形和无形利益 ➢业务价值计划最好由目标业务主管来完成 ➢规划书中要确定数据仓库的开发目标实现范围、体系结构和使用方案及 开发预算。
容易获得成功 。 3) 两种策略的联合使用 ：能够快速地完成数据仓库的开发与
应用，而且还可以建立具有长远价值的数据仓库方案。在 实际使用中难以操作 。
5.2.2 确定数据仓库的开发目标和实现范围
首要目标是确定所需要信息的范围，确定数据仓库在为用户
提供决策帮助时，在主题和指标领域需要哪些数据源。
另一个重要目标是确定利用哪些方法和工具访问和导航数据？
……
商品种类(7) 年龄组 经济类 信用
商品小类
（8） （10） （10）
(40)
…… ……
……
商品(220)
……
7
4.CRUD矩阵
实体 客户 功能
销售单输入 CRUD 销售单处理
商品管理
R
预算系统
R
财务计算
RU
库存控制
R
后勤
R
销售单
CRUD CRUD
R R R RU RU
商品 销售代表 供货商
R
5
5.3 数据仓库的概念模型设计
概念模型的设计可以分为以下几个阶段：用户需求调查、模 型定义、模型分析和模型设计。
5.3.1 概念模型的需求调查
➢数据仓库开发的任务书 ➢首先要明确用户的信息需求 ➢了解管理人员在信息需求方面的内容 ➢了解关于信息的来源 ➢组织所使用的系统环境
6
5.3.2 概念模型的定义
2.概念模型的评审 3.概念模型的评审人员 4.概念模型的评审内容
数据仓库开发任务书；用户决策分析信息需求调查表；数据仓库主 题；E-R图、星型模型和雪花模型。
13
5.4 数据仓库的逻辑模型设计
1.数据仓库的逻辑模型设计任务：
➢分析主题域，确定要装载到数据仓库的主题； ➢确定粒度层次划分； ➢确定数据分割策略； 关系模式的定义和记录系统定义、确定数据抽取模型等。