第09章 数据库研究与发展

– 全局事务
• 需访问其他场地数据库的事务
4
• 分布式数据库环境下的访问代价
– 磁盘读写 – 网络传输
• 分布式数据库的目标
– 部门组织分布，降低成本 – 数据资源共享，提高数据库的利用率
5
• 全局外模式 – 全局应用的用户视图，全局概念模式的子集 • 全局概念模式 – 是全局概念视图 – 全局概念模式名、属性名、域 • 分片模式
35
• 数据仓库的开发生命周期
36
• 数据仓库的基本数据模式
– 星型模式(Star Schema)
• 事实表(fact table)，存放基本数据，相关主题的数 据主体（BCNF） • 维(dimension)，影响、分析主体数据的因素 • 量(measure)，事实表中的数据属性 • 维表(dimension table)，表示维的各种表 • 维是量的取值条件，维用外键表示 • 以事实表为中心，加上若干维表，组成星型数据 模式 • 例：产品-商店-销售额
• • • • 操作型环境——OLTP 全局级——数据仓库 部门级——局部仓库 个人级——个人仓库，用于启发式的分析
– 数据集市（Data Mart）
• 特定的、面向部门的小型数据仓库 • 是为满足用户特定需求而创建的数据仓库 • 是数据仓库的子集
33
• 数据库的体系化环境
34
• 数据库的体系化环境
12
• 数据仓库
ቤተ መጻሕፍቲ ባይዱ
–是一个面向主题的、集成的、非易失的 （不可修改）且随时间变化的数据集合， 用来支持管理人员的决策
13
• 数据仓库的特点 –面向主题
• 主题是在较高层次上对数据抽象 • 面向主题的数据组织分为两步骤 –抽取主题 –确定每个主题所包含的数据内容 • 每个主题在数据仓库中都是由一组关系表实现的
Sales measures
Customer customer id <pk> category 38 group
• 数据仓库的基本数据模式
– 雪花模式(Snowflake Schema)
• 维一般是由若干层次组成 • 把维按其层次结构表示成若干个表 • 规范化、节省存储空间 • 但需多做连接操作
– 简单堆积 – 轮转综合
• 数据按一定的格式进行轮转的累加
– 简化直接
• 按一定的时间间隔，对数据进行提取，是操作型数据的 一个快照
– 连续
• 把新的快照追加到以前的连续数据上去
26
• 数据仓库中的数据组织形式
– 简单堆积
• 每日由数据库中提取并加工的数据逐天积累堆积
27
• 数据仓库中的数据组织形式
9
总部
ASA/ASE 企业数据 复制服务器 SQL Remote
ASA 联机用 户
SQLRemote SQLRemote SQLRemote
ASA 远程移动用户 ASA的远程工作组 (办事处 2)
ASA的远程工作组 (办事处 1)
9.2 数据仓库技术与联机 分析处理 Data Warehouse & OLAP
– 轮转综合
• 数据按一定的格式进行轮转的累加
28
• 数据仓库中的数据组织形式
– 简单堆积与轮转综合的比较
29
• 数据仓库中的数据组织形式
– 简化直接
• 按一定的时间间隔，对数据进行提取，是操作型数据的 一个快照
30
• 数据仓库中的数据组织形式
– 连续
• 把新的快照追加到以前的连续数据上去
31
–集成的 –数据不可更改 –随时间变化的
14
• 数据仓库的特点 —— 面向主题
15
• 数据仓库的特点 – 面向主题 – 集成的
• 数据仓库的数据是从原有的分散数据库数据中抽 取来的 • 消除数据表述的不一致性（数据的清洗） • 数据的综合
– 数据不可更改 – 随时间变化的
16
• 数据仓库的特点 —— 集成
第9章 数据库系统的研究与发 展
9.1 分布式数据库系统 Distributed Database System DDBS
• 分布式数据库 – 逻辑上是一个统一的数据库系统 – 物理上分散在不同的场地（节点） – 各场地通过计算机网络连接在一起 – 统一由一个分布式数据库管理系统( DDBMS ) 管理 • 特点 – 分布性：
• 不断增加新的数据内容 • 不断删除旧的数据内容 • 定时综合 • 数据仓库中数据表的键码都包含时间项，以标明 数据的历史时期
20
• 数据仓库的特点 ——随时间变化
21
• 数据仓库的结构
OLTP系统
RDBMS Sybase
数据仓库/决策分析系统
高度 汇总数据
SAP/ERP
分析型CRM
业务指标分析
• 数据仓库的数据追加
– 数据追加
• 数据仓库的数据初装完成以后，再向数据仓库输入数据 的过程称为数据追加
– 变化数据的捕获
• • • • 时标法：加标识 DELTA法：对更新作记录 前后映象法：两次快照的对比 日志法：利用DBMS的日志，需改进
32
• 数据库的体系化环境
– 是在一个企业或组织内部，由各面向应用的OLTP 数据库及各级面向主题的数据仓库所组成的完整的 数据环境 – 操作型环境、分析型环境 – 四层体系化环境
• 局部数据库：本地的局部数据库
6
DDBMS的结构
LDB
全局数据字典
LDBMS GDBMS CM
网络 全局数据字典 CM GDBMS LDBMS LDB CM GDBMS LDBMS LDB
7
全局数据字典
• 全局数据字典
– 存放数据概念模式、分片模式、分布模式的定义及 各模式之间映象的定义 – 存放有关用户存取权限的定义 – 存放数据完整性约束条件的定义
• 数据库处理的两大应用
– 联机事务处理（OLTP）
• 操作型处理，为企业的特定应用服务 • 是对数据库的联机的日常操作，通常是对一个或 一组记录的查询和修改 • 人们关心的是响应时间、数据的安全性和完整性
– 决策支持系统（DSS）
• 分析型处理，用于管理人员的决策分析 • 经常需要访问大量的历史数据 • 数据仓库 + 联机分析处理 + 数据挖掘 • （ DW + OLAP + DM ）→ DSS
– 定义分片片段以及全局关系到片段的映象 – 是一对多的，一个全局关系可对应多个片段，一个片段只来自全局关 系
• 分布模式
– 分片的物理分配视图
• 局部概念模式
– 局部数据库中的概念模型，关于本地数据库的描述 – 如果局部数据库中还有独立应用，则应有局部外模式，提供给本地应 用使用
• 局部内模式
– 局部数据库的物理描述
• 多个切片的叠加
– 旋转是改变一个报告或页面显示的维方向
• 以用户容易理解的角度来观察数据
47
• 基于多维数据库的OLAP——MOLAP
– 以多维方式组织数据（综合数据） – 以多维方式显示（观察）数据
– 多维数据库的形式类似于交叉表，可直观地表 述一对多、多对多的关系
• 如：产品、地区、销售额 – 关系 – 多维
– 多维数组可以表示为（维1,维2,……,变量），如（地 区,时间,销售渠道,销售额） – 多维数组的取值称为数据单元（单元格）
• 可以理解为交叉表的数据格
46
• 一些基本操作
– 在多维数组的某一维选定一个维成员的动作称 为切片。
• 舍弃一些观察角度
– 在多维数组的某一维上选定某一区间的维成员
切块
43
• 数据仓库系统的工具层
– 查询工具 • 主要是对分析结果的查询 • 很少有对记录级数据的查询 – 验证型工具 • 多维分析工具 • 用户首先提出假设，然后利用各种工具通过反复、 递归的检索查询以验证或否定假设 – 发掘型工具 • 从大量数据中发现数据模式 • 预测趋势和行为
44
• 联机分析处理——OLAP
• 分布式数据库的基本原则
– 对用户（最终用户、程序员）来说，一个分布式系 统应该看起来完全象一个非分布式系统
8
• Sybase Enterprise Connect • 数据库互联与复制解决方案 • 提供在同 / 异构数据源中进行分布事务复制、 位置透明、与应用独立的数据存取功能 • 集成
– Repliaction Server / Replication Agent (复制服务器/代理) – Jconnect（J连接） – Open Server/Open Client （开放式服务器/客户机） – Omni Connect / Direct Connect （总连接/直接连接）
• 数据的分布性 • 事务的分布性
– 协调性：逻辑上整体、具整体完整性约束 3
• 数据的分布性 – 分布式数据存储
• 复制 • 分片 • 复制 + 分片
– 数据的冗余
• 提高数据的可用性、并发性、减少网络传输 • 增加了数据更新的开销，副本一致性问题
• 事务的分布性
– 局部事务
• 仅访问当地数据库的事务
37
• 数据仓库的基本数据模式
Time dimension
Time time id <pk> date year quarter month week
Sales fact
Product product id make model <pk>
TimeSales
ProdSales
Sales
Attributes of the time dimension
time id product id location id customer id sales revenue units sold