数据仓库的体系结构
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
数据仓库新的应用领域
随着数据仓库的技术的发展和普及，将来 可能在以下俩方面提出新的发展瓶颈和挑 战: 首先，是对新数据类型的出现，提出新的 数据仓库技术对其支持 非传统的系统架构和新的需求，在数据仓 库技术中可以找到好的解决办法
火龙果 整理 uml.org.cn
数据仓库建模
• ①概念建模
• 概念建模为数据仓库的设计提供了一个高层次的抽象， 从各个方面描述了数据仓库的过程和体系结构，从而完成 数据仓库的实施。通常，借助于图形表示法能让设计者和 商业用户更方便的对概念模式进行表达、理解和管理。现 有的方法可以分为三类:扩展ER模型;扩展UML模型;特殊 的模型。当前概念模型存在的问题有以下： • 缺乏标准 • 概念模型安全问题 • Mining-aware design
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
数据仓库的实质与价值
• 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决 策支ห้องสมุดไป่ตู้（Decision-Support）。其实数据仓库本身并不“生产”任 何数据，同时自身也不需要“消费”任何的数据，数据来源于外部 ，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂 ”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的 过程，可以分为三层——源数据、数据仓库、数据应用：
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
数据仓库的价值
高效的数据组织形式 时间价值 集成价值 历史数据
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 展望
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
空间数据仓库
空间数据仓库是融合了数据仓库跟空间数据 库技术，利用这两种技术提高了对大量空间 数据的处理、分析、管理的能力，但是现在 还是存在一下几种挑战： 空间数据粒度的划分 空 间数据的分割 空间数据的集成 当前数据仓库的数据模型标准化推广 空间DW对决策系统的支持 对空间DW的多维度表示
1. 2. 3. 4. 5. 6.
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
Web数据仓库
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
Web数据仓库
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
本体数据仓库
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
数据仓库模型与设计方法
• 数据仓库建立模型的过程实际上是一个从 关系型、规范式的数据模型向多维模型转 换的过程。其中数据仓库建模和数据仓库开
发方法是数据仓库的构建过程中最为关键的技 术环节，它直接决定数据仓库构建的成败。
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库体系结构及其改进 数据仓库的操作问题 展望
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 展望
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
本体数据仓库
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
其他领域数据仓库
• 生命科学数据仓库 • 模式数据仓库
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
数据仓库的实质与价值
• 从图中可以看出数据仓库的数据来源于不同的源数据， 并提供多样的数据应用，数据自下而上流入数据仓库后 向上层开放应用，而数据仓库只是中间集成化数据管理 的一个平台。 • 数据仓库从各数据源获取数据及在数据仓库内的数据转 换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以 认为是数据仓库的血液，它维系着数据仓库中数据的新 陈代谢，而数据仓库日常的管理和维护工作的大部分精 力就是保持ETL的正常和稳定。
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
空间数据仓库
• 随着移动互联网和基于位置服务的发展， 同时卫星遥感，GPS，医药成像以及其他 空间可计算工具获得数据的普及，我们获 取了大量的关于时空的数据。但是，这些 数据的结构复杂，数据量大的特点，对其 处理和分析的技术还有一定的欠缺，近年 来，提出了空间数据仓库的概念，现在已 经存在了几个大型的空间数据仓库。例如 美国的联合国环境规划署（EP)
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
逻辑建模
• ②逻辑建模
• 逻辑建模的总体任务是将概念模型转换成逻辑模型。在数 据仓库领域，目标数据库系统通常要么是关系型的，要么 是多维的。对于关系型的而言，人们普遍采用所谓的星型 、星座和雪花模型来处理数据立方体，并且各个厂商也对 这些模型提供支持。关于多维模型的实施，人们提出几种 有效的多维数据结构，如浓缩数据立方体来管理数据立方 体。当前逻辑模型最大的存在问题： • 概念数据模型与关系或者数据立方多维实现的语义差别的 问题
火龙果 整理 uml.org.cn
数据仓库新的应用环境
• 业务流程数据仓库 • 数据流，实时动态数据仓库 • 数据仓库与云计算
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 新的挑战
10/16/2018 12:07 AM
数据仓库新的应用领域
随着数据仓库的技术的发展和普及，将来 可能在以下俩方面提出新的发展瓶颈和挑 战: 首先，是对新数据类型的出现，提出新的 数据仓库技术对其支持 非传统的系统架构和新的需求，在数据仓 库技术中可以找到好的解决办法
火龙果 整理 uml.org.cn
数据仓库建模
• ①概念建模
• 概念建模为数据仓库的设计提供了一个高层次的抽象， 从各个方面描述了数据仓库的过程和体系结构，从而完成 数据仓库的实施。通常，借助于图形表示法能让设计者和 商业用户更方便的对概念模式进行表达、理解和管理。现 有的方法可以分为三类:扩展ER模型;扩展UML模型;特殊 的模型。当前概念模型存在的问题有以下： • 缺乏标准 • 概念模型安全问题 • Mining-aware design
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
数据仓库的实质与价值
• 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决 策支ห้องสมุดไป่ตู้（Decision-Support）。其实数据仓库本身并不“生产”任 何数据，同时自身也不需要“消费”任何的数据，数据来源于外部 ，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂 ”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的 过程，可以分为三层——源数据、数据仓库、数据应用：
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
数据仓库的价值
高效的数据组织形式 时间价值 集成价值 历史数据
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 展望
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
空间数据仓库
空间数据仓库是融合了数据仓库跟空间数据 库技术，利用这两种技术提高了对大量空间 数据的处理、分析、管理的能力，但是现在 还是存在一下几种挑战： 空间数据粒度的划分 空 间数据的分割 空间数据的集成 当前数据仓库的数据模型标准化推广 空间DW对决策系统的支持 对空间DW的多维度表示
1. 2. 3. 4. 5. 6.
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
Web数据仓库
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
Web数据仓库
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
本体数据仓库
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
数据仓库模型与设计方法
• 数据仓库建立模型的过程实际上是一个从 关系型、规范式的数据模型向多维模型转 换的过程。其中数据仓库建模和数据仓库开
发方法是数据仓库的构建过程中最为关键的技 术环节，它直接决定数据仓库构建的成败。
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库体系结构及其改进 数据仓库的操作问题 展望
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 展望
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
本体数据仓库
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
其他领域数据仓库
• 生命科学数据仓库 • 模式数据仓库
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
数据仓库的实质与价值
• 从图中可以看出数据仓库的数据来源于不同的源数据， 并提供多样的数据应用，数据自下而上流入数据仓库后 向上层开放应用，而数据仓库只是中间集成化数据管理 的一个平台。 • 数据仓库从各数据源获取数据及在数据仓库内的数据转 换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以 认为是数据仓库的血液，它维系着数据仓库中数据的新 陈代谢，而数据仓库日常的管理和维护工作的大部分精 力就是保持ETL的正常和稳定。
火龙果 整理 uml.org.cn
10/16/2018 12:07 AM
空间数据仓库
• 随着移动互联网和基于位置服务的发展， 同时卫星遥感，GPS，医药成像以及其他 空间可计算工具获得数据的普及，我们获 取了大量的关于时空的数据。但是，这些 数据的结构复杂，数据量大的特点，对其 处理和分析的技术还有一定的欠缺，近年 来，提出了空间数据仓库的概念，现在已 经存在了几个大型的空间数据仓库。例如 美国的联合国环境规划署（EP)
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
逻辑建模
• ②逻辑建模
• 逻辑建模的总体任务是将概念模型转换成逻辑模型。在数 据仓库领域，目标数据库系统通常要么是关系型的，要么 是多维的。对于关系型的而言，人们普遍采用所谓的星型 、星座和雪花模型来处理数据立方体，并且各个厂商也对 这些模型提供支持。关于多维模型的实施，人们提出几种 有效的多维数据结构，如浓缩数据立方体来管理数据立方 体。当前逻辑模型最大的存在问题： • 概念数据模型与关系或者数据立方多维实现的语义差别的 问题
火龙果 整理 uml.org.cn
数据仓库新的应用环境
• 业务流程数据仓库 • 数据流，实时动态数据仓库 • 数据仓库与云计算
10/16/2018 12:07 AM
火龙果 整理 uml.org.cn
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 新的挑战