数据仓库建模类型、过程和工具
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
建模的方法和技巧很多，都是为业务需求服务的 业务+技术才能完成建模过程
数据仓库数据模型架构
业务数据存储区， 数据模型在 这里保证了 数据的一致 性
内部管理的元数 据，数据模 型帮助进行 统一的元数 据的管理
系统记录域的汇总， 数据模型保 证了分析域 的主题分析 的性能，满 足了部分的 报表查询。
数据仓库建模类型、过程和工具
内容
数据仓库建模概述 数据仓库建模类型 数据仓库建模过程 数据仓库建模工具
数据仓库建模概述
引言 数据模型、数据仓库模型 数据建模及模型架构 数据仓库建模特点 数据模型作用
数据仓库解决方案
数据仓库数据处理流程
数 据 仓 库
ETL服务器
AT&T
数
登记
数据仓库模型起到了指导或计划数据仓库实现的作用。 在真正的实现开始之前，联合每个业务领域的数据模 型可以帮助确保其结果是有效的数据仓库，并且可以 帮助减少实现的成本。
不同层次模型间的关系
数据建模（Data Modeling）
建模是将实际问题简化、抽象为合理的数学结构的过 程
建模是一个系统工程,不是几天或者是几周就能够完 成的，任何一个模块都可能需要几个月的时间来建设
数据模型是 整合各种数据源 的重要手段，通 过数据模型，可 以建立起各个业 务系统与数据仓 库之间的映射关 系，实现源数据 的有效采集
通过数据模 型的建立，可以 排除数据描述的 不一致性。如： 同名异义、同物 异名，等等。
可以消除数 据仓库中的冗余 数据。数据模型 的建立可以使开 发人员清楚地了 解数据之间的关 系，以及数据的 作用。
由于数据模 型对现有的信息 以及信息之间的 关系从逻辑层进 行了全面的描述， 当未来业务发生 变化或系统需求 发生变化时，可 以很容易地实现 系统的扩展。数 据结构的变化不 会偏离原有的设 计思想。
据
源
征收
稽核
•最终用户
•OLAP应用 •物理数据集市 •其他应用数据接口
其他
•接口数据 •应用数据 •汇总数据、加工数据 •税务逻辑数据模型 •面向关键主题域 •3NF
•临时数据区 •保留源系统数据
•数据清洗／转换／加载 •文本文件
•面向业务应用
数据模型（Data Model）
数据是所有业务活动、资源以及企业结果的记录。
这些不完整的需求需要灵活的建模过程和适合于进化开发的技术。灵活的进化软件开 发的风险是不连贯和不一致的终端结果。在开发数据模型时，肯定需要注意这些问题。
数据仓库建模特点（续）
数据仓库是集成的数据库集合，而非单个数据库
应将它构想为单个信息源，用于整个企业中所有的决策支持处理和所有的信息应用程 序。数据仓库是一个“有机”物，如果在开始时还不够大，就还会趋于变大。
参与/ 授课給
课程
Course ID
Course Title Course Number of Credits
Course Location Course Instructor Name
数据仓库模型（Data Warehouse Model）
数据仓库模型是数据模型中针对特定的数据仓库应用 系统的一种特定的数据模型
具体的主题业务分 析，数据模型 可以单独存储 在相应的数据 集市中。
可选项，这部分数据 模型主要用于相 应前端的反馈数 据，数据仓库可 以视业务的需要 设置这一区域
数据仓库建模特点
数据仓库是面向终端用户的
在数据库操作中，用户不直接与数据库进行交互。他们使用应用程序，这些应用程序 具有预先定义的或固定的查询。数据仓库的数据库——特别是数据集市——与终端用 户非常接近，它通常不具有固定的查询。因此，它必须更易于理解。
解决业务的变动和数据仓库的灵活性
能够很好的分离出底层技术的实现和上层业务的展现。当上层业务发生变化时，通过数据模型，底层的技 术实现可以非常轻松的完成业务的变动。
帮助数据仓库系统本身的建设
开发人员和业务人员能够很容易的达成系统建设范围的界定，以及长期目标的规划，从而能够使整个项目 组明确当前的任务，加快整个系统建设的速度。
数据模型的必要性与重要性
数据仓库的基础
建设的导航图
数据整合的依据
消除数据的差异及 支撑业务及数据的
冗余
扩展
数据模型是 数据仓库建设的 基础，一个完整、 灵活、稳定的数 据模型对于数据 仓库项目的成功 起着重要的作用。
数据模型是 整个系统建设过 程的导航图。通 过数据模型可以 清楚地表达企业 内部各种业务主 体之间的相关性， 使不同部门的业 务人员、应用开 发人员和系统管 理人员获得关于 系统的统一完整
这些主题领域可以是将数据仓库逻辑划分成几个不同（概念的，甚至或者是物理的） 数据库的基础。数据仓库还可以包含不同类别的数据。
数据仓库通常包含历史数据，而不是日常操作数据的 快照
必要的遗留数据库可能不可用，或者可能无法在足够细的层次上捕获，除非花费金钱 并付出努力来改变遗留输入环境。因此，数据仓库启用项目通常涉及业务过程和源应 用程序的重组
数据仓库是为数据分析而设计的
终端用户几乎直接处理数据，而且没有固定的工作流。终端用户对在仓库中记录数据 不感兴趣，但他们需要从中获得信息。他们向仓库提出问题，通过所提取的信息测试 并验证假设，重新构造事件链，分析那些事件以检测可能的模式或季节性的趋势，以 及为将来做出推断和设计
终端用户的需求可能是模糊或不完整的
数据模型是一种运用一般业务知识来表现业务需求的 一种数据结构规则
数据模型通过抽象的实体及实体之间联系的形式，来 表示现实世界中事务的相互关系的一种映射。
学生
Student ID
Student Last Name Student First Name Student Dormitory
Student Major
数据模型的作用
进行全面的业务梳理，改进业务流程
在业务模型建设的阶段，能够帮助我们对本单位的业务进行全面的梳理。同时，帮助进一步的改进业务流 程，提高业务效率。
建立全方位的数据视角，消灭信息孤岛和数据差异
能够为企业提供一个整体的数据视角，不再是各个部门只是关注自己的数据，而且通过模型的建设，勾勒 出了部门之间内在的联系，帮助消灭各个部门之间的信息孤岛的问题，更为重要的是，通过数据模型的建 设，能够保证整个企业的数据的一致性，各个部门之间数据的差异将会得到有效解决。
数据仓库数据模型架构
业务数据存储区， 数据模型在 这里保证了 数据的一致 性
内部管理的元数 据，数据模 型帮助进行 统一的元数 据的管理
系统记录域的汇总， 数据模型保 证了分析域 的主题分析 的性能，满 足了部分的 报表查询。
数据仓库建模类型、过程和工具
内容
数据仓库建模概述 数据仓库建模类型 数据仓库建模过程 数据仓库建模工具
数据仓库建模概述
引言 数据模型、数据仓库模型 数据建模及模型架构 数据仓库建模特点 数据模型作用
数据仓库解决方案
数据仓库数据处理流程
数 据 仓 库
ETL服务器
AT&T
数
登记
数据仓库模型起到了指导或计划数据仓库实现的作用。 在真正的实现开始之前，联合每个业务领域的数据模 型可以帮助确保其结果是有效的数据仓库，并且可以 帮助减少实现的成本。
不同层次模型间的关系
数据建模（Data Modeling）
建模是将实际问题简化、抽象为合理的数学结构的过 程
建模是一个系统工程,不是几天或者是几周就能够完 成的，任何一个模块都可能需要几个月的时间来建设
数据模型是 整合各种数据源 的重要手段，通 过数据模型，可 以建立起各个业 务系统与数据仓 库之间的映射关 系，实现源数据 的有效采集
通过数据模 型的建立，可以 排除数据描述的 不一致性。如： 同名异义、同物 异名，等等。
可以消除数 据仓库中的冗余 数据。数据模型 的建立可以使开 发人员清楚地了 解数据之间的关 系，以及数据的 作用。
由于数据模 型对现有的信息 以及信息之间的 关系从逻辑层进 行了全面的描述， 当未来业务发生 变化或系统需求 发生变化时，可 以很容易地实现 系统的扩展。数 据结构的变化不 会偏离原有的设 计思想。
据
源
征收
稽核
•最终用户
•OLAP应用 •物理数据集市 •其他应用数据接口
其他
•接口数据 •应用数据 •汇总数据、加工数据 •税务逻辑数据模型 •面向关键主题域 •3NF
•临时数据区 •保留源系统数据
•数据清洗／转换／加载 •文本文件
•面向业务应用
数据模型（Data Model）
数据是所有业务活动、资源以及企业结果的记录。
这些不完整的需求需要灵活的建模过程和适合于进化开发的技术。灵活的进化软件开 发的风险是不连贯和不一致的终端结果。在开发数据模型时，肯定需要注意这些问题。
数据仓库建模特点（续）
数据仓库是集成的数据库集合，而非单个数据库
应将它构想为单个信息源，用于整个企业中所有的决策支持处理和所有的信息应用程 序。数据仓库是一个“有机”物，如果在开始时还不够大，就还会趋于变大。
参与/ 授课給
课程
Course ID
Course Title Course Number of Credits
Course Location Course Instructor Name
数据仓库模型（Data Warehouse Model）
数据仓库模型是数据模型中针对特定的数据仓库应用 系统的一种特定的数据模型
具体的主题业务分 析，数据模型 可以单独存储 在相应的数据 集市中。
可选项，这部分数据 模型主要用于相 应前端的反馈数 据，数据仓库可 以视业务的需要 设置这一区域
数据仓库建模特点
数据仓库是面向终端用户的
在数据库操作中，用户不直接与数据库进行交互。他们使用应用程序，这些应用程序 具有预先定义的或固定的查询。数据仓库的数据库——特别是数据集市——与终端用 户非常接近，它通常不具有固定的查询。因此，它必须更易于理解。
解决业务的变动和数据仓库的灵活性
能够很好的分离出底层技术的实现和上层业务的展现。当上层业务发生变化时，通过数据模型，底层的技 术实现可以非常轻松的完成业务的变动。
帮助数据仓库系统本身的建设
开发人员和业务人员能够很容易的达成系统建设范围的界定，以及长期目标的规划，从而能够使整个项目 组明确当前的任务，加快整个系统建设的速度。
数据模型的必要性与重要性
数据仓库的基础
建设的导航图
数据整合的依据
消除数据的差异及 支撑业务及数据的
冗余
扩展
数据模型是 数据仓库建设的 基础，一个完整、 灵活、稳定的数 据模型对于数据 仓库项目的成功 起着重要的作用。
数据模型是 整个系统建设过 程的导航图。通 过数据模型可以 清楚地表达企业 内部各种业务主 体之间的相关性， 使不同部门的业 务人员、应用开 发人员和系统管 理人员获得关于 系统的统一完整
这些主题领域可以是将数据仓库逻辑划分成几个不同（概念的，甚至或者是物理的） 数据库的基础。数据仓库还可以包含不同类别的数据。
数据仓库通常包含历史数据，而不是日常操作数据的 快照
必要的遗留数据库可能不可用，或者可能无法在足够细的层次上捕获，除非花费金钱 并付出努力来改变遗留输入环境。因此，数据仓库启用项目通常涉及业务过程和源应 用程序的重组
数据仓库是为数据分析而设计的
终端用户几乎直接处理数据，而且没有固定的工作流。终端用户对在仓库中记录数据 不感兴趣，但他们需要从中获得信息。他们向仓库提出问题，通过所提取的信息测试 并验证假设，重新构造事件链，分析那些事件以检测可能的模式或季节性的趋势，以 及为将来做出推断和设计
终端用户的需求可能是模糊或不完整的
数据模型是一种运用一般业务知识来表现业务需求的 一种数据结构规则
数据模型通过抽象的实体及实体之间联系的形式，来 表示现实世界中事务的相互关系的一种映射。
学生
Student ID
Student Last Name Student First Name Student Dormitory
Student Major
数据模型的作用
进行全面的业务梳理，改进业务流程
在业务模型建设的阶段，能够帮助我们对本单位的业务进行全面的梳理。同时，帮助进一步的改进业务流 程，提高业务效率。
建立全方位的数据视角，消灭信息孤岛和数据差异
能够为企业提供一个整体的数据视角，不再是各个部门只是关注自己的数据，而且通过模型的建设，勾勒 出了部门之间内在的联系，帮助消灭各个部门之间的信息孤岛的问题，更为重要的是，通过数据模型的建 设，能够保证整个企业的数据的一致性，各个部门之间数据的差异将会得到有效解决。