EDW_(DM数据仓库数据建模)模型设计PPT课件
合集下载
数据仓库 EDW
数据中心 ODS随着企业信息化建设的发展，巨大的投资为企业建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作。
随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。
同时随着时间推移，各系统不断沉淀大量的历史数据。
如何打破信息孤岛，充分利用现有的历史数据，为企业提供战略决策的数据支持是各行各业所必需考虑的事情。
为支持企业各项业务的长远发展，不断提高管理水平，建立实现企业数据交换、数据集成的企业级数据中心，并在此基础上初步建设数据管控平台，有效实现数据质量管理，为后续数据线规划的报表管理以及EDW等系统建设奠定基础，为企业提升核心竞争力，优化资源配置、实施有效管控，提高服务水平、科学可待续发展和加速发展奠定良好的基础。
一、系统规划蓝图二、东南融通的优势1、关键技术优势数据交换、数据加工基于统一的调度监控ETLPLUS、调度引擎JSI模块封装SHELL、可执行程序、存储过程、Datastage作业等各种作业类型的执行接口?高扩展性设计，实现ETL、调度监控和硬件的集群报表工具（BI.OFFICE、其他）成熟组件支持，文件交换组件，数据加工组件2、团队优势BI线条员工超过1200人，覆盖咨询、解决方案、研发、实施各个层面参与众多的ODS/EDW/BI项目实施团队彼此配合程度高、统一协调、合作经验丰富随时进行同行信息共享与交流，及时进行方案提炼数据仓库 EDW现代商业银行面临着诸多挑战，包括金融改革日益深化的挑战、面临来自外资银行的竞争、银行国际化的发展需要、客户的要求越来越成熟、监管机构对银行的监管越来越严格。
面对这些挑战，要求金融企业对企业经营数据和信息进行充分的掌握和分析，以帮助企业精确掌握企业的经营状况和准确决策。
建立企业级的银行数据仓库是银行业整体信息资产的管理，建立信息资产的运营服务体系，提升信息资产的业务价值。
东南融通投入了大量资源研究银行企业级DW&BI应用体系，如下图所示：BI.Bank解决方案蓝图，包括以下关键内容：一、数据仓库战略规划参照国际银行领先DW&BI体系架构，规划银行企业级DW&BI的技术框架、数据模型、应用框架，结合银行的业务管理改革步伐制定整体实施计划，帮助银行循序渐进地逐步建成企业级DW&BI系统。
数据仓库建模ppt课件
内部资料，注意保密
数据模型的作用
进行全面的业务梳理，改进业务流程
在业务模型建设的阶段，能够帮助我们对本单位的业务进行全面的梳理。同时，帮助进一步的改进业务流 程，提高业务效率。
建立全方位的数据视角，消灭信息孤岛和数据差异
能够为企业提供一个整体的数据视角，不再是各个部门只是关注自己的数据，而且通过模型的建设，勾勒 出了部门之间内在的联系，帮助消灭各个部门之间的信息孤岛的问题，更为重要的是，通过数据模型的建 设，能够保证整个企业的数据的一致性，各个部门之间数据的差异将会得到有效解决。
内部资料，注意保密
星型结构建模（ Kimball ）
核心：所分析的内容以及用于分析内容的评估标准 测度、维和事实
✓ 测度，即评估标准，是事实的数字属性 ✓ 维，即所分析的内容，是事实的描述属性 ✓ 事实，一组维度及其相关的测度共同组成
内部资料，注意保密
星型结构示例
内部资料，注意保密
星型结构建模优缺点
因为该架构可以逐步建立的特点，它的开发周期比其他架构方式的开 发周期要短，相应的成本也要低
在星型结构的原子层上可以直接建立聚集，也可以建立HOLAP
内部资料，注意保密
三范式原子层＋ROLAP
该数据仓库架构也称为集中式架构（Centralized Architecture）， 思路是在三范式的原子层上直接建立ROLAP。
内部资料，注意保密
数据模型的必要性与重要性
数据仓库的基础
建设的导航图
数据整合的依据
消除数据的差异及 支撑业务及数据的
冗余
扩展
数据模型是 数据仓库建设的 基础，一个完整、 灵活、稳定的数 据模型对于数据 仓库项目的成功 起着重要的作用。
数据模型是 整个系统建设过 程的导航图。通 过数据模型可以 清楚地表达企业 内部各种业务主 体之间的相关性， 使不同部门的业 务人员、应用开 发人员和系统管 理人员获得关于 系统的统一完整 的视图。
数据模型的作用
进行全面的业务梳理，改进业务流程
在业务模型建设的阶段，能够帮助我们对本单位的业务进行全面的梳理。同时，帮助进一步的改进业务流 程，提高业务效率。
建立全方位的数据视角，消灭信息孤岛和数据差异
能够为企业提供一个整体的数据视角，不再是各个部门只是关注自己的数据，而且通过模型的建设，勾勒 出了部门之间内在的联系，帮助消灭各个部门之间的信息孤岛的问题，更为重要的是，通过数据模型的建 设，能够保证整个企业的数据的一致性，各个部门之间数据的差异将会得到有效解决。
内部资料，注意保密
星型结构建模（ Kimball ）
核心：所分析的内容以及用于分析内容的评估标准 测度、维和事实
✓ 测度，即评估标准，是事实的数字属性 ✓ 维，即所分析的内容，是事实的描述属性 ✓ 事实，一组维度及其相关的测度共同组成
内部资料，注意保密
星型结构示例
内部资料，注意保密
星型结构建模优缺点
因为该架构可以逐步建立的特点，它的开发周期比其他架构方式的开 发周期要短，相应的成本也要低
在星型结构的原子层上可以直接建立聚集，也可以建立HOLAP
内部资料，注意保密
三范式原子层＋ROLAP
该数据仓库架构也称为集中式架构（Centralized Architecture）， 思路是在三范式的原子层上直接建立ROLAP。
内部资料，注意保密
数据模型的必要性与重要性
数据仓库的基础
建设的导航图
数据整合的依据
消除数据的差异及 支撑业务及数据的
冗余
扩展
数据模型是 数据仓库建设的 基础，一个完整、 灵活、稳定的数 据模型对于数据 仓库项目的成功 起着重要的作用。
数据模型是 整个系统建设过 程的导航图。通 过数据模型可以 清楚地表达企业 内部各种业务主 体之间的相关性， 使不同部门的业 务人员、应用开 发人员和系统管 理人员获得关于 系统的统一完整 的视图。
数据仓库设计ppt课件
¨ 存储用户分析数据的数据库可以采用关系型数 据库、多维数据库和对象数据库实现。
¨ 元数据库是数据仓库的灵魂。没有元数据库， 用户就无法对数据仓库数据进行良好的定义、组 织和管理。
37
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
39
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
¨ （2）数据仓库与业务处理系统的接口设计 在确定了数据仓库的数据源以后，就需要考虑
数据仓库与作为数据源的业务处理系统的接口设计。
40
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
¨ （1）拷贝中间件，主要有如下4种： ¨ A.代码发生器。 ¨ B.数据复制工具。 ¨ C.数据泵。 ¨ D.广义数据获取工具和设备。
44
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
¨ （2）用于数据库访问的网关中间件：主要用于解 决数据仓库与数据源和客户端之间的网络协议不 同所造成的数据传输困难的问题。
3.2.2 数据仓库接口与中间件设计
1.数据仓库的数据源确定以及与业务处理系统接口 的设计
¨ （1）数据仓库的数据源确定 ¨ 要为数据仓库从数据源中抽取为管理决策分析
所使用的数据源，首先要对所抽取的数据源进行 正确的定义。数据源的定义要确定数据仓库主题 所需各数据源的详细情况，包括数据源所在计算 机平台、拥有者、数据结构、使用该数据源的处 理过程、数据仓库更新计划等。
¨ 元数据库是数据仓库的灵魂。没有元数据库， 用户就无法对数据仓库数据进行良好的定义、组 织和管理。
37
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
39
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
¨ （2）数据仓库与业务处理系统的接口设计 在确定了数据仓库的数据源以后，就需要考虑
数据仓库与作为数据源的业务处理系统的接口设计。
40
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
¨ （1）拷贝中间件，主要有如下4种： ¨ A.代码发生器。 ¨ B.数据复制工具。 ¨ C.数据泵。 ¨ D.广义数据获取工具和设备。
44
变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分
¨ （2）用于数据库访问的网关中间件：主要用于解 决数据仓库与数据源和客户端之间的网络协议不 同所造成的数据传输困难的问题。
3.2.2 数据仓库接口与中间件设计
1.数据仓库的数据源确定以及与业务处理系统接口 的设计
¨ （1）数据仓库的数据源确定 ¨ 要为数据仓库从数据源中抽取为管理决策分析
所使用的数据源，首先要对所抽取的数据源进行 正确的定义。数据源的定义要确定数据仓库主题 所需各数据源的详细情况，包括数据源所在计算 机平台、拥有者、数据结构、使用该数据源的处 理过程、数据仓库更新计划等。
数据仓库开发模型ppt课件
amou_mone
agelevel_id time_id year_id month_id
geo_id prov_id city_id county_id produ_id amou_mone
全连接结果
time_id year_id month_id
produ_id
agelevel_id time_id geo_id produ_id
d 概括与聚集：向需要概括总数的数据中增加新的数值。 d 预算与推导：创建附加的数据字段。 d 转换与再映像：把数据源信息转化为适合于数据仓库事
实表行的过程以及将许多表组成事实表行的过程。
42
2.5.3 元数据的收集
v 元数据遍及数据仓库中的任何地方和环境中，因此元数据的收 集过程应尽量采用自动收集方式进行。
48
2.6.4 聚集模型的处理
v 聚集事实表已经独立存在并且可以与基本事实表一同保存。 v 通过将当前加载数据添加到系统中的累积“桶”中 ，可以创建
某时间短的聚集。 v 将数据的聚集与数据仓库的加载过程组合为同一处理过程 。 v 在将数据仓库数据加载以后，再进行聚集处理 。 v 每次在加载数据仓库数据时，都需要对各种聚集进行计算和
34
2.5 数据仓库的元数据模型
35
2.5.1 元数据的类型与组成
v 元数据是数据的数据，是对数据仓库中的各种数据的详细 的描述与说明。
v 根据元数据在数据仓库中所承担的任务，可以将元数据分 成静态元数据和动态元数据两类。
v 静态元数据主要与数据结构有关；动态元数据主要与数据 的状态和使用方法有关。
增加，及时保持聚集与基本数据的同步性 。
49
2.6.5 聚集模型的管理
v 要根据使用情况删除不经常使用的聚集 。 v 需要减少层次过于接近的聚集生成 。 v 注意将聚集独立存储在自己的事实表中，便于用户直接进
agelevel_id time_id year_id month_id
geo_id prov_id city_id county_id produ_id amou_mone
全连接结果
time_id year_id month_id
produ_id
agelevel_id time_id geo_id produ_id
d 概括与聚集：向需要概括总数的数据中增加新的数值。 d 预算与推导：创建附加的数据字段。 d 转换与再映像：把数据源信息转化为适合于数据仓库事
实表行的过程以及将许多表组成事实表行的过程。
42
2.5.3 元数据的收集
v 元数据遍及数据仓库中的任何地方和环境中，因此元数据的收 集过程应尽量采用自动收集方式进行。
48
2.6.4 聚集模型的处理
v 聚集事实表已经独立存在并且可以与基本事实表一同保存。 v 通过将当前加载数据添加到系统中的累积“桶”中 ，可以创建
某时间短的聚集。 v 将数据的聚集与数据仓库的加载过程组合为同一处理过程 。 v 在将数据仓库数据加载以后，再进行聚集处理 。 v 每次在加载数据仓库数据时，都需要对各种聚集进行计算和
34
2.5 数据仓库的元数据模型
35
2.5.1 元数据的类型与组成
v 元数据是数据的数据，是对数据仓库中的各种数据的详细 的描述与说明。
v 根据元数据在数据仓库中所承担的任务，可以将元数据分 成静态元数据和动态元数据两类。
v 静态元数据主要与数据结构有关；动态元数据主要与数据 的状态和使用方法有关。
增加，及时保持聚集与基本数据的同步性 。
49
2.6.5 聚集模型的管理
v 要根据使用情况删除不经常使用的聚集 。 v 需要减少层次过于接近的聚集生成 。 v 注意将聚集独立存储在自己的事实表中，便于用户直接进
EDW_(DM数据仓库数据建模)模型设计PPT课件
大家有疑问的可以询问和交流大家有疑问的可以询问和交流可以互相讨论下但要小声点可以互相讨论下但要小声点dwm数据模型逻辑结构dwm数据模型逻辑结构当事人营销和沟通组织产品协议保险标的交易渠道资源与理赔相关的活动及各理赔环节理赔保险公司的有形资产和无形资产信息与客户之间资金或非资金活动的信息与客户交易或接触的渠道信息任何市场化的产品或服务和客户之间为某种产品或服务而设定的协议信息被保险的标的物及标的物的相关信息个人或团体及其基本信息和相关信息为增加客户保留客户拓展业务而进行的策略规划或促销事件分支机构部门和职员的信息地理区域物理的或电子的地址信息地理位置与当事人或协议相关的一系列事件事件10biinsuranceidwmpcbiinsuranceidwmfinancialtransaction
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Agreement
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Claim
一致的事实表和维度
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
EDW 数据模型在项目实施中的作用
DWM 数据仓库模型
BAM 业务分析模型
BSA 业务模版应用
XML Informix Oracle
File SQL Flat
DB2
File
运营型业务系统
Partition config where Branch company id=xxxx) and B.partition_key in (select Storage partition from
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Agreement
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Claim
一致的事实表和维度
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
EDW 数据模型在项目实施中的作用
DWM 数据仓库模型
BAM 业务分析模型
BSA 业务模版应用
XML Informix Oracle
File SQL Flat
DB2
File
运营型业务系统
Partition config where Branch company id=xxxx) and B.partition_key in (select Storage partition from
《数据仓库建模》课件
数据仓库设计
1
数据仓库设计基础
了解数据仓库的基本概念和架构，掌握设计数据仓库的基本原则和方法。
2
数据仓库建模流程
学习数据仓库建模的整体流程，包括需求分析、概念设计、逻辑设计和物理设计 等阶段。
3
数据仓库建模方法
介绍常用的数据仓库建模方法，如维度建模和归一化建模，以及它们的优缺点。
数据仓库建模过程
数据仓库实现的注意事项
探讨在数据仓库实现过程中需要注意 的事项，包括数据安全、性能优化和 维护等。
1
概念数据模型设计
根据需求分析，设计数据仓库的概念模型，包括实体和关系的定义，以及维度和 事实表的设计。
2
逻辑数据模型设计
将概念模型转换为逻辑模型，包括确定实体属性、定义关系和规范化等工作。
3
物理数据模型设计
根据逻辑模型和数据库管理系统的特性，设计物理模型，包括表结构、索引和分 区等。
数据仓库数据清洗
1
数据清洗的步骤
2
介绍数据清洗的常用步骤，包括数据
预处理、数据质量检查、异常解数据清洗的目的和意义，以及清 洗过程中可能遇到的问题和挑战。
数据清洗的工具
介绍常用的数据清洗工具和技术，包 括ETL工具、数据质量工具和数据清 洗规则库。
数据仓库中的数据质量
1
数据质量的定义和概述
了解数据质量的概念和标准，掌握评估数据质量的方法和指标。
2
数据质量的评估
介绍数据质量评估的常用方法，包括数据清洗和数据校验等。
3
数据质量的保证
探讨如何确保数据质量，包括建立数据质量管理体系和监控数据质量。
数据仓库的查询技术
1
查询技术概述
介绍数据仓库查询的基本概念和分类，包括OLAP查询、数据挖掘和报表查询。
EDWDM数据仓库数据建模模型设计
EDWDM数据仓库数据建模模型设计数据仓库（Data Warehouse）是指集中存储企业各种数据的数据库，旨在支持企业的数据分析和决策制定。
在构建数据仓库时，数据建模是一个非常重要的环节，通过合理的模型设计可以保证数据仓库的数据准确、完整和易用。
本文将从概念模型、逻辑模型和物理模型三个方面介绍EDW （Enterprise Data Warehouse）数据仓库的数据建模模型设计。
1.概念模型设计：概念模型是对业务需求的高度抽象和概括，它关注的是业务实体之间的关系。
在概念模型设计时，需要对企业的业务需求进行深入的了解，通过与业务人员的沟通和需求分析，将业务实体和业务关系进行建模。
在概念模型中，可以采用E-R图（Entity-Relationship）表示法，用实体表示业务对象，用关系表示业务对象之间的关系。
在设计EDW数据仓库的概念模型时，需要考虑企业的业务过程和业务关系，如企业的组织结构、产品线、客户关系等。
同时还需要考虑数据的粒度，即数据的最小单位。
2.逻辑模型设计：在设计EDW数据仓库的逻辑模型时，可以采用星型模型（Star Schema）或雪花模型（Snowflake Schema）。
星型模型以一个中心表（事实表）为核心，周围是多个维度表；而雪花模型在星型模型的基础上继续细化维度表，将其拆分成多个规范化的表。
事实表用于存储业务事实数据，如销售额、订单数量等，而维度表用于存储事实表上的业务属性，如时间、地点、产品等。
通过这样的模型设计，可以方便进行数据的查询和分析。
3.物理模型设计：物理模型是将逻辑模型转化为具体的数据库设计，它考虑了数据库引擎和存储实现等技术细节。
在物理模型设计时，需要考虑数据库的表结构、索引、分区、分片等。
在设计EDW数据仓库的物理模型时，需要根据实际需求进行优化和调整。
首先，根据数据的大小和访问模式选择合适的数据库引擎，如Oracle、MySQL等。
其次，根据数据量和查询需求进行分区和分片，提高数据的查询性能。
数据仓库模型与建立过程PPT课件
加拿大 某大学 数据库
Name
Status
Major BirthPlace GPA
Anderson M.A.
history Vancouver 3.5
Bach
Junior
math
Calgary 3.7
Carlton
Junior liberal art Edmonton 2.6
Fraser
M.S.
physics Ottawa 3.9
缅因
2
东部
俄亥俄
3
西部
爱达荷
4
西部
德克萨斯
.
17
3 数据仓库概念模型 3.3 维度定义
例子1
4月份我在北京卖掉了 价值十万美元的可乐
.
18
3 数据仓库概念模型 3.3 维度定义
例子2
关系数据库的记录视图：
产品
时间
地区
VCD机 2002.3.10 北京
传真机 2002.3.10 北京
刻录机 2002.3.10 北京
时间
20
传统型的一个二维表，在数据仓库中可能需要多个立方体来表示； 数据仓库的一个立方体可能由多个传统型的表组成；
产品
时间
VCD机 2002.3.10
地区 北京
数量 金额 5728 2345556
销售数量立方体 销售金额立方体 一个二维表的数据可装载到两个立方体
.
21
维的层次：
关系数据库在字段上做文章，数据仓库在维上做文章；
– 主题还有主题之间的关系都用关系来表示
– 逻辑模型描述了数据仓库的主题的逻辑实现，每个主 题对应关系表的关系模式的定义
• 物理模型（设计定义和主要工作）
一四数据仓库模型设计PPT课件
11
第一章 数据仓库原理
1.4 数据仓库模型设计
1.4.2 数据仓库设计的三级数据模型 五、高级模型、中级模型和低级模型
每个dis中的数据分为4个组别：基本数据组、 二级数据组、连接数据组和类型数据组。
1）连接数据组
主要用于本主题与其他主题之间的联系，体现
E-R图中主题之间的关系。一般情况下，连接数
交易ID 商品金额 电器 购买时间
交易ID 商品金额 购买时间
床上 用品
交易ID 商品金额 食品 购买时间
14
第一章 数据仓库原理
1.4 数据仓库模型设计
1.4.3 数据仓库的概念模型设计
通过概念模型设计，可以确定数据仓库的主要主
题及相互关系。
进行概念模型设计所要完成的工作有：
1）界定系统边界，即进行任务和环境评估、需
1.4.1 数据仓库模型设计方法概述
数据仓库系统的设计与数据库系统设计的区别
数据库系统设计 数据仓库系统设计
面向的数据类型
面向应用
面向分析
应用需求
比较明确
不太明确
系统设计目标 数据来源
事务处理的并发性、 保证数据的四个特征
安全性、高效性
和全局一致性
业务操作员的输入
业务系统
系统设计的方法
需求驱动
数据驱动
2019/8/24
7
第一章 数据仓库原理
1.4 数据仓库模型设计 1.4.2 数据仓库设计的三级数据模型
三、物理模型 物理模型是逻辑模型在数据仓库中的实现，
如数据存储结构、数据索引策略、数据的存储策
略以及存储分配优化等。
2019/8/24
8
第一章 数据仓库原理
《数据仓库建模》课件
分析型数据仓库（Analytical Data Warehouse, ADW）：用于数据分析、 报表生成和数据挖掘等高级应用场景。
第三章
数据仓库建模理论
C ATA L O G U E
维度建模理论
总结词
维度建模理论是一种以业务需求为导向的数据仓库建模方法，通过构建事实表和维度表来满足业务分析需求。
01
CATALOGUE
02
05
索引技术
索引概述
01
索引是提高数据仓库查询性能的重要手段，通过建立索引
可以快速定位到所需数据，避免全表扫描。
索引类型
02
常见的索引类型包括B树索引、位图索引、空间索引等，根据
数据仓库中数据的特性和查询需求选择合适的索引类型。
索引维护
03
定期对索引进行维护，如重建索引、更新统计信息等，以
包括数据库连接技术、数据抽取技术、数据转 换技术、数据加载技术和元数据管理等。这些 技术是ETL过程的基础，确保了ETL过程的稳定 性和高效性。
提供了图形化界面和自动化功能，使得ETL过程 更加高效和易于管理。常见的ETL工具有 Apache NiFi、Talend、Pentaho等。
ETL工具
数据仓库的性能优化
对数据进行必要的转换和处理，以满足业务需求和数据仓库模 型的要求。
ETL过程
数据存储
将转换后的数据加载到数据仓库中， 确保数据的存储安全和可靠。
数据加载策略
根据数据量、数据变化频率等因素选 择实时加载或批量加载。
数据审计
记录数据的加载过程和结果，以便进 行数据审计和追溯。
ETL技术
ETL工具和技术
第一章 数 据 仓 库 建 模
目录
数据仓库建模方法论PPT课件( 48页)
多的数据，重建将会带来严重后果
理且快速地进行重建
灵活性
多维设计是很多业务过程聚集在一起的结果。当 处理请求发生变化时，多维数据库的设计未必能 够适度地变化。
数据仓库模型存放数据粒度级别为原子级别，原子级别可以任意组合。故可以支持将来未 知需求。
复杂性
数据集市模型易于业务人员理解。可以很容易构 建数据集市，然而，当一个一个地建立数据集市 时，由于数据的企业视图的复杂性，对于这种结 构，完成更新时相当复杂的。
易失性
聚集数据集市：当业务过程发生变化，为了消除 数据仓库模型是与过程无关的，它摒弃了由于处理过程影响而带来的变化
或减少对事实表重建，需要增加新的维或改变维。 数据仓库模型的设计依赖于企业的业务规则，而不依赖与在其上将运行什么查询。
原子数据集市：由于事实表可能包含几亿甚至更 如果一个已经建好的数据集市需要改变或加强，可以根据存储在数据仓库中的细节数据合
法》
Bill Inmon
数据仓库之父，数据仓库概念的创始人 理论： Corporate Information Factory(CIF) 主要著作：《数据仓库》、《企业信息工厂》
企业数据仓库EDW
企业数据仓库定义：
数据仓库中的细节数据是与处理过程无关的，因此数据仓库的数据模型使得数据不一致的 风险最小。
功能性
为多维处理提供了理想环境，切片和切块、上钻 和下钻等查询提供良好的性能
持续维护
支持数据挖掘、统计分析和即席查询
总体目标是防止由于环境的后续构建、调整和优化而产生的高昂的代价。一个良好的数据 仓库模型将为企业提供长久的服务，将提供如下回报： 整个环境端到端一致性和集成性 易于建立新的数据集市 加强现有数据集市 数据仓库和有关数据集市的维护和可持续发展
【精品】数据仓库及应用(数据仓库、数据模型、商务智能)PPT课件
Implement Time
> TB Months to years
< TB Months
Data Mart
Data Mart
Control: A department can completely control the data and processing that occurs inside a data mart. Cost: The cost of storage and processing is less, because the data mart’s machine is smaller than DW’s Customization: The data mart’s data is customized to suit the peculiar needs of the department.
Administration
Enterprise Data Warehouse
Enterprise data warehouses are funded on a corporate basis. Enterprise data warehouse covers the entire business (corporation), incorporating data from all operational systems. Information is extracted from the operational environment, cleansed, and transformed into a central, integrated enterprise-wide data warehouse environment, so that all the departments and other internal organizations of the corporation can benefit from a consistent, integrated source of decision support information.
> TB Months to years
< TB Months
Data Mart
Data Mart
Control: A department can completely control the data and processing that occurs inside a data mart. Cost: The cost of storage and processing is less, because the data mart’s machine is smaller than DW’s Customization: The data mart’s data is customized to suit the peculiar needs of the department.
Administration
Enterprise Data Warehouse
Enterprise data warehouses are funded on a corporate basis. Enterprise data warehouse covers the entire business (corporation), incorporating data from all operational systems. Information is extracted from the operational environment, cleansed, and transformed into a central, integrated enterprise-wide data warehouse environment, so that all the departments and other internal organizations of the corporation can benefit from a consistent, integrated source of decision support information.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
DWM 数据模型逻辑结构
当事人
个人或团体及其基 本信息和相关信息
保险标的
被保险的标的物及标 的物的相关信息
交易
与客户之间资金或非 资金活动的信息
理赔
与理赔相关的活动 及各理赔环节
营销和沟通
为增加客户、保留客户 、拓展业务而进行的策 略、规划或促销事件
协议
和客户之间为某种 产品或服务而设定
的协议信息
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Agreement
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Claim
|
模型总体结构－EM & DataMarts
业务数据模型
需求模型
指标要素
核心原子数据
企业模型 导出
Object 028
4
Place 007
Contact Point 203
1
Object Place R
218
Place R 238
Place Label 823
Place-CP R 208
2
P Label CP R
927
CP R
3
204
P Name
CP R 926
Party Place R
214
Party 041
Party Name 366
映射
事实表和维度
财务报表数据集市
数据集市
中介绩效分析数据集市
健康险盈利性管理数据集市
营销管理快速入门
潜在客户管理
客户细分和管理 保险盈利性分析
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
一致的事实表和维度
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
EDW 数据模型在项目实施中的作用
DWM 数据仓库模型
BAM 业务分析模型
BSA 业务模版应用
XML Informix Oracle
File SQL Flat
DB2
File
运营型业务系统
为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q &பைடு நூலகம்A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
EDW体系架构
源系统层
手工数据 核心业务 财务系统 再保险系统 人意险系统 精算系统 客户关系 管理OCRM 客户讯息
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM-Physical Object
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q & A
BI.Insurance i.DWM for P&C
底层数据模型主题域说明：
Agreement：保单、批单申请及管理； Claim：理赔 Financial Transaction：应收应付、实收实付以及交易关联 Party：当事方，包括当事方的组织结构、角色结构及类型 Money Provision：资金管理 Specification And Product：规范及产品管理 Place：地点 Code：标准代码 Activity：活动管理 Physical Object：实物、标的管理
ECIF
外部数据
ETL层
数据仓库层
ETL层 数据集市层
应用层
展现层
数据仓库
业务量分析 数据集市
车险承保分析 通用承保分析
“数据和信息集成平台” “统一的分析平台” “唯一的信息出口”
业务持续性 分析数据集市
风险管理 应用
大客户分析管理系统
aCRM 数据集市
aCRM 报告
aCRM 引擎
保险数据模型
ALM 数据集市
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
日程
为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q & A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
日程
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
|
EDW具体实施流程
流程： 需求收集
数据分析
模型映射 数据建模
ETL
前端
步骤： 提供需求及模版
客户提供需求 需求整理
数据调查 数据筛选 数据质量分析 代码整理
表级映射 字段映射
数据仓库
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
数据集市
报表 分析型应用
日程
为什么需要模型 模型的组织结构 模型实施方法 模型设计策略 Q & A
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
BI.Insurance i.DWM for P&C 模型设计说明
Product | Application | Solution | Professional Services | Business Consulting | Outsourcing © 2007 FEnet Software Co., Ltd. All Rights Reserved.
财务分析 数据集市
元数据库
ALM应用
财务分析 应用
企业统一分析平台
监管报表
管理报表
企
运营报表
仪表盘
业
信
息
随机查询
多维分析
门
户
数据挖 掘引擎
数据挖 掘应用
© 2007 FEnet Software Co., Ltd. All Rights Reserved.
为什么需要企业模型？
数据集市之间数据一致性 包含全部历史的核心数据
地理位置
地理区域，物理的 或电子的地址信息
事件
与当事人或协议相 关的一系列事件
组织
分支机构、部门和 职员的信息
产品
任何市场化的产品 或服务
渠道
与客户交易或接触 的渠道信息
资源
保险公司的有形资 产和无形资产信息
© 2007 FEnet Software Co., Ltd. All Rights Reserved.