客户关系管理CRM与数据仓库

10/43
4.1 数据仓库概述 数据仓库的特征
非易失性(nonvolatile) 数据一旦进入数据仓库就不再改变，因此不需要传统数据库 中类似插入、更新、删除等操作，在数据仓库中只有装载操 作。如图： 时变性(time-variant)
数据仓库中数据都是和时间相关，并且每隔一段时间后，运 作数据库系统中的数据将被抽取、转换后集成到数据仓库中。 如图：
5/43
4.1 数据仓库概述 数据仓库的产生 早期的数据库主要支持联机事务处理 决策支持对数据分析的需求 传统数据库系统不适宜DSS
① ② ③ ④ ⑤ ⑥ 事务处理和分析处理的性能特性不同 数据集成问题 数据动态集成问题 历史数据问题 数据的综合问题 操作繁简问题
6/43
4.1 数据仓库概述 数据仓库的产生
24/43
4.3 数据仓库的建模模型
25/43
4.3 数据仓库的建模模型
2.雪花模型：
对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以 使用多个表来描述,这种星型模式的扩展称为雪花模型。 雪花模型是星型模型的变种，其中某些维表是规范的，把数据 进一步分解到附加的表中。这种模型图形成类似于雪花的形状。
33/43
4.4 OLAP与数据集成 OLAP的分析方法(一)钻取
按 时 间 维 向 上 钻 取
60
按 时 间 维 向 下 钻 取
34/43
4.4 OLAP与数据集成 OLAP的分析方法(二)旋转
35/43
4.4 OLAP与数据集成 OLAP的分析方法(三)切片、切块
36/43
4.4 OLAP与数据集成 数据集成 数据集成的目的： 1.访问多种数据源的数据 2.转换成统一格式 3.校验数据的完整性 4.存储数据到数据仓库中
23/43
4.3 数据仓库的建模模型
1.星型模型：
度量的实际数据存放在事实表中。维的详细信息，如不同的 层次划分和相应数据等在维表中存储，事实表中存放各个维的 标识码键。事实表和维表将通过这些键关联起来，构成一种星 型模型。 这种模式图像星星爆发，维表围绕中心事实表显示在射线上。 在星型模式中，每维只用一个表表示，每个表包含一组属性。
29/43
4.4 OLAP与数据集成 OLAP特性
（1）多维性:多维性是OLAP的关键属性。系统必须提供对数据的多 维视图和分析,包括对层次维和多重层次维的完全支持。
（2）快速性:用户对OLAP的快速反应能力有很高的要求。系统应能 在5秒内对用户的大部分分析要求做出反应。
（3）可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统 计分析。 （4）共享性：满足大量用户间数据的共享 （5）信息性:不论数据量有多大，也不管数据存储在何处，OLAP系 统应能及时获得信息，并且管理大容量信息。
37/43
4.4 OLAP与数据集成 数据集成
• 数据集成的四个阶段 1.数据抽取(Data Extraction) • 使用规定的标准选择数据，并把数据传送到数据仓库中 2.数据转换(Data Transformation) • 建立不同数据源的源字段到数据仓库字段的映射 3.数据清理(Data Cleaning) • 把事实表中的属性字段对应的值逐个在维表中查询，审 查字段值是否合理，并加以记录 4.数据装载(Data Loading) • 将经过数据抽取、转换、清理的数据，以及经过校正的 脏数据导入到数据仓库
11/43
4.1 数据仓库概述 数据仓库的特征
12/43
4.1 数据仓库概述 数据仓库的特征
13/43
4.1 数据仓库概述 数据仓库的内容
数据仓库并没有严格的数学理论基础，也没有成熟的 基本模式，且更偏向于工程，具有强烈的工程性。因此， 在技术上人们习惯于从工作过程等方面来分析，并按其关 键技术部份分为数据的抽取、存储与管理以及数据的表现
32/43
4.4 OLAP与数据集成 OLAP中的操作
应用OLAP工具进行的分析操作主要有：钻取、旋转、 切片 • 钻取：沿着维上粒度的粗细方向进行的分析操作，改 变维的层次，变换分析的粒度。它包括向上钻取和向下钻 取。roll up是在某一维上将低层次的细节数据概括到高 层次的汇总数据；而drill down则相反，它从汇总数据深 入到细节数据进行观察 • 旋转：参与分析的维的变化，即在表格中重新安排维 的放置（例如行列互换 ） • 切片：将某维固定观察其他维的变化，即一部分维上 选定值后，关心度量数据在剩余维上的分布。
1/43
CRM与数据仓库
2/43
本章内容
4.1 数据仓库概述 4.2 数据仓库与数据库的区别 4.3 数据仓库的建模模型 4.4 OLAP与数据集成 4.5 数据仓库的实施
3/43
4.1 数据仓库概述
4.1.1 数据仓库的产生 4.1.2 数据仓库的概念及特征
4.1.3 数据仓库的内容
4/43
26/43
27/43
4.4 OLAP与数据集成
4.4.1 联机分析处理 4.4.2 数据集成
28/43
4.4 OLAP与数据集成
联机分析处理
联机分析处理,On-Line Analysis Processing,支持通过多维的方 式对数据进行分析、查询和生成报表，其基本功能是对用户当 前及历史数据进行分析以辅助领导决策。 相关概念： 维：数据立方中的空间坐标轴，例如时间维、地区维、产品 维。 粒度：每个维可以分成若干等级，例如时间维可以分成年、月、 日，描述了不同的查询层次。
20/43
4.3 数据仓库的建模模型
4.3.1数据仓库的体系结构 4.3.2数据仓库的建模模型
21/43
4.4 数据仓库的建模模型 数据仓库系统体系结构
22/43
4.3 数据仓库的建模模型
数据仓库数据模型采用多维数据模型。可以以星型模型、雪 花模型等形式存在。 几个相关概念： 事实表（Fact）：存储用户需要查询分析的数据，事实表中一般 包含多个维（Dimension）和度量（Measurement）。 维：数据立方中的空间坐标轴，例如时间维、地区维、产品维。 粒度：每个维可以分成若干等级，例如时间维可以分成年、月、 日，描述了不同的查询层次。 度量：是数据的实际意义，描述数据“是什么”，即一个数值的 测量指标，如：人数、单价、销售量等。
有人感叹：20年前查询不到数据是因为数据太少了，而今天 查询不到数据是因为数据太多了。 要提高分析和决策的效率和有效性，分析型处理及其数据必 须与操作型处理及其数据相分离。必须把分析型数据从事务处理 环境中提取出来，按照DSS处理的需要进行重新组织，建立单独 的分析处理环境，数据仓库正是为了构建这种新的分析处理环境 而出现的一种数据存储和组织技术。
7/43
4.1 数据仓库概述 数据仓库的概念
目前，数据仓库一词尚没有一个统一的定义。
著名的数据仓库专家W.H.Inmon在其著作《Building the Data Warehouse》一书中给予如下描述：
数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（NonVolatile）、反映历史变化（Time Variant）的数据集合，用 于支持管理决策。
18/43
4.2 数据仓库与数据库的区别
数据类型不同
数据库针对交易型数据设计的，关心的是短期内每一笔交易的细节 信息，并对这些交易记录进行增删改的操作；数据仓库一般只涉及 从数据集中观察数据，并不进行增删改等操作。
完成任务的性质不同
前者要求实时性、交互性，而后者需要涉及大范围的数据计算，复 杂的基于多个层次的查询语言。
8/43
4.1 数据仓库概述 数据仓库的概念 数据仓库概念的两个层次
功能上：数据仓库用于支持决策，面向分析型数据处理， 它不同于企业现有的操作型数据库； 内容和特征上：数据仓库是对多个异构的数据源有效集成， 集成后按照主题进行了重组，并包含历史数据，而且存放在数 据仓库中的数据一般不再修改。
9/43
38/43
4.5 数据仓库的实施
39/43
响应时间不同
数据库要求响应时间短，数据仓库要求响应时间合理
19/43
4.2 数据仓库与数据库的区别
可以看出，数据仓库最根本的特点是物理的存放数 据，而且这些数据并非是最新的、专有的，而是来源于 其它的数据库。 – 数据仓库的建立并不是要取代原有的数据库，而是 建立在一个较全面、完善的信息应用的基础上，用于支 持高层决策分析。
等三个基本方面。
14/43
4.1 数据仓库概述 数据仓库本质
• 数据仓库实际上是一个“以大型数据管理信息系统为基础的、附加 在这个数据库系统之上的、存储了从企业所有业务数据库中获取的综合 数据的、并能利用这些综合数据为用户提供经过处理后的有用信息的应 用系统”。 如果说传统数据库系统的重点与要求是快速、准确、安全、可靠地 将数据存进数据库中的话，那么数据仓库的重点与要求就是能够准确、 安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之后， 再供管理人员进行分析使用。 数据仓库所要研究和解决的问题就是从数据库中获取信息。
31/43
4.4 OLAP与数据集成 OLAP的分析思路
OLAP是决策支持领域的一部分。传统的查询和报表工具是 告诉你数据库中都有什么（what happened），OLAP则更进一步 告诉你下一步会怎么样（What next）、和如果我采取这样的措 施又会怎么样（What if）。 用户首先建立一个假设，然后用OLAP检索数据库来验证这 个பைடு நூலகம்设是否正确。 比如，一个分析师想找到什么原因导致了贷款拖欠，他可 能先做一个初始的假定，认为低收入的人信用度也低，然后用 OLAP来验证他这个假设。如果这个假设没有被证实，他可能去 察看那些高负债的账户，如果还不行，他也许要把收入和负债 一起考虑，一直进行下去，直到找到他想要的结果或放弃。
4.1 数据仓库概述 数据仓库的特征
面向主题(subject-oeiented) 数据仓库围绕一些主题，如客户、供应商、产品和销售组 织。数据仓库关心决策者的数据建模与分析，而不是集中 于组织机构的日常操作和事务处理。因此数据仓库排除对 决策无用的数据，提供特定主题的简明视图。 集成性(integrated) 构造数据仓库是将多个异种数据源，如关系数据库、一般 文件和联机事务处理记录，集成在一起。使用数据清理和 数据集成技术，确保命名约定、编码结构、属性度量等的 一致性。
30/43
4.4 OLAP与数据集成 OLTP vs OLAP
OLTP 细节的 当前的 可更新 需求事先可知道 符合系统生命周期 对性能要求高 事务驱动 面向应用 一次操作数据量小 支持日常事务 OLAP 综合的或派生的 历史的 不可更新 需求事先不知道 完全不同的生命周期 对性能要求相对宽松 数据驱动 面向分析 一次操作数据量大 支持管理需求
•
•
15/43
4.2 数据仓库与数据库的区别
16/43
4.2 数据仓库与数据库的区别
目前，人们要利用现有的数据，进行分析和推理，从而为 决策提供依据。这种需求既要求联机服务，又涉及大量用于决 策的数据。而传统的数据库系统已无法满足这种需求： 1.所需历史数据量很大，而传统数据库一般只存储短期数据。 2.涉及许多部门的数据，而不同系统的数据难以集成。
4.1 数据仓库概述
数据仓库与CRM有着难以割舍的密切关系，从某种意义上 说，数据仓库是客户关系管理的灵魂。利用数据仓库，企业可以 对客户行为的分析与预测，从而制定准确的市场策略、发现企业 的重点客户和评价市场性能，并通过销售和服务等部门与客户交 流，实现企业利润的提高。对于客户量大、市场策略对企业影响 较大的企业来说，必须在客户关系管理系统中包含数据仓库。
3.对大量数据的访问性能明显下降
17/43
4.2 数据仓库与数据库的区别
目的不同
数据库用于事务处理；数据仓库用于决策支持
存储方式不同
数据库中的数据以表格方式存储；数据仓库中以数组方式存储
查询方式不同
数据库中应用OLTP(在线事务处理)；数据仓库应用OLAP(在线分析 处理)或数据挖掘