数据仓库与商业智能概述PPT(共 39张)

数据库到数据仓库
传统的数据库环境中 以数据库为中心，数据资源组织方式单一； 侧重对数据的管理，操作型处理（OLTP，联
机事务处理），关心的是响应时间，数据的安 全性和完整性；
问题：“易进不易出”
数据库到数据仓库
数据处理不断有新需求（联机事务、批 处理、决策分析）
分析型处理（OLAP，联机分析处理）
系统
ERP系统
ODS（操作型数据存储区域）
是一种数据仓库的混合形式，它包含及时的、 最近的、面向主题的和集成的信息。 是数据仓库环境的一个组成部分
是操作型系统的一个集成环境 为决策支持系统提供当前详细数据的查询功能
是面向主题的、集成的、经常更新的详细数据
ETL（抽取 转换 加载）
数据仓库建设方法
数据仓库建设
－频繁变化 －面向企业中不同业务和用户
数据仓库建设策略
自底向上的策略：即数据集市方法，提 供了灵活性，低花费，并能迅速回报投 资。此方法的核心是：从最关心的部分 开始，先以最少的投资，完成企业当前 的需求，获得最快的回报，然后再不断 扩充，完善。
数据仓库与商业智能
2009-4-20
主要内容
数据仓库的起源和发展 数据仓库定义和特点 数据仓库体系结构 数据仓库建设方法 商业智能
数据仓库的起源和发展
数据管理的历史
人工管理方式 这一时期是在20世纪50年代中期以前，这一阶段的计算机应用主 要用于科学计算，外存只有纸带、磁带、卡片等，数据处理的方 式基本上是批处理。这一时期数据管理的特点是：数据不保存； 没有专用的数据管理软件，每个应用都必须自己完成存储结构、 存取方法、输入输出等数据管理功能；一组数据对应一个应用， 这使得程序之间可能有重复的数据。
数据按照时间组织，并存储在不同的时间切片
稳定的
不允许对数据进行更新，只允许初始加载和查询
数据仓库系统结构
数据仓库结构
Data 数据源
Mart
数据源
Operational Data Store
ETL
Data Warehouse
Data Mart
Data
数据源
Mart
元数据（Meta Data）
数据驱动
数据量不断扩大 需要相关技术全面了解企业
结论：以单一的数据组织方式进行组织的数据库， 不能满足新型的数据处理多样化的要求，数据 仓库技术应运而生
数据仓库的概念和特征
数据仓库的概念
数据仓库（EDW，Enterprise Data WareHouse） 数据仓库无非是所有数据集市的集合
集成的数据
建立关联的
各业务系统之间的业务事件联系 统一的（统一的事实、维度）
历史的数据
一般的全国股份制商业银行一天的交易流水在150W左右 通常业务系统只保留当前的 历史数据查询困难
数据集成
数据一致化
在很多情况下，大型企业会产生数据不一致情况 数据仓库的数据要保持一致化和准确性
数据集市即是数据仓库的一种实现，也 是实现数据仓库的重要过程，同时提供 了分布式数据仓库的思想。
数据展现
查询 报表 多维分析（钻取、切换） 图形
元数据
元数据是关于数据的数据，它描述了数 据的结构、内容、码、索引等项内容。
元数据分类
技术元数据 业务元数据
三个关键部分
--Ralph Kimball
数据仓库无非是面向主题的、集成的、不同时 间的、稳定的数据集合以便支持管理决策
--Bill Inmon
数据仓库是一个过程不是一个项目
数据仓库的特点
面向主题
数据所代表的业务内容划分，而不是以应用划分
集成的
数据所代表的业务内容划分，而不是以应用划分
不同时间的
用于管理人员的决策分析，经常要访问大量的历史数据， 而很少对数据库进行写操作，除非对数据库进行更新 或装入时。人们希望从中获得跟公司经营效益紧密相 关的信息。
数据仓库的产生
（1）数据集成 （2）历史数据的应用需求 （3）查询性能
数据集成
企业全面的经营数据
OLTP分散在不同系统中(核心、信贷、国结) 外部数据(市场数据、竞争对手)
数据综合
各种不同粒度的数据的集成问题 详细粒度 中等聚集 高层聚集
外部数据集成
查询性能
提高数据的查询效率
OLTP系统面向数据维护 数据仓库面向数据查询 提高查询功能为最主要目标
发展的动力
业务需求驱动
主要是详细的分析 科学的经营
市场活动的细化和实施等
汇总）
Fact Table
机构 粒度 key
fact1 fact2 fact3
Dimension
粒度代码 attribute attribute attribute
Dimension
粒度：1－日 2－月 3－年 日期 2008-12-31
数据集市
数据集市是数据仓库的子集。如果数据 仓库是整个企业组织的所有主题数据存 储区，那么数据集市就是某一个主题数 据的存储领域。
数据仓库数据是面向主题的，而业务 数据库总是围绕一个或几个业务处理流 程，因此到数据仓库的过程需要十分复 杂的数据整合过程。 n 数据抽取 n 数据转换（一致化） n 数据加载 n 作业控制
数据仓库
数据模型－多维数 Dimension
据模型
机构代码 地址
来自百度文库
联系人
粒度划分（分割、
attribute
ODS(Operational Data Store):操作型数据存储区域 ETL(Extract Transfer Load):数据抽取转换加载 DW(Data WareHouse):数据仓库 DM(Data Mart):数据集市
分析 报表 可视化 数据挖掘
数据源
各种业务系统
RDBMS 文件系统 如，银行业中，核心系统、信贷系统、国结
文件系统管理 这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始 用于信息管理，由于数据存储、检索和维护等需求，使得相应的 研究开展起来了，在硬件和软件方面都得到了发展，磁盘磁鼓出 现，操作系统也产生。
数据库系统（60年代末开始） 关系数据库之父E.F.Codd提出了关系模型(ER)，促进了联机事务 处理(OLTP)的发展，数据以表格的形式而非文件方式存储。