Oracle数据仓库软件架构

购买了某项服务？ 消费层次 年龄 . . . . . . . 1 = 是, 0 = 否
200~300 >500 100~200 400~500 30 42 23 44 42 43 32 34 1 1 0 0
Y = F(X1, X2, …, Xm)
案例
新的客户记录
Campos 400~500 Hornick 300~400 Habers >500 Berger >1000
全能的商业智能工具 —— Oracle 9iAS Discoverer
Discoverer 组件及其架构
Oracle 9i Database数据仓库特性一览
• • • • 位图联结索引（Bitmap Join Indexes） 更多的分析类函数 为Group By添加了Grouping Set功能 表空间压缩、表压缩技术
以往的数据仓库架构
• 在以往，建立于关系型数据库之上的数据仓库 和专门的分析型数据库是两套分立的系统。 • 关系型数据库的优点在于管理方便，易于用 SQL查询，但SQL语言的分析能力十分有限， 并且对于海量数据的查询性能也落后于专门的 分析型数据库。 • 专门的分析型数据库极大的提升了查询性能， 但代价就是高昂的维护成本，包括费时的数据 导入，另外的模型设计、维护以及单独的数据 备份。
Oracle数据仓库产品之间的关系
Express Analyzer Express Web Publisher Web browser / Java applets / Java Applications Through Oracle 9iAS Portal or not Oracle 9iAS Discoverer BI Beans Oracle 9iDS Report Oracle 9i Database Data Mining Engine
Express Server 关系型 业务数据 Warehouse Builder 文件型 业务数据
Relational Data
OLAP Data
Oracle 9i Database数据仓库特性一览
• 分区：剔除不需要的分区，加快查询速度 • 并行：自动利用多CPU、并行I/O的优势 • 实体化视图（Materialized Views）：事先做好 表联接和聚集，提升查询速度，对用户透明。 • 位图索引（Bitmap Indexes）：减小索引占用的 空间，以创建更多的索引。 • 星型查询优化 • 分析类函数：例如排名、同比、环比
Oracle数据仓库软件架构 Architecture of Oracle Data Warehouse Softwares
by Wesley Wu Mindsware Corporation
Oracle数据仓库软件家族 （其中黄色的是我们已经用到的产品）
• Oracle 9i Database（数据仓库应用的基础） • Oracle 9i OLAP（与Oracle 9i Database紧密集成的OLAP服务，现在 还不够成熟） • Oracle 9i Data Mining （与Oracle 9i OLAP紧密集成的数据挖掘服务， 现在还不够成熟） • Oracle 9i Warehouse Builder（构建数据仓库的工具） • Oracle 9iAS Discoverer（全能的数据分析、展现工具） • Oracle 9iAS Portal（Web形式的企业门户软件） • Oracle 9iAS Personalization（提供Web个性化服务） • Oracle 9iAS Clickstream Intelligence（提供Web点击记录分析） • Oracle 9iDS Reports（用于生成报表） • Oracle 9iDS BI Beans（用户Oracle 9i OLAP数据展现的java组件） • Oracle Express Server（成熟的OLAP服务器，将被Oracle 9i OLAP 所取代） • Oracle Express Analyzer/Object/Web Publisher（访问Express Server 的OLAP数据分析、数据展现客户端）
200~300 >500 100~200 400~500 30 42 23 44 1 1 0 0
案例
X1
X2
......
特征属性
Xm
Y 目标属性
附加属性
Oracle数据挖掘应用——客户特征分类
历史数据
相关属性
姓名 Jones Smith Lee Rogers
模型
目标属性和特征属性 之间的函数关系：
1? 0? 0? 1?
.85 .74 .93 .65
预言
信心指数
数据挖掘的流程
问题定义
• 商务领域的专家
数据准备
• 数据库管理员 • 数据分析员
模型构造和测试
• 数据分析员 • Java开发员
实施并实际应 用模型
• Java开发员 • 最终用户
Oracle数据挖掘现存的问题
• 不够成熟：其效果未曾得到切实可靠的 检验。 • 算法缺陷：目前提供的两类共五种算法 并不能提供令人信服的结果。 • 开发工具欠缺：缺乏易用的可视化工具 进行数据挖掘的开发，目前的Java API难 于掌握，挖掘结果难以展现。
自底向上 方法论
使用统计和OLAP工具 做汇总、分析和预测 使用数据挖掘工具做分 类、聚集和预言
深藏层
Oracle数据挖掘应用——客户特征分类 历史数据
相关属性
姓名 Jones Smith Lee Rogers
模型
目标属性和特征属性 之间的函数关系： Y = F(X1, X2, …, Xm)
购买了某项服务？ 消费层次 年龄 . . . . . . . 1 = 是, 0 = 否
OLAP
汇总、趋势 并预测
“分析信息 ”
数据挖掘
找ຫໍສະໝຸດ Baidu数据中隐藏的信 息模型并据此预言
“洞察和预言”
过去6个月中流 哪些用户会在接下 失的用户，其平 来的6个月中流失？ 均月话费的变化 趋势势如何？
商业智能的层次级别
自顶向下 方法论
所使用的分析工具
表面层 浅藏层
使用SQL 做简单的查 询和报表
Corporate Data
普通SQL应用访问关系-多维数据库的方式
OLAP应用访问关系-多维数据库的方式
关系-多维数据库的集成管理界面 Oracle Enterprise Manager Console
Oracle Data Mining——一些定义
报表和查询
抽取出细节或 汇总的数据 “获取信息” 过去6个月中流失 的用户是哪些？
革命性的Oracle 9i 关系-多维数据库集成 • 解决了长期以来MOLAP和ROLAP的争论， 将可维护性、易访问性、性能完美结合 在一起。
关系-多维数据库集成带来的好处
• 简化管理：只需要管理一个数据库实例，一份数据存 储，实施一种安全策略，掌握一套数据工具即可。 • 高可用性：与Oracle Database一样，提供同样的 7x24x52的可用性。 • 更好的安全性：实施类似的GRANT，不用进行权限的 同步。 • 开放性的访问：同时支持SQL和OLAP API。 • 缩短了信息流的周期：不需要进行数据复制，极大的 减少了从数据仓库到多维数据库的数据导入时间。 • 数据可靠性：数据无需复制，避免了复制过程中的错 误和并发性问题。
以往的数据仓库架构
以往的数据仓库架构
• 对于数据仓库管理员来说，必须完成以 下的工作
– 掌握三套技术（数据集成工具、关系型数据 库、分析型数据库） – 有三种元数据需要建模和维护 – 开发和安排三种管理过程 – 维护两种数据存储方式（关系型数据仓库和 多维数据库）
革命性的Oracle 9i 关系-多维数据库集成