电子商务中的商务智能

usage access unit of work # records accessed #users DB size metric
OLAP多维分析方法



上卷（roll-up) 下钻（drill-down) 切片（dice) 切块（slice) 旋转（rotate),旋轴（pivot）
电子商务中的商务智能
美孚公司的客户分析

美孚石油公司
毕马威 KPMG
Guy Abramo

概 要

商务智能 商务智能的结构 数据仓库



OLTP/OLAP
数据挖掘

BI（Business Intelligence）
商务智能，简称BI，指通过对数据的收集、管理、分析以及转化，
使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅

Every key structure in the data warehouse

Contains an element of time, explicitly or implicitly But the key of operational data may or may not contain “time element”.
44
s2 44 8 8
4
s3 4 50 50
48
sale(*,p2,*)
切块＆切片
day 2 day 1
p1 p2 p1 p2 s1 44 s1 12 11 s2 8 s2 4 s3 50 s3
TIME = day 1
s1 12 11 s2 8 s3 50
p1 p2
切片 &旋转
Products
Store s1 Electronics Toys Clothing Cosmetics Store s2 Electronics Toys Clothing Cosmetics

OLTP（Online Transaction Process）
联机事务处理，是公司日常运营的基础，是业务流程信息化的关 键，基于生产数据库。

OLAP（Online Analysis Process）
联机分析处理，基于数据仓库的数据分析，以供决策所需，面向 管理层，面向未来。

满足决策支持或多维环境特定的查询和报表需求，它的技术核心是
p1 p2
s1 44 s1 12 11 s2 8
s2 4 s3 50
s3
dimensions = 3
上钻、下钻
day 2 day 1
p1 p2 p1 p2 s1 44 s1 12 11 s2 8 s2 4 s3 50 s3
Example: computing sums ...
sum
p1 p2 s1 56 11 s2 4 8 s3 50
与BI相关的几个重要概念

பைடு நூலகம்


BI（Business Intelligence，商务智能） DW（Data Warehouse，数据仓库） OLTP（Online Transaction Process） OLAP（Online Analysis Process） DM（Data Mining，数据挖掘）
数 据 仓 库
客 产 户 品
渠 道
交 易
机 构
BI平台基本架构
业务数据库（OLTP） 数据集成引擎 OLAP 引擎
数据仓库 引擎 挖掘引擎（DM） ETL DW
数据
信息
知识
利润
Architecture of Business Intelligence System (Won Kim, 1998 2nd Worldwide Computing and it’s Applications)
The MOLAP Cube
Fact table view:
sale prodId p1 p2 p1 p2 storeId s1 s1 s3 s2 amt 12 11 50 8
Multi-dimensional cube:
p1 p2 s1 12 11 s2 8 s3 50
dimensions = 2
Data Warehouse—Time Variant

The time horizon for the data warehouse is significantly longer than that of operational systems.

Operational database: current value data. Data warehouse data: provide information from a historical perspective (e.g., past 5-10 years)

data warehouse environment.

Does not require transaction processing, recovery, and concurrency control mechanisms

Requires only two operations in data accessing:
Data Warehouse—Non-Volatile

A physically separate store of data transformed from the operational environment. Operational update of data does not occur in the
3-D 立方体
Fact table view:
sale prodId p1 p2 p1 p2 p1 p1 storeId s1 s1 s3 s2 s1 s2 date 1 1 1 1 2 2 amt 12 11 50 8 44 4
Multi-dimensional cube:
day 2
day 1
p1 p2
s1 67
s2 12
s3 50
129
p1 p2 sum 110 19
上钻 下钻
扩展立方体
*
day 2
p1 p2 * s1
s1 56 11 67 s2
s2 4 8 12 s3
* 62 19 81
s3 50 50 * 48
* 110 19 129
day 1
p1 p2 *
p1 p2 s1 * 12 11 23
Sales ($ millions) Time d1 d2 $5.2 $1.9 $2.3 $1.1 $8.9 $0.75 $4.6 $1.5
Sales ($ millions) Products d1 Store s1 Store s2 Store s1 Electronics $5.2 $8.9 Toys $1.9 $0.75 Clothing $2.3 $4.6 Cosmetics $1.1 $1.5 Store s2 Electronics Toys Clothing
decision-making process.”
—W. H. Inman
数据仓库是实现商务智能的基础平台
Data Warehouse—Subject-Oriented

Organized around major subjects, such as customer, product, sales. Focusing on the modeling and analysis of data for

Data cleaning and data integration techniques are applied.


Ensure consistency in naming conventions, encoding structures, attribute measures, etc. among different data sources When data is moved to the warehouse, it is converted.
OLAP
为满足基于大型数据库的复杂查 询、决策分析等需求，弥补OLTP （On-Line Transaction Processing, 在线事务处理）在功能上的不足， 90年代初出现了OLAP技术（E.F. Codd，1993），目前OLAP 已经成 为大部分数据仓库的重要分析工具。
OLTP & OLAP

decision makers, not on daily operations or transaction
processing.

Provide a simple and concise view around particular subject issues by excluding data that are not useful in the decision support process.
国内产业界的观点
商务智能是指一种能力：通过智能地使用 企业的数据财产来制定更好的商务决策。 它的意思是说各种企业的决策人员以企业中的 数据仓库(Data Warehouse)为本，经由各式各 样的查询分析工具(Query/Report Tools)、联 机分析处理(OLAP)工具、或是数据挖掘(Data Mining)工具加上决策规划人员的行业知识 (Industry Knowledge)，从数据仓库中获得有 利的信息，进而帮助企业提高获利，增加生产 力与竞争力。
助决策和指导行动的过程。
商务智能系统 指利用计算机技术及信息技术，从商业数据中提
取出与企业决策相关的信息的智能化的数据分析处理系统。

商务智能系统是一种为决策制定者提供决策支持的信息系统. 商务智能系统从基于基于计算机技术的决策支持技术发展而来
国内学术界的观点
BI实际上是帮助企业提高决策能力和运营能力的 概念、方法、过程以及软件的集合，其主要目标是将 企业所掌握的信息转换成竞争优势，提高企业决策能 力、决策效率、决策准确性。
DW（Data Warehouse）
数据仓库（Data Warehouse 简称DW）是一个面向主题的、集成 的、反映历史变化、非易失的数据集合。 “A data warehouse is a subject-oriented, integrated, time-variant, and nonvolatile collection of data in support of management’s
Data Warehouse—Integrated

Constructed by integrating multiple, heterogeneous data sources

relational databases, flat files, on-line transaction records
“维”这个概念，因此OLAP也可以说是多维资料分析工具的集合。
A Sample Data Cube
日期
电视机 计算机 冰箱 sum 1Qtr
2Qtr
3Qtr
4Qtr
sum
哈尔滨销售 电视机的总量 哈尔滨 南京 北京 上海
商店
OLTP vs. OLAP
OLTP users function DB design data clerk, IT professional day to day operations application-oriented current, up-to-date detailed, flat relational isolated repetitive read/write index/hash on prim. key short, simple transaction tens thousands 100MB-GB transaction throughput OLAP knowledge worker decision support subject-oriented historical, summarized, multidimensional integrated, consolidated ad-hoc lots of scans complex query millions hundreds 100GB-TB query throughput, response

initial loading of data and access of data.
数据仓库 VS 数据库
以银行为例
数据库系统（生产系统）： ● 面向应用、事务驱动的 ● 实时性高 ● 数据检索量少 ● 只存当前数据
储蓄
对公
信用卡
其他
数据仓库系统（决策系统）： ● 面向主题、分析和决策 ● 实时性要求不是特别高 ● 数据检索量大 ● 存储大量的历史数据和当前数据