商务智能知识整理

商务智能整理

数据仓库

数据仓库是面向主题的、集成的、非易失的和时变的数据集合，用以支持管理决策。面向主题的数据组织方式可在较高层次上对分数据给出完整、一致的描述；其数据是从原有分散的源数据库中提取集成出来的；其数据是不可实时更新的，仅当超过规定的存储期限，才将其从仓库中删除，提取新的数据经集成后再更新；其数据是按照时间顺序追加的，带有时间属性。

〖例〗试画出销售分析的概念模型。

解：首先根据销售分析的实际需求，确定信息包的维度、类别和指标与事实：

（1）维度：包括日期维、销售地点维、销售产品维、年龄组别维、性别维等。

（2）类别：确定各维的详细类别，如：日期维包括年（10）、季度（40）、月（120）等类别，括号中的数字分别指出各类别的数量；销售地点维包括国家（15）、区域（45）、城市（280）、区（880）、商店（2000）等类别，括号中的数字同样分别指出各类别的数量；类似地，可以确定销售产品、年龄组别维、性别维等的详细类别。

（3）度量和事实：确定用于进行分析的数值化信息，包括预测销售量、实际销售量和预测偏差等。一个超市案例

设计一个数据库存储商店管理信息系统的数据

涉及的数据信息有：

商品，仓库，仓库管理员，顾客，供货商

商品名称、商品类型、商品规格、商品质量、商品库存量、仓库地址、仓库电话、管理员姓名、管理员电话、顾客姓名、顾客电话、顾客住址、购买商品价格、购买商品数量、商品供货价格、商品

供货商电话、供货商地址、供货商联系人概念模型图实例

星型结构与雪花模型的比较

星型结构的查询速度快，查询访问效率高，结构比较直观，方便业务人员使用；雪花模型节省存储空间，有一定程度的范式。

数据仓库设计

度量维度维度表和事实表设计数据仓库物理实现

ETL 多维数据集设计部署

OLAP

定义1 ：OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。

定义2 ：OLAP(联机分析处理) 是使管理人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。

Slicing:Filtering by AUS2

Dicing:Filtering by AUS1+AUS2 and Wholesale

数据挖掘

又称为数据库中的知识发现，它是一个利用人工智能、机器学习和统计学等多学科理论分析大量的数据，进行归纳性推理，从事务数据库、文本数据库、空间数据库、多媒体数据库、数据仓库以及其他数据文件中提取正确的、新颖的、有效的以及人们感兴趣的知识的高级处理过程。聚类与分类的区别

与分类不同，在开始聚集之前用户并不知道要把数据分成几组，也不知分组的具体标准，聚类分析时数据集合的特征是未知的。

聚类根据一定的聚类规则，将具有某种相同特征的数据聚在一起也称为无监督学习。分类用户则知道数据可分为几类，将要处理的数据按照分类分入不同的类别，也称为有监督学习。

贝叶斯分类器

数据样本用属性age，income，student和credit_rating描述。

类标号属性buys_computer具有两个不同值（即{yes，

no}）。设C1对应于类buys_computer=”yes”，而C2对应于

类buys_computer=”no”。

我们希望分类的未知样本为:

X=（age=”<=30”，income=”medium”，student=”yes”，

credit_rating=”fair”）。

(1) 我们需要最大化P(X|Ci)*P(Ci)，i=1，2。每个类的先验概率P(Ci)可以

根据训练样本计算：

P(buys_computer=”yes”)=9/14=0.643，

P(buys_computer=”no”)=5/14=0.357。

(2) 为计算P(X|Ci)，i=1，2，我们计算下面的条件概率：

P(age<=30|buys_computer=”yes” )=2/9=0.222，

P(age<=30”|buys_computer=”no” )=3/5=0.600，

P(income=”medium”|buys_computer=”yes” )=4/9=0.444，

P(income=”medium”|buys_computer=”no” )=2/5=0.400，

P(student=”yes”|buys_computer=”yes” )=6/9=0.677，

P(student=”yes”|buys_computer=”no” )=1/5=0.200，

P(credit_rating=”fair”|buys_computer=”yes” )=6/9=0.667，

P(credit_rating=”fair”|buys_computer=”no” )=2/5=0.400。

(3) 假设条件独立性，使用以上概率，我们得到：

P(X|buys_computer=”yes” )=0.222*0.444*0.667*0.667=0.044，

P(X|buys_computer=”no” )=0.600*0.400*0.200*0.400=0.019，

P(X|buys_computer=”yes” )*P(buys_computer=”yes” )=

0.044*0.643=0.028

P(X|buys_computer=”no” )*P(buys_computer=”no” )=

0.019*0.357=0.007。

因此，对于样本X，朴素贝叶斯分类预测buys_computer=”yes”。

对于连续属性:

离散化把属性的范围划分为许多段：

每一段设定一个有序值

这样会违反独立性假设

估计概率密度:

假定属性服从正态分布

估计该属性分布的参数

(例如, 均值和标准差)

在得到概率密度之后，我们可以使用它估计条件概率P(A i|c)

税号去年退税婚姻状况可征税收入逃税

1 是单身125k 否

2 否婚姻中100k 否

3 否单身70k 否

4 是婚姻中120k 否

5 否离婚95k 是

6 否婚姻中60k 否

7 是离婚220k 否

8 否单身85k 是

9 否婚姻中75k 否

10 否单身90k 是

对于去年退税否　婚姻状况＝婚姻中　可征税收入

(,,120K) X===

P(X|逃税=否) = P(去年退税=否|逃税=否)

*P(婚姻中| 逃税=否)

* P(收入=120K| 逃税=否)

= 4/7 * 4/7 * 0.0072 = 0.0024

P(X|逃税=是) = P(去年退税=否| 逃税=是)

* P(婚姻中| 逃税=是)

* P(收入=120K| 逃税=是)

= 1 * 0 * 1.2 * 10-9 = 0

因为：P(X|否)P(否) > P(X|是)P(是)

所以：P(否|X) > P(是|X)

=> 逃税= 否

KNN算法

基本思想是给定一个未确定类别的样本x，在样本空间搜索，找出与其距离最近的k个样本xi，待

分类的样本属于哪一类由k个近邻中的样本大多数所属的类别确定。

姓名性别身高(米) 类别

Kristina 女 1.6 矮

Jim 男 2 高

Maggie 女 1.9 中等

Martha 女 1.88 中等

Stephanie女 1.7 矮

Bob 男 1.85 中等

Kathy 女 1.6 矮

Dave 男 1.7 矮

Worth 男 2.2 高

Steven 男 2.1 高

Debbie 女 1.8 中等

Todd 男 1.95 中等

Kim 女 1.9 中等

Amy 女 1.8 中等

Wynette 女 1.75 中等

“高度”用于计算距离，K=5，对分类。

对T前K=5个记录，N={、< Jim，男，2>、< Maggie，女，1.9>、< Martha，女，1.88>和< Stephanie，女，1.7>}。

对第6个记录d=< Bob，男，1.85>，得到N={、< Bob，男，1.85>、< Maggie，女，1.9>、< Martha，女，1.88>和< Stephanie，女，1.7>}。

对第7个记录d=< Kathy，女，1.6>，得到N={、< Bob，男，1.85>、< Kathy，女，1.6>、< Martha，女，1.88>和< Stephanie，女，1.7>}。

对第8个记录d=< Dave，男，1.7>，得到N={、< Bob，男，1.85> 、< Kathy，女，1.6>、< Dave，男，1.7>和< Stephanie，女，1.7>}。

对第9和10个记录，没变化。

对第11个记录d=< Debbie，女，1.8>，得到N ={、< Debbie，女，1.8>、< Kathy，女，1.6>、< Dave，男，1.7>和< Stephanie，女，1.7>}。。

对第12到14个记录，没变化。

对第15个记录d=< Wynette，女，1.75>，得到N ={，< Wynette，女，

1.75> 、< Kathy，女，1.6>、< Dave，男，1.7>和< Stephanie，女，1.7>}。

在这五项中，四个属于矮个、一个属于中等。最终KNN方法

X1,X2,X3分别与家庭经济状况，信用级别，月收入相对应，Y1,Y2表示购买，不购买。

则根据题意得，X=<一般，优秀，12>，

P(Y1)=7/10，P(Y2)=3/10,

P(X|Y1)=P(X1=一般|Y1) P(X2=优秀|Y1) P(X3=12k|Y1)

=16/343，

P(X|Y2)=P(X1=一般|Y2) P(X2=优秀|Y2) P(X3=12k|Y2)

=0，

根据公式得

P(Y1|X)= P(Y1) P(X|Y1) / P(X|Y1)P(Y1)+P(X|Y2) P(Y2)=1