第6章2贝叶斯

2013-7-25
18
Microsoft贝叶斯挖掘模型的使用
Microsoft Naive Bayes算法是Microsoft SQL Server 2005 Analysis Services（SSAS）提供的一种分类算法， 用于预测性建模。 实验 利用贝叶斯挖掘模型分析游戏《三国志》武将数据
2013-7-25

2013-7-25
3
题解

设A取到的元件是次品，Bi表示取到的元件是由第i个厂家生产的，则 P(B1)=0.15, P(B2)=0.8，P(B3)=0.05 那么，在仓库中随机地取一个元件，它是次品的概率为
P( A) P( Bi ) P( A | Bi ) 0.15 0.02 0.80 0.01 0.05 0.03 0.0125
2013-7-25 9
练习：下表是其保险公司某项健康保险业务销售的客户记录
现有一名客户年龄 是32岁，收入水平 中等，没有固定职 业，信用等级良好， 用贝叶斯分类器预 测该客户是否购买 这种健康保险。
2013-7-25
10
题解
2013-7-25
11
贝叶斯分类器的作用


从理论上讲与其他分类器相比，贝叶斯分类器具有最小的 错误率。 但实际上由于其所依据的类别独立性假设和缺乏某些数 据的准确概率分布，从而使得贝叶斯分类器预测准确率 受到影响。 但各种研究结果表明：与决策树和神经网络分类器相比， 贝叶斯分类器在某些情况下具有更好的分类效果。 贝叶斯分类器的另一个用途就是它可为那些没有利用贝叶 斯定理的分类方法提供了理论依据。 例如在某些特定假设情况下，许多神经网络和曲线拟合 算法的输出都同贝叶斯分类器一样使得事后概率取最大
2013-7-25
结果表明，这 个次品来自第2家 工厂的可能性最 大，来自第1家工 厂的概率次之， 来自第类器（朴素贝叶斯） 进行分类操作处理的步骤（1）
2013-7-25
5
简单贝叶斯分类器 进行分类操作处理的步骤（2）
2013-7-25
6
简单贝叶斯分类器 进行分类操作处理的步骤（3）
2013-7-25
7
贝叶斯分类器的应用
【例】利用贝叶斯分类方法预测一个数据对象X( 年龄<30， 收入=中，是否学生=是，信用=一般)类别（P137）
序号 1 2 3 年 龄 收 高 高 高 入 是否学生 否 否 否 信 用 中 优 中 购买PC 否 否 是 <=30 <=30 31~40
4
5 6 7 8
>40
>40 >40 31~40 <=30
中
低 低 低 中
否
是 是 是 否
中
中 优 优 中
是
是 否 是 否
9
10 11 12 13 14 2013-7-25
<=30
>40 <=30 31~40 31~40 >40
低
中 中 中 高 中
是
是 是 否 是 否
中
中 优 优 中 优
是
是 是 是 是 否
利用表中的数据作为训 练样本集和贝叶斯分类 器来帮助预测未知（类 别）数据样本类别。训 练数据集包含年龄、收 入、是否学生和信用这 四个属性，其类别属性 为购买PC。它有两个不 同的取值：{是，否}。
8
设c1对应类别购买PC=是,即c1=9；c2对应类别购买PC=否，即c2=5；因此对未知样 本所要进行的分类就是： X={年龄<30，收入=中，是否学生=是，信用=一般} 为了获得P(X|Ci)P(Ci)（其中i=1,2），P(Ci)为每个类别的事前概率，所进行的具 体计算结果描述如下： P(C1)=9/14=0.643 P(C2)=5/14=0.357 为了计算P(X|Ci)P(Ci)（i=1,2），需要首先进行以下运算： P(年龄<30|C1)=2/9=0.222 P(年龄<30|C2)=3/5=0.600 P(收入=中|C1)=4/9=0.444 P(收入=中|C2)=2/5=0.400 P(是否学生=是|C1)=6/9=0.667 P(是否学生=是|C2)=1/5=0.200 P(信用=一般|C1)=6/9=0.667 P(信用=一般|C2)=2/5=0.400 利用以上所获得的计算结果，可以得到： P(X|C1)=0.222×0.444×0.667×0.667=0.044 P(X|C2)=0.600×0.400×0.200×0.400=0.019 最后计算P(X|Ci)P(Ci)（i=1,2） P(X|C1)P(C1)=0.044×0.643=0.028 P(X|C2)P(C2)=0.019×0.357=0.007 因为P(X|C1)P(C1)> P(X|C2)P(C2)，所以根据贝叶斯分类方法得出结论：数据对 象X的“购买PC类=是”，即X属于购买PC类
i 1 3

由贝叶斯公式
P( B1 ) P( A | B1 ) 0.15 0.02 0.24 P( A) 0.0125 P( B2 ) P( A | B2 ) 0.80 0.01 P( B2 | A) 0.64 P( A) 0.0125 P( B1 ) P( A | B3 ) 0.05 0.03 P( B3 | A) 0.12 P( A) 0.0125 P( B1 | A)
贝叶斯分类方法
贝叶斯分类器是一个统计分类器。它们能够预测 类别所属的概率，如：一个数据对象属于某个类 别的概率。 例子：预测对某移动电话的一次呼叫能否成功 （P136）

2013-7-25
1
贝叶斯定理
P(H | X)表示条件 X下H的概率（条 件概率、后验概率）
2013-7-25 2
贝叶斯定理——例子
某电子设备厂所用的元件是由三家元件厂提供 的，根据以往的记录，这三个厂家的次品率分 别为0.02，0.01，0.03，提供元件的份额分别 为0.15，0.8，0.05，设这三个厂家的产品在仓 库是均匀混合的，且无区别的标志。 问题：在仓库中随机地取一个元件，若已知它 是次品，分析此次品出自何厂家的概率最大？
12
2013-7-25
贝叶斯信念网络



基本贝叶斯分类器是基于各类别相互独立这一假设来进 行分类计算的，也就是要求若给定一个数据样本类别， 其样本属性的取值应是相互独立的。 这一假设简化了分类计算复杂性。若这一假设成立，则 与其他分类方法相比，基本贝叶斯分类器是最准确的； 但实际上变量间的相互依赖情况是较为常见的。 贝叶斯信念网络就是用于描述这种相互关联的概率分布。 该网络能够描述各属性子集之间有条件的相互独立。它 提供了一个图形模型来描述其中的因果关系，而学习也 正是基于这一模型进行的。这一图形模型就称为贝叶斯 信念网络（常简称为信念网络）。
2013-7-25
13
贝叶斯信念网络
2013-7-25
14
贝叶斯信念网络
2013-7-25
15
贝叶斯信念网络
例子：P138
2013-7-25
16
贝叶斯信念网络
2013-7-25
17
贝叶斯信念网络



信念网络中的一个结点可以被选为输出结点，用 以代表类别属性，网络中可以有多于一个的输出 结点。 该网络可以利用学习推理算法；其分类过程不是 返回一个类别标记，而是返回一个关于类别属性 的概率分布，即对每个类别的预测概率。 贝叶斯网络的优点：易于理解，预测效果好 缺点：倾向于发生频率很高的结果
19