朴素贝叶斯方法处理缺失值

Temperature
Humidity
Wind
PlayTennis
Sunny Overcast Rain Hot Mild Cool High Normal Weak Strong
2
4
32 4 3 3
6
6 3 Yes 9
3
0
22 2 1 4
1
2 3 No 5
表2 先验概率P(cj) 和条件概率P(ai|cj)
Normal
Weak
D14
Rain
Mild
High
Strong
现在假设有一个样例x x = {Sunny,Hot,High,Weak}
PlayTenni sNo No Yes Yes Yes No Yes No Yes Yes Yes Yes Yes No
第一步统计个数 表1 类别为cj及在cj条件下Ai取ai的样例数
则P(cMAP|x)称为最大后验概率 然后我们就把x分到cMAP类中
朴素贝叶斯分类器一
设x = <a1,a2…am>，为一个有m个属性的 样例 P(cMAP|x)= max P(cj|x) j∈(1,|C|)
= max P(cj|a1,a2…am)
= max P(a1,a2…am|cj)P(cj)
将(2) 式其代入(1)式中，可得到朴素贝叶斯分 类器，如下
朴素贝叶斯分类器三
m
CNB=argmax P(ai| cj)
（3）
P(cj) cj C
i 1
其中CNB表示朴素贝叶斯分类器输出的目标值。注意在朴素贝叶
斯分类器中，须从训练数据中估计的不同P(ai|cj)项的数量只是不同
的属性值数量乘以不同目标值数量——这比要估计P(a1,a2…am|cj)
P(a1,a2…am)
= max P(a1,a2…am|cj)P(cj)
(1)
朴素贝叶斯分类器二
朴素贝叶斯分类器基于一个简单的假定：在给定 目标值时属性值之间相互条件独立。换言之，该假 定说明给定实例的目标值情况下，观察到联合的 a1,a2…am的概率正好是对每个单独属性的概率乘 积
m
P(a1,a2 ,...,am| c j)= P(ai| c j) (2) i 1
Outlook Temperatur Humidity Wind
D1
Sunny
Hot e
High
Weak
D2
Sunny
Hot
High
Strong
D3
Overcast Hot
High
Weak
D4
Rain
Mild
High
Weak
D5
Rain
Cool
Normal
Weak
D6
Rain
Cool
Normal
Strong
如果没有这一先验知识，那么可以简单地将每一 候选类别赋予相同的先验概率。不过通常我们可以 用样例中属于cj的样例数|cj|比上总样例数|D|来
近似，即
P(c j)=
|c j| |D|
联合概率P(x|cj)
联合概率是指当已知类别为cj的条件下，看到样
本x出现的概率。 若设x = <a1,a2…am> 则P(x|cj)= P(a1,a2…am| cj)
Outlook
Temperature
Humidity
Wind
PlayTennis
Sunny Overcast Rain Hot Mild Cool High Normal Weak Strong
2
4
32 4 3 3
6
6 3 Yes 9
3
0
22 2 1 4
1
2 3 No 5
估计先验概率和条件概率
Outlook
Ω中的元素x表示为x = <a1,a2 ,…,am>。 Ωc中的元 素x表示为x = <a1,a2 ,…,am,cj>。其中ai表示第i个属 性的某个取值。
贝叶斯定理
设x∈Ω是一个类别未知的数据样本，cj为某个类别，若数据样
本x属于一个特定的类别cj，那么分类问题就是决定P(cj|x)，即在 获得数据样本x时，确定x的最佳分类。所谓最佳分类，一种办法 是把它定义为在给定数据集D中不同类别cj先验概率的条件下最可 能（most probable）分类。贝叶斯理论提供了计算这种可能性 的一种直接方法
朴素贝叶斯
结 贝叶斯理论
贝叶斯分类器
构
描述用到的符号
我们用Ai表示第i个属性，C表示决策属性；aik表示 第i个属性的第k个取值，cj表示第j类；加上绝对值则 表示相应的个数，如|Ai|表示第i个属性的取值个数， |cj|表示第j类样例个数。
Ω={A1×A2×...×Am}，是由所有未知类别的可能样本 组成的集合； Ωc={A1×A2×...×Am×C}是由所有已知类 别的样本组成的集合。D Ωc是训练样例集合。
Outlook
Temperature
Humidity
Wind
PlayTennis
更精确地讲，贝叶斯法则基于假设的先验概率、给定假设下 观察到不同数据的概率，提供了一种计算假设概率的方法
贝叶斯公式
P(x|cj)P(cj)
P( cj|x) =
P(x)
先验概率P(cj) 联合概率P(x|cj) 后验概率P(cj|x)
先验概率P(cj)
P(cj)代表还没有训练数据前，cj拥有的初始概率。 P(cj)常被称为cj的先验概率(prior probability) ，它反 映了我们所拥有的关于cj是正确分类机会的背景知识, 它应该是独立于样本的。
项所需的量小得多
概括地讲，朴素贝叶斯学习方法需要估计不同的P(cj)和P(ai|cj) 项，也就是它们在训练数据上的频率。然后使用公式(3)来分类新实 例。
P(c j )
|cj | |Fra Baidu bibliotek|
P(ai
| cj)
|
Ai
ai C |C cj
|
cj
|
举例说明
目标概念PlayTennis的训练样例
Day
后验概率P(cj |x)
即给定数据样本x时cj成立的概率,而这正是我们所 感兴趣的
P(cj|x )被称为C的后验概率（posterior
probability），因为它反映了在看到数据样本x后cj 成立的置信度
贝叶斯分类
我们现在计算 P(cMAP|x) = max P(cj|x)
j∈(1,|C|)
D7
Overcast Cool
Normal
Strong
D8
Sunny
Mild
High
Weak
D9
Sunny
Cool
Normal
Weak
D10
Rain
Mild
Normal
Weak
D11
Sunny
Mild
Normal
Strong
D12
Overcast Mild
High
Strong
D13
Overcast Hot