第3章Bayes决策理论_2

观察到一个模式时，得到特征 x ，就可利用后验概率作
出分类的决策，同时也会带来一定的错误概率。若观察
到大量的模式，对它们作出决策的平均错误概率 P(e) 应 是 P(e x) 的数学期望。
返回本章首页
第3章 Bayes决策理论
平均错误概率
P(e) P(e x)p( x)dx
从式可知，如果对每次观察到的特征值 x ， P(e 1) 是
返回本章首页
第3章 Bayes决策理论
先验概率和条件概率密度函数均已知
铁螺丝出现的概率—— P(1) 铜螺丝出现的概率—— P(2 ) 铁螺丝出现的概率—— P( x 1) 铜螺丝出现的概率—— P( x 2 )
x ——螺丝背光源照射后反射光的亮度特征 求取后验概率：
P( j
x)
p( x j )P( j )
第3章 Bayes决策理论
第3章 Bayes决策理论
3.1 最小错误概率的Bayes决策 3.2 最小风险的Bayes决策 3.3 Neyman-Pearson决策 3.4 最小最大决策 3.5 Bayes分类器和判别函数 3.6 正态分布时的Bayes决策法则 3.7 离散情况的Bayes决策
第3章 Bayes决策理论
返回本章首页
第3章 Bayes决策理论
对模式 识别的主要统计方法是Bayes决策理论， 它是用概率论的方法研究决策问题，要求 （1）各类别先验概率以及条件概率密度均为已 知 ，即各类别总体的概率分布是已知的； （2） 要决策分类的类别是一定的；
返回本章首页
第3章 Bayes决策理论
3.1 最小错误概率的Bayes决策
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
c
R(k x) min R(i x) P( j x)
i1,2, ,c
j1
i j
返回本章首页
第3章 Bayes决策理论
c
c
P( j
p( x j )P( j )
R1
21P(1) p( x 1)22P(2 ) p( x 2 )dx
R2
P(2 )1P(1)
p( x 1)dx p( x 1)dx 1
R1
R2
R 22 (12 22 ) p( x 2 )dx
R1
P(1) (11 22 )(21 11) p( x 1)dx(12 22 ) p( x 2 )dx
R(1 x)11P(1 x)12P(2 x) R(2 x)21P(1 x)22P(2 x)
R 11P(1 x)12P(2 x)p( x)dx
R1
21P(1 x)22P(2 x) p( x)dx
R2
返回本章首页
第3章 Bayes决策理论
R 11P(1) p( x 1)12P(2 ) p( x 2 )dx
x) x)
1 2
总风险公式
R R( (x) x)p( x)dx
返回本章首页
第3章 Bayes决策理论
假定决策域已经确定，我们以R1 表示分类器判为1 时的特征空间 中的区域，同样有R2和2 ，于是总风险用条件风险的形式表示为
R R(1 x)p( x)dx R(2 x)p( x)dx
R1
R2
p(x p(x
1 ) 0 1 ) 0
xR2 xR1
p( p(
x x
2 2
) )
p( p(
x x
1 1
) )
0 0
x2 x1
p(x p(x p(x p(x
1 ) 2 ) 1 ) 2 )
x2 x1
返回本章首页
第3章 Bayes决策理论
取得极小值的边界条件
0 p(t 1)
t
p(t 2 )
在模式识别问题中，感兴趣的往往是尽量减小分 类错误的概率。为此，我们可以建立一个能得到 最小错误率的决策方法。看一个简单的例子。 假设某工厂生产两种大小，外形都相同的螺丝钉， 一种是铜的，一种是铁的。两种产品混在一起， 要求对它们自动分类。分两种情况讨论： （1）先验概率已知； （2）先验概率和条件概率密度函数均已知。
在上一章，我们介绍了线性判别函数，作了一个 假设——抽取到的模式样本的边界是“整齐”而 不混杂的，而且 以后遇到的待分类模式基本上 不超过学习样本的分布范围，从而利用这些样本 得到的分类边界是无误差的。但是实际上因为试 验的样本是从总体中随机抽取的，不能保证用过 去的抽取的样本训练得到的分类边界对新的模式 样本也能较好地分类。因此，考虑样本不确定性 的模式识别方法是非常重要 的。另外，还有特 征选择不完善所引起的不确定性，模式数据采集 和预处理和特征抽取过程中干扰和噪声引起的不 确定性。综上，我们引出统计决策的方法。
返回本章首页
第3章 Bayes决策理论
以两类情况下的最小风险Bayes决策为例进行讨论
状态 损失
分类决策
1
2
自 然 状态
1
2
11
12
21
22
ij (i , j )
R(1 R(2
x ) 11P(1 x ) 21P(1
x ) 12 P(2 x ) 22 P(2
xx))
R(1 R(1
x) R(2 x) R(2
R2
R1
P(1)P1(e) P(2 )P2 (e)
返回本章首页
第3章 Bayes决策理论
结 束放映 返回本章首页
第3章 Bayes决策理论
3.2 最小风险的Bayes决策
在上一节我们介绍了最小错误率的Bayes决策， 并且证明了应用这种决策法则时，平均错误概率 是最小的。但实际上有时需要考虑一个比错误率 更为广泛的概念——风险，举例说明。毋庸置疑， 任何风险都会带来一定损失。看一个一般的决策 表。
损失。 根据Bayes公式，后验概率为：
P( j
x)
p( x j )P( j )
5
p( x i )P(i )
i1
j 1, 2, ,5
返回本章首页
第3章 Bayes决策理论
对于刚才的决策表考虑如下的一个条件期望损失，即给
定x ，我们采取决策 i 情况下的条件期望损失（条件风
险） ：
5
R(i x) (i , j )P( j x) E (i , j ) i1,2, ,5
2
p( x j )P( j )
j1
返回本章首页
第3章 Bayes决策理论
对待分类模式的特征我们得到一个观察值 x ， 合理的决
策规则：
P(1 x) P(2 x) 1
P(1
x) P(2
x)
2
决策错误的条件概率（随机变量 x 的函数）：
P(e
x)
P(1 P(2
x) x)
2 1
模式特征 x是一个随机变量，在应用Bayes法则时，每当
R2
R1
1 p(x 1)dx p(x 2 )dx0
R1
R1
10 p(x 2 )dx p(x 1)dx
R1
R1
10 p(x 2 ) p(x 1)dx
R1
返回本章首页
第3章 Bayes决策理论
10 p(x 2 ) p(x 1)dx
R1
min
p(x p(x
2 2
) )
0
p(x 2 )dx 0
R1
R1 ( t) R2 (t )
与最小错误率的Bayes决策的比较
P(1 x) P(2 x) 1
P(1 x) P(2 x)
2
p(x p(x
1 ) 2 )
p(x p(x
1 ) 2 )
x2 x1
返回本章首页
第3章 Bayes决策理论
3.4 最小最大决策
有时我们必须设计在整个先验概率范围上都能很 好的进行操作的分类器。比如，在我们的有些分 类问题中可能设想尽管模式的有些物理属性恒定 不变，然而先验概率可能变化范围很大，并且以 一种不确定的 方式出现。或者，我们希望在先 验概率不知道的情况下使用此分类器，那么一种 合理的设计分类器的方法就是使先验概率取任何 一种值时所引起的总风险的最坏的情况尽可能小， 也就是说，最小化最大可能的总风险。以二类模 式识别问题为例，进行讨论。
尽可能小的话，则上式的积分必定是尽可能小的这就证 实了最小错误率的Bayes决策法则。下面从理论上给予 证明。以两类模式为例。
返回本章首页
第3章 Bayes决策理论
P(e) P(xR2 ,1) P(xR1,2 ) P(xR2 1)P(1) P(xR1 2 )P(2 )
p(x 1)P(1)dx p(x 2 )P(2 )dx
(21 11)P(1 x) (12 22 )P(2 x) 1 (21 11)P(1 x)(12 22 )P(2 x) 2
P(1 x) P(2 x) 1
P(1
x) P(2
x)
2
这时最小风险的Bayes决策和最小错误率的Bayes决策规则是 一致的。
返回本章首页
第3章 Bayes决策理论
一般的多类问题中，设损失函数为0-1损失函数
j1
采取那种决策呢？ 1,2,3,4,5
最小风险Bayes决策规则：
R(k x) min R(i x)
i1,2, ,a
k
返回本章首页
第3章 Bayes决策理论
综上，可知该规则的进行步骤为： （1）根据已知，计算出后验概率；
P( j ) p(x j )P( j
x)
p(x j )P( j )
x)
j1 c
1
j1
p( x i )P(i )
i1
R(k x) min R(i x) i1,2, ,c
c
min P( j x) i1,2, ,c j1
ji
min
i1,2, ,c
1
P(i
x
)
max
i1,2, ,c
P(i
x)
返回本章首页
第3章 Bayes决策理论
3.wenku.baidu.com Neyman—Pearson决策
Neyman—Pearson决策即限定一类错误率条件下使另一 类错误率为最小的两类别决策。
返回本章首页
第3章 Bayes决策理论
p(x 1)P(1)dx P(1)P1(e)
R2
p(x 2 )P(2 )dx P(2 )P2 (e)
R1
P1(e) p(x 1)dx
R2
P2 (e) p(x 2 )dx 0
返回本章首页
第3章 Bayes决策理论
先验概率已知
铁螺丝出现的概率—— P(1) 铜螺丝出现的概率—— P(2 )
它们反映了我们在下一个样品出现前对它的类别可能性 的先验知识，称这种先于事件的概率为先验概率。
合理的决策规则：
P(1 P(1
) )
P(2 P(2
) )
1 2
决策错误的概率：
P(e)min[P(1), P(2 )]
R1
用Lagrange乘子法建立其数学模型
P1(e) P2 (e)0
返回本章首页
第3章 Bayes决策理论
P1(e) P2 (e)0
p(x 1)dx p(x 1)dx 1 p(x 1)dx 1 p(x 1)dx
R1
R2
R2
R1
p(x 1)dx p(x 2 )dx0
c
x
p(x i )P(i )
i1
（2）利用计算出的后验概率及决策表（专家根据经验确
定），计算条件风险
c
R(i x) (i , j )P( j x) i 1, 2, , a
j1
（3）最小风险决策
R(k x) min R(i x)
i1,2, ,a
返回本章首页
第3章 Bayes决策理论
这样按最小风险的Bayes决策规则，采取的决策将随 x 的
返回本章首页
第3章 Bayes决策理论
返回本章首页
第3章 Bayes决策理论
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4 , 5 ——决策空间
(i , j ) i 1, 2, ,5 j 1, 2, ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
返回本章首页
第3章 Bayes决策理论
两类情况下的最小风险Bayes决策
状态 损失
分类决策
1
2
自 然 状态
1
2
11
12
21
22
ij (i , j )
R(1 R(2
x ) 11P(1 x ) 21P(1
x ) 12 P(2 x ) 22 P(2
xx))
R(1 R(1
x) R(2 x) R(2
x) x)
1 2
R(2 x)R(1 x)(21 11)P(1 x)(22 12 )P(2 x)
(21 (21
11 11
)P(1 )P(1
x)(12 22 )P(2 x)(12 22 )P(2
x) x)
1 2
返回本章首页
第3章 Bayes决策理论
在两类问题中，若有 21 11 12 22 ，决策规则变为
取值而定，引入函数 (x) ，表示对 x 的决策。对整个特
征空间上所有 x的取值采取相应的决策 (x) 所带来的平
均风险
R R((x) x)p(x)dx
显然，我们对连续的随机模式向量按最小风险Bayes决策 规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达 到最小的Bayes决策规则，下面分析一下两种决策规则的 关系。