第二章 贝叶斯决策理论—第三次课

p(x
|
1)]dx
为了使r达到最小, 则要求使被积函数μp(x|ω2)－p(x|ω1)小
于0的点全部落入R1中, 且R1中的点使被积函数μp(x|ω2)－
p(x|ω1)小于0, 所以 R1={x|μp(x|ω2)－p(x|ω1)<0}
第2章 贝叶斯决策理论
Neyman-Person准则如下: 若μp(x|ω2)<p(x|ω1), 则x∈ω1 若μp(x|ω2)>p(x|ω1), 则x∈ω2
[(2 ,1) (1,1)]P(1) R2 p(x | 1)dx [(1,2 ) (2 ,2 )]P(1) R1 p(x | 2 )dx (2 ,2 ) [(1,2 ) (2 ,2 )] R1 p(x | 2 )dx
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
如果P(ω1|x)>P(ω2|x), 则判决x属于ω1; 如果P(ω1|x)<P(ω2|x), 则判决x属于ω2; 如果P(ω1|x)=P(ω2|x), 则判决x属于ω1或属于ω2。 这种决策称为最大后验概率判决准则, 也称为贝叶斯
(Bayes)判决准则。
假设已知P(ωi)和p(x|ωi)(i=1, 2, …, m), 最大后验概率判 决准则就是把样本x归入后验概率最大的类别中, 也就是,
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
第2章 贝叶斯决策理论
(1,1)P(1) (2 ,2 )P(2 )
[(2 ,1) (1,1)]P(1) R2 p(x | 1)dx [(1,2 ) (2 ,2 )]P(2 ) R1 p(x | 2 )dx
[(1,1) (2 ,2 )]P(1)
第2章 贝叶斯决策理论
多类别情况下，只有在特征空间中具有相邻关系 的决策域的边界面才是有意义的决策面。
当i 的决策域与j 的决策域相邻时，则相应的决
策面方程为 gi (x) g j (x)
决策面是一种统称 一维特征空间：决策面是一个点 二维特征空间：决策面是一条曲线 三维特征空间：决策面是则是一曲面 超过三维的特征空间：决策面是一个超曲面
(1,1)P(1) R1 p(x | 1)dx (1,2 )P(2 ) R1 p(x | 2 )dx (2 ,1)P(1) R2 p(x | 1)dx (2,2 )P(2 ) R2 p(x | 2 )dx
(1,1)P(1)(1 R2 p(x | 1)dx) (2,1)P(1) R2 p(x | 1)dx (1,2 )P(2 ) R1 p(x | 2 )dx (2,2 )P(2 )(1 R1 p(x | 2 )dx)
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
E2 R1 p(x | 2 )dx
r R2 p(x | 1)dx ( R1 p(x | 2 )dx 0 )
(1- R1 p(x | 1)dx) ( R1 p(x | 2 )dx 0 )
(1 0 )
[
R1
p(x
|
2 )
Neyman-Person判决准则解决的就是上述问题, 它只适用 于两类情形。
所谓N-P准则，是指在虚警概率一定的条件下， 使漏警概率为最小的判决准则。
第2章 贝叶斯决策理论
在两类情况下, 有两种错误概率: 第一类错误概率是, 样本真实类别为ω1, 但落到了ω2的判决 区域R2内, 从而被判为ω2的概率, 记为E1; 第二类错误概率是, 样本真实类别为ω2, 但落到了ω1的判决 区域R1内, 从而被判为ω1的概率, 记为E2。
这是一个典型的条件极值问题, 我们采用Lagrange乘 数法来求解, 其中, 约束条件为E2－ε0=0。
构造
r =E1+μ(E2－ε0)
其中, μ为Lagrange乘子。
第2章 贝叶斯决策理论
由ω1与ω2的决策区域分别为R1与R2,
E1 R2 p(x | 1)dx
从而, 目标函数可改写为
m
R
jiP( j ,i )
j,i
jiP( j | i )P(i )
j,i
j 1
Rj R( j | x) p(x)dx
其中, p(x)为样本矢量在Rd空间中的概率密度函数。
可见, 期望风险反映对整个特征空间上所有x采取 相应决策所带来的平均风险。
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
(1) 若
p(x
|

j
)P(
j
)

max
i{1,2, ,m}
p(x
|
i
)P(i
)
，则x∈ωj;
(2) 若
L(x)

p(x | j ) p(x | i )

P(i ) ,i P( j )
1, 2,L
, m,i

j
，则x∈ωj;
(3)
若 ln L(x) ln
p(x | j ) ln
p(x | 1) p(x | 2 )
＞ ＜
x 12
阈值是Lagrange乘子, 是一个不确定的量, 需要根据约束条件求
解, 即 E2 R1 p(x | 2 )dx 0
其中 R1
{x | L(x)
p(x | 1) p(x | 2 )

}
μ的作用主要是影响积分域, 其解析式不易求得。

Pe=P(ω1)E1+P(ω2)E2
假设限定E2不能超过某个阈值ε, 即E2≤ε, 在这个前提下, 求判决区域使E1达到最小值。
第2章 贝叶斯决策理论
由于满足E2≤ε的E2有多个, 在不等式条件下, 难以求解E1 的最小值。
选择ε0<ε, 将上述条件下的求解问题转化为E2=ε0条件下的E1 最小值求解问题。
采取方法：
最小最大风险判决准则，它的基本思想是在最差的情况下 争取最好的结果。
第2章 贝叶斯决策理论
由前面的讨论可知, 期望风险(平均风险)为
R R1{(1,1)P(1 | x) p(x) (1,2)P(2 | x) p(x)}dx R2 {(2,1)P(1 | x) p(x) (2,2)P(2 | x) p(x)}dx
二、决策准则
与最小错误概率判决规则类似，若对每一个x
都选择最小的条件风险, 就能保证总体风险R最小，
因此，得到最小风险贝叶斯判决准则如下:
如果
R(k
|
x)

min R(
j1,2, ,m
j
|
x)
则判决x∈ωk。
m
R( j | x) ( j ,i )P(i | x) i 1
第2章 贝叶斯决策理论
P( j
| x)

max
i{1,2, ,m}
P(i
| x)
则x∈ωj。
第2章 贝叶斯决策理论
由于已知P(ωi)和p(x|ωi), 因此我们希望找到P(ωi|x)与它
们之间的关系。假设特征变量为x，由Bayes公式
P(i
| x)
p(x | i )P(i )
p(x)
几种最大后验概率判决准则的等价形式:
当样本x的真实类别未知时, 决策αj的条件风险 是对 x 为所有可能的真实类别条件下将样本判为第
j类的代价求平均,
m
R( j | x) ( j ,i )P(i | x) i 1
第2章 贝叶斯决策理论
(4)期望风险。条件风险R(αj|x)(j=1, 2, …, m)
在特征空间中的平均值称为期望风险。
p(x | i )
ln
P(i ) , i P( j )
1, 2,L
, m, i

j
则x∈ωj。其中, L(x)称为似然比，lnL(x)称为对数似然比。
Βιβλιοθήκη Baidu
第2章 贝叶斯决策理论
2.3 最小风险贝叶斯判决准则
一、基本概念
(1) 决策αj: 将样本x的类别判为第j类。 (2) 损失函数λ(αj, ωi): 对真实类别为第i类的样 本采取决策αj所带来的损失。 (3) 条件风险。
第2章 贝叶斯决策理论
两类别问题按最大后验概率判决准则作决策
判决准则: P(1 x) P(2 x) ， x 1 ，否则 x 2 。
判别函数: gi (x) P(i x),i 1,2
令
g(x) g1(x) g2 (x)
决策面方程: g(x) 0
判决准则用判别函数表示： 如果 g j (x) gi (x),i, j 1,2 ，且i j ，则 x j ， 否则 x i 。
三、判别函数、决策面与分类器设计
分类决策实质上是在描述待识别对象的d维特征所组 成的特征空间内，将其划分为m个决策域，待识别 的特征向量落在哪个决策域，该样本就被判为哪一 类。
决策域的边界面就是决策面，在数学上用解析形式 表示成决策面方程。用于表达判决准则的某些函数 则称为判别函数。
判别函数与决策面方程是密切相关的，并且都是由 相应判决准则所确定的。
第2章 贝叶斯决策理论
R1
{x | L(x)

p(x | 1) p(x | 2 )

}
E2 R1 p(x | 2 )dx 0
E2是μ的单调减函数。 给定一个μ值, 可求出一个E2值, 在计 算的值足够多的情况下, 可构成一个二维表备查。 给定一个 ε0后, 可查表得到相应的μ值, 这种方法得到的是计算解, 其精 度取决于二维表的制作精度。
第2章 贝叶斯决策理论
两类别问题最小风险贝叶斯判决准则作决策
判决准则: R(a1 x) R(a2 x)， x 1 ，否则 x 2 。
判别函数: gi (x) R(ai x),i 1,2
令
g(x) g2 (x) g1(x)
决策面方程: g(x) 0
判决准则用判别函数表示: 如果 g j (x) gi (x),i, j 1,2 ，且i j ，则 x j ， 否则 x i 。
第2章 贝叶斯决策理论
例如, 在雷达目标检测中, 人们可能不仅对目标出现的 先验概率未知, 而且对错误判断的代价也是难以估计的, 甚 至是难以定义的。雷达目标检测中存在两种错误: 一种是虚 警, 即没有目标判为有目标; 另一种是漏警, 即有目标判为没 有目标。适当的方法就是观察者确定一个允许的虚警概率, 使漏警概率尽可能得小。