图像处理与识别-10贝叶斯

图像处理与识别
石 家
Digital Image Processing &
庄
Recognition
铁
道
大
主讲人： 封筠
学
信
Email：fengjun7171@yahoo.com.cn
息
ftp://202.206.41.8:6621/
学
User: Student.feng
院
2010. 12
1
第9章 贝叶斯决策理论
判决规则
首先分析两类问题：用w1和w2表示两种不同
的类型，如w1表示诊断正常，w2表示诊断
出患有癌症。根据Bayes公式，在模式样本x
出现的条件下，两个类型的后验概率为：
P(w1
|
x)
(x
|w1 ) P(w1 )
(x)
P(w2
|
x)
(x
|w2 ) P(w2 ) (x)
此时，样本归属于“后验概率较高”的那种
9.1 先验概率 引 先验概率是预先已知的或者可以估计的模式 言 识别系统位于某种类型的概率。
若以两个类型A和B为例，可用P(A) 和 P(B) 表 示各自的先验概率，此时满足P(A) P(B) 1 。 推广到一般的c类问题中，用w1, w2,wc 表示类 型，则各自的先验概率用P(w1), P(w2),, P(wc )表示, 且满足： P(w1) P(w2 ) P(wc ) 1
举例
随机模式
雷达监测系统检测敌机是否出现。只有两种
情况：①敌机出现w1;②敌机未出现w2。已知 先验概率P(w1)和P(w2) ，雷达观测状态为x。 当敌机出现时，观测到状态为x时的概率
为 P(x w1) ；当敌机未出现时，观测到状态为
x时的概率为 P(x w2) 。问：当观测到x时，敌
机是否出现？
对两分类问题的四种表达方式：
（1）
P(w1
|
x)
P(w2
|
x)
，对应
x
ww12
（2）
(
x
|
w1
)
P(w1
)
(
x
|
w2
)
P(w2
)
，对应样本
x
w1 w2
（3） l(x)
(x | w1) (x | w2 )
P(w2 ) P( w1 )
，对应
言
虽然随机模式样本测量值具有不确定性，
但同类抽样实验的大量样本的观测值具有某
种统计特性，这个统计特性是建立各种分类
方法的基本依据。
先看一下确定性模式判决函数的问题。
3
随机模式
9.1 引 言
通过判决函数，特征空间被区分界面划分成两种类型的区域A
和B。
4
随机模式
Bayes决策理论是随机模式分类方法最重要的 基础。下面是几个重要的概念：
19
风险的提出
9.3 最 小 风 险 判 决 规 则
20
风险矩阵
9.3 由于判决数目有a个，这样对于不同的判决
最
和不同类型就有一个a c 维风险矩阵。
小
风
险
判
决
规
则
21
9.3 最 小 风 险 判 决 规 则
判决准则
假定某样本x的后验概率 p(j|x) 已经确定，则 有：p(1|x) p(2|x)p(c|x)1,且p(j|x)0, j1,2,,c
由例1中计算出的后验概率： P(1|x)0.677, p(2|x)0.323
求条件平均风险
根据最小风险判决规则推得 x2 ，即试验人
属于癌症病人，与例1 的结论相反。
25
9.3 最 小 风 险 判 决 规 则
两种判决规则的关系
现假设正确判决损失为0，错误判决损失为1，且判决数 目与类型数目相等。即有0－1损失函数：
| x),则xi
22
9.3 最 小 风 险 判 决 规 则
实施步骤
（1）在给定样本x条件下，计算各类后验概 率， p(j|x) j 1,2c 。
（2）按照条件平均风险计算式求各种判决 的条件平均风险，R(i|x) i1,2,,a 为 此，需要知道风险矩阵。
（3）按照判决规则，比较各种判决的条件 平均风险，把样本x归属于条件平均风险 最小的那一种判决。
类型。其中模式样本x出现的全概率密度为：
(x) (x | w1) P(w1) (x | w2 ) P(w2 )
即 P(w1 | x) P(w2 | x) ，则 x w1 P(w2 | x) P(w1 | x) ，则 x w2 P(w1|x)P(w2|x)，则偶然决定 x w1 或 x w2
x)
P(w2 x)
当P(w2 x) P(w1 x) 当P(w1 x) P(w2 x)
若令t为两类分界面，特征向量x为一维时，
t为x轴上的一个点，如上图所示： 13
9.2 最 小 错 误 率 判 决 规 则
最小错误率证明思路
t
P(e) P(w2 | x) (x)dx t P(w1 | x)(x)dx
用，它的函数形式及主要参数或者是已知的，
或者是可通过大量抽样实验估计出来。
6
随机模式
9.1 引 言
后验概率
它是系统在某个具体的模式样本x条件下，
位于某种类型的概率，常以 P(A | x),P(B | x) ，以
及 P(wi | x)(i 1,2,,c) 表示。 后验概率可以根据贝叶斯公式计算出来，可
23
9.3 最 小 风
举例说明
例2：在例1的癌症诊断问题中，所有的化验结 果可分为两类。w1――正常，w2――癌症。 得到的判决也有两种 1 和2 。
险
判
决
规
则
24
9.3 最 小 风 险 判 决 规 则
举例说明
解：从风险矩阵中得到：
L(1|1)0.5, L(1|2)6, L(2|1)2, L(2|2)0.5
（Bayes Theory）
9.1 引言 9.2 最小错误率判决规则 9.3 最小风险判决规则
9.4 Bayes分类器设计
9.5 正态分布时的统计决策
2
随机模式
在可以觉察到的客观世界中，存在着大
量的物体和事件，它们在基本条件不变时，
9.1 具有某种不确定性，每一次观测的结果没有
引
重复性，这种模式就是随机模式。
5
随机模式
先验概率不能作为判决的唯一依据，但当先
验概率相当大时，它也能成为主要因素。
9.1 类（条件）概率密度
引
它是系统位于某种类型条件下，模式样本x
言
出现的概率密度分布函数，常用(x | A),(x | B) ，
以及 (x | wi )(i 1,2,, c) 来表示。
先验概率密度在分类方法中起至关重要的作
解：利用贝叶斯公式 P(wi x)
P(wi )P(x wi )
2
P(wi )P(x wi )
求出
i 1
后验概率P(w1 x) ， P(w2 x)。若 P(w1 x) P(w2 x) ，
则w1发生，否则w2发生。
8
随机模式
9.1 引 言
类条件概率密度
9
随机模式
9.1 引 言
后验概率分布
10
9.2 最 小 错 误 率 判 决 规 则
11
9.2
最小错误率证明思路
最 现证明按上述规则进行分类确实使错误率最小。
小
错
误
率
判
决 规
阴影区域是两类样本的交错分配区域，阴影面积 就是这种分类方法的错误概率。总错误率有两种 情况：
则
x w1 ，而判为 x w2 ，斜线区域。
x w2 ，而判为 x w1，纹线区域。
12
9.2 最 小 错 误 率 判 决 规 则
最小错误率证明思路
总错误率：
P(e)
P(e, x)dx
P(e | x)(x)dx
对上述两类问题：
当 P(w2 | x) P(w1 | x) 时，则 x w2 。显然作出决 策w2时，x的条件错误概率为 P(w1 | x) ，反之 为 P(w2 | x) 。 也就是：
P(e
|
x)
P(w1
小 1)这一批人中，每1000个人中有5个癌症病人；
错
2)这一批人中，每100个正常人中有一个试验呈阳性反应； 3)这一批人中，每100个癌症病人中有95人试验呈阳性反应。
误 问：若某人（甲）呈阳性反应，甲是否正常？
率
判 解：假定x表示实验反应为阳性， （1）人分为两类：w1－正常人，w2－癌症患者，
L( i
|
wj
)
0;i 1;i
j j
则，可令 L(i
| wj ) 1 ij ，其中 ij
1;i 0;i
j j
c
R(i | x) L(i | wj ) P(wj | x) i 1
c
c
c
wenku.baidu.com
(1 ij ) P(wj | x) P(wj | x) ij (wj | x)
i1
i1
同一问题中，某种判决总会有一定的损失，特别 是错误判决有风险。不同的错误判决有不同的风 险，如上面的例子中，判断细胞是否为癌细胞， 可能有两种错误判决：
① 正常细胞错判为癌细胞；
② 癌细胞错判为正常细胞。
两种错误带来的风险不同。在①中，会给健康人 带来不必要的精神负担，在②中，会使患者失去 进一步检查、治疗的机会，造成严重后果。显然， 第②种错误判决的风险大于第①种。
规则的多类问题推广
可以把上述两类问题导出的最小错误率
判决规则一般化，推广到c类问题中，表 达为：
若：P(wi
|
x)
max{P(w
j 1,,c
j
|
x)}
，则 x wi
等价于：
若
(x
|
wi
)
P(wi
)
max{(x
j 1,,c
|
wj
)
P(w j
)}，
则 x wi
16
9.2 最
举例说明
例1：为了对癌症进行诊断，对一批人进行一次普查，为 每个人打试验针，观察反应，然后进行统计，规律如下：
(x | w1 ) P(w1 ) (x | w2 ) P(w2 )
规
由最小错误判决规则，可知：
甲 w1
由于 P(w1 ) 比 P(w2 ) 大很多，所以先验概率起了
则
较大作用。
18
9.3 最 小 风 险 判 决 规 则
风险的提出
最小错误率判决规则没有考虑错误判决带来的 “风险”，或者说没有考虑某种判决带来的损失。
对于每一种判决 i ，可求出随机变量 L(i|i)
的条件平均风险，也叫“条件平均损失”：
c
R(i|x)E L(i| j) L(i| j) p( j|x) j1
i 1,2,, a
最小风险判决规则就是把样本x归属于“条件
平均风险最小”的那一种判决。即：
若R(i
|
x)
k
m in
1,2,,a
R(k
t
(x | w2 ) P(w2 )dx t (x | w1) P(w1)dx
也可写为：
P(e) P(x R1, w2 ) P(x R2 , w1)
P(w2 ) P(x R1 | w2 ) P(w1) P(x R2 | w1)
P(w2 )
R1 (x | w2)dx (w1 )
决 （2）由已知条件计算概率值： P(w1) P(w2 ) 1
规 则
先验概率： P(w1) 0.995 ， P(w2 ) 0.005
类条件概率密度： (x | w1) 0.01 ，(x | w2 ) 0.95
17
9.2 最 小 错
举例说明
（3）决策过程
(w2
|
x)
(x
|
(x | w2 ) P(w2 ) w1) P(w1) (x | w2 ) P(w2 )
直接用作分类判决的依据。
贝叶斯公式：
定理：设A, B1,…,Bn为一些事件，P(A)>0,
n
B1,…,Bn互不相交, P(Bi)>0,i=1,…,n,且 P(Bi ) 1, i 1
则对k=1,…,n有
P(Bk A)
P(Bk )P( A Bk )
n
P(Bi )P( A Bi )
7
i 1
9.1 引 言
0.95 0.005
0.01 0.995 0.95 0.005
误
0.323
(x | w1) P(w1) 0.00995
率
P(w1 | x) 1 P(w2 | x) 1 0.323 0.677
判
(x | w2 ) P(w2 ) 0.00475
P(w1 | x) P(w2 | x)
决
决
规
则
27
判别函数和决策面 9.4
贝
运用这些规则对样本x进行分类，是
叶
分类器设计的主要问题。
斯
➢ 判别函数：用于表达决策规则的函数。
分
➢ 决策面：将划分决策域的边界面称为
类
决策面。可用数学表达式表达为决策
器
面方程。
设
计
28
9.4 贝 叶 斯 分 类 器 设 计
最小错误率Bayes决策规 则表达方式
(x | w1)dx
R2
P(w2 ) P2 (e) P(w1) P1(e)
14
9.2
最小错误率证明思路
最 小
所以要使 P(e) 最小，判决门限应如下图所示， 否则就会有多余的阴影面。前述的判决规则 决定的判决门限正好如上图所示，所以称之
错
为“最小错误概率判决规则”。
误
率
判
决
规
则
15
9.2 最 小 错 误 率 判 决 规 则
j1
1 (wi | x)
得到：若 P(wj
| x) max k 1, 2,...,c
P(wk
| x)
，则 x wj
这就是最小错误率判决规则。
26
两种判决规则的关系 9.3
最
结论：
小 风
在0－1损失函数情况下，最小风险 判决规则退化为最小错误率判决规
险
则。也就是说，最小错误率判决规
判
则是最小风险判决规则的一个特例。