基于最小错误率的贝叶斯决策

5
贝叶斯公式
事件Ai的先验概率
在事件Ai发生的条件下 事件B发生的概率
P( Ai | B )
P( Ai ) P( B| Ai ) , k 1,..., n k P(Ak )P(B | Ak )
事件B发生的概率 在事件B发生的条件下，
事件Ai发生的概率
6
后验概率P (ωi| x)的计算
Bayes公 式 ： 假 设 已 知 先 验 概 率 P ( ω i ) 和 观测值x的类条件概率密度函数p(x|ωi)， i=1,2。
P(i
| x)

P(i , x)
p(x)

P(i ) p(x | i )
2
P( j ) p(x | j )
j 1
7
导弹目标及诱饵的检测、识别问题
目标、诱饵识别问题：诱饵(ω1)和导弹(ω2) 根据已有知识和经验，两类的先验概率为：
诱饵(ω1)： P(ω1)=0.9 导弹(ω2)： P(ω2)=0.1 某一目标样本的红外特征观察值为x，从类条
件概率密度分布曲线得到： p(x|ω1)=0.2， p(x|ω2)=0.4 如何对该目标样本进行分类？

P(e) E(P(e | x)) P(e | x) p(x)dx 14
贝叶斯决策的错误率
基于最小错误率的Bayes决策使得每个观测 值下的条件错误率最小，因而保证了(平均) 错误率最小。
Bayes决策是一致最优决策。
15
基于最小错误率Bayes决策图解
p(x|ωi)P(ωi)
p(x|ω1)P(ω1) X=t
p(x|ω2)P(ω2)
p2 P2e p1P1e
x
错误率分析曲线
20
基于最小错误率的Bayes决策
• 基于最小错误率的Bayes决策是一致最优 决策。
• 基于最小错误率的Bayes决策的三个前提：
–类别数确定
–各类的先验概率P(Ci)已知 –各类的条件概率密度函数p(x|Ci)已知
23
No Pain, No Gain!
24
习题
1. 试简述先验概率，类条件概率密度函 数和后验概率等概念间的关系：
2. 试写出利用先验概率和分布密度函数 计算后验概率的公式
3. 用Matlab计算两类识别问题：根据血 液中白细胞的浓度来判断病人是否患 血液病。
25
Thank You!
26
应用：SAR图像处理
• 问题的转换：
–基于样本估计P(Ci)和p(x|Ci)
–基于样本确定判别函数
Байду номын сангаас
21
应用：遥感图像地表分类
22
相关文献
●基于朴素贝叶斯分类的图像消噪，陈弋兰，安 庆师范学院学报(自然科学版)2008年8月 ●一种基于朴素贝叶斯分类的特征选择方法，余 芳等，中山大学学报(自然科学版)2004年9月
●基于朴素贝叶斯分类模型的车型识别方法，孙 青等，五邑大学学报(自然科学版)2008年8月
美国加州洛杉矶的卫星雷达图像 27
应用：SAR图像处理
28
相关论文
●基于朴素贝叶斯分类的图像消噪，陈弋兰，安 庆师范学院学报(自然科学版)2008年8月 ●一种基于朴素贝叶斯分类的特征选择方法，余 芳等，中山大学学报(自然科学版)2004年9月
17
贝叶斯决策的错误率分析
P(e)



Pe
xPxdx

t
P

2
xPxdx
t
P(1
x) Px dx
利用条件概率的性质：
P(A | B)P(B) P(B | A)P(A)
t

P2
xPxdx


t
P(1
x)Pxdx

t

px
条件错误率为：
P(e
|
x)


P(2 P(1
| |
x) x)
1 1
P(1 P(2
| |
x) x)

1
max i
P(i
|
x)
x (, t) x (t, )
13
贝叶斯决策的错误率
条件错误率： P(e | x) (平均)错误率是条件错误率的数学期望。 (平均)错误率：
4
导弹目标及诱饵的检测、识别问题
目标、诱饵识别问题：诱饵(ω1)和导弹(ω2) 根据已有知识和经验，两类的先验概率为：
诱饵(ω1)： P(ω1)=0.9 导弹(ω2)： P(ω2)=0.1 某一目标样本的红外特征观察值为x，从类条
件概率密度分布曲线得到： p(x|ω1)=0.2， p(x|ω2)=0.4 如何对该目标样本进行分类？
p(x|ω1)P(ω1) X=t
p(x|ω2)P(ω2)
p2 P2e p1P1e
x
错误率分析曲线
16
贝叶斯决策的错误率分析
设t为两类的分界面，则在特征向量x是一 维时，t为x轴上的一点。形成两个决策区
域:R1~(-∞，t)和R2~(t，+∞)

P(e) E(P(e | x)) P(e | x) p(x)dx
2
P2
dx


t
px
1 P1
dx
18
贝叶斯决策的错误率分析
P(e)
t

P(2 ) p(x 2 )dx P(1) t p(x 1)dx
P(2 )P2 (e) P(1)P1(e)
19
基于最小错误率Bayes决策图解
p(x|ωi)P(ωi)
模式识别
Pattern Recognition
教材
《模式识别》 (第二版)
边肇祺等编 清华大学出版社
1
基于最小错误率的贝叶斯决策
余华
2
内容回顾
模式识别：使计算机模仿人的感知能力，从感知 数据中提取信息（判别物体和行为）的过程。
姚明
ROCKETS 11 YAO
3
敌方在发射导弹的同时发射多枚诱饵弹
8
决策规则简化
P(i
| x)

P(i , x)
p(x)
P(i ) p(x | i )
P( j ) p(x | j )
j
9
决策规则简化
比较大小不需要计算p(x)：
argmax P(i | x)
i
argmax p(x | i )P(i )
i
p(x)
argmax p(x | i )P(i )
i
10
基于最小错误率Bayes决策图解
P (ωi|x) X=t
P (ω1|x)
P (ω2|x)
x
后验概率曲线
11
基于最小错误率Bayes决策图解
P (ωi|x) X=t
P (ω1|x)
P (ω2|x)
x
后验概率曲线
12
贝叶斯决策的错误率分析
条件错误率P(e|x)的计算: 以两类问题为例，当获得特征观测值x后，根据x 所在的区域，有两种决策可能：判定 x∈ω1 ，或 者x∈ω2。