基于最小错误率的贝叶斯决策

目标、诱饵识别问题：诱饵(ω1)和导弹(ω2) 根据已有知识和经验，两类的先验概率为：
诱饵(ω1)： P(ω1)=0.9 导弹(ω2)： P(ω2)=0.1 某一目标样本的红外特征观察值为x，从类条
件概率密度分布曲线得到： p(x|ω1)=0.2， p(x|ω2)=0.4 如何对该目标样本进行分类？
• 问题的转换：
–基于样本估计P(Ci)和p(x|Ci)
–基于样本确定判别函数
21
应用：遥感图像地表分类
22
相关文献
●基于朴素贝叶斯分类的图像消噪，陈弋兰，安 庆师范学院学报(自然科学版)2008年8月 ●一种基于朴素贝叶斯分类的特征选择方法，余 芳等，中山大学学报(自然科学版)2004年9月
●基于朴素贝叶斯分类模型的车型识别方法，孙 青等，五邑大学学报(自然科学版)2008年8月
λ11=0， λ12=6， λ21=1， λ22=0 按最小风险决策如何对细胞x进行分类？
48
Bayes最小风险决策例解
后验概率:P(ω1|x) =0.818,P(ω2|x) =0.182
2
R(1 | x) 1 jP( j | x) 12P(2 | x) 1.092
p(x|ω1)P(ω1) X=t
p(x|ω2)P(ω2)
p2 P2e p1P1e
x
错误率分析曲线
20
基于最小错误率的Bayes决策
• 基于最小错误率的Bayes决策是一致最优 决策。
• 基于最小错误率的Bayes决策的三个前提：
–类别数确定
–各类的先验概率P(Ci)已知 –各类的条件概率密度函数p(x|Ci)已知
29
习题
1. 试简述先验概率，类条件概率密度函 数和后验概率等概念间的关系：
2. 试写出利用先验概率和分布密度函数 计算后验概率的公式
3. 用Matlab计算两类识别问题：根据血 液中白细胞的浓度来判断病人是否患 血液病。
30
Thank You!
31
正态分布的Bayes决策例解
两类的识别问题：医生要根据病人血液中白细 胞的浓度来判断病人是否患血液病。
p(x|ω1)P(ω1) X=t
p(x|ω2)P(ω2)
p2 P2e p1P1e
x
错误率分析曲线
16
贝叶斯决策的错误率分析
设t为两类的分界面，则在特征向量x是一 维时，t为x轴上的一点。形成两个决策区
域:R1~(-∞，t)和R2~(t，+∞)

P(e) E(P(e | x)) P(e | x) p(x)dx
17
贝叶斯决策的错误率分析
P(e)



Pe
xPxdx

t
P

2
xPxdx
t
P(1
x) Px dx
利用条件概率的性质：
P(A | B)P(B) P(B | A)P(A)
t

P2
xPxdx


t
P(1
x)Pxdx

t

px
j 1
2
R(2 | x) 2 j P( j | x) 21P(1 | x) 0.818
j 1
j argmin R(i | x) 2
i
x 2
49
损失矩阵
损失的定义：(N类问题)
做出决策D (x)=ωi，但实际上x∈ωj， 受到的损失定义为：
i, j (D(x) i |j ) i, j 1,2, , N
( ) 损失矩阵
或决策表：
i, j N*N
50
条件风险与期望风险
条件风险：获得观测值x后，决策D(x) 造成的损失对x实际所属类别的各种可 能的平均，称为条件风险R(D(x)|x)。
i
10
基于最小错误率Bayes决策图解
P (ωi|x) X=t
P (ω1|x)
P (ω2|x)
x
后验概率曲线
11
基于最小错误率Bayes决策图解
P (ωi|x) X=t
P (ω1|x)
P (ω2|x)
x
后验概率曲线
12
贝叶斯决策的错误率分析
条件错误率P(e|x)的计算: 以两类问题为例，当获得特征观测值x后，根据x 所在的区域，有两种决策可能：判定 x∈ω1 ，或 者x∈ω2。
数学表示：用ω表示“类别”这一随机变量，
ω1表示患病， ω2表示正常；x表示“白细胞浓 度”这个随机变量。
本例医生掌握的知识非常充分，他知道：
1) 类别的先验分布：
P(ω1) = 0.5%
P(ω2) = 99.5% 先验分布：没有获得观测数据（病人白细胞
浓度）之前类别的分布。
Байду номын сангаас33
基于最小错误率Bayes决策图解
23
No Pain, No Gain!
24
习题
1. 试简述先验概率，类条件概率密度函 数和后验概率等概念间的关系：
2. 试写出利用先验概率和分布密度函数 计算后验概率的公式
3. 用Matlab计算两类识别问题：根据血 液中白细胞的浓度来判断病人是否患 血液病。
25
Thank You!
26
应用：SAR图像处理
36
Thank You!
37
贝叶斯决策的错误率分析
XB=t XB=x*
p2 P2e
p1P1e 38
习题
1. 试简述先验概率，类条件概率密度函 数和后验概率等概念间的关系：
2. 试写出利用先验概率和分布密度函数 计算后验概率的公式
3. 用Matlab计算两类识别问题：根据血 液中白细胞的浓度来判断病人是否患 血液病。
39
Thank You!
40
推广到C类的情况
41
推广到C类的情况
x 如果
P i x

max P
j 1,...,c
j
x
，则
i
如果
P x i P i

max P
j 1,...,c
xj
P j
，则 x i
42
推广到C类的情况
平均错误概率：
P(e) Px 2 1 Px 3 1 Px c 1P1 Px 1 2 Px 3 2 Px c 2 P2

P x 1 c P x 2 c P x c1 c Pc

c

c

Px


j
i
Pi

i1 j1
ji
43
推广到C类的情况
平均错误概率：
Pe 1 Pc
c
Pc P x j j P j j 1
c
j1 j p x j P j dx
44
Thank You!
2
P2
dx


t
px
1 P1
dx
18
贝叶斯决策的错误率分析
P(e)
t

P(2 ) p(x 2 )dx P(1) t p(x 1)dx
P(2 )P2 (e) P(1)P1(e)
19
基于最小错误率Bayes决策图解
p(x|ωi)P(ωi)
根据医学知识和以往的经验，医生知道：
患病的人，白细胞的浓度服从均值2000，标 准差1000的正态分布；未患病的人，白细胞 的浓度服从均值7000，标准差3000的正态分 布；
一般人群中，患病的人数比例为0.5%。
一个人的白细胞浓度是3100，医生应该做出 怎样的判断？
32
正态分布的Bayes决策例解
4
导弹目标及诱饵的检测、识别问题
目标、诱饵识别问题：诱饵(ω1)和导弹(ω2) 根据已有知识和经验，两类的先验概率为：
诱饵(ω1)： P(ω1)=0.9 导弹(ω2)： P(ω2)=0.1 某一目标样本的红外特征观察值为x，从类条
件概率密度分布曲线得到： p(x|ω1)=0.2， p(x|ω2)=0.4 如何对该目标样本进行分类？
条件错误率为：
P(e
|
x)


P(2 P(1
| |
x) x)
1 1
P(1 P(2
| |
x) x)

1
max i
P(i
|
x)
x (, t) x (t, )
13
贝叶斯决策的错误率
条件错误率： P(e | x) (平均)错误率是条件错误率的数学期望。 (平均)错误率：
Bayes公 式 ： 假 设 已 知 先 验 概 率 P ( ω i ) 和 观测值x的类条件概率密度函数p(x|ωi)， i=1,2。
P(i
| x)

P(i , x)
p(x)

P(i ) p(x | i )
2
P( j ) p(x | j )
j 1
7
导弹目标及诱饵的检测、识别问题
45
基于最小风险的Bayes决策
决策的风险：risk，cost
做决策要考虑决策可能引起的损失。 以医生根据白细胞浓度判断一个人是
否患血液病为例： •没病(ω1)被判为有病(ω2)，还可以 做进一步检查，损失不大； •有病(ω2)被判为无病(ω1)，错过诊 治时机，损失严重。
46
两类问题最小风险Bayes决策
美国加州洛杉矶的卫星雷达图像 27
应用：SAR图像处理
28
相关论文
●基于朴素贝叶斯分类的图像消噪，陈弋兰，安 庆师范学院学报(自然科学版)2008年8月 ●一种基于朴素贝叶斯分类的特征选择方法，余 芳等，中山大学学报(自然科学版)2004年9月
●基于朴素贝叶斯分类模型的车型识别方法，孙 青等，五邑大学学报(自然科学版)2008年8月
R(D(x) 1 | x) 11P(1 | x) 12P(2 | x) R(D(x) 2 | x) 21P(1 | x) 22P(2 | x)
用Bayes公式展开，最小风险Bayes 决策得到：

D(
x
)

1

if
p(x | 1) (12 22 )P(2 ) p( x | 2 ) (21 11)P(1)
8
决策规则简化
P(i
| x)

P(i , x)
p(x)
P(i ) p(x | i )
P( j ) p(x | j )
j
9
决策规则简化
比较大小不需要计算p(x)：
argmax P(i | x)
i
argmax p(x | i )P(i )
i
p(x)
argmax p(x | i )P(i )

P(e) E(P(e | x)) P(e | x) p(x)dx 14
贝叶斯决策的错误率
基于最小错误率的Bayes决策使得每个观测 值下的条件错误率最小，因而保证了(平均) 错误率最小。
Bayes决策是一致最优决策。
15
基于最小错误率Bayes决策图解
p(x|ωi)P(ωi)
5
贝叶斯公式
事件Ai的先验概率
在事件Ai发生的条件下 事件B发生的概率
P( Ai | B )
P( Ai ) P( B| Ai ) , k 1,..., n k P(Ak )P(B | Ak )
事件B发生的概率 在事件B发生的条件下，
事件Ai发生的概率
6
后验概率P (ωi| x)的计算
模式识别
Pattern Recognition
教材
《模式识别》 (第二版)
边肇祺等编 清华大学出版社
1
基于最小错误率的贝叶斯决策
余华
2
内容回顾
模式识别：使计算机模仿人的感知能力，从感知 数据中提取信息（判别物体和行为）的过程。
姚明
ROCKETS 11 YAO
3
敌方在发射导弹的同时发射多枚诱饵弹
p(x|ωi)
p(x|ω1)
p(x|ω2)
x
类条件概率密度函数 34
正态分布的Bayes决策例解
2) 观测数据白细胞浓度分别在两种情况下的类
条件分布：
P(x|ω1)~N(2000,10002) P(x|ω2)~N(7000,30002)
P(3100|ω1)=2.1785e-004 P(3100|ω2)=5.7123e-005
D(x) 2
otherwise
47
Bayes最小风险决策例解
两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为：
正常(ω1)： P(ω1)=0.9 异常(ω2)： P(ω2)=0.1
对某一样本观察值x，通过计算或查表得 到：
p(x|ω1)=0.2， p(x|ω2)=0.4
计算后验概率
P(ω1|3100)=1.9%
P(ω2|3100)=98.1%
医生的判断：正常
35
习题
1. 试简述先验概率，类条件概率密度函 数和后验概率等概念间的关系：
2. 试写出利用先验概率和分布密度函数 计算后验概率的公式
3. 用Matlab计算两类识别问题：根据血 液中白细胞的浓度来判断病人是否患 血液病。