模式识别原理-贝叶斯决策

信息太少
2013-7-30 5

class-conditional information

类条件概率密度p(x | 1) and p(x | 2)

p(x | 1) and p(x | 2) 描述了同一特征
在不同类别上的分布差异
2013-7-30
6
2013-7-30
7
贝叶斯公式:
P(j | x) = p(x | j) . P (j) / p(x) 两类情况
(
2013-7-30
p ( x ) P ( j | x ) p ( x | j ) P ( j )
1
)
13
P(error) min
P(c) max
P (c ) P (1 ) p ( x | 1 ) dx P ( 2 ) p ( x | 2 ) dx P (1 ) p ( x | 1 ) dx P ( 2 )(1
p( x | 1 ) [ (1 | 2 ) ( 2 | 2 )] P(2 ) l12 ( x ) 12 p( x | 2 ) [ ( 2 | 1 ) (1 | 1 )] P(1 )
2013-7-30
23

多类情况
p( x | i ) 若c个类，lij (x) , i, j 1,2,...c, i j p( x | j )
19
2013-7-30
最小风险贝叶斯决策与最小错误率贝 叶斯决策的关系
最小错误率贝叶斯决策是0-1损失函数条 件下的最小风险贝叶斯决策
0 i j ( i | j ) 1 i j
2013-7-30
20
令： ( i | j ) 1 ij , 则：
1 i j ij 0 i j
j c
R( i | x ) ( i | j ) P ( j | x )
j 1
for i = 1,…,a
2013-7-30
18

最小风险贝叶斯决策规则：
若R( j | x) min R( i | x), 则＝ j
i 1,...,a

算法步骤：



根据已知的先验概率和类条件概率密度计 算各类的后验概率 根据决策-损失矩阵（决策表）计算各种判 决的条件风险 按照判决规则进行判决

a
2013-7-30
( a | 1 ) ( a | 2 ) ( c | c )
17
基于最小风险的贝叶斯决策
假定对于模式x,采取判决i ,若真实类别状态为ωj ,则有 损失(i|j) ,而P(j |x)为实际类别为j时的概率,则 判决i的期望损失(条件风险)为:
c R ( i | x ) ( i | j ) P ( j | x ) j 1 c
(1 ij ) P ( j | x )
j 1 c
P ( j | x ) P (i | x ) R ( i | x ) 最小
2013-7-30
a
表示拒绝判决
i 1,2, c 1
当i c 1时, 若
c R ( c 1 | x ) ( c 1 | j ) p ( j | x ) j 1
a
R ( c 1 | x ) R ( i | x ), i 1,2, c,
若lij (x) ij , j i, j 1,2,...c, 则x i
其中
ij
[ ( i | j ) ( j | j )]P( j ) [ ( j | i ) ( i | i )]P(i ) , j 1,2,...c, j i
模式识别原理
贝叶斯决策
华中科技大学图像识别与人工智能研究所
课程内容


连续特征的贝叶斯决策 分类器设计 正态分布的贝叶斯决策 分类器的错误率问题 离散特征的贝叶斯决策 贝叶斯置信网
2013-7-30
2
4.1 连续特征的贝叶斯决策
贝叶斯决策理论是统计模式识别的一个基 本方法，其应用前提： 决策问题可用概率的形式来描述，且有 关的概率结构已知 分类的类别数是一定的
P (1 ) 1 若h(x) ln p ( x | 1 ) ln p ( x | 2 ) ln P ( ) ，则x 2 2
2013-7-30 11
多类情况下的决策规则:
若
若
若
P(i | x) P( j | x), j i,
当 R(1 1 | x ) R( 2 2 | x ) 则 x 1
P(1 | x ) (1 | 2 ) ( 2 | 2 ) P(2 | x ) ( 2 | 1 ) (1 | 1 )
2013-7-30 22
最大似然比判决规则
j
则 x i
则 x i
则 x i
P (i | x) max P ( j | x),
p( x | i ) P(i ) p( x | j ) P( j ), j i,
若
若
p( x | i ) P(i ) max[ p ( x | j ) P( j )],
2013-7-30 14
* 任意另一判决规则，使判决域变化为1和*， 2 * 则1可表示为(1 11 ) 12，11 1，12 2 * P (c) P(2 ) P(1 ) p( x | 1 ) P(2 ) p( x | 2 )dx
即拒判条件 :
Z R ( i | x ), i 1,2, c,

27
正确判决损失为0 0 i j 1,2, c 若: ( i | j ) s i, j 1,2, c, j i, 错误判决损失 i c 1, j 1,2, c, 拒判损失 Z c R ( i | x ) ( i | j ) p ( j | x )
2013-7-30 12
对于特定观测值 x, 判决时的错误概率为:
P(error | x) = P(1 | x) 若 P(1 | x) < P(2 | x)
或
P(2 | x) 若 P(2 | x) < P(1 | x)
总错误率
P (error) P (error, x ) dx
若P(i | x) max P( j | x)，则x i

等价形式：
j 1, 2
若p (x |i ) P (i ) max p ( x | j ) P ( j )，则x i
1 p (x | 1 ) P (2 ) 若l (x) 12，则x p(x | 2 ) P(1 ) 2
p( x) p( x | j ) P( j )
j 1 j 2
2013-7-30
8
2013-7-30
9
已知后验概率下的判决准则: 若 P(1 | x) > P(2 | x) 否则: x € 2 则
x € 1
2013-7-30
10
基于最小错误率的贝叶斯决策

决策规则
j 1, 2
基于最小风险的贝叶斯决策
令{1, 2,…, c}表示有限的c个类别, {1, 2,…, a} 表示为有限的a种可能的判决行为, 风险函数(i|j) 表 示类别状态为 ωj 时采取的判决i 所引起的风险. 决策-损失矩阵:
1 2

1 2 c (1 | 1 ) (1 | 2 ) (1 | c ) ( 2 | 1 ) ( 2 | 2 ) ( 2 | c )
2
P (1 | x ) p ( x ) dx P ( 2 | x ) p ( x ) dx P (1 ) p ( x | 1 ) dx P ( 2 ) p ( x | 2 )dx
2 1

P (error | x ) p ( x ) dx
1 P (i | x )
j 1
P (i | x ) 最大
21
Biblioteka Baidu
最大似然比判决规则

两类情况
2 R (1 1 | x ) (1 | j ) P ( j | x ) j 1
(1 | 1 ) P (1 | x ) (1 | 2 ) P (2 | x ) R ( 2 2 | x ) ( 2 | 1 ) P (1 | x ) ( 2 | 2 ) P (2 | x )
2013-7-30
3

鲈鱼和鲑鱼的分类

鲈鱼的先验概率： P(1) 鲑鱼的先验概率： P(2) P(1) + P( 2) = 1
2013-7-30
4
只有先验信息下的决策:
Decide 1 if P(1) > P(2) otherwise decide 2
若P(1) > P(2) ，决策结果总是1
则 : x c 1 (Z 为常数, 拒判损失)
j 1
若对于各种类型拒绝判决的损失是相同的, 即
( c 1 | j ) Z ,
则:
2013-7-30
j 1
j 1,2, c
c c R ( c 1 | x ) Z p ( j | x ) Z p ( j | x ) Z
1 1 2
P ( 2 ) P (1 ) p ( x | 1 ) P ( 2 ) p ( x | 2 ) dx
1
1
p ( x | 2 ) dx )
根据判决规则有：
判决域1：P (1 ) p ( x | 1 ) P ( 2 ) p ( x | 2 ) 判决域 2：P (1 ) p ( x | 1 ) P ( 2 ) p ( x | 2 )
2013-7-30
24
损失函数对决策阈值的影响
例子

输入信号0,1在信道传递过程中叠加上均 值为零的正态分布噪声，试用最大似然 比判定规则设计分类器
2013-7-30
26
拒绝判决
在C类问题中, a=c+1时,
c R ( i | x ) ( i | j ) p ( j | x ) j 1
12 11 1
( 1 11 ) 12
P (c )
2013-7-30 15

例子

设正常细胞为1 类，异常细胞为2类， P(1 )
＝0.85, P(2 )=0.15, 由一次化验的观测值x在类 概率密度分布曲线上查得 p(x|1)=0.15, p(x|2)=0.45,判断x属于哪一类？
j
则 x i
p(x | i ) P( j ) lij ij , j i, p(x | j ) P(i )
则 x i
若 ln p(x | i ) ln P(i ) ln p(x | j ) ln P( j ), j i, 则x i
P (2 ) P (1 ) p( x | 1 ) P(2 ) p ( x | 2 ) dx P(1 ) p ( x | 1 ) P(2 ) p ( x | 2 ) dx P(1 ) p ( x | 1 ) P(2 ) p( x | 2 ) dx