贝叶斯决策理论

①已知决策分类的类别数为c，各类别的状态为：
i , i 1,..., c
②已知各类别总体的概率分布（各个类别出现
的先验概率和类条件概率密度函数）
P (i ), p(x | i ), i 1, ..., c
Bayes决策理论欲解决的问题
如果在特征空间中观察到某一个（随机）
向量 x = ( x1 , x2 ,…, xd )T 那么，应该将x分到哪一个类才是最合理的？


c
• x 是随机向量的观察值，对于其不同观察值， 采取不同的决策 αi 时，对应不同的条件风险。
所以，不同的x ，将会采用不同的决策
• 决策可以看成随机向量 x 的函数，记为 α(x)
（随机变量），可以定义期望风险为
R R( x | x) p x dx
注：积分在整个特征空间上进行
p(x | ) P( )
j 1 j j
c
P (i | x) p(x) p(x | i ) P (i )
p( x) p( x | i ) P(i )
i 1
全概率公式

平均错误率
P (e )
P (e | x ) p( x )dx
p( x | 1 ) P (1 ), if P ( 2 | x ) P (1 | x ) P (e | x ) p( x ) p( x | 2 ) P ( 2 ), if P (1 | x ) P ( 2 | x )
P (2 | x )
P (1 | x ), if P ( 2 | x ) P (1 | x ) P (e | x ) 条件错误概率 P ( 2 | x ), if P (1 | x ) P ( 2 | x )
P (i | x)
Bayes公式
c
p(x | i ) P (i )
2.2 几种常用的决策规则
2.2.1 基于最小错误率的Bayes决策 2.2.2 基于最小风险的Bayes决策 2.2.3 Neyman-Pearson决策 2.2.4 最小最大决策 2.2.5 序贯分类方法
2.2.1 基于最小错误率的Bayes决策
利用概率论中的Bayes公式进行分类，可以
得到错误率最小的分类规则
条件风险最小，则对所有的 x 作决策时，
其期望风险也必然达到最小
决策：最小风险Bayes决策
最小风险Bayes决策规则：
若 R(k | x) min R(i | x), 则 x k
i 1,2,..., a
采取决策 其中
k
R( i | x ) ( i , j )P ( j | x ), i 1, 2,..., a
决策：归属到异常细胞 原因：损失起主导作用 归正常 归异常
正常 异常
0 1
6 0
两种决策规则之间的关系
定义0-1损失函数
0, i j ( j | j ) ij i , j 1, ..., c 1, i j
意义： 正确决策没有损失，错误决策损失都为 1 附件条件：c 个类别对应 c 个决策（无拒绝类）
已知条件
①类别状态的先验概率
②类条件概率密度
P ( i )
p(x | i ) i 1, ..., c
根据Bayes公式得到状态的后验概率
P (i | x) p(x | i ) P (i )
p(x | ) P( )
j 1 j j
c
后验
=
似然
x
先验
/
证据因子
Байду номын сангаас
基本决策规则
基本概念
• 决策（行动）：所采取的决定
• 决策（行动）空间：所有可能决策所构
成的一个集合
• 损失：每一个决策将付出的代价，通常 为决策和自然状态（类）的函数
c 个自然状态（类）
状态 决策
1
(1 , 1 )
…
c
(1 , c )
a 个 决 策
1
损失
a
( a , 1 )
( a , c )
一般决策表
说明：
状态空间由 c 个自然状态（c 个类）组成：
(1 , 2 , ..., c )
决策空间由 a 个决策组成：
(1 , 2 , ..., a )
a=c 或者 a=c＋1 （拒绝类）
损失函数有a×c 个值：
( i , j ) or ij
p( x | ) P ( )
j 1 j j
2
0.2 0.9 0.818 0.2 0.9 0.4 0.1
P (2 | x ) 1 P (1 | x ) 0.182
属于正常细胞，注意：先验概率起主导作用
如果先验概率相等，则属于异常细胞
正确分类与错误分类
if
P(i | x) max P( j | x) then x i
j 1,...,c
将 x 归属后验概率最大的类别
两类情况下的Bayes 决策规则及其变型
①Bayes决策规则
如果 P(i | x) max P( j | x), 则 x i
j 1,2
1 如果 P (1 | x) P (2 | x) 则 x < 2
• 正确分类：将样本归属到样本本身所属的 类别 • 错误分类：将样本归属到非样本本身所属 的类别
1
3
2
以一维、两类情况为例，证明Bayes规则使分类 错误率最小 （平均）错误率定义为
P (e )

P (e , x )dx

P (e | x ) p( x )dx
• 有时我们需要设计在整个先验概率范围内都能很好操作的 分类器。一种合理的设计方法就是使先验概率取任何一种 值时所引起的总风险的最坏情况尽可能小，也就是说最小 化最大可能的风险。 • 我们以R1表示分类器判为1时的特征空间的区域，同样的 有R2和 2,总风险的形式可表示为
p( x | 2 ) 0.4
12 6 22 0
后验概率
P (1 | x ) 0.818
P (2 | x ) 0.182
条件风险
R(1 | x ) 1 j P ( j | x ) 12 P (2 | x ) 1.092
j 1 2
R( 2 | x ) 21 P (1 | x ) 0.818
差别： • 条件风险 R(αi |x) 只反映出，对某一个 x 取值， 采取决策行动 αi 所带来的风险
• 期望风险 R 则反映，在整个特征空间中不同的
x 取值，采取相应的决策 α(x) 所带来的平均风 险
目标：所采取的一系列决策行动应该使期 望风险达到最小 手段：如果在采取每一个决策时，都使其
第2章 贝叶斯(Bayes)决策理论
2.1 引言（已知条件、欲求解的问题）
2.2 几种常用的决策规则 2.3 正态分布时的统计决策
2.4 离散情况的贝叶斯决策
2.5 分类器的错误率问题
2.1 引言
模式识别的分类问题：根据待识别对象的
特征观察值，将其分到某一个类别中
Bayes决策理论的基本已知条件
j 1,2
1 如果 p(x | 1 ) P (1 ) p(x | 2 ) P ( 2 ) 则 x < 2
③变型2
1 如果 p(x | 1 ) P (1 ) p(x | 2 ) P ( 2 ) 则 x < 2
似然比
似然比阈值
1 p(x | 1 ) P ( 2 ) 如果 l (x) 则 x p(x | 2 ) < P (1 ) 2
ji
结论：在 0-1 损失函数的条件下，使风险最小的
Bayes决策等价于使错误率最小的Bayes决策，后 者是前者的特例
2.2.3 Neyman-Pearson(聂曼-皮尔逊)决策
在限定一类错误率条件下，使另一类错误
率为最小的两类别决策
2.2.4 最小最大决策
考虑先验概率变化的情况下，如何使最大 可能的风险为最小，即在最差的条件下 争取最好的结果
t 是两类的分界点，x轴分成两个区间
P (e )
t
p( x | 2 ) P ( 2 )dx
t
p( x | 1 ) P (1 )dx
红＋黄
绿
只有当 t 取两类后验概率相等的点时，错误率才是最
小的（黄颜色区域变成零）
P (e ) P (2 ) p( x | 2 )dx P(1 )
1
2
p( x | 1 )dx
P(2 ) P2 (e ) P(1 ) P1 (e )
2.2.2 基于最小风险的Bayes决策
• 在医学诊断上，有误诊（无病说有病）、漏诊。 在雷达防空中，有虚警、漏警（有飞机说成无 飞机）。这些错误判断会造成不同的后果和损 失。 • 基于最小风险的Bayes决策是：在考虑各种错误 可能造成不同的损失的情况下的Bayes决策规则
含义：
i 1, ..., a , j 1, ..., c
当真实状态为 ωj 而所采取的决策为 αi 时所
造成的损失大小
对于给定的模式向量 x
已知
P (i ), p(x | i ), i 1, ..., c
p(x | i ) P(i ) 后验概率 P(i | x) p(x)
④变型3（取似然比的自然对数的负值）
如果 h(x) ln( l (x)) 1 P (1 ) ln( p(x | 1 )) ln( p(x | 2 )) ln( ) 则 x > P ( 2 ) 2
两类的后验概率相等时，采取的策略： 归属其中一类
拒绝（设置一个拒绝类，供进一步分析）
例：某地区细胞识别中，正常和异常细胞的先验概率：
P(ω1)=0.9， P(ω2)=0.1 有未知细胞 x，对应的类条件概率密度：
P(x|ω 1)=0.2， P(x|ω 2)=0.4
判别该细胞属于正常细胞还是异常细胞？ 解：先计算后验概率：
P (1 | x ) p( x | 1 ) P (1 )
p(x) p(x | j ) P ( j )
j 1 c
最小错误率Bayes决策取后验概率的最大者
在决策表中，每一个决策 αi 对应存在 c 个损失。 对于 x，定义在采取决策 αi 时的条件期望损失 （条件风险）为：
R( i | x ) E i , j ) ( i , j )P( j | x ) j 1 i 1, 2,..., a
j 1 c
③找出条件风险最小值所对应的决策，对x 采取该决策（归属到该类）
若 R(k | x) min R(i | x), 则 x k
i 1,2,..., c
例：区分正常与异常细胞
正常细胞 P (1 ) 0.9 p( x | 1 ) 0.2 11 0 21 1 异常细胞 P (2 ) 0.1,
R( i | x ) ( i , j ) P ( j | x ) P ( j | x )
j 1 ji
c
对 x 采取决策（归属） ωi时的条件错误概率
R( i | x ) 最小
P (
ji
j
| x ) 最小
P (i | x ) 1 P ( j | x ) 最大
j 1
c
最小风险Bayes决策的步骤
①在已知类先验概率和类概率密度函数的情况下，
计算待识 x 的后验概率（Bayes公式）
P (i | x)
p(x | i ) P (i )
p(x | ) P( )
j 1 j j
c
②根据决策表，计算每一个决策的条件风险
R( i | x ) ( i , j )P ( j | x ), i 1, 2,..., a
②变型1（消去相同的分母）
如果 P(i | x) max P( j | x), 则 x i
j 1,2
P (i | x)
p(x | i ) P (i )
p(x | ) P( )
j 1 j j
c
如果 p(x | i )P(i ) max p(x | j ) P( j ), 则 x i
条件错误概率
Bayes决策规则：
if P (1 | x) > P (2 | x) then x 1
此时，x (ω2) 的条件错误概率 P (2 | x )
if P (2 | x) > P (1 | x) then x 2
此时，x (ω1)的条件错误概率
P (1 | x )
P (1 | x )