第2章 贝叶斯决策理论

j =1 c
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
⇒ P ( c ) = P (ω 2 ) +
∫ [ p(x | ω
t −∞
1
) P (ω 1 ) − p ( x | ω 2 ) P (ω 2 ) ] d x
j =1,2 j =1,2
x ∈ ωi x ∈ ωi 似然比形式 ω1 x∈ ω2
(2) p( x | ωi ) P(ωi ) = max p( x | ω j ) P(ω j ) p( x | ω1 ) > P(ω2 ) (3)l ( x) = p( x | ω2 ) < P(ω1 ) ω1 x∈ ω2
定义损失函数 λ (α i , ω j )
i = 1, 2, L , a; j = 1, 2, L , c
其表示真实状态为 ω j ，而采取决策 αi 所带来的损失。 针对特定x采取决策 αi 的条件期望损失（条件风险）为
R(α i | x) = E[λ (α i , ω j )] = ∑ λ (α i , ω j ) P(ω j | x), i = 1, 2,L, a
第2章 贝叶斯决策理论
常用决策规则 分类器设计 正态分布情况下的贝叶斯决策 实验内容
2.1 引言
客观事物和现象的属性
不确定性: （1）随机性 （2）模糊性 （3）知识不完备——灰色系统
2.1 引言
研究背景:
特征分量数值的随机性反映至个体上就涉及模式类 别的随机性和判决结果的随机性。因此，用概率统计的 理论和方法解决分类和识别问题从理论和总体上都是更 为合理和可靠的。
基于最小错误率的贝叶斯决策
关于错误率最小的讨论（一维情况） 错误率是指平均错误率P(e)
令每一个x都取使P(e|x) P ( e ) = ∫ P ( e , x ) d x = ∫ P ( e | x ) p ( x ) dx 最小的值，则所有x产生 −∞ −∞ P (ω 2 | x ) > P (ω 1 | x ) 的平均错误率最小。 P (ω 1 | x )
参照两类情况，也可得到平均错误率最小的分类结果
基于最小风险的贝叶斯决策
考虑风险，如
癌症诊断问题 空袭警报问题 制药企业药品合格检定问题
因此须考虑减小损失（或代价） 最小风险贝叶斯决策是一种令各种错误造成 的损失（风险）最小化的决策。
基于最小风险的贝叶斯决策
决策会带来相应的损失，以决策表来定义
基于最小风险的贝叶斯决策
p( x) = ∑ p( x | ω j ) P(ω j )为一因子
j =1
ቤተ መጻሕፍቲ ባይዱ
c
贝叶斯公式通过类条件概率密度形式的观察值，将先验 概率转化为后验概率。
基于最小错误率的贝叶斯决策
类条件概率密度与后验概率图示
基于最小错误率的贝叶斯决策
两类问题最小错误率贝叶斯决策规则：
(1) P(ωi | x) = max P(ω j | x)
> (λ21 − λ11 ) p( x | ω1 )P(ω1 ) (λ12 − λ22 ) p( x | ω2 )P(ω2 ) < ω1 p( x | ω1 ) > (λ12 − λ22 )P(ω2 ) ∴ , x ∈ p( x | ω2 ) < (λ21 − λ11 )P(ω1 ) ω2 >
均值为真实信号，噪声在其上波动
基于最小风险的贝叶斯决策
似然比
p( x | ω1 ) 1 − 2 x > (λ12 − λ22 ) P(ω2 ) = exp 2 p ( x | ω2 ) 2σ < (λ21 − λ11 ) P(ω1 ) ω1 x∈ ω2
0 1
λ12 P (1) 1 1 − 2 x λ12 P (1) 2 exp > ⇒ x < − σ ln , x ∈ ω1 2 2 2σ λ21 P (0) λ21 P (0) λ12 P (1) 1 1 − 2 x λ12 P (1) 2 exp < ⇒ x > − σ ln , x ∈ ω2 2 2 2σ λ21 P (0) λ21 P (0)
基于最小风险的贝叶斯决策
解：最小风险决策的似然比形式
ω1 R(α1 | x) R(α2 | x), x ∈ > ω2 <
λ11 p( x | ω1 )P(ω1 ) + λ12 p( x | ω2 )P(ω2 ) λ21 p( x | ω1 )P(ω1 ) + λ22 p( x | ω2 )P(ω2 )
<
基于最小风险的贝叶斯决策
直观上对数字信号的判断如下图
x 0.5 <
>
1 x∈ 0
ω2 ω1
信号受0均值高斯噪声影响，输入为0时，幅值的概率密度为
p ( x | ω1 ) = 1 ( x − 0)2 ex p [ − ] 2σ 2 2π σ
输入为1时，幅值的概率密度为
p(x | ω2 ) = 1 ( x − 1) 2 ex p [ − ] 2 2σ 2π σ
P(ω1 | x) =
p ( x | ω1 ) P (ω1 )
∑ p( x | ω ) P(ω )
j =1 j j
2
0.2 × 0.9 = = 0.818 0.2 × 0.9 + 0.4 × 0.1
P(ω2 | x) = 1 − P (ω1 | x) = 0.182 P(ω1 | x) = 0.818 > P (ω2 | x) = 0.182 ∴ x ∈ ω1
贝叶斯决策理论研究了模式类的概率结构完全知道 的理想情况。这种情况实际中极少出现，但提供了一个 对比其它分类器的依据，即“最优”分类器。
2.1 引言
符号规定
分类类别数：c ω 类别状态： i , i = 1, 2,L , c 特征空间维数：d T x d维特征空间中的特征向量： = [ x1 , x2 ,L , xd ] P 先验概率：(ωi ) 表示 ωi 类出现的先验概率,简称为ωi 类的概率 类条件概率密度： p ( x | ωi ) 表示在ωi 类条件下 x 的概率分布 密度,简称为类概密. P 条件概率： (ωi | x) 表示在 x 出现条件下ωi 类出现的概率，称 其为ωi 类的后验概率，理解为 x 来自ωi 类的概率。
若令 λ12 = λ21 , P(1) = P(0) ，则0.5为阈值，符合直观判断。
基于最小风险的贝叶斯决策
最小风险决策与最小错误率决策的关系
0, i = j λ (α i , ω j ) = 1, i ≠ j 0 − 1损失函数 条件风险为 R (α i | x ) = ∑ λ (α i , ω j ) P (ω j | x ) = ∑ P (ω j | x )
j =1 j =1 j ≠i c c
< P(ω1 ) (4)h( x) = − ln[l ( x)] = − ln p( x | ω1 ) + ln p( x | ω2 ) ln > P(ω2 )
基于最小错误率的贝叶斯决策
例：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为 正常状态： (ω1 ) = 0.9 P P 异常状态： (ω2 ) = 0.1 现有一待识别的细胞，其观察值为x，类条件概率密度分别为 p ( x | ω1 ) = 0.2, p ( x | ω2 ) = 0.4 试对该细胞x进行分类。 解：
t * : P ( x | ω 1 ) p (ω 1 ) > P ( x | ω 2 ) p (ω 2 )
基于最小错误率的贝叶斯决策
多类情况下的贝叶斯决策规则
(1) P (ωi | x) = max P (ω j | x)
j =1,L, c j =1,L, c
x ∈ ωi x ∈ ωi
(2) p ( x | ωi ) P (ωi ) = max p( x | ω j ) P (ω j )
2.2 几种常用决策规则
最小错误率的贝叶斯决策规则 最小风险决策规则 Neyman-Pearson决策规则 极小极大决策规则
基于最小错误率的贝叶斯决策
考虑贝叶斯公式
P (ωi | x) = p( x | ωi ) P(ωi )
∑ p( x | ω ) P(ω )
j =1 j j
c
i = 1, 2,L , c
∫
−∞
p ( x | ω 2 ) P (ω 2 ) dx +
t
= P (ω 2 ) P2 ( e ) + P (ω 1 ) P1 ( e )
基于最小错误率的贝叶斯决策
使误判概率 P ( e ) 最小，等价于使正确分类识别的概率 P ( c ) 最大。
P (c ) = 利用
∫
t −∞
p ( x | ω 1 ) P (ω 1 ) dx +
对于随机模式的分类识别方法，通常称为Bayes判决。
2.1 引言
统计判决是用概率统计的理论和方法，将 先验信息、样本信息、后果信息结合起来用于推 断决策。 先验信息:类的先验概率、概率分布密度 样本信息:样本值、后验概率 后果信息:损失函数
2.1 引言
贝叶斯决策理论是统计模式识别的基本理论，其假设 （1）各类别总体的概率分布是已知的； （2）要决策分类的类别数是一定的。
R(αi | x) = ∑λ(αi ,ωj )P(ωj | x), i =1,2,L, a
j =1 c
（3）取（2）中条件风险最小的决策，采取该行动。
基于最小风险的贝叶斯决策
例：在最小错误率例题基 础上，利用决策表按最小 风险贝叶斯决策进行分类。
ω1
α1 α2
ω2
6 0
0 1
解：前例已计算出P(ω1 | x) = 0.818, P(ω2 | x) = 0.182
j =1,L, c
基于最小风险的贝叶斯决策
通信例题：
下图为一信号通过受噪声干扰的信道
0,1 x 信道 分类器
判别结果
0 设 1
ω 1类 P (0) ， 先验概率 ω 2类 P (1) λ12
0
噪声
0 风险λ = λ 21
输入信号为0或1，噪声为高斯型，其均值为0，方差为 σ 2 ，信道输出为x （1）试求最优的判别规则，以区分输出x是0还是1？ （2）若此通信系统为M进制，采用0-1代价函数重新求最优判别规则。
R(α1 | x) = ∑λ1 j P(ω j | x) = λ11P(ω1 | x) + λ12 P(ω2 | x) = 6 × 0.182 = 1.092
j =1 2 2
R(α2 | x) = ∑λ2 j P(ω j | x) = λ21P(ω1 | x) + λ22 P(ω2 | x) = 1× 0.818 = 0.818
j =1
Q R(α1 | x) > R(α2 | x) ∴ x ∈ω2
结果与前例相反，Why?
基于最小风险的贝叶斯决策
两例结果相反的原因
最小风险决策规则在考虑错误率的同时考虑了“损失”， 而上例中将异常细胞判为正常的代价较大，占“主导”作用， 故产生相反的结果。
决策表直接影响决策结果，制定应慎重。