第二章 贝叶斯决策理论

[
]
正态分布模式的统计决策
例2.6解答（续）
⎧ 1 ⎛ x1 − 0.5 ⎞⎫ 1 p( x | ω3 ) = exp⎨− (x1 − 0.5 x2 − 0.5)⎜ ⎜ x − 0.5 ⎟⎬ ⎟ 2 4π ⎝ 2 ⎠⎭ ⎩ ⎧ 1 ⎛ x1 + 0.5 ⎞⎫ 1 + exp⎨− ( x1 + 0.5 x2 − 0.5)⎜ ⎜ x − 0.5 ⎟⎬ ⎟ 2 4π ⎝ 2 ⎠⎭ ⎩ 1 ⎧ 1 2 2 ⎫ = − ( x1 − 0.5) + ( x2 − 0.5) ⎬ exp⎨ 4π ⎩ 2 ⎭
判别函数及决策面方程
例2.5解答（续）
例2.4是基于最小风险的贝叶斯决策 问题。定义判别函数： g ( x ) = R(α 2 | x ) − R(α1 | x ) = λ21 P(ω1 | x ) − λ12 P(ω2 | x ) = λ21 p( x | ω1 )P(ω1 ) − λ12 p( x | ω2 )P(ω2 ) = 0.9 p( x | ω1 ) − 0.6 p( x | ω2 )
假设P(0)= P(1)，则决策变为： 1− 2x > < 1 时，x ∈ ⎧ω1 ，即x = ⎧0 0，即x > 若 ⎨ ⎨ 2 < 2σ 2 ⎩1 ⎩ω2
基于最小错误率的贝叶斯决策
例2.4
P 细胞识别，正常类ω1，异常类 ω2 ，(ω1 ) = 0.9
P(ω2 ) = 0.1 p( x | ω1 ) = 0.2, p(x | ω2 ) = 0.4
1 ∴当x = 1时，p( x | ω1 ) = > p( x | ω2 ) = 0，x ∈ ω1 ； 2 3 1 当x = 时，p( x | ω1 ) = = p( x | ω2 ) ，拒绝决策或任意决策 ； 2 4 1 当x = 2时，p( x | ω1 ) = 0 < p( x | ω2 ) = ，x ∈ ω2。 2
p( x | ω1 ) ⋅ P(ω1 ) P(ω1 | x )＝ p( x | ω1 ) ⋅ P(ω1 ) + p (x | ω2 ) ⋅ P(ω2 ) 0.2 × 0.9 = = 0.818 0.2 × 0.9 + 0.4 × 0.1 P(ω2 | x ) = 1 − P(ω1 | x ) = 0.182
ω1 : (0 0 ) , (2 0 ) , (2 2 ) , (0 2 )
T T T
ω2
{ ( :{4
4 ) , (6 4 ) , (6 6 ) , (4
T T T
} P(ω ) = P(ω ) 6) }
T T
1
2
求该两类模式之间的贝叶斯判别函数和决策 面方程。
多元正态概率模型的贝叶斯判别函数
例2.8解答
决策面方程为 g ( x ) = 0， 即9 p( x | ω1 ) − p( x | ω2 )＝0
判别函数及决策面方程
例2.5解答（续）
例2.2是基于最小错误率的贝叶斯决 策问题。定义判别函数：
g ( x ) = p( x | ω1 )P(ω1 ) − p( x | ω2 )P(ω2 ) 1 1 1 3 = − x +1− x + = −x + 2 2 2 2 3 决策面方程为 g (x ) = 0，即x = 2
2
j =1
基于最小风险的贝叶斯决策
例2.4解答（续）
Q R(α1 | x ) > R(α 2 | x )
∴ 采取决策 α 2，判断细胞异常
结果与按最小错误率贝叶斯决策进行分 类截然相反，这是由于λ (α1 , ω2 )与 λ (α 2 , ω1 ) 相差太多，损失起了主导因素而造成。
基于最小风险的贝叶斯决策
正态分布模式的统计决策
[
]
例2.6解答（续）
Q p(x | ω1 ) > p( x | ω3 ) > p( x | ω2 ) ∴ x ∈ ω1
正态分布模式的统计决策
例2.7
1 二维的两类分类问题，其中 P(ω1 ) = P(ω2 )＝ 2 ⎛ ⎛ 1⎞ ⎞ ⎛⎛0⎞ ⎞ p( x | ω1 ) ~ N ⎜ ⎜ ⎟,I ⎟ p( x | ω2 ) ~ N ⎜ ⎜ ⎟,I ⎟ ⎜ ⎜ 1⎟ ⎟ ⎜⎜0⎟ ⎟ ⎝⎝ ⎠ ⎠ ⎝⎝ ⎠ ⎠
决策面方程为 g ( x ) = 0， 即3 p( x | ω1 ) − 2 p( x | ω2 ) = 0 判别函数及决策面方程
例2.6
二维的三类别模式，具有下列分布：
⎛⎛ 0⎞ ⎞ (1) p( x | ω1 ) ~ N ⎜ ⎜ ⎟,I ⎟ ⎜⎜ 0⎟ ⎟ ⎝⎝ ⎠ ⎠ ⎛ ⎛1⎞ ⎞ (2) p( x | ω2 ) ~ N ⎜ ⎜ ⎟,I ⎟ ⎜ ⎜1⎟ ⎟ ⎝⎝ ⎠ ⎠
状态
决策表如下：损失 决策
α1 α2
ω1
0 1
ω2 6 0
按最小风险贝叶斯决策进行分类。
基于最小风险的贝叶斯决策
例Βιβλιοθήκη Baidu.4解答
P(ω1 ) = 0.9 P(ω2 ) = 0.1 p( x | ω1 ) = 0.2
λ11 = 0 λ12 = 6 p( x | ω2 ) = 0.4 λ21 = 1 λ22 = 0
j =1, 2 , 3
正态分布模式的统计决策
例2.6解答（续）
⎧ 1 ⎛ x1 ⎞⎫ 1 exp⎨− ( x1 x2 )⎜ ⎟⎬ p( x | ω1 ) = ⎜x ⎟ 2π 2 ⎝ 2 ⎠⎭ ⎩ 1 ⎧ 1 2 2 ⎫ exp⎨− x1 + x2 ⎬ = 2π ⎭ ⎩ 2
(
)
⎛ ⎞ 1 ⎛ 0.3 ⎞ p⎜ x = ⎜ ⎟ | ω1 ⎟ = ⎜ 0.3 ⎟ ⎜ ⎟ 2π exp{− 0.09} ≈ 0.1454 ⎝ ⎠ ⎝ ⎠
1 T T T T T μ1 = (0 0) + (2 0) + (2 2) + (0 2) = (1 1) 4 1 T T T T T μ 2 = (4 4) + (6 4) + (6 6) + (4 6 ) = (5 5) 4 T Σ1 = E ( x − μ1 )( x − μ1 )
{ { {
求基于最小错误率的贝叶斯判别函数和决策 面方程。
多元正态概率模型的贝叶斯判别函数
例2.7解答
因为模式呈正态分布，且
1 Σ1 = Σ 2 = I P(ω1 ) = P(ω2 ) = 2 1 g i ( x ) = − 2 ( x − μ i )T ( x − μ i ) 判别函数为： 2σ 决策面方程为：g1 ( x) = g 2 ( x)
例2.1
细胞识别正常类 ω1，异常类 ω2各自的 先验概率分别为 P(ω1 ) = 0.9, P(ω2 ) = 0.1 ， 有一待识别的细胞，观察值为x，类 条件概率密度为 p(x | ω1 ) = 0.2, p(x | ω2 ) = 0.4 ，对该细胞分类。
基于最小错误率的贝叶斯决策
例2.1解答
Q P(ω1 | x ) > P(ω2 | x ) ∴
判别x为正常类
基于最小错误率的贝叶斯决策
例2.2
两个一维模式类别，其概率密度函数 如图，设两类先验概率相等，设提取 出的x分别为 x = 3 2 , x = 1, x = 2 ，判别 x ∈ ω1 or x ∈ ω2
1
p( x | ω1 )
p(x | ω2 )
基于最小错误率的贝叶斯决策
例2.3解答
p( x | ω1 ) ⎛ 1− 2x ⎞ 似然比：l (x ) = p(x | ω2 ) = exp⎜ 2σ 2 ⎟ ⎝ ⎠
最小错误率贝叶斯决策为：
⎧ω1 ⎛ 1 − 2 x ⎞ > P(1) 若 exp⎜ ，则x ∈ ⎨ 2 ⎟< ⎝ 2σ ⎠ P(0 ) ⎩ω2
设x = ( x1 1 − (x1 2
)T x2
⎛ x1 ⎞ ⎛ x1 − 1 ⎞ 1 x2 )⎜ ⎟ = − ( x1 − 1 x2 − 1)⎜ ⎜x ⎟ ⎜ x − 1⎟ ⎟ 2 ⎝ 2⎠ ⎝ 2 ⎠ 化简： x1 + x2 = 1
多元正态概率模型的贝叶斯判别函数
例2.8
设以下模式类别具有正态概率密度函数：
[
]
1 ⎧ 1 2 2 ⎫ exp⎨− ( x1 + 0.5) + ( x2 − 0.5) ⎬ 4π ⎩ 2 ⎭ ⎛ ⎞ 1 ⎛ 0.3 ⎞ 1 p⎜ x = ⎜ ⎟ | ω3 ⎟ = ⎜ 0.3 ⎟ ⎜ ⎟ 4π exp{− 0.04} + 4π exp{− 0.34} ≈ 0.1330 ⎝ ⎠ ⎝ ⎠ +
} }
}
⎫ ⎛1⎞ ⎛1⎞ ⎛ − 1⎞ 1 ⎧⎛ − 1⎞ = ⎨⎜ ⎟(− 1 − 1) + ⎜ ⎟(1 − 1) + ⎜ ⎟(1 1) + ⎜ ⎟(1 − 1)⎬ ⎜ − 1⎟ ⎜1⎟ ⎜1⎟ 4 ⎩⎜ − 1⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎭ 1 ⎛ 4 0⎞ ⎛1 0⎞ T = ⎜ ⎜ 0 4 ⎟ = ⎜ 0 1 ⎟ = Σ 2 = E ( x − μ 2 )( x − μ 2 ) ⎟ ⎜ ⎟ 4⎝ ⎠ ⎝ ⎠
0
1
2
3
x
基于最小错误率的贝叶斯决策
例2.2解答
1 1 1 由图可知： p( x | ω1 ) = − x + 1 p( x | ω2 ) = x − 2 2 2 Q P(ω1 ) = P(ω2 ) ∴ 贝叶斯决策规则可表示 为： 如p (x | ω1 ) > p( x | ω2 ) x ∈ ω1，反之， x ∈ ω2
2
后验概率 ： (ω1 | x ) = 0.818 P(ω2 | x ) = 0.182 P 条件风险 ：R(α1 | x ) = ∑ λ1 j P(ω j | x ) = λ12 P(ω2 | x ) = 6 × 0.182 = 1.092
j =1
R(α 2 | x ) = ∑ λ2 j P(ω j | x ) = λ21 P(ω1 | x ) = 0.818
例2.5
写出例2.1、2.2，2.4的判别函数 和决策面方程。
判别函数及决策面方程
例2.5解答
例2.1是基于最小错误率的贝叶斯 决策问题。已知先验概率及类条 件概率。所以，定义判别函数：
g ( x ) = p( x | ω1 )P(ω1 ) − p( x | ω2 )P(ω2 ) = 0.9 p( x | ω1 ) − 0.1 p( x | ω2 )
噪声
例2.3解答
设送0为 ω1 类，送1为 ω2 类，送0的先验 概率为P(0)，送1的先验概率为P(1)； 当输入信号时，因受噪声为正态分布的 干扰，其幅值大小的概率密度分别为：
⎛ x2 ⎞ 1 p ( x | ω1 ) = exp⎜ − ⎟ ⎜ 2σ 2 ⎟ 2π σ ⎠ ⎝ ⎛ ( x − 1)2 ⎞ 1 ⎟ p(x | ω2 ) = exp⎜ − ⎜ 2σ 2 ⎟ 2π σ ⎝ ⎠
正态分布模式的统计决策
例2.6解答（续）
⎧ 1 ⎛ x1 − 1 ⎞⎫ 1 exp⎨− ( x1 − 1 x2 − 1)⎜ p ( x | ω2 ) = ⎜ x − 1⎟ ⎬ ⎟ 2π 2 ⎝ 2 ⎠⎭ ⎩ 1 ⎧ 1 2 2 ⎫ = exp⎨− ( x1 − 1) + ( x2 − 1) ⎬ 2π ⎩ 2 ⎭ ⎞ 1 ⎛ ⎛ 0.3 ⎞ p⎜ x = ⎜ ⎟ | ω2 ⎟ = exp{− 0.49} ≈ 0.0975 ⎜ 0.3 ⎟ ⎜ ⎟ 2π ⎝ ⎠ ⎠ ⎝
正态分布模式的统计决策
例2.6解答
如果p( x | ωi )P(ωi ) = max p (x | ω j )P (ω j ) 则x ∈ ωi ，
j =1, 2 , 3
多类别问题，采用如下判别规则：
1 Q P(ωi ) = i = 1,2,3 3 ∴ 规则转化为： 如果p( x | ωi ) = max p (x | ω j ) 则x ∈ ωi ，
1 ⎛ ⎛ 0.5 ⎞ ⎞ 1 ⎛ ⎛ − 0.5 ⎞ ⎞ ⎟,I ⎟ (3) p( x | ω3 ) ~ N ⎜ ⎜ ⎟,I ⎟ + N ⎜ ⎜ 2 ⎜ ⎜ 0.5 ⎟ ⎟ 2 ⎜ ⎜ 0.5 ⎟ ⎟ ⎠ ⎠ ⎝⎝ ⎝⎝ ⎠ ⎠
1 P(ωi ) = i = 1,2,3 3
以基于最小错误率的贝叶
⎛ 0.3⎞ 斯决策对点 x = ⎜ ⎟ 分类 ⎜ 0.3⎟ ⎝ ⎠
基于最小错误率的贝叶斯决策
例2.3
一信号通过一受噪声干扰的信道，输入 信号为0或1，噪声为高斯型，其均值为 0，方差为 σ 2 ，信道输出为x。用最小错 误率贝叶斯决策判别输出x是0还是1。
判别 信道 分类器 结果 一般认为x<0.5判为0，x>0.5判为1 x
基于最小错误率的贝叶斯决策
输入 {0,1}