《模式识别》(边肇祺)习题答案

– (1) E {ln (x)|w1 } = E {ln+1 (x)|w2 } – (2) E {l(x)|w2 } = 1 – (3) E {l(x)|w1 } − E 2 {l(x)|w2 } = var{l(x)|w2 }（教材中题目有问题） ∫ ∫ (p(x|w1 ))n+1 n n 证明： 对于(1)，E {l (x)|w1 } = l (x)p(x|w1 )dx = dx 又E {ln+1 (x)|w2 } = (p(x|w2 ))n ∫ ∫ (p(x|w1 ))n+1 n+1 l p(x|w2 )dx = dx 所以，E {ln (x)|w1 } = E {ln+1 (x)|w2 } (p(x|w2 ))n ∫ ∫ 对于(2)，E {l(x)|w2 } = l(x)p(x|w2 )dx = p(x|w1 )dx = 1 对于(3)，E {l(x)|w1 } − E 2 {l(x)|w2 } = E {l2 (x)|w2 } − E 2 {l(x)|w2 } = var{l(x)|w2 } • 2.11 xj (j = 1, 2, ..., n)为n个独立随机变量，有E [xj |wi ] = ijη ，var[xj |wi ] = i2 j 2 σ 2 ，计 算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下，由贝叶斯决策引起的错误率。 （中心极限 定理） 解： 在0 − 1损失下，最小风险贝叶斯决策与最小错误率贝叶斯决策等价。 • 2.12 写出离散形式的贝叶斯公式。 解： P (wi |x) = ∑c P (x|wi )P (x) j =1 P (x|wi )P (wi )
证明： p(m|x) = p(x|m)p(m) p(x) p(x|m)p(m) =∫ p(x|m)p(m)dm { { } } 1 1 2 2 (2π ) 2 −1 exp − 1 (m − m )2 /σ 2 (2π ) 2 σ −1 exp − 1 σm 0 m 2 (x − m) /σ 2 =∫ } } { 1 { 1 1 −1 2 2 (2π ) 2 σ −1 exp − 2 (x − m)2 /σ 2 (2π ) 2 σm exp − 1 2 ( m − m 0 ) / σm d m [ ( ) ] 1 2 2 x + m σ2 2 (σ 3 + σm ) 2 σm 1 σ 2 + σm 0 = m− exp − 1 2 2 2 σ 2 σm σ 2 + σm (2π ) 2 σσm
• 2.20 对Σi = σ 2 I 的特殊情况，证明 – (1) 若P (wi ) ̸= P (wj )，则超平面靠近先验概率较小的类； – (2) 在甚么情况下，先验概率对超平面的位置影响不大。 1 证明： (1)当P (wi ) = P (wj )时，超平面经过x0 = (ui + uj )，则对于先验概率较小的类 2 属于它的区域会减少，所以超平面经过的点会靠近先验概率较小的类。 （可以这样理 解，具体证明也很简单） (2)？不知道这是什么问题，先验概率不管在什么时候都很重要！ • 2.21 对Σi = Σ的特殊情况，指出在先验概率不等时，决策面沿ui 点与uj 点连线向先验 概率小的方向移动。 证明： 同上面一题解释一样。 • 2.24 似然比决策准则为：若 • 2.23 二维正态分布，u1 = (−1, 0)T , u2 = (1, 0)T , Σ1 = Σ2 = I, P (w1 ) = P (w2 )。试写出 对数似然比决策规则。 解： h(x) = − ln [l(x)] = − ln p(x|w1 ) + ln p(x|w2 ) 1 1 |Σ1 | 1 1 T −1 = (x1 − u1 )T Σ− ln 1 (x1 − u1 ) − (x2 − u2 ) Σ2 (x2 − u2 ) + 2 2 2 |Σ2 | ] 1[ = (x − u1 )T (x − u1 ) − (x − u2 )T (x − u2 ) 2 [ ] P (w1 ) T T 而，ln P (w2 ) = 0。所以判别规则为当(x − u1 ) (x − u1 ) > (x − u2 ) (x − u2 )则x ∈ w1 ,反 之则s ∈ w2 。即将x判给离它最近的ui 的那个类。 [ ] [ 1 1 1 2 • 2.24 在习题2.23中若Σ1 ̸= Σ2 ，Σ1 = 1 ， Σ2 = −1 2 1 2 策规则。 ] −1 2 ，写出负对数似然比决 1
j =1,...,c j =1,...,c
考虑两类问题的分类决策面为：P (w1 |x) = P (w2 |x)，与p(x|w1 )P (w1 ) = p(x|w2 )P (w2 ) 是相同的。 • 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。 • 2.10 随机变量l(x)定义为l(x) = p(x|w1 ) ，l(x)又称为似然比，试证明 p(x|w2 )
j =1,2,...,N
R(aj |x)，则ak 就是最小风险贝叶斯决策。
• 2.15 证明多元正态分布的等密度点轨迹是一个超椭球面，且其主轴方向由Σ的特征向量 决定，轴长度由Σ的特征值决定。 证明：多元正态分布的等密度点满足：xT Σ−1 x = C ，C 为常数。 4
模式识别(第二版)习题解答
• 2.16 证明M ahalanobis距离r符合距离定义三定理，即 – (1) r(a, b) = r(b, a) – (2) 当且仅当a = b时，r(a, b) = 0 – (3) r(a, c) ≤ r(a, b) + r(b, c) 证明： (1) r(a, b) = (a − b)T Σ−1 (a − b) = (b − a)T Σ−1 (b − a) = r(b, a) (2) Σ为半正定矩阵所以r(a, b) = (a − b)T Σ−1 (a − b) ≥ 0，只有当a = b时，才有r(a, b) = 0。 (3) Σ−1 可对角化，Σ−1 = P ΛP T • 2.17 若将Σ−1 矩阵写为：Σ−1 h1d h2d ，证明M ahalanobis距离平方为 . . . hdd
j =1,...,c
• 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为，若 p(x|w1 ) (λ12 − λ22 )P (w2 ) > , p(x|w2 ) (λ21 − λ11 )P (w1 ) 则x ∈ w1 ，反之则属于w2 。 解：计算条件风险 R(α1 |x) =
2 ∑ j =1
• 2.13 把连续情况的最小错误率贝叶斯决策推广到离散情况，并写出其判别函数。 • 2.14 写出离散情况条件风险R(ai |x)的定义，并指出其决策规则。 解： R(ai |x) = = R(ak |x) = min
c ∑ j =1 c ∑ j =1
λij P (wj |x) λij p(x|wj )P (wj )////omit the same part p(x)
• 2.7 若λ11 = λ22 = 0, λ12 = λ21 ，证明此时最小最大决策面是来自两类的错误率相等。 解： 最小最大决策时满足 ∫ (λ11 − λ22 ) + (λ21 − λ11 ) 容易得到 ∫
R1 R2
∫ p(x|w1 )dx − (λ12 − λ22 ) ∫
R1
p(x|w2 )dx = 0
模式识别(第二版)习题解答
目录
1 绪论 2 贝叶斯决策理论 3 概率密度函数的估计 4 线性判别函数 5 非线性判别函数 6 近邻法 7 经验风险最小化和有序风险最小化方法 8 特征的选取和提取 9 基于K-L展开式的特征提取 10 非监督学习方法 2 2 8 10 16 16 18 18 20 22
λ1j P (wj |x)
= λ11 P (w1 |x) + λ12 P (w2 |x) R(α2 |x) =
2 ∑ j =1
λ2j P (wj+ λ22 P (w2 |x) 如果R(α1 |x) < R(α2 |x)，则x ∈ w1 。 λ11 P (w1 |x) + λ12 P (w2 |x) < λ21 P (w1 |x) + λ22 P (w2 |x) (λ21 − λ11 )P (w1 |x) > (λ12 − λ22 )P (w2 |x) (λ21 − λ11 )P (w1 )p(x|w1 ) > (λ12 − λ22 )P (w2 )p(x|w2 ) p(x|w1 ) (λ12 − λ22 )P (w2 ) > p(x|w2 ) (λ21 − λ11 )P (w1 ) 所以，如果 p(x|w1 ) (λ12 − λ22 )P (w2 ) > ，则x ∈ w1 。反之则x ∈ w2 。 p(x|w2 ) (λ21 − λ11 )P (w1 )
h11 h12 · · · h12 h22 · · · = . . .. . . . . . h1d h2d · · ·
d d ∑ ∑ i=1 j =1
γ2 =
hij (xi − ui )(xj − uj )
证明： h11 h12 · · · h12 h22 · · · γ 2 = (x − u)T . . .. . . . . . h1d h2d · · · =
2 ，证明 再假设m的边缘分布是正态分布，期望值是m0 ，方差是σm [ ( ) ] 1 2 2 x + m σ2 2 (σ 3 + σm ) 2 1 σ 2 + σm σm 0 p(m|x) = exp − m− 1 2σ2 2 + σ2 2 σ σ 2 m m (2π ) σσm
1
5
模式识别(第二版)习题解答
i
• 2.2 利用概率论中的乘法定理和全概率公式证明贝叶斯公式（教材中下面的公式有错 误） p(x|wi )P (wi ) P (wi |x) = . p(x) 证明： P (wi |x) = P (wi , x) p(x) p(x|wi )P (wi ) = p(x)
• 2.3 证明：在两类情况下P (wi |x) + P (w2 |x) = 1。 证明： P (w1 |x) + P (w2 |x) = P (w1 , x) P (w2 , x) + p(x) p(x) P (w1 , x) + P (w2 , x) = p(x) p(x) = p(x) =1
• 2.4 分别写出在以下两种情况 1. P (x|w1 ) = P (x|w2 ) 2. P (w1 ) = P (w2 ) 下的最小错误率贝叶斯决策规则。 解： 当P (x|w1 ) = P (x|w2 )时，如果P (w1 ) > P (w2 )，则x ∈ w1 ，否则x ∈ w2 。 当P (w1 ) = P (w2 )时，如果P (x|w1 ) > P (x|w2 )，则x ∈ w1 ，否则x ∈ w2 。 • 2.5 1. 对c类情况推广最小错误率率贝叶斯决策规则； 2. 指出此时使错误率最小等价于后验概率最大，即P (wi |x) > P (wj |x) 对一切j ̸= i 成立时，x ∈ wi 。 2
模式识别(第二版)习题解答
解：对于c类情况，最小错误率贝叶斯决策规则为： 如果 P (wi |x) = max P (wj |x)，则x ∈ wi 。利用贝叶斯定理可以将其写成先验概率和
j =1,...,c
类条件概率相联系的形式，即 如果 p(x|wi )P (wi ) = max p(x|wj )P (wj )，则x ∈ wi 。
1
模式识别(第二版)习题解答
§1
绪论
略
§2
贝叶斯决策理论
• 2.1 如果只知道各类的先验概率，最小错误率贝叶斯决策规则应如何表示？ 解：设一个有C 类，每一类的先验概率为P (wi )，i = 1, ..., C 。此时最小错误率贝叶斯 决策规则为：如果i∗ = max P (wi )，则x ∈ wi 。
d d ∑ ∑ i=1 j =1

h1d h2d (x − u) . . . hdd
hij (xi − ui )(xj − uj )
• 2.18 分别对于d = 2, d = 3证明对应与Mahalanobis距离γ 的超椭球体积是V = Vd |Σ| 2 γ d • 2.19 假定x和m是两个随机变量，并设在给定m时，x的条件密度为 } { 1 1 −1 2 2 2 p(x|m) = (2π ) σ exp − (x − m) /σ 2
p(x|w2 )dx =
R2
p(x|w1 )dx
所以此时最小最大决策面使得P1 (e) = P2 (e) • 2.8 对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出 决策区域是不变的。
3
模式识别(第二版)习题解答
解： 对于同一决策规则（如最小错误率贝叶斯决策规则） ，它的判别函数可以是j ∗ = ∗ max P (wj |x)，则x ∈ wj ∗ 。另外一种形式为j = max p(x|wj )P (wj )，则x ∈ wj ∗ 。