模式识别题目及答案

一、

（15分）设有两类正态分布的样本集，第一类均值为T

1μ=（2,0），方差

11⎡⎤∑=⎢⎥⎣⎦11/21/2，第二类均值为T

2μ=（2,2），方差21⎡⎤∑=⎢⎥⎣⎦1-1/2-1/2

，先验概率12()()p p ωω=，试求基于最小错误率的贝叶斯决策分界面。

解 根据后验概率公式()()

()()

i i i p x p p x p x ωωω=

， (2’)

及正态密度函数1

()()()/2]T i i i i p x x x ωμμ-=

--∑- ,1,2i =。 (2’) 基于最小错误率的分界面为1122()()()()p x p p x p ωωωω=， (2’) 两边去对数，并代入密度函数，得

1

1

11112222()()/2ln ()()/2ln T

T

x x x x μμμμ----∑--∑=--∑--∑ (1) (2’)

由已知条件可得12∑=∑，11

4/3-⎡⎤∑=⎢⎥⎣⎦4/3-2/3-2/3，21

4/3-⎡⎤∑=⎢⎥⎣⎦

4/32/32/3，(2’)

设12(,)T

x x x =，把已知条件代入式（1），经整理得

1221440x x x x --+=， (5’)

二、

（15分）设两类样本的类内离散矩阵分别为11S ⎡⎤

=⎢

⎥

⎣⎦

11/21/2, 21S ⎡⎤=⎢⎥⎣⎦

1-1/2-1/2,各类样本均值分别为T 1μ=（1,0），T

2μ=（3,2），试用fisher 准则求其决策面方程，并判断样本T

x =

（2,2）的类别。 解：122S S S ⎡⎤

=+=⎢

⎥⎣⎦

200 (2’) 投影方向为*

1

12-2-1()211/2w S μμ-⎡⎤⎡⎤⎡⎤

=-==⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦

⎣⎦1/200 (6’)

阈值为[]*0122()/2-1-131T y w μμ⎡⎤

=+==-⎢⎥⎣⎦

(4’)

给定样本的投影为[]*0-12241T y w x y ⎡⎤

===-<⎢⎥-⎣⎦

， 属于第二类 (3’)

三、 （15分）给定如下的训练样例

实例 x0 x1 x2 t(真实输出) 1 1 1 1 1 2 1 2 0 1 3 1 0 1 -1 4 1 1 2 -1

用感知器训练法则求感知器的权值，设初始化权值为0120w w w ===；

1 第1次迭代

（4’）

2 第2次迭代

（2’）

3 第3和4次迭代

四、 （15分）

i. 推导正态分布下的最大似然估计；

ii. 根据上步的结论，假设给出如下正态分布下的样本

{}1,1.1,1.01,0.9,0.99，估计该部分的均值和方差两个参数。

1 设样本为K={x 1, x

2 ,…, xN } ，

正态密度函数1

()()()/2]T

i i i i p x x x ωμμ-=--∑- (2’)

则似然函数为

121()(|)(,,...,|)(|)

N N

k k l p K p p ====∏θθx x x θx θ (2’)

对数似然函数1

()ln (|)N

k

k H p ==∑θx

θ (2’)

最大似然估计

1

ˆargmax ()argmax ln (|)

ML

n

k k l p ===∑θ

θ

θθx θ (2’)

对于正态分布11

ˆN

ML k

k x

N

μ

==∑，2211ˆˆ()N

ML

k

k x

N

σ

μ

==-∑ (2’) 2 根据1中的结果1

1ˆ=1N

ML k

k x N

μ

==∑，221

1ˆ

ˆ()=0.00404N

ML

k

k x

N

σμ

==-∑ (5’)

五、

（15分）给定样本数据如下：

T （-6,-6），T

（6,6） （1） 对其进行PCA 变换

（2） 用（1）的结果对样本数据做一维数据压缩 解（1）PCA 变换

1 求样本总体均值向量T T T

μ+

==（-6,-6）（6,6）（0,0） 2 求协方差矩阵T T

3636]/23636R ⎡⎤

+=⎢

⎥⎣⎦

=[（-6,-6）（-6,-6）（6,6）（6,6） (2’)

3求特征根，令

3636036

36λλ

-=-，得172λ=，20λ=。 (1’)

由i i i R ϕλϕ=

，得特征向量111ϕ⎡⎤

=⎢⎥⎣⎦

，211ϕ⎡⎤

=⎢

⎥-⎣⎦

(2’) 则PCA

为126[,]6ϕϕ⎡--⎡⎤=⎢⎢⎥--⎣⎦⎢⎣

，126[,]6ϕϕ⎡⎡⎤=⎢⎢⎥⎣⎦⎢⎣ (5’)

（2）要做一维压缩，就是向最大特征根对应的特征向量做投影，得