模式识别题目及答案

一、

（15分）设有两类正态分布的样本集，第一类均值为T

1μ=（2,0）,方差

11⎡⎤∑=⎢⎥⎣⎦11/21/2,第二类均值为T

2μ=（2,2）,方差21⎡⎤∑=⎢⎥⎣⎦1-1/2-1/2

，先验概率12()()p p ωω=，试求基于最小错误率的贝叶斯决策分界面。

解 根据后验概率公式()()

()()

i i i p x p p x p x ωωω=

， （2')

及正态密度函数1

()()()/2]T i i i i p x x x ωμμ-=

--∑- ，1,2i =。 （2’） 基于最小错误率的分界面为1122()()()()p x p p x p ωωωω=, （2’） 两边去对数,并代入密度函数，得

1

1

11112222()()/2ln ()()/2ln T

T

x x x x μμμμ----∑--∑=--∑--∑ (1) （2’)

由已知条件可得12∑=∑,11

4/3-⎡⎤∑=⎢⎥⎣⎦4/3-2/3-2/3，21

4/3-⎡⎤∑=⎢⎥⎣⎦

4/32/32/3，

（2’） 设12(,)T

x x x =，把已知条件代入式（1），经整理得

1221440x x x x --+=， (5’）

二、

（15分)设两类样本的类内离散矩阵分别为11S ⎡⎤

=⎢

⎥

⎣⎦

11/21/2， 21S ⎡⎤=⎢⎥⎣⎦

1-1/2-1/2,各类样本均值分别为T 1μ=（1,0），T

2μ=（3,2），试用fisher 准则求其决策面方程，并判断样本T

x =

（2,2）的类别。 解：122S S S ⎡⎤

=+=⎢

⎥⎣⎦

200 （2’) 投影方向为*

1

12-2-1()211/2w S μμ-⎡⎤⎡⎤⎡⎤

=-==⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦

⎣⎦1/200 (6')

阈值为[]*0122()/2-1-131T y w μμ⎡⎤

=+==-⎢⎥⎣⎦

（4’）

给定样本的投影为[]*0-12241T y w x y ⎡⎤

===-<⎢⎥-⎣⎦

， 属于第二类 （3’)

三、 （15分）给定如下的训练样例

实例 x0 x1 x2 t(真实输出）

1 1 1 1 1

2 1 2 0 1

3 1 0 1 —1

4 1 1

2 -1

用感知器训练法则求感知器的权值,设初始化权值为0

120w w w ===；

1 第1次迭代

（4’）

2 第2次迭代

（2'）

3 第3和4次迭代

四、 （15分)

i. 推导正态分布下的最大似然估计；

ii. 根据上步的结论,假设给出如下正态分布下的样本

{}1,1.1,1.01,0.9,0.99，估计该部分的均值和方差两个参数。

1 设样本为K=｛x 1， x

2 ，…， xN } ,

正态密度函数1

()()()/2]T

i i i i p x x x ωμμ-=--∑- (2’)

则似然函数为

121()(|)(,,...,|)(|)

N N

k k l p K p p ====∏θθx x x θx θ (2’）

对数似然函数1

()ln (|)N

k

k H p ==∑θx

θ （2’)

最大似然估计

1

ˆargmax ()argmax ln (|)

ML

n

k k l p ===∑θ

θ

θθx θ （2’）

对于正态分布11

ˆN

ML k

k x

N

μ

==∑，2211ˆˆ()N

ML

k

k x

N

σ

μ

==-∑ （2’） 2 根据1中的结果1

1ˆ=1N

ML k

k x N

μ

==∑，221

1ˆ

ˆ()=0.00404N

ML

k

k x

N

σμ

==-∑ (5’）

五、

（15分）给定样本数据如下：

T （-6,-6），T

（6,6） （1） 对其进行PCA 变换

（2） 用(1）的结果对样本数据做一维数据压缩 解（1）PCA 变换

1 求样本总体均值向量T T T

μ+

==（-6,-6）（6,6）（0,0） 2 求协方差矩阵T T

3636]/23636R ⎡⎤

+=⎢

⎥⎣⎦

=[（-6,-6）（-6,-6）（6,6）（6,6） (2’）

3求特征根，令

3636036

36λλ

-=-,得172λ=,20λ=。 （1’）

由i i i R ϕλϕ=,

得特征向量11/1ϕ⎡⎤

=⎢⎥⎣⎦

211ϕ⎡⎤

=⎢

⎥-⎣⎦

(2’） 则PCA

为126[,]6ϕϕ⎡--⎡⎤=⎢⎢⎥--⎣⎦⎢⎣

，126[,]6ϕϕ⎡⎡⎤=⎢⎢⎥⎣⎦⎢⎣ （5’）

（2）要做一维压缩，就是向最大特征根对应的特征向量做投影，得

- , （5')

六、

（10分)已知4个二维样本： T 1x =（0,0），T 2x =（0,1），T

3x =（1,2），

T

4x =（4,3）。试用层次聚类把样本分成2类。

解：1 初始将每一个样本视为一类，得011{}G x =，022{}G x =，033{}G x =，0

44{}G x =

计算各类间的距离，得到距离矩阵0D ，(2')

2 将最短距离1对应的类011{}G x =，0

22{}G x =合并为一类，得到新的分类： （4’) 1001212{,}G G G =，1033{}G G =，10

44{}G G =

计算各类间的欧式距离，得到距离矩阵1

D (2'）

3 将距离最小两类1001212{,}G G G =和10

33{}G G =合并为一类，得到新的分类

2000123123{,,}G G G G =,2044{}G G =

聚类结束,结果为

1123{,,}x x x ω=，24{}x ω= (2')

七、

（10分)已知4个二维样本：T 1x =（0,0），T 2x =（1,0）,T

3x =（6,4），

T 4x =（7,5），T

5x =（10,9）.取K=3，用K 均值算法做聚类

解: 1

K=3

，

初

始

化

聚

类

中

心

，

T

11(1)z x ==（0,0）

，

T 23(1)z x ==（6,4）,T

35(1)z x ==（10,9） (2’)

2 根据中心进行分类，得112{,}x x ω=，234{,}x x ω=，35{}x ω= （2') 3

更

新

聚

类

中

心

，

T

112(2)()/2z x x =+=（1/2,0）

，

T T T 234(2)()/2z x x =+=+=（6,4）（7,5）（13/2,9/2），T

35(2)z x ==（10,9）

（4’）

4根据新的中心进行分类，得112{,}x x ω=,234{,}x x ω=,35{}x ω=，分类已经不再变化，因此最后的分类结果为112{,}x x ω=，234{,}x x ω=,35{}x ω= (2’)

八、

（10分）设论域1234{,,,}X x x x x =,给定X 上的一个模糊关系~

R ，其模糊矩阵为

10.80.80.20.810.850.20.80.8510.20.20.20.21R ⎡⎤

⎢⎥

⎢

⎥=⎢⎥⎢⎥⎣⎦

（1） 判断该模糊矩阵式模糊相似矩阵还是模糊等价矩阵 （2） 按不同的置信水平0.9,0.8λ

=给出分类结果

解：（1）因为 R R R = (计算过程 ），是模糊等价矩阵 （6')

（2）0.9

1

000010000100001R ⎡⎤⎢⎥⎢⎥=⎢⎥

⎢⎥

⎣⎦

，聚类结果为1234{},{},{},{}x x x x （2'） 0.8

1110111011100

001R ⎡⎤⎢⎥⎢⎥=⎢⎥

⎢⎥

⎣⎦

，聚类结果为1234{,,},{}x x x x （2’)