模式识别-作业4

第五章作业： 作业一：

设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求S w 和S b

ω1：{(1 0)T , (2 0) T , (1 1) T }

ω2：{(-1 0)T , (0 1) T , (-1 1) T } ω3：{(-1 -1)T , (0 -1) T , (0 -2) T } 答案：

由于三类样本集的先验概率相等，则概率均为1/3。

多类情况的类内散布矩阵，可写成各类的类内散布矩阵的先验概率的加权和，即：

∑∑===

--=

c

i

i i T

i i c

i

i w C m x m x E P S 1

1

}|))(({)(ωω 其中C i 是第i 类的协方差矩阵。 其中1m =

,2m =

则=++=321S w w w w S S S 1/3

+

+

=

类间散布矩阵常写成：

T

i i c

i

i b m m m m P S ))(()(001

--=

∑=ω

其中，m 0为多类模式（如共有c 类）分布的总体均值向量，即：

c i m P x E m i c

i

i i ,,2,1,,)(}{1

0K =∀=

=∑=ωω

0m =

=

则

T

i i c

i

i b m m m m P S ))(()(001

--=

∑=ω=++

=

作业二：

设有如下两类样本集，其出现的概率相等：

ω1：{(0 0 0)T , (1 0 0) T ,

(1 0 1) T , (1 1 0) T } ω2：{(0 0 1)T , (0 1 0) T , (0 1 1) T , (1 1 1) T }

用K-L 变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。 答案：

=+=∑∑==i

i

N j

j N j

j x x m 1

21

1）4

1

4

1

（

21

将所有这些样本的各分量都减去0.5，便可以将所有这些样本

的均值移到原点，即(0,0,0)点。

新得到的两类样本集为：

ω1：{(-0.5-0.5-0.5)T , (0.5-0.5-0.5) T ,

(0.5-0.50.5) T , (0.50.5-0.5) T } ω2：{(-0.5-0.50.5)T , (-0.50.5-0.5) T , (-0.50.50.5) T , (0.50.50.5) T }

I 25.04

1214121

}{)(4

1

224

1112

1

=⎥⎦

⎤

⎢⎣⎡+⎥⎦⎤⎢⎣⎡=

=∑∑∑===j T j j j T

j

j i T

i x x x x xx E P R ω

解特征值方程|R-λI|=0，求R 的特征值。 求得特征值λ1=0.25，λ2=0.25，λ3=0.25 其对应的特征向量可由R Фi =λi Фi 求得：

⎪⎪⎪⎭⎫ ⎝⎛=Φ0011，⎪⎪⎪⎭⎫ ⎝⎛=Φ0102，⎪⎪⎪⎭

⎫ ⎝⎛=Φ1003

1、将其降到二维的情况：

选λ1和λ2对应的变换向量作为变换矩阵，由y=ФT x 得变换后的二维模式特征为：

ω1：{(-0.5-0.5)T , (0.5-0.5) T , (0.5-0.5) T , (0.50.5) T } ω2：{(-0.5-0.5)T , (-0.50.5) T , (-0.50.5) T , (0.50.5) T } 2、将其降到一维的情况：

选λ1对应的变换向量作为变换矩阵，由y=ФT x 得变换后的一维模式特征为：

{}0.5,0.5,0.5,0.5:1-ω{}0.5,0.5,0.5,0.5:2---ω