模式识别-作业4

第五章作业： 作业一：
设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求S w 和S b
ω1：{(1 0)T , (2 0) T , (1 1) T }
ω2：{(-1 0)T , (0 1) T , (-1 1) T } ω3：{(-1 -1)T , (0 -1) T , (0 -2) T } 答案：
由于三类样本集的先验概率相等，则概率均为1/3。

多类情况的类内散布矩阵，可写成各类的类内散布矩阵的先验概率的加权和，即：
∑∑===
--=
c
i
i i T
i i c
i
i w C m x m x E P S 1
1
}|))(({)(ωω 其中C i 是第i 类的协方差矩阵。

其中1m =
,2m =
则=++=321S w w w w S S S 1/3
+
+
=
类间散布矩阵常写成：
T
i i c
i
i b m m m m P S ))(()(001
--=
∑=ω
其中，m 0为多类模式（如共有c 类）分布的总体均值向量，即：
c i m P x E m i c
i
i i ,,2,1,,)(}{1
0K =∀=
=∑=ωω
0m =
=
则
T
i i c
i
i b m m m m P S ))(()(001
--=
∑=ω=++
=
作业二：
设有如下两类样本集，其出现的概率相等：
ω1：{(0 0 0)T , (1 0 0) T ,
(1 0 1) T , (1 1 0) T } ω2：{(0 0 1)T , (0 1 0) T , (0 1 1) T , (1 1 1) T }
用K-L 变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。

答案：
=+=∑∑==i
i
N j
j N j
j x x m 1
21
1）4
1
4
1
（
21
将所有这些样本的各分量都减去0.5，便可以将所有这些样本
的均值移到原点，即(0,0,0)点。

新得到的两类样本集为：
ω1：{(-0.5-0.5-0.5)T , (0.5-0.5-0.5) T ,
(0.5-0.50.5) T , (0.50.5-0.5) T } ω2：{(-0.5-0.50.5)T , (-0.50.5-0.5) T , (-0.50.50.5) T , (0.50.50.5) T }
I 25.04
1214121
}{)(4
1
224
1112
1
=⎥⎦
⎤
⎢⎣⎡+⎥⎦⎤⎢⎣⎡=
=∑∑∑===j T j j j T
j
j i T
i x x x x xx E P R ω
解特征值方程|R-λI|=0，求R 的特征值。

求得特征值λ1=0.25，λ2=0.25，λ3=0.25 其对应的特征向量可由R Фi =λi Фi 求得：
⎪⎪⎪⎭⎫ ⎝⎛=Φ0011，⎪⎪⎪⎭⎫ ⎝⎛=Φ0102，⎪⎪⎪⎭
⎫ ⎝⎛=Φ1003
1、将其降到二维的情况：
选λ1和λ2对应的变换向量作为变换矩阵，由y=ФT x 得变换后的二维模式特征为：
ω1：{(-0.5-0.5)T , (0.5-0.5) T , (0.5-0.5) T , (0.50.5) T } ω2：{(-0.5-0.5)T , (-0.50.5) T , (-0.50.5) T , (0.50.5) T } 2、将其降到一维的情况：
选λ1对应的变换向量作为变换矩阵，由y=ФT x 得变换后的一维模式特征为：
{}0.5,0.5,0.5,0.5:1-ω{}0.5,0.5,0.5,0.5:2---ω。