模式识别实验一

模式识别实验一
实验人：胡虎跃（S0704335）
实验题目：极大似然估计和Fisher 线形判别分析
p.127 Prob. 1
(a)、编写程序，对实验数据中的W1的三个特征进行计算，求解最大似然估计u 和δ； (b)、处理二维数据，处理W1中的任意两个特征的组合； (c)、处理三维数据，处理W1中的三个特征的组合；
(d)、在这三维高斯模型可分离的条件下，编写程序估计类别w2中的均值和协方差矩阵中的3个参数；
(e)、比较前4种方式计算出来的均值的异同，并加以解释； (f)、比较前4种方式计算出来的方差的异同，并加以解释。

答：（a ）程序为solution1_1.m 。

试验结果为：
u =-0.0709 -0.6047 -0.9110
σ1 = 0.9062 σ2 =4.2007 σ3 = 4.5419
（b ）、程序为solution1_2.m
处理二维数据，结果见下表：
（c ）、程序为solution1_3.m 处理三维数据，结果如下：
；
∑ =
（d ）、程序为solution1_4.m 试验结果为：
(-0.1126 0.4299 0.0037)μ=；
0.0539 0 0 0 0.0460 0 0 0 0.0073⎛⎫
⎪∑= ⎪ ⎪⎝⎭
；
（e ）、针对1ω这个类别，我们会发现，其实（a ）（b ）（c ）三种计算方法中的对于不同维数的模型所得到的对应列的均值是相等的。

（d ）的结果也是同样的。

（f ）、结论：
A 、通过观察代码的运行结果，我们可以发现，在一维模型中所得到的方差，与在二维模型和三维模型中所得到的协方差阵的对角线上的各个元素是相等的。

B 、如果说三维的高斯模型是可分离的话，从计算得到的结果中我们可以发现：所得到的协方差矩阵中非对角线元素是都为零的，而对角线上对应的元素与所假设一维模型时计算得到的结果则是一致的。

p.129 Prob. 9
(a)、编写用FISHER线性判别方法，对三维数据求最优方向w的通用程序；
(b)、对表格中的类别W2和W3，计算最优方向w;
(c)、画出表示最优方向w的直线，并且标记出投影后的点在直线上的位置；
(d)、在这个子空间中，对每种分布用一维高斯函数拟合，并且求分类决策面；
(e)、(b)中得到的分类器的训练误差是什么？
(f)、为了比较，使用非最优方向w=(1.0,2.0,-1.5)’重复(d)(e)两个步骤。

在这个非最优子空间中，训练误差是什么。

答：（a）、通用程序的源程序见“3－9”文件夹。

（b）、由程序运行结果可知：类别W2和W3的最优方向为
（c）、表示最优方向w的直线如图所示：
投影后的点在直线上的位置见上图中绿色块和直线上的红块，亮绿色的五角星和深蓝色的五角星。

(d)、在这个子空间中，对每种分布用一维高斯函数拟合，结果如图所示：
可以看到，可得w2和w3的分类决策面为X=0.03997。

(e)、因为W2中的点投影后的值为：
第二类中小于0.03997的有一个数据；
W2中的点投影后的值为：
第三类中大于0.03997的有两个个数据。

所以：(b)中得到的分类器的训练误差为：
=(1/10)*0.5+(2/10)*0.5
=0.15
(f)、使用非最优方向w=(1.0,2.0,-1.5)’重复(d)(e)两个步骤，结果如图所示：
将交点放大，可得W2和W3的分类决策面X=-0.1819。

因为W2中的点投影后的值为：
第二类中大于-0.1819的有2个数据；
因为W3中的点投影后的值为：
第三类中小于-0.1819的有三个数据。

所以在这个非最优子空间中，训练误差为：
35 .0
)2/1(
10
/3
)2/1(
10 /4
)3
(
)3
/2
(
)2
(
)2
/3
(
)
(
=
⨯
+
⨯
=
∈
+
∈
=w
p
w
R
x
p
w
p
w
R
x
p
error
p。