北邮信息工程模式识别实验报告

1.1655 2.5890 2.0071 1.5920 2.5096 2.1465
1.3740 2.8472 2.1831 2.9353 2.7198 1.5673
1.1829 1.9539 1.7909 1.4664 2.3148 2.9414
y2 =
1.0298 1.1405 0.7091 0.8798 1.2833 1.1808 z2 =
1
实验二 基于 Fisher 准则线性分类器设计
1、实验类型
设计型：线性分类器设计（Fisher 准则）
2、实验目的
本实验旨在让同学进一步了解分类器的设计概念， 能够根据自己的设计对线性分类器有 更深刻地认识， 理解 Fisher 准则方法确定最佳线性分界面方法的原理， 以及 Lagrande 乘子 求解的原理。
0.9399 1.4334 1.1833 0.7126 1.3392 1.1288
0.6210 0.9508 1.2159 1.3928 0.7731 0.7548
1.3656 0.7324 1.3049 1.4084 0.7319 0.7393
0.5498 0.5784 1.1408 0.6909 1.3439 0.6739
0.6708 1.4943 0.9398 0.8400 0.8142 0.8651
0.8932 1.0915 0.6197 0.5381 0.9586 1.3699
1.4342 0.7644 0.6603 1.3729 0.7379 1.1458
数据的样本点分布如下图：
5
2 1.5 1 0.5 0 2.5 2 1.5 1 0.5 -2 -1 0 1 2 3
或当 p( )1 与 p( ) 2 已知时可用
~ m ~ ln p( ) / p( ) m 2 1 2 W0 1 2 N N 2 1 2
…… 当 W0 确定之后，则可按以下规则分类，
W T X w0 X 1 W T X w0 X 2
1.5207 0.2518 0.9407 1.0650 1.1653 -0.2015
0.6499 0.6682 -0.2126 -0.0247 1.2653 0.4070
0.7757 0.5622 0.0507 0.1043 0.8137 -0.1717
1.0524 0.9023 -0.0810 0.3122 -0.3399 -1.0573
1.6365 1.5118 2.3939 1.6991 1.7987 2.1614
1.7844 1.9692 1.5648 2.4883 2.0828 1.9235
2.0155 1.8340 1.9329 1.7259 2.0798 2.2604
0.5338 0.6071 1.0072 1.0299 0.7705 0.9751
北京邮电大学实验报告
题目：基于 Fisher 准则线性分类器设计
班级： 专业： 姓名： 学号： 成绩： 信息工程
目录
实验二 基于 Fisher 准则线性分类器设计............................................. 2 1、实验类型......................................................................................... 2 2、实验目的......................................................................................... 2 3、实验条件......................................................................................... 2 4、实验原理......................................................................................... 2 5、实验内容......................................................................................... 3 6、实验要求......................................................................................... 6 7、m 文件程序...................................................................................... 7 8、实验结果和数据........................................................................... 10 9、实验分析....................................................................................... 11 10、实验总结和建议......................................................................... 11
~ m ~ )2 (m 1 2 J F (W ) ~ 2 ~ S1 S 22
1 W * SW (m1 m2 )
上面的公式是使用 Fisher 准则求最佳法线向量的解，该式比较重要。另外，该式这种
2
形式的运算， 我们称为线性变换， 其中 m1 m2 式一个向量，SW 是 SW 的逆矩阵， 如 m1 m2
0.5536 1.0756 1.0992 1.1275 0.8784 0.9548
2 数据点的对应的三维坐标为
4
x2 =
1.4010 1.7632 1.2500 1.3322 2.9313 2.0353
1.2301 1.9739 1.2864 1.1466 1.8349 2.6030
2.0814 2.4152 1.2614 1.7087 1.8340 1.2327
6、实验要求
1) 请把数据作为样本，根据 Fisher 选择投影方向 W 的原则，使原样本向量在 该方向上的投影能兼顾类间分布尽可能分开， 类内样本投影尽可能密集的要 求，求出评价投影方向 W 的函数，并在图形表示出来。并在实验报告中表 示出来，并求使 J F ( w) 取极大值的 w* 。用 matlab 完成 Fisher 线性分类器 的设计，程序的语句要求有注释。 2) 根据上述的结果并判断 （1， 1.5， 0.6） (1.2， 1.0， 0.55)， (2.0， 0.9， 0.68)， (1.2，1.5，0.89)， （0.23，2.33，1.43） ，属于哪个类别，并画出数据分类 相应的结果图，要求画出其在 W 上的投影。 3) 回答如下问题，分析一下 W 的比例因子对于 Fisher 判别函数没有影响的原 因。
6
7、m 文件程序
function fisher %w1 中数据点的坐标 x1 =[0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099]; x2 =[2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604]; x3 =[0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548]; %将 x1、x2、x3 变为行向量 x1=x1(:); x2=x2(:); x3=x3(:); %计算第一类的样本均值向量 m1 m1(1)=mean(x1); m1(2)=mean(x2); m1(3)=mean(x3); %计算第一类样本类内离散度矩阵 S1 S1=zeros(3,3); for i=1:36 S1=S1+[-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)]'*[-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)]; end %w2 的数据点坐标 x4 =[1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414];
3、实验条件
matlab 软件
4、实验原理
线性判别函数的一般形式可表示成
g ( X ) W T X w0 其中 x1 X x d w1 w2 W w d
根据 Fisher 选择投影方向 W 的原则，即使原样本向量在该方向上的投影能兼顾类间分 布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向 W 的函数为：
0.9611 1.0678 1.2942 0.5592 1.1029 0.5503
0.9154 0.8050 1.3744 0.5150 1.2680 1.4708
1.4901 1.2889 0.9387 0.9983 0.7140 1.1435
0.8200 1.4601 1.2266 0.9120 1.2446 0.7679
0.8514 0.4439 0.4272 0.7127 0.4129 0.7840
1.0831 0.4928 0.4353 1.0124 1.0085 0.4158
0.4164 0.5901 0.9869 0.4576 0.7676 1.0315
1.1176 1.0927 0.4841 0.8544 0.8418 0.7533
1.1974 0.1333 0.7315 0.6655 0.5152 -0.2099
2.3385 2.0681 1.8704 2.2027 2.0466 1.9449 z =
2.1946 2.1213 2.2948 2.4568 2.0226 2.3801
1.6730 2.4797 1.7714 1.7523 2.3757 2.2373
使用 Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法 的时间比较早，仍见有人使用。
5、实验内容
已知有两类数据 1 和 2 二者的概率已知 p( )1 =0.6， p( ) 2 =0.4。
3
1 中数据点的坐标对应一一如下：
数据： x =
0.2331 0.2908 -0.5431 0.3345 0.5838 0.7226 y =
*
以上讨论了线性判别函数加权向量 W 的确定方法，并讨论了使 Fisher 准则函数极大的 d 维向量 W
*
的计算方法，但是判别函数中的另一项 W0 尚未确定，一般可采用以下几种方
法确定 W0 如
W0
~ m ~ m 1 2 2
或者
Байду номын сангаас
W0
~ N m ~ N1m ~ 1 2 2 m N1 N 2
1 1 是 d 维， SW 和 SW 都是 d×d 维，得到的 W * 也是一个 d 维的向量。
向量 W 就是使 Fisher 准则函数 J F (W ) 达极大值的解， 也就是按 Fisher 准则将 d 维 X
*
空间投影到一维 Y 空间的最佳投影方向，该向量 W 的各分量值是对原 d 维特征向量求加权 和的权值。