模式识别最近邻和fisher分类matlab实验报告

一、Fisher 线性判别
Fisher 线性判别是统计模式识别的基本方法之一。

它简单，容易实现，且计算量和存储量小，是实际应用中最常用的方法之一。

Fisher 判别法Fisher 在1936年发表的论文中首次提出的线性判别法。

Fisher 判别法的基本思想是寻找一个最好的投影，当特征向量x 从d 维空间映射到这个方向时，两类能最好的分开。

这个方法实际上涉及到特征维数的压缩问题。

一维空间的Fisher 线性判别函数为：
2
1212
()()F m m J w S S -=
+ （1）
i m =
∑x N
1,i=1,2 （2）
2,1,)()(=--=∑∈i m x m x S T i x i i i
ξ （3）
其中，1m 和2m 是两个样本的均值，1S ，2S 分别为各类样本的的类内离散度。

投影方向w 为：
)(211
m m S w w -=- （4）
12w S S S =+ （5）
在Fisher 判决函数中，分子反应了映射后两类中心的距离平方，该值越大，类
间可分性越好；分母反应了两类的类内的离散度，其值越小越好；从总体上讲，
()F J w 的值越大越好，在这种可分性评价标准下，使()F J w 达到最大值的w 即为最佳投影方向。

1.1、 Fisher线性判别实验流程图
1.2 Fisher线性判别mtalab代码
data=importdata('C:\Users\zzd\Desktop\data-ch5.mat'); data1=data.data;
data2=bel;
sample1=data1(1:25,:);
sample2=data1(51:75,:);
sample=[sample1
sample2];
sp_l=data2(26:75);
test1=data1(26:50,:);
test2=data1(76:100,:);
test=[test1
test2];
lth=zeros(50,50);
sample_m1=mean(sample1);
sample_m2=mean(sample2);
m1=sample_m1';
m2=sample_m2';
sb=(m1-m2)*(m1-m2)';
s1=zeros(2);
for n=1:25
temp = (sample1(n,:)'-m1)*(sample1(n,:)'-m1)';
s1=s1+temp;
end;
s2=zeros(2);
for n=1:25
temp = (sample2(n,:)'-m2)*(sample2(n,:)'-m2)';
s2 = s2+temp;
end;
sw=s1+s2;
vw=inv(sw)*(m1-m2);
a_m1 = vw'*m1;
a_m2 = vw'*m2;
w0 = (a_m1+a_m2)/2;
for n=1:50
if(vw'*test(n,:)' - w0>0)
m1(n,:)=1;
else
m1(n,:)=2;
end;
end;
m1;
count1=0;
count2=0;
for n=1:25
if m1(n,:)==sp_l(n,:)
count1=count1+1;
else
n
end
if m1(n+25,:)==sp_l(25+n,:)
count2=count2+1;
else
n+25
end
end
class1_rate=count1/25
class2_rate=count2/25
plot(sample(1:25,1),sample(1:25,2),'r.'); hold on ;
plot(test(1:25,1),test(1:25,2),'b.');
plot(sample(26:50,1),sample(26:50,2),'m.'); plot(test(26:50,1),test(26:50,2),'g.');
x1 = [-2:0.01:4];
y1 = x1*vw(2)/vw(1);
plot(x1,y1);
1.3 Fisher线性判别实验运行结果class1_rate =
0.8000
class2_rate =
0.8400
二、近邻法
邻近法最初由Court 和Hart 于1968年提出的。

它是一种理论上比较成熟的方
法，也是一种简单、有效、非参数的机器学习算法之一，并且取得了较好的效果.。

其基本思想是在训练样本中找到测试样本的最近邻，然后根据这个最近邻样本的类别来决定测试样本的类别，如图1所示。

邻近法算法所选择的邻居都是已经正确分类的对象。

邻近法虽然从原理上也依赖于极限定理，但在类别决策时，只与最相邻的样本有关。

该算法在分类时的不足主要有：如果样本数目太少，样本的分布可能会带有很大的偶然性，不一定能很好地代表数据内的分布情况，此时就会影响最近邻法的性能。

该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的最近邻点。

如果写成判别函数的形式，i w 类的判别函数可以写作：
1,...,(),
min ()k k i c
g x x i g x ω==
∈则 （6）
决策规则为各类的判别函数比较大小，即
1,...,(),
min ()k k i c
g x x i g x ω==
∈则 （7）
2.1 邻近法分类流程图
2.2 邻近法分类实验matlab代码
data=importdata('C:\Users\zzd\Desktop\data-ch5.mat');
data1=data.data;
data2=bel;
sample1=data1(1:25,:);
sample2=data1(51:75,:);
sample=[sample1
sample2];
sp_l=data2(26:75);
test1=data1(26:50,:);
test2=data1(76:100,:);
test=[test1
test2];
% plot(test(:,1),test(:,2),'.');
lth=zeros(50,50);
for n=1:50
for i=1:50
lth(n,i)=((test(n,1)-sample(i,1))^2+(test(n,2)-sample(i,2))^2)^(1/2); end
end
lth=lth';
[a,b]=min(lth);
c1=0;c2=0;
for k=1:25
if b(k)<=25
c1=c1+1;
else
k
end
if b(k+25)>25
c2=c2+1;
else
k+25
end
end
class1_rate=c1/25
class2_rate=c2/25
figure
plot(sample(1:25,1),sample(1:25,2),'r.'); hold on ;
plot(test(1:25,1),test(1:25,2),'b.');
plot(sample(26:50,1),sample(26:50,2),'m.'); plot(test(26:50,1),test(26:50,2),'g.');
2.3 近邻法分类实验运行结果
class1_rate =
0.9600
class2_rate =
0.8800
三、实验总结
比较两类的分类结果可以得出：用fisher线性判别分析方法得到的类1类2的识别率分别是80%和84%；而用近邻法得到的识别率分别为96%和88%。

因此近邻法的识别率要高于fisher线性判别，主要原因是这两种类型的点相对集中，有一定的规律，但是线性不可分，存在交叠的情况。

在这个分类实验中近邻法有着较高的识别率，但是如果对样本数目少或规律比较复杂的样本，选择近邻法得到的结果可能会大打折扣。

因此要根据具体的应用场合来选择合适的分类方法。