模式识别作业

模式识别作业

班级：

学号：

姓名：

一、实验内容

（1）了解与熟悉模式识别系统的基本组成和系统识别原理。

（2）使用增添特征法对特征进行提取与选择。

（3）编写MATLAB程序，对原始数据特征进行提取与选择，并选择适当的分类器对样本进行训练和分类，得出最后的分类结果以及识别正确率。二、实验原理

模式识别系统的原理图如下：

图1.模式识别系统原理图

对原始样本数据进行一些预处理，使用增添特征法进行特征提取与选择。增添特征法也称为顺序前进法（SFS），每次从未选择的特征中选择一个，使得它与已选特征组合后判据值J最大，直到选择的特征数目达到d。特征选取后用SVM分类器对随机选取的训练样本和测试样本进行分类，最后得出不同特征维数下的最高SVM分类正确率，以及不同特征维数下的最大类别可分性判据。

三、实验方法及程序

clear;

clc;

load('C:\Users\Administrator\Desktop\homework\ionosphere.mat');

m1=225;m2=126;

p1=m1/(m1+m2);p2=m2/(m1+m2);

chosen=[];

for j=1:34

[m,n]=size(chosen);n=n+1;

J1=zeros(1,33);

for i=1:34

Sw=zeros(n,n);Sb=zeros(n,n);

S1=zeros(n,n);S2=zeros(n,n);

p=any(chosen==i);

if p==0

temp_pattern1=data(1:225,[chosen i]);

temp_pattern2=data(226:351,[chosen i]);

M1=mean(temp_pattern1);

M2=mean(temp_pattern2);

M0=(225/351)*M1+(126/351)*M2;

for k=1:m1

S1=S1+(temp_pattern1(k,:)-M1)'*(temp_pattern1(k,:)-M1);

end

S1=S1/m1;

for k=1:m2

S2=S2+(temp_pattern2(k,:)-M2)'*(temp_pattern2(k,:)-M2);

end

S2=S2/m2;

Sw=p1*S1+p2*S2;

Sb=p1*((M1-M0)'*(M1-M0))+p2*((M2-M0)'*(M2-M0));

J1(i)=trace((Sw^-1)*Sb);

end

end

[maxr,k]=max(J1);

JJ(j)=maxr;

chosen=[chosen k];

s_data1=data(1:m1,chosen);

s_data2=data(m1+1:m1+m2,chosen);

for i=1:10

a=randperm(m1);b=randperm(m2);

train_data=[s_data1(a(1:50),:);s_data2(b(1:50),:)];

train_label=[ones(1,50)';2*ones(1,50)'];

test_data=[s_data1(a(51:m1),:);s_data2(b(51:m2),:)];

test_label=[ones(1,m1-50)';2*ones(1,m2-50)'];

model=svmtrain(train_label,train_data);

[predict_label,accuracy]=svmpredict(test_label,test_data,model);

accuracy1(i)=accuracy(1);

end

accuracy2(j)=mean(accuracy1);

end

figure;plot(accuracy2);

xlabel('目标特征维数');ylabel('最高SVM分类正确率');

figure;plot(JJ);

xlabel(目标特征维数');ylabel('最大类别可分性判据J');

四、实验结果及分析

实验结果图如下：

图2.最大类别可分性判据与目标特征维数的关系图

图3.最高SVM分类正确率与目标特征维数关系图

由最大类别可分性判据与目标特征维数的关系图可知，在总体趋势上，最大类别可分性判据随着目标特征维数的增加而增加，当目标特征维数增加到一定值时，J的增量变小，增长速度减缓。由最高SVM分类正确率与目标特征维数关系图可知，在总体趋势上，最高SVM分类正确率随着目标特征维数的增加而增加。当特征维数到8左右时，正确率逐渐趋于稳定，最高可达到94.4223%，由此可知，我们可以通过增添特征法选取最恰当的特征分量，在目标特征维数较小的情况下达到较高的分类正确率。