模式识别感知器算法求判别函数

感知器算法求判别函数一、 实验目的掌握判别函数的概念和性质，并熟悉判别函数的分类方法，通过实验更深入的了解判别函数及感知器算法用于多类的情况，为以后更好的学习模式识别打下基础。

二、 实验内容学习判别函数及感知器算法原理，在MATLAB 平台设计一个基于感知器算法进行训练得到三类分布于二维空间的线性可分模式的样本判别函数的实验，并画出判决面，分析实验结果并做出总结。

三、 实验原理3.1 判别函数概念直接用来对模式进行分类的准则函数。

若分属于ω1，ω2的两类模式可用一方程d (X ) =0来划分，那么称d (X ) 为判别函数，或称判决函数、决策函数。

如，一个二维的两类判别问题，模式分布如图示，这些分属于ω1，ω2两类的模式可用一直线方程 d (X )=0来划分。

其中0)(32211=++=w x w x w d X (1) 21,x x 为坐标变量。

将某一未知模式 X 代入（1）中：若0)(>X d ，则1ω∈X 类；若0)(<X d ，则2ω∈X 类；若0)(=X d ，则21ωω∈∈X X 或或拒绝维数=3时：判别边界为一平面。

维数>3时：判别边界为一超平面[1]。

3.2 感知器算法1958年，(美)F.Rosenblatt 提出，适于简单的模式分类问题。

感知器算法是对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。

但“赏罚概念（ reward-punishment concept ）” 得到广泛应用，感知器算法就是一种赏罚过程[2]。

两类线性可分的模式类 21,ωω，设X W X d T )(=其中，[]T 121,,,,+=n n w w w w ΛW ，[]T211,,,,n x x x Λ=X 应具有性质（2）对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有：（3） 感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。

感知器算法步骤：（1）选择N 个分属于ω1和 ω2类的模式样本构成训练样本集{ X1 ,…, XN }构成增广向量形式，并进行规范化处理。

任取权向量初始值W(1)，开始迭代。

迭代次数k=1。

（2）用全部训练样本进行一轮迭代，计算W T (k )X i 的值，并修正权向量。

分两种情况，更新权向量的值：1. ()，若0≤T i k X W 分类器对第i 个模式做了错误分类，权向量校正为：()()i c k k X W W +=+1 c ：正的校正增量。

2. 若()，0T >i k X W 分类正确，权向量不变：()()k k W W =+1,统一写为：⎩⎨⎧∈<∈>=21T ,0,0)(ωωX X X W X 若若d（4）（3）分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类。

感知器算法是一种赏罚过程：分类正确时，对权向量“赏”——这里用“不罚”，即权向量不变；分类错误时，对权向量“罚”——对其修改，向正确的方向转换[3]。

3.3 感知器算法的流程及框图1、确1定样本：输入向量P、目标向量T。

2、网络大小：根据向量的维数来选择网络规模。

3、初始化：W、b取随机值，范围[-1, +1]。

4、网络输出：根据P、W、b来计算网络的输出Y。

5、学习偏差：E=T-Y。

6、新的网络参数：W΄ = W + E×PT、θ΄ = θ + E （5）反复训练，直到达到目标，或达到最大的训练次数。

图1 感知器算法流程图四、实验结果与分析本次实验先产生了三组服从正态分布的样本，通过感知器算法画出了他们的判别函数如图2所示：图2 画出的判别面得到的判别函数分别是:d1=47.2296x1-92.9167x2+20.0000d2=55.4429x1-80.6872 x2-48.0000d3=-252.8807x1-224.7119x2 -72.0000通过分析上述实验结果，虽然由于感知器算法是俩俩比较，并且是线性分类，所以第三条判别函数可能会穿过第三类样本，但可以看出判别函数把三类样本两两分开，达到了实验的目的，也掌握了感知器算法的原理。

五、总结本文通过研究基于感知器算法进行样本分类，用MATLAB语言设计了程序，结果表明该系统基本实现了要求的功能，但系统也存在第三条判别函数不理想的情况，这也是感知器算法无法实验非线性分类的结果，以后学习其他算法后可以改进。

参考文献[1]夏东盛, 李永涛, 张晓,等. 模式线性可分时的一种单层感知器算法[C]// 中国计算机学会第一届全国Web信息系统及其应用学术会议. 2004:29-31.[2]刘建伟, 申芳林, 罗雄麟. 感知器学习算法研究[J]. 计算机工程, 2010, 第7期(7):190-192.[3]易中凯. 感知器网络学习算法研究与应用[D]. 北京理工大学, 2001.附录程序源代码clear;clc;mu1=[1 2];S1=[0.25 0;0 0.7 ];data1=mvnrnd(mu1,S1,100);mu2=[4 6];S2=[0.5 0 ;0 0.45 ];data2=mvnrnd(mu2,S2,100);mu3=[-5 5];S3=[0.7 0;0 0.4 ];data3=mvnrnd(mu3,S3,100);data=[data1;data2;data3];%生成三组服从正态分布的样本one=zeros(100,1);one(:,1)=1;X1=[data1 one];X2=[data2 one];X3=[data3 one];%增广矩阵W1=[0,0,0];W2=[0,0,0];W3=[0,0,0];%初始权向量while truecounter=0;for i=1:100%对第一组训练样本迭代d11=W1*X1(i,:)'; d12=W2*X1(i,:)'; d13=W3*X1(i,:)';if d11>d12&&d11>d13counter=counter+1;elseW1=W1+2*X1(i,:);W2=W2-2*X1(i,:);W3=W3-2*X1(i,:);endendfor i=1:100%对第二组训练样本迭代d21=W1*X2(i,:)'; d22=W2*X2(i,:)'; d23=W3*X2(i,:)';if d22>d21&&d22>d23counter=counter+1;elseW1=W1-2*X2(i,:);W2=W2+2*X2(i,:);W3=W3-2*X2(i,:);endendfor i=1:100%对第三组训练样本迭代d31=W1*X3(i,:)'; d32=W2*X3(i,:)'; d33=W3*X3(i,:)';if d33>d31&&d33>d32counter=counter+1;elseW1=W1-2*X3(i,:);W2=W2-2*X3(i,:);W3=W3+2*X3(i,:);endendif counter==300breakendendplot(data(:,1),data(:,2),'b.','MarkerSize',6);%绘出三组聚类点hold on;a1=W1(:,1);b1=W1(:,2);c1=W1(:,3);a2=W2(:,1);b2=W2(:,2);c2=W2(:,3);a3=W3(:,1);b3=W3(:,2);c3=W3(:,3);x=linspace(-10,25,1000);y1=-(a1-a3)*x/(b1-b3)-(c1-c3)/(b1-b3);%生成函数y2=-(a2-a1)*x/(b2-b1)-(c2-c1)/(b2-b1);y3=-(a3-a2)*x/(b3-b2)-(c3-c2)/(b3-b2);hold on;plot(x,y1,'c',x,y2,'r',x,y3,'b')%绘出判决面axis([-10 10 -2 10]);hold on; grid on;7 Too late为时太晚The plane was late and detectives were waiting at the airport all morning. They were expecting a valuable parcel of diamon ds from South Africa. A few hours earlier, someone had told t he police that thieves would try to steal the diamonds.When the plane arrived, some of the detectives were wa iting inside the main building while others were waiting on th e airfield. Two men took the parcel off the plane and carried it into the Customs House.While two detectives were keeping guard at the door, two oth ers opened the parcel.To their surprise, the precious parcel was full of stones and sa nd!飞机误点了，侦探们在机场等了整整一上午。

他们正期待从南非钻石的贵重包裹。

几个小时前，有人告诉警察，小偷想偷钻石。

当飞机到达时，一些侦探等候在主楼内，另一部分则等在停机坪。

两个男人带着包裹下了飞机，进了海关。

当两个侦探把住门口，另外两个打开包裹。

令他们吃惊的是，那珍贵的包裹里面装的全是石头和沙子！The best and the worst最好的和最差的Joe Sanders has the most beautiful garden in our tow n. Nearly everybody enters for 'The Nicest Garden Co mpetition' each year, but Joe wins every time. Bill Frith 's garden is larger than Joe's.Bill works harder than Joe and grows more flowers an d vegetables, but Joe's garden is more interesting. He has made neat paths and has built a wooden bridge over a pool.I like gardens too, but I do not like hard work. Every y ear I enter for the garden competition too, and I alwa ys win a little prize for the worst garden in the town!乔〃桑德斯拥有我们镇上最漂亮的花园。