模式识别课本作业
模式识别大作业02125128(修改版)
模式识别大作业班级 021252 姓名 谭红光 学号 021251281.线性投影与Fisher 准则函数各类在d 维特征空间里的样本均值向量：∑∈=ik X x kii xn M 1，2,1=i (1)通过变换w 映射到一维特征空间后，各类的平均值为：∑∈=ik Y y kii yn m 1，2,1=i (2)映射后，各类样本“类内离散度”定义为：22()k ii k i y Y S y m ∈=-∑，2,1=i (3)显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。
因此，定义Fisher 准则函数：2122212||()F m m J w s s -=+ (4)使FJ 最大的解*w 就是最佳解向量，也就是Fisher 的线性判别式. 从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。
已知：∑∈=ik Y y kii yn m 1，2,1=i , 依次代入上两式，有：i TX x ki Tk X x Ti i M w x n w x w n m ik ik ===∑∑∈∈)1(1，2,1=i (5) 所以：221221221||)(||||||||M M w M w M w m m T T T -=-=-w S w w M M M M w b T T T =--=))((2121 (6)其中：Tb M M M M S ))((2121--= (7)bS 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，b S 越大越容易区分。
将(4.5-6)i Ti M w m =和(4.5-2)∑∈=ik X x kii xn M 1代入(4.5-4)2iS 式中：∑∈-=ik X x iT k T i M w x w S 22)(∑∈⋅--⋅=ik X x Tik i k T w M x M x w ))(( w S w i T= (8)其中：T iX x k i k i M x M x S ik ))((--=∑=，2,1=i (9)因此：w S w w S S w S S w T T =+=+)(212221 (10)显然：21S S S w += (11)w S 称为原d 维特征空间里，样本“类内离散度”矩阵。
模式识别大作业
模式识别大作业1.最近邻/k近邻法一.基本概念：最近邻法：对于未知样本x，比较x与N个已知类别的样本之间的欧式距离，并决策x与距离它最近的样本同类。
K近邻法：取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归为哪一类。
K取奇数，为了是避免k1=k2的情况。
二.问题分析：要判别x属于哪一类，关键要求得与x最近的k个样本（当k=1时，即是最近邻法），然后判别这k个样本的多数属于哪一类。
可采用欧式距离公式求得两个样本间的距离s=sqrt（（x1-x2）^2+(y1-y2)^2）三.算法分析：该算法中任取每类样本的一半作为训练样本，其余作为测试样本。
例如iris中取每类样本的25组作为训练样本，剩余25组作为测试样本，依次求得与一测试样本x距离最近的k 个样本，并判断k个样本多数属于哪一类，则x就属于哪类。
测试10次，取10次分类正确率的平均值来检验算法的性能。
四.MATLAB代码：最近邻算实现对Iris分类clc;totalsum=0;for ii=1:10data=load('iris.txt');data1=data(1:50,1:4);%任取Iris-setosa数据的25组rbow1=randperm(50);trainsample1=data1(rbow1(:,1:25),1:4);rbow1(:,26:50)=sort(rbow1(:,26:50));%剩余的25组按行下标大小顺序排列testsample1=data1(rbow1(:,26:50),1:4);data2=data(51:100,1:4);%任取Iris-versicolor数据的25组rbow2=randperm(50);trainsample2=data2(rbow2(:,1:25),1:4);rbow2(:,26:50)=sort(rbow2(:,26:50));testsample2=data2(rbow2(:,26:50),1:4);data3=data(101:150,1:4);%任取Iris-virginica数据的25组rbow3=randperm(50);trainsample3=data3(rbow3(:,1:25),1:4);rbow3(:,26:50)=sort(rbow3(:,26:50));testsample3=data3(rbow3(:,26:50),1:4);trainsample=cat(1,trainsample1,trainsample2,trainsample3);%包含75组数据的样本集testsample=cat(1,testsample1,testsample2,testsample3);newchar=zeros(1,75);sum=0;[i,j]=size(trainsample);%i=60,j=4[u,v]=size(testsample);%u=90,v=4for x=1:ufor y=1:iresult=sqrt((testsample(x,1)-trainsample(y,1))^2+(testsample(x,2) -trainsample(y,2))^2+(testsample(x,3)-trainsample(y,3))^2+(testsa mple(x,4)-trainsample(y,4))^2); %欧式距离newchar(1,y)=result;end;[new,Ind]=sort(newchar);class1=0;class2=0;class3=0;if Ind(1,1)<=25class1=class1+1;elseif Ind(1,1)>25&&Ind(1,1)<=50class2=class2+1;elseclass3=class3+1;endif class1>class2&&class1>class3m=1;ty='Iris-setosa';elseif class2>class1&&class2>class3m=2;ty='Iris-versicolor';elseif class3>class1&&class3>class2m=3;ty='Iris-virginica';elsem=0;ty='none';endif x<=25&&m>0disp(sprintf('第%d组数据分类后为%s类',rbow1(:,x+25),ty));elseif x<=25&&m==0disp(sprintf('第%d组数据分类后为%s类',rbow1(:,x+25),'none'));endif x>25&&x<=50&&m>0disp(sprintf('第%d组数据分类后为%s类',50+rbow2(:,x),ty));elseif x>25&&x<=50&&m==0disp(sprintf('第%d组数据分类后为%s类',50+rbow2(:,x),'none'));endif x>50&&x<=75&&m>0disp(sprintf('第%d组数据分类后为%s类',100+rbow3(:,x-25),ty));elseif x>50&&x<=75&&m==0disp(sprintf('第%d组数据分类后为%s类',100+rbow3(:,x-25),'none'));endif (x<=25&&m==1)||(x>25&&x<=50&&m==2)||(x>50&&x<=75&&m==3)sum=sum+1;endenddisp(sprintf('第%d次分类识别率为%4.2f',ii,sum/75));totalsum=totalsum+(sum/75);enddisp(sprintf('10次分类平均识别率为%4.2f',totalsum/10));测试结果：第3组数据分类后为Iris-setosa类第5组数据分类后为Iris-setosa类第6组数据分类后为Iris-setosa类第7组数据分类后为Iris-setosa类第10组数据分类后为Iris-setosa类第11组数据分类后为Iris-setosa类第12组数据分类后为Iris-setosa类第14组数据分类后为Iris-setosa类第16组数据分类后为Iris-setosa类第18组数据分类后为Iris-setosa类第19组数据分类后为Iris-setosa类第20组数据分类后为Iris-setosa类第23组数据分类后为Iris-setosa类第24组数据分类后为Iris-setosa类第26组数据分类后为Iris-setosa类第28组数据分类后为Iris-setosa类第30组数据分类后为Iris-setosa类第31组数据分类后为Iris-setosa类第34组数据分类后为Iris-setosa类第37组数据分类后为Iris-setosa类第39组数据分类后为Iris-setosa类第41组数据分类后为Iris-setosa类第44组数据分类后为Iris-setosa类第45组数据分类后为Iris-setosa类第49组数据分类后为Iris-setosa类第53组数据分类后为Iris-versicolor类第54组数据分类后为Iris-versicolor类第55组数据分类后为Iris-versicolor类第57组数据分类后为Iris-versicolor类第58组数据分类后为Iris-versicolor类第59组数据分类后为Iris-versicolor类第60组数据分类后为Iris-versicolor类第61组数据分类后为Iris-versicolor类第62组数据分类后为Iris-versicolor类第68组数据分类后为Iris-versicolor类第70组数据分类后为Iris-versicolor类第71组数据分类后为Iris-virginica类第74组数据分类后为Iris-versicolor类第75组数据分类后为Iris-versicolor类第77组数据分类后为Iris-versicolor类第79组数据分类后为Iris-versicolor类第80组数据分类后为Iris-versicolor类第84组数据分类后为Iris-virginica类第85组数据分类后为Iris-versicolor类第92组数据分类后为Iris-versicolor类第95组数据分类后为Iris-versicolor类第97组数据分类后为Iris-versicolor类第98组数据分类后为Iris-versicolor类第99组数据分类后为Iris-versicolor类第102组数据分类后为Iris-virginica类第103组数据分类后为Iris-virginica类第105组数据分类后为Iris-virginica类第106组数据分类后为Iris-virginica类第107组数据分类后为Iris-versicolor类第108组数据分类后为Iris-virginica类第114组数据分类后为Iris-virginica类第118组数据分类后为Iris-virginica类第119组数据分类后为Iris-virginica类第124组数据分类后为Iris-virginica类第125组数据分类后为Iris-virginica类第126组数据分类后为Iris-virginica类第127组数据分类后为Iris-virginica类第128组数据分类后为Iris-virginica类第129组数据分类后为Iris-virginica类第130组数据分类后为Iris-virginica类第133组数据分类后为Iris-virginica类第135组数据分类后为Iris-virginica类第137组数据分类后为Iris-virginica类第142组数据分类后为Iris-virginica类第144组数据分类后为Iris-virginica类第148组数据分类后为Iris-virginica类第149组数据分类后为Iris-virginica类第150组数据分类后为Iris-virginica类k近邻法对wine分类：clc;otalsum=0;for ii=1:10 %循环测试10次data=load('wine.txt');%导入wine数据data1=data(1:59,1:13);%任取第一类数据的30组rbow1=randperm(59);trainsample1=data1(sort(rbow1(:,1:30)),1:13);rbow1(:,31:59)=sort(rbow1(:,31:59)); %剩余的29组按行下标大小顺序排列testsample1=data1(rbow1(:,31:59),1:13);data2=data(60:130,1:13);%任取第二类数据的35组rbow2=randperm(71);trainsample2=data2(sort(rbow2(:,1:35)),1:13);rbow2(:,36:71)=sort(rbow2(:,36:71));testsample2=data2(rbow2(:,36:71),1:13);data3=data(131:178,1:13);%任取第三类数据的24组rbow3=randperm(48);trainsample3=data3(sort(rbow3(:,1:24)),1:13);rbow3(:,25:48)=sort(rbow3(:,25:48));testsample3=data3(rbow3(:,25:48),1:13);train_sample=cat(1,trainsample1,trainsample2,trainsample3);%包含89组数据的样本集test_sample=cat(1,testsample1,testsample2,testsample3);k=19;%19近邻法newchar=zeros(1,89);sum=0;[i,j]=size(train_sample);%i=89,j=13[u,v]=size(test_sample);%u=89,v=13for x=1:ufor y=1:iresult=sqrt((test_sample(x,1)-train_sample(y,1))^2+(test_sample(x ,2)-train_sample(y,2))^2+(test_sample(x,3)-train_sample(y,3))^2+( test_sample(x,4)-train_sample(y,4))^2+(test_sample(x,5)-train_sam ple(y,5))^2+(test_sample(x,6)-train_sample(y,6))^2+(test_sample(x ,7)-train_sample(y,7))^2+(test_sample(x,8)-train_sample(y,8))^2+( test_sample(x,9)-train_sample(y,9))^2+(test_sample(x,10)-train_sa mple(y,10))^2+(test_sample(x,11)-train_sample(y,11))^2+(test_samp le(x,12)-train_sample(y,12))^2+(test_sample(x,13)-train_sample(y, 13))^2); %欧式距离newchar(1,y)=result;end;[new,Ind]=sort(newchar);class1=0;class 2=0;class 3=0;for n=1:kif Ind(1,n)<=30class 1= class 1+1;elseif Ind(1,n)>30&&Ind(1,n)<=65class 2= class 2+1;elseclass 3= class3+1;endendif class 1>= class 2&& class1>= class3m=1;elseif class2>= class1&& class2>= class3m=2;elseif class3>= class1&& class3>= class2m=3;endif x<=29disp(sprintf('第%d组数据分类后为第%d类',rbow1(:,30+x),m));elseif x>29&&x<=65disp(sprintf('第%d组数据分类后为第%d类',59+rbow2(:,x+6),m));elseif x>65&&x<=89disp(sprintf('第%d组数据分类后为第%d类',130+rbow3(:,x-41),m));endif (x<=29&&m==1)||(x>29&&x<=65&&m==2)||(x>65&&x<=89&&m==3) sum=sum+1;endenddisp(sprintf('第%d次分类识别率为%4.2f',ii,sum/89));totalsum=totalsum+(sum/89);enddisp(sprintf('10次分类平均识别率为%4.2f',totalsum/10));第2组数据分类后为第1类第4组数据分类后为第1类第5组数据分类后为第3类第6组数据分类后为第1类第8组数据分类后为第1类第10组数据分类后为第1类第11组数据分类后为第1类第14组数据分类后为第1类第16组数据分类后为第1类第19组数据分类后为第1类第20组数据分类后为第3类第21组数据分类后为第3类第22组数据分类后为第3类第26组数据分类后为第3类第27组数据分类后为第1类第28组数据分类后为第1类第30组数据分类后为第1类第33组数据分类后为第1类第36组数据分类后为第1类第37组数据分类后为第1类第43组数据分类后为第1类第44组数据分类后为第3类第45组数据分类后为第1类第46组数据分类后为第1类第49组数据分类后为第1类第54组数据分类后为第1类第56组数据分类后为第1类第57组数据分类后为第1类第60组数据分类后为第2类第61组数据分类后为第3类第63组数据分类后为第3类第65组数据分类后为第2类第66组数据分类后为第3类第67组数据分类后为第2类第71组数据分类后为第1类第72组数据分类后为第2类第74组数据分类后为第1类第76组数据分类后为第2类第77组数据分类后为第2类第79组数据分类后为第3类第81组数据分类后为第2类第82组数据分类后为第3类第83组数据分类后为第3类第84组数据分类后为第2类第86组数据分类后为第2类第87组数据分类后为第2类第88组数据分类后为第2类第93组数据分类后为第2类第96组数据分类后为第1类第98组数据分类后为第2类第99组数据分类后为第3类第102组数据分类后为第2类第104组数据分类后为第2类第105组数据分类后为第3类第106组数据分类后为第2类第110组数据分类后为第3类第113组数据分类后为第3类第114组数据分类后为第2类第115组数据分类后为第2类第116组数据分类后为第2类第118组数据分类后为第2类第122组数据分类后为第2类第123组数据分类后为第2类第124组数据分类后为第2类第133组数据分类后为第3类第134组数据分类后为第3类第135组数据分类后为第2类第136组数据分类后为第3类第140组数据分类后为第3类第142组数据分类后为第3类第144组数据分类后为第2类第145组数据分类后为第1类第146组数据分类后为第3类第148组数据分类后为第3类第149组数据分类后为第2类第152组数据分类后为第2类第157组数据分类后为第2类第159组数据分类后为第3类第161组数据分类后为第2类第162组数据分类后为第3类第163组数据分类后为第3类第164组数据分类后为第3类第165组数据分类后为第3类第167组数据分类后为第3类第168组数据分类后为第3类第173组数据分类后为第3类第174组数据分类后为第3类2.Fisher线性判别法Fisher 线性判别是统计模式识别的基本方法之一。
模式识别作业三道习题
K7 ( X ) K6 ( X ) 1 第八步：取 X 4 w2 ， K 7 ( X 4 ) 32 0 ，故 0 K8 ( X ) K 7 ( X ) 0 第九步：取 X 1 w1 ， K8 ( X 1 ) 32 0 ，故 1 K 9 ( X ) K8 ( X ) 0 第十步：取 X 2 w1 ， K9 ( X 2 ) 32 0 ，故 1 K10 ( X ) K9 ( X )
2
K ( X , X k ) exp{ || X X k || 2} exp{[( x 1 xk 1) 2 ( x 2 xk 2 ) 2]} x1 X = x2 ，训练样本为 X k 。 其中
北邮模式识别课堂作业答案(参考)
第一次课堂作业⏹ 1.人在识别事物时是否可以避免错识？⏹ 2.如果错识不可避免，那么你是否怀疑你所看到的、听到的、嗅到的到底是真是的，还是虚假的？⏹ 3.如果不是，那么你依靠的是什么呢？用学术语言该如何表示。
⏹ 4.我们是以统计学为基础分析模式识别问题，采用的是错误概率评价分类器性能。
如果不采用统计学，你是否能想到还有什么合理地分类器性能评价指标来替代错误率？1.知觉的特性为选择性、整体性、理解性、恒常性。
错觉是错误的知觉，是在特定条件下产生的对客观事物歪曲的知觉。
认知是一个过程，需要大脑的参与.人的认知并不神秘，也符合一定的规律，也会产生错误2.不是3.辨别事物的最基本方法是计算. 从不同事物所具有的不同属性为出发点认识事物. 一种是对事物的属性进行度量，属于定量的表示方法(向量表示法)。
另一种则是对事务所包含的成分进行分析，称为定性的描述(结构性描述方法)。
4.风险第二次课堂作业⏹作为学生，你需要判断今天的课是否点名。
结合该问题(或者其它你熟悉的识别问题，如”天气预报”)，说明:⏹先验概率、后验概率和类条件概率？⏹按照最小错误率如何决策？⏹按照最小风险如何决策？ωi为老师点名的事件,x为判断老师点名的概率1.先验概率: 指根据以往经验和分析得到的该老师点名的概率,即为先验概率P(ωi )后验概率: 在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。
在上过课之后,了解到的老师点名的概率为后验概率P(ωi|x)类条件概率:在老师点名这个事件发生的条件下,学生判断老师点名的概率p(x| ωi )2.如果P(ω1|X)>P(ω2|X)，则X归为ω1类别如果P(ω1|X)≤P(ω2|X)，则X归为ω2类别3.1)计算出后验概率已知P(ωi)和P(X|ωi)，i=1,…，c，获得观测到的特征向量X根据贝叶斯公式计算j=1,…，x2)计算条件风险已知: 后验概率和决策表计算出每个决策的条件风险3) 找出使条件风险最小的决策αk,则αk就是最小风险贝叶斯决策。
模式识别作业
（1）先用C-均值聚类算法程序，并用下列数据进行聚类分析。
在确认编程正确后，采用蔡云龙书的附录B中表1的Iris数据进行聚类。
然后使用近邻法的快速算法找出待分样本X （设X样本的4个分量x1=x2=x3=x4=6；子集数l=3）的最近邻节点和3-近邻节点及X与它们之间的距离。
并建议适当对书中所述算法进行改进。
并分别画出流程图、写出算法及程序。
x1=(0,0) x2=(1,0) x3=(0,1) x4=(1,1) x5=(2,1) x6=(1,2) x7=(2,2) x8=(3,2) x9=(6,6) x10=(7,6) x11=(8,6) x12=(6,7) x13=(7,7) x14=(8,7) x15=(9,7) x16=(7,8) x17=(8,8) x18=(9,8) x19=(8,9) x20=(9,9)
（2）写一篇论文。
内容可以包含下面四个方面中的一个：
①新技术（如数据挖掘等）在模式识别中的应用；
②模式识别最新的研究方向；
③一个相关系统的分析；
④一个算法的优化；
（3）书142页，描述近邻法的快速算法，写个报告。
模式识别作业题(1)
m 2 mn ] 是奇异的。 mn n 2
1
2、参考参考书 P314“模式识别的概要表示”画出第二章的知识结构图。 答：略。 3、现有两类分类问题。如下图所示， （1,
1 1 3 ） 、 （ ， ） 、 （1， 3 ） 、 （1，-tan10°）为 3 2 2 3 3 ，- * tan 10° ） 、 （2，0）为 W2 类。 5 5
W1 类，其中（1，-tan10°）已知为噪声点； （1,0） 、 （ 自选距离度量方法和分类器算法，判别（
6 ，0）属于哪一类？ 5
答：度量方法：根据题意假设各模式是以原点为圆心的扇状分布，以两个向量之间夹角（都 是以原点为起点）的余弦作为其相似性测度，P22。 然后使用 K 近邻法，K 取 3，求已知 7 个点与（
2
答： （1）×，不一定，因为仅仅是对于训练样本分得好而已。 （2）×，平均样本法不需要。 （3）√，参考书 P30，将 r 的值代入式（2.26）即得。 （4）√，参考书 P34，三条线线性相关。 （ 5 ） √ ，就是说解区是 “ 凸 ” 的，参考书 P37 ，也可以证明，设 W1T X’=a, W2T X’=b, 则 a≤λW1+(1-λ)W2≤b（设 a≤b） 。 （6）√，参考书 P38。 （7）×，前一句是错的，参考书 P46。 （8）×，是在训练过程中发现的，参考书 P51。 （9）×，最简单的情况，两个点（0,0）∈w1,（2,0）∈w2，用势函数法求出来的判决界面是 x1=1。 （10）√，一个很简单的小证明， 设 X1=a+K1*e，X2= a-K1*e，X3=b+K2*e，X4= b-K2*e， Sw=某系数*e*e’，设 e=[m n]，则 e *e’= [
方法三：参照“两维三类问题的线性分类器的第二种情况（有不确定区域） ”的算法，求 G12,G23,G13。 G12*x1>0, G12*x2<0, G12=(-1,-1,-1)’ G23*x2>0, G23*x3<0, G23=(-1,-1,1)’ G13*x1>0, G13*x3<0, G12=(-1,-1,1)’ 有两条线重合了。
模式识别习题参考3-教材第6and7章
第5章 句法模式识别习题解答6.1 用链码法描述5～9五个数字。
解：用弗利曼链码表示，基元如解图6.1所示：数字5~9的折线化和量化结果如解图6.2所示：各数字的链码表示分别为：“5”的链码表示为434446600765=x ； “6”的链码表示为3444456667012=x ； “7”的链码表示为00066666=x ；0 17解图6.1 弗利曼链码基元解图6.2 数字5~9的折线化和量化结果“8”的链码表示为21013457076543=x ； “9”的链码表示为5445432107666=x 。
6.2 定义所需基本基元，用PDL 法描述印刷体英文大写斜体字母“H ”、“K ”和“Z ”。
解：设基元为：用PDL 法得到“H ”的链描述为)))))(~((((d d c d d x H ⨯+⨯+=；“K ”的链描述为))((b a d d x K ⨯⨯+=； “Z ”的链描述为))((c c g x Z ⨯-=。
6.3 设有文法),,,(S P V V G T N =，N V ，T V 和P 分别为},,{B A S V N =，},{b a V T =：P ①aB S →，②bA S →，③a A →，④aS A →⑤bAA A →，⑥b B →，⑦bS B →，⑧aBB B → 写出三个属于)(G L 的句子。
解：以上句子ab ，abba ，abab ，ba ，baab ，baba 均属于)(G L 。
bcadeabba abbA abS aB S ⇒⇒⇒⇒ ① ⑦ ② ③ab aB S ⇒⇒ ① ⑥ba bA S ⇒⇒② ③ abab abaB abS aB S ⇒⇒⇒⇒ ① ⑦ ① ⑥baab baaB baS bA S ⇒⇒⇒⇒ ② ④ ① ⑥baba babA baS bA S ⇒⇒⇒⇒② ④ ② ③6.4 设有文法),,,(S P V V G T N =，其中},,,{C B A S V N =，}1,0{=T V ，P 的各生成式为①A S 0→，②B S 1→，③C S 1→ ④A A 0→，⑤B A 1→，⑥1→A ⑦0→B ，⑧B B 0→，⑨C C 0→，⑩1→C问00100=x 是否属于语言)(G L ？ 解：由可知00100=x 属于语言)(G L 。
模式识别大作业
模式识别大作业引言：转眼之间，研一就结束了。
这学期的模式识别课也接近了尾声。
我本科是机械专业，编程和算法的理解能力比较薄弱。
所以虽然这学期老师上课上的很精彩，但是这学期的模式识别课上的感觉还是有点吃力。
不过这学期也加强了编程的练习。
这次的作业花了很久的时间，因为平时自己的方向是主要是图像降噪，自己在看这一块图像降噪论文的时候感觉和模式识别的方向结合的比较少。
我看了这方面的模式识别和图像降噪结合的论文，发现也比较少。
在思考的过程中，我想到了聚类的方法。
包括K均值和C均值等等。
因为之前学过K均值，于是就选择了K均值的聚类方法。
然后用到了均值滤波和自适应滤波进行处理。
正文：k-means聚类算法的工作过程说明如下：首先从n个数据对象任意选择 k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。
一般都采用均方差作为标准测度函数。
k-means 算法接受输入量k ；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。
聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。
k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。
均值滤波是常用的非线性滤波方法 ,也是图像处理技术中最常用的预处理技术。
它在平滑脉冲噪声方面非常有效,同时它可以保护图像尖锐的边缘。
均值滤波是典型的线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素（以目标象素为中心的周围8个象素，构成一个滤波模板，即去掉目标象素本身）。
再用模板中的全体像素的平均值来代替原来像素值。
即对待处理的当前像素点（x，y），选择一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点（x，y），作为处理后图像在该点上的灰度个g（x，y），即个g（x，y）=1/m ∑f（x，y）m为该模板中包含当前像素在内的像素总个数。
模式识别(三)课后上机作业参考解答
“模式识别(三).PDF”课件课后上机选做作业参考解答(武大计算机学院袁志勇, Email: yuanzywhu@) 上机题目：两类问题，已知四个训练样本ω1={(0,0)T,(0,1)T}；ω2={(1,0)T,(1,1)T}使用感知器固定增量法求判别函数。
设w1=(1,1,1)Tρk=1试编写程序上机运行(使用MATLAB、 C/C++、C#、JA V A、DELPHI等语言中任意一种编写均可)，写出判别函数，并给出程序运行的相关运行图表。
这里采用MATLAB编写感知器固定增量算法程序。
一、感知器固定增量法的MATLAB函数编写感知器固定增量法的具体内容请参考“模式识别(三).PDF”课件中的算法描述，可将该算法编写一个可以调用的自定义MATLAB函数：% perceptronclassify.m%% Caculate the optimal W by Perceptron%% W1-3x1 vector, initial weight vector% Pk-scalar, learning rate% W -3x1 vector, optimal weight vector% iters - scalar, the number of iterations%% Created: May 17, 2010function [W iters] = perceptronclassify(W1,Pk)x1 = [0 0 1]';x2 = [0 1 1]';x3 = [1 0 1]';x4 = [1 1 1]';% the training sampleWk = W1;FLAG = 0;% iteration flagesiters = 0;if Wk'*x1 <= 0Wk =Wk + x1;FLAG = 1;endif Wk'*x2 <= 0Wk =Wk + x2;FLAG = 1;endif Wk'*x3 >= 0Wk=Wk-x3;FLAG = 1; endif Wk'*x4 >= 0Wk =Wk -x4; FLAG = 1; enditers = iters + 1; while (FLAG) FLAG = 0; if Wk'*x1 <= 0Wk = Wk + x1; FLAG = 1; endif Wk'*x2 <= 0Wk = Wk + x2; FLAG = 1; endif Wk'*x3 >= 0 Wk = Wk - x3; FLAG = 1; endif Wk'*x4 >= 0 Wk = Wk - x4; FLAG = 1; enditers = iters + 1; endW = Wk;二、程序运行程序输入：初始权向量1W , 固定增量大小k ρ 程序输出：权向量最优解W , 程序迭代次数iters 在MATLAB 7.X 命令行窗口中的运行情况： １、初始化1[111]T W = 初始化W 1窗口界面截图如下：２、初始化1kρ=初始化Pk 窗口界面截图如下：３、在MATLAB 窗口中调用自定义的perceptronclassify 函数由于perceptronclassify.m 下自定义的函数文件，在调用该函数前需要事先[Set path…]设置该函数文件所在的路径，然后才能在命令行窗口中调用。
模式识别_作业1
作业一：作业二：对如下5个6维模式样本，用最小聚类准则进行系统聚类分析： x 1: 0, 1, 3, 1, 3, 4 x 2: 3, 3, 3, 1, 2, 1 x 3: 1, 0, 0, 0, 1, 1 x 4: 2, 1, 0, 2, 2, 1 x 5: 0, 0, 1, 0, 1, 01、 计算D (0)=⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛0 12 3 5 2612 0 7 15 243 7 0 24 55 15 24 0 2326 24 5 23 0，因为x3与x5的距离最近，则将x3与x5分为一类。
同时可以求出x1,x2,x4与x3,5的距离，如x1到x3,5的距离为x1到x3的距离与x1与x5的距离中取最小的一个距离。
2、 则D (1)=⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛0 7 15 2470 24 515 24 0 2324 5 23 0，同样现在该矩阵中x4与x3,5的距离最近，则可以将x3,4,5分为一类，这样分类结束，总共可以将x1,x2,x3,x4,x5分为三类，其中:x1为第一类；x2为第二类；x3和x4和x5为第三类。
• 作业三：（K-均值算法）• 选k=2,z 1(1)=x 1,z 2(1)=x 10,用K-均值算法进行聚类分析由图可以看出这二十个点的坐标：x1(0,0),x2(1,0),x3(0,1),x4(1,1),x5(2,1),x6(1,2),x7(2,2),x8( 3,2),x9(6,6),x10(7,6),x11(8,6),x12(6,7),x13(7,7),x14(8,7),x 15(9,7),x16(7,8),x17(8,8),x18(9,8),x19(8,9),x20(9,9)。
1、选2个初始聚类中心，z1(1)=x1，z2(1)=x10.2、求取其它十八个点分别到x1与x10的距离：x2到x1的距离为1;x2到x10的距离为6x3到x1的距离为1;x3到x10的距离为x4到x1的距离为;x4到x10的距离为x5到x1的距离为;x5到x10的距离为5x6到x1的距离为;x6到x10的距离为x7到x1的距离为2;x7到x10的距离为x8到x1的距离为;x8到x10的距离为4x9到x1的距离为6;x9到x10的距离为1x11到x1的距离为10;x11到x10的距离为1x12到x1的距离为;x12到x10的距离为x13到x1的距离为7;x13到x10的距离为1x14到x1的距离为;x14到x10的距离为x15到x1的距离为;x15到x10的距离为x16到x1的距离为;x16到x10的距离为2x17到x1的距离为8;x17到x10的距离为x18到x1的距离为;x18到x10的距离为2x19到x1的距离为;x19到x10的距离为x20到x1的距离为9;x20到x10的距离为所以其中x2到x8距离x1近些，则可以将x2到x8与x1分为一类，而x9与x11到x20与x10分为另一类；3、通过将第一类中的所有x1到x8的坐标求取平均来计算该类别的中心坐标，求取新的类别的中心坐标z1(2)= (5/4,9/8),同理可以求出另一类的中心坐标z2(2)= (92/12,22/3)4、然后重新计算各点距离这二点中心坐标的距离，最后可以得出x1到x8仍然为第一类，x9到x20仍然为第二类。
模式识别_作业4
第五章作业： 作业一：设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求S w 和S bω1：{(1 0)T , (2 0) T , (1 1) T } ω2：{(-1 0)T , (0 1) T , (-1 1) T }ω3：{(-1 -1)T , (0 -1) T , (0 -2) T }答案：由于三类样本集的先验概率相等，则概率均为1/3。
多类情况的类内散布矩阵，可写成各类的类内散布矩阵的先验概率的加权和，即：∑∑===--=cii i Ti i cii w C m x m x E P S 11}|))(({)(ωω 其中C i 是第i 类的协方差矩阵。
其中1m =,2m =则=++=321S w w w w S S S 1/3++=类间散布矩阵常写成：Ti i cii b m m m m P S ))(()(001--=∑=ω其中，m 0为多类模式（如共有c 类）分布的总体均值向量，即：c i m P x E m i cii i ,,2,1,,)(}{10 =∀==∑=ωω0m ==则Ti i cii b m m m m P S ))(()(001--=∑=ω=++=作业二：设有如下两类样本集，其出现的概率相等：ω1：{(0 0 0)T , (1 0 0) T ,(1 0 1) T , (1 1 0) T }ω2：{(0 0 1)T , (0 1 0) T ,(0 1 1) T , (1 1 1) T }用K-L 变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。
答案：=+=∑∑==iiN jj N jj x x m 1211）4141（21将所有这些样本的各分量都减去0.5，便可以将所有这些样本的均值移到原点，即(0,0,0)点。
新得到的两类样本集为：ω1：{(-0.5-0.5-0.5)T , (0.5-0.5-0.5) T ,(0.5-0.50.5) T , (0.50.5-0.5) T }ω2：{(-0.5-0.50.5)T , (-0.50.5-0.5) T ,(-0.50.50.5) T , (0.50.50.5) T }I 25.041214121}{)(4122411121=⎥⎦⎤⎢⎣⎡+⎥⎦⎤⎢⎣⎡==∑∑∑===j T j j j Tjj i Ti x x x x xx E P R ω解特征值方程|R-λI|=0，求R 的特征值。
模式识别_作业3
作业一：设以下模式类别具有正态概率密度函数： ω1：{(0 0)T , (2 0)T , (2 2)T , (0 2)T }ω2：{(4 4)T , (6 4)T , (6 6)T , (4 6)T }（1）设P(ω1)= P(ω2)=1/2，求这两类模式之间的贝叶斯判别界面的方程式。
（2）绘出判别界面。
答案：（1）模式的均值向量m i 和协方差矩阵C i 可用下式估计：2,111==∑=i x N m i N j ij i i2,1))((11=--=∑=i m x m x N C i N j Ti ij i ij i i 其中N i 为类别ωi 中模式的数目，x ij 代表在第i 个类别中的第j 个模式。
由上式可求出：T m )11(1= T m )55(2= ⎪⎪⎭⎫ ⎝⎛===1 00 121C C C ，⎪⎪⎭⎫⎝⎛=-1 00 11C 设P(ω1)=P(ω2)=1/2，因C 1=C 2，则判别界面为：24442121)()()(2121211112121=+--=+--=----x x m C m m C m x C m m x d x d T T T（2）作业二：编写两类正态分布模式的贝叶斯分类程序。
程序代码：#include<iostream>usingnamespace std;void inverse_matrix(int T,double b[5][5]){double a[5][5];for(int i=0;i<T;i++)for(int j=0;j<(2*T);j++){ if (j<T)a[i][j]=b[i][j];elseif (j==T+i)a[i][j]=1.0;elsea[i][j]=0.0;}for(int i=0;i<T;i++){for(int k=0;k<T;k++){if(k!=i){double t=a[k][i]/a[i][i];for(int j=0;j<(2*T);j++){double x=a[i][j]*t;a[k][j]=a[k][j]-x;}}}}for(int i=0;i<T;i++){double t=a[i][i];for(int j=0;j<(2*T);j++)a[i][j]=a[i][j]/t;}for(int i=0;i<T;i++)for(int j=0;j<T;j++)b[i][j]=a[i][j+T];}void get_matrix(int T,double result[5][5],double a[5]) {for(int i=0;i<T;i++){for(int j=0;j<T;j++){result[i][j]=a[i]*a[j];}}}void matrix_min(int T,double a[5][5],int bb){for(int i=0;i<T;i++){for(int j=0;j<T;j++)a[i][j]=a[i][j]/bb;}}void getX(int T,double res[5],double a[5],double C[5][5]) {for(int i=0;i<T;i++)double sum=0.0;for(int j=0;j<T;j++)sum+=a[j]*C[j][i];res[i]=sum;}}int main(){int T;int w1_num,w2_num;double w1[10][5],w2[10][5],m1[5]={0},m2[5]={0},C1[5][5]={0},C2[5][5]={0};cin>>T>>w1_num>>w2_num;for(int i=0;i<w1_num;i++){for(int j=0;j<T;j++){cin>>w1[i][j];m1[j]+=w1[i][j];}}for(int i=0;i<w2_num;i++){for(int j=0;j<T;j++){cin>>w2[i][j];m2[j]+=w2[i][j];}}for(int i=0;i<w1_num;i++)m1[i]=m1[i]/w1_num;for(int i=0;i<w2_num;i++)m2[i]=m2[i]/w2_num;for(int i=0;i<w1_num;i++){double res[5][5],a[5];for(int j=0;j<T;j++)a[j]=w1[i][j]-m1[j];get_matrix(T,res,a);for(int j=0;j<T;j++){for(int k=0;k<T;k++)C1[j][k]+=res[j][k];}matrix_min(T,C1,w1_num);for(int i=0;i<w2_num;i++){double res[5][5],a[5];for(int j=0;j<T;j++)a[j]=w2[i][j]-m2[j];get_matrix(T,res,a);for(int j=0;j<T;j++){for(int k=0;k<T;k++)C2[j][k]+=res[j][k];}}matrix_min(T,C2,w2_num);inverse_matrix(T,C1);inverse_matrix(T,C2);double XX[5]={0},C_C1[5]={0},C_C2[5]={0};double m1_m2[5];for(int i=0;i<T;i++){m1_m2[i]=m1[i]-m2[i];}getX(T,XX,m1_m2,C1);getX(T,C_C1,m1,C1);getX(T,C_C2,m2,C1);double resultC=0.0;for(int i=0;i<T;i++)resultC-=C_C1[i]*C_C1[i];for(int i=0;i<T;i++)resultC+=C_C2[i]*C_C2[i];resultC=resultC/2;cout<<"判别函数为："<<endl;cout<<"d1(x)-d2(x)=";for(int i=0;i<T;i++)cout<<XX[i]<<"x"<<i+1;if(resultC>0)cout<<"+"<<resultC<<endl;elseif(resultC<0)cout<<resultC<<endl;return 0;}运行截图：。
模式识别课后习题答案
– (1) E{ln(x)|w1} = E{ln+1(x)|w2} – (2) E{l(x)|w2} = 1 – (3) E{l(x)|w1} − E2{l(x)|w2} = var{l(x)|w2}（教材中题目有问题） 证∫ 明ln+：1p对(x于|w(12))，dxE={ln∫(x()∫p(|wp(x(1x|}w|w=1)2))∫n)+nl1nd(xx)所p(x以|w∫，1)Ed{xln=(x∫)|w(1p(}p(x(=x|w|Ew1)2{))ln)n+n+11d(xx)又|wE2}{ln+1(x)|w2} = 对于(2)，E{l(x)|w2} = l(x)p(x|w2)dx = p(x|w1)dx = 1
对于(3)，E{l(x)|w1} − E2{l(x)|w2} = E{l2(x)|w2} − E2{l(x)|w2} = var{l(x)|w2}
• 2.11 xj(j = 1, 2, ..., n)为n个独立随机变量，有E[xj|wi] = ijη，var[xj|wi] = i2j2σ2，计 算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下，由贝叶斯决策引起的错误率。（中心极限 定理）
R2
R1
容易得到
∫
∫
p(x|w2)dx = p(x|w1)dx
R1
R2
所以此时最小最大决策面使得P1(e) = P2(e)
• 2.8 对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出 决策区域是不变的。
3
模式识别(第二版)习题解答
模式识别第三章作业
1. 在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。
问该模式识别问题所需判别函数的最少数目是多少？答：25个判别函数。
将10类问题看作4类满足多类情况1的问题，先将3类单独满足多类情况1的类找出来，再将剩下的7类全部划到第4类中。
再对第四类运用多类情况2的判别法则进行分类，此时需要7*（7-1）/2=21个判别函数。
所有一共需要4+21=25个判别函数；2. 一个三类问题，其判别函数如下：d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1(1) 设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域（2）设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。
绘出其判别界面和多类情况2的区域。
（3）设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域3．两类模式，每类包括5个3维不同的模式，且良好分布。
如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。
）解：由总项数公式()!!!rw n rn rN Cr n++==，得1 44N C==；23210N C+==所以如果它们是线性可分的，则权向量至少需要4个系数分量；如要建立二次的多项式判别函数，则至少需要10个系数分量4．用感知器算法求下列模式分类的解向量w:ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T}ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}解：将属于2ω的模式样本乘以（-1）进行第一轮迭代：取C=1，令w(1)= (0 0 0 0)Tw T(1)x①=(0 0 0 0)(0 0 0 1)T=0；故w(2)=w(1)+x①=(0 0 0 1)Tw T(2)x②=(0 0 0 1)(1 0 0 1)T=1>0，故w(3)=w(2)=(0 0 0 1)Tw T(3)x③=(0 0 0 1)(1 0 1 1)T=1>0，故w(4)=w(3)=(0 0 0 1)Tw T(4)x④=(0 0 0 1)(1 1 0 1)T=1>0，故w(5)=w(4)=(0 0 0 1)Tw T(5)x⑤=(0 0 0 1)(0 0 -1 -1)T=-1<0，故w(6)=w(5)+x⑤=(0 0 -1 0)Tw T(6)x⑥=(0 0 -1 0)(0 -1 -1 -1)T=1>0，故w(7)=w(6)=(0 0 -1 0)Tw T(7)x⑦=(0 0 -1 0)(0 -1 0 -1)T=0，故w(8)=w(7)+x⑦=(0 -1 -1 -1)Tw T(8)x⑧=(0 -1 -1 -1)(-1 -1 -1 -1)T=3>0，故w(9)=w(8)=(0 -1 -1 -1)T第二轮迭代：w T(9)x①=(0 -1 -1 -1)(0 0 0 1)T=-1<0；故w(10)=w(9)+x①=(0 -1 -1 0)Tw T(10)x②=(0 -1 -1 0)(1 0 0 1)T=0，故w(11)=w(10)+x②=(1 -1 -1 1)Tw T(11)x③=(1 -1 -1 1)(1 0 1 1)T=1>0，故w(12)=w(11)=(1 -1 -1 1)Tw T(12)x④=(1 -1 -1 1)(1 1 0 1)T=1>0，故w(13)=w(12)=(1 -1 -1 1)Tw T(13)x⑤=(1 -1 -1 1)(0 0 -1 -1)T=0，故w(14)=w(13)+x⑤=(1 -1 -2 0)T w T(14)x⑥=(1 -1 -2 0)(0 -1 -1 -1)T=3>0，故w(15)=w(14)=(1 -1 -2 0)T w T(15)x⑦=(1 -1 -2 0)(0 -1 0 -1)T=1>0，故w(16)=w(15)=(1 -1 -2 0)T w T(16)x⑧=(1 -1 -2 0)(-1 -1 -1 -1)T=2>0，故w(17)=w(16)=(1 -1 -2 0)T 第三轮迭代：…w T(24)x⑧=(2 -2 -2 0)(-1 -1 -1 -1)T=2>0，故w(25)=w(24)=(2 -2 -2 0)T 第四轮迭代：w T(25)x①=(2 -2 -2 0)(0 0 0 1)T=0；故w(26)=w(25)+x①=(2 -2 -2 1)T…w T(32)x⑧=(2 -2 -2 1)(-1 -1 -1 -1)T=1>0，故w(33)=w(32)=(2 -2 -2 1)T 第五轮迭代：….该轮迭代全部大于0所以w=(2 -2 -2 1)TMatlab 运行结果5．用多类感知器算法求下列模式的判别函数：ω1: (-1 -1)Tω2: (0 0)Tω3: (1 1)T解：将模式样本写成增广形式：x①=(-1 -1 1)T, x②=(0 0 1)T, x③=(1 1 1)T取初始值w1(1)=w2(1)=w3(1)=(0 0 0)T，C=1。
模式识别第二版答案完整版
所以，如果 p(x|w1) p(x|w2)
>
(λ12 (λ21
− −
λ22)P (w2) ，则x λ11)P (w1)
∈
w1。反之则x
∈
w2。
• 2.7 若λ11 = λ22 = 0, λ12 = λ21，证明此时最小最大决策面是来自两类的错误率相等。
解： 最小最大决策时满足
∫
∫
(λ11 − λ22) + (λ21 − λ11) p(x|w1)dx − (λ12 − λ22) p(x|w2)dx = 0
{
}
p(x|m)
=
(2π)
1 2
σ−1
exp
− 1 (x − m)2/σ2
2
再假设m的边缘分布是正态分布，期望值是m0，方差是σm2 ，证明
p(m|x)
=
(σ3
+
σm)
1 2
1
(2π) 2 σσm
[
exp
−
1 2
σ2 + σm2 σ2σm2
( m−
σm2 x + m0σ2 )2] σ2 + σm2
5
对于(3)，E{l(x)|w1} − E2{l(x)|w2} = E{l2(x)|w2} − E2{l(x)|w2} = var{l(x)|w2}
• 2.11 xj(j = 1, 2, ..., n)为n个独立随机变量，有E[xj|wi] = ijη，var[xj|wi] = i2j2σ2，计 算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下，由贝叶斯决策引起的错误率。（中心极限 定理）
误）
P (wi|x)
=
p(x|wi)P (wi) . p(x)
模式识别课后习题（英文）
模式识别课后习题（英文）Pattern Recognition Theory and Its ApplicationPROBLEMS2.5 (1) 对C 类情况推广最小错误率贝叶斯决策规则；(2)指出此时使最小错误率最小等价于后验概率最大，即 (|)(|)i j P x P x ωω> 对一切1j i ω≠∈成立时，x 。
2.5 (1)Generalize the minimum error Bayes decision rule in case of class C;(2) Show that the minimum error rate is equivalent to themaximum posterior probability, namely (|)(|)i j P x P x ωω> where j i ≠ and 1ω∈x .2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为若11222222111121()(),((|)()()|)p x p x p x p ωλλωωλωλωω?-∈?-?则¤ 。
2.6 In the two-category case, show that the minimum risk Bayes decisionrule may be expressed as 12x ωω?∈?? if 122222112111()()((|)(|))()p p p x p x λλωλλωωω--￡ .2.7 若11220λλ==，1221λλ=，证明此时最小最大决策面是来自两类的错误率相等。
2.7 Consider minimax criterion for 11220λλ==and 1221λλ=.Prove that in this case 12()()p error p error =.2.22 似然比决策准则为若1221(|)()(|)()()p x p x p p l x ωωωω=¤ 则 12x ωω?∈??付对数似然比为[]()ln ()h x l x =-，当(|)i P x ω是均值向量为i μ 和协方差矩阵为i∑的正态分布时：（1）试推导出()h x ，并指出其决策规则；（2）当12==∑∑∑时，推导()h x 及其决策规则；（3）分析（1），（2）两种情况下的决策面类型。
模式识别习题参考-齐敏-教材第2章
2聚类分析习题解答2.1 设有10个二维模式样本，如图2.13所示。
若21=θ，试用最大最小距离算 法对他们进行聚类分析。
解：① 取T 11]0,0[==X Z 。
② 选离1Z 最远的样本作为第二聚类中心2Z 。
()()201012221=-+-=D ，831=D ，5841=D ，4551=D5261=D ，7471=D ，4581=D ，5891=D ，651,10=D ∵ 最大者为D 71，∴T 72]7,5[==X Z742121=-=Z Z θT ③ 计算各样本与{}21,Z Z 间距离，选出其中的最小距离。
7412=D ，5222=D ，3432=D ，…，132,10=D }13,20,17,0,2,5,4,8,2,0{),min(21=i i D D ④ 742120)},max{min(9221=>==T D D D i i ,T 93]3,7[==∴X Z ⑤ 继续判断是否有新的聚类中心出现：⎪⎩⎪⎨⎧===58740131211D D D ，⎪⎪⎩⎪⎪⎨⎧===40522232221D D D ，…⎪⎪⎩⎪⎪⎨⎧===113653,102,101,10D D D13579X 1图2.13 10个二维模式样本}1,0,1,0,2,5,4,8,2,0{),,min(321=i i i D D D 74218)},,max{min(31321=<==T D D D D i i i 寻找聚类中心的步骤结束。
⑥ 按最近距离分到三个聚类中心对应的类别中：3211,,:X X X ω；76542,,,:X X X X ω；10983,,:X X X ω2.2 设有5个二维模式样本如下：T 1]0,0[=X ，T 2]1,0[=X ，[]T30,2=X ，T 4]3,3[=X ，[]T54,4=X定义类间距离为最短距离，且不得小于3。
利用层次聚类法对5个样本进行 分类。
解：(1) 将每一样本看作单独一类，得{}11)0(X =G ，{}22)0(X =G ，{}33)0(X =G ，{}44)0(X =G ，{}55)0(X =G计算各类间欧氏距离：2112)0(X X -=D ()()212221222111][x x x x -+-=[]1101=+=2)0(3113=-=X X D 同理可求得：)0(14D ，)0(15D ；)0(23D ，)0(24D ，)0(25D ； )0(34D ，)0(35D ； )0(45D ； 得距离矩阵D (0)为(2) 将最小距离1对应的类)0(1G 和)0(2G 合并为一类，得到新的分类{})0(),0()1(2112G G G =，{})0()1(33G G =，{})0()1(44G G =，{})0()1(55G G =按最短距离法计算类间距离，由D (0)矩阵递推得到聚类后的距离矩阵D (1)为(3) 将D (1)中最小值2对应的类合并为一类，得D (2)。
模式识别课后作业
平时作业1一、 试问“模式”与“模式类”的含义。
如果一位姓王的先生是位老年人，试问“王先生”和“老头”谁是模式，谁是模式类。
试从模式类与模式概念分析以下词之间的关系： 王老头，王老太，王明（清华大学本科生），周强（年轻教师），老年人，老头，老太，年青人。
回答：模式类与模式，或者模式与样本在集合论中是子集与元素之间的关系。
当用一定的度量来衡量两个样本，而找不出它们之间的差别时，它们在这种度量条件下属于同一个等价类。
这就是说它们属于同一子集，是一个模式，或一个模式类。
而不同的模式类之间应该是可以区分的，它们之间应有明确的界线。
但是对实际样本来说，有时又往往不能对它们进行确切的划分，即在所使用的度量关系中，分属不同的类别的样本却表现出相同的属性，因而无法确凿无误地对它们进行区分。
二、假设在某个局部地区的细胞识别中，第一类表示正常，第二类表示异常，两类的先验概率分别为：正常1()0.8P ω=，异常2()0.2P ω=。
现有一待识别样本细胞，其观察值为x ，从类条件概率密度函数曲线()i P ωx 上查得：1()0.3P ω=x ，2()0.4P ω=x ，试按最小错误率贝叶斯决策规则判断该细胞是否正常。
若已知损失矩阵为0720⎡⎤⎢⎥⎣⎦，试按最小风险贝叶斯决策规则判断该细胞是否正常。
平时作业2一、请简述BP神经网络的结构及学习过程。
结构：包括输入层、输出层和中间层学习过程：（1)网络初始化。
对各连接权值和阈值分别赋予(0,1)区间的数值，设定误差函数，给定计算精度值；(2)计算隐含层各神经节点的输入和输出；(3)计算输出层各神经节点的输入和输出；(4)计算BP神经网络连接到输出层各神经元节点的权值误差；(5)计算BP神经网络连接到隐含层各神经元节点的权值误差；(6)反向调整BP神经网络各层的连接权值和阈值；(7)计算实际输出值和期望输出值的误差，若满足设定的精度值，则结束学习，否则继续从步骤(2)逐步进行学习。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Chapter2 problem6
6. 考虑两个单变量的正态分布),(~)|(2i i i N x p σμω，且)2,1(21)(==i P i ω的Neyman-Pearson 准则，在0-1损失下，且为了方便设12μμ>。
（a ）假设当一样本实际属于1ω，却被认为是2ω时的最大可接受的误差率为1E ，用以上给定的变量确定单点判决边界。
（b ）对于此边界，将2ω错分为1ω的误差率是多少？
（c ）在0-1损失率下的总误差率是多少？
（d ）将你的结论用于特殊情况：)1,1(~)|(1-N x p ω及)1,1(~)|(2N x p ω，且05.01=E
（e ）将你的结论与贝叶斯误差率（即没有Neyman-Pearson 条件）作比较
Chapter3 problem4
4. 设x 为一个d 维的二值向量（即其分量取值为0或1），服从多维伯努利分布
∏=--=d
x i x i i i P 1i )1)1(|(θθθx
其中t d ),...,θθ1(=θ是一个未知的参数向量，而i θ为1=i x 的概率。
证明，对于θ的最大似然估计为
∑==n k 1
ˆk x n 1θ Chapter4 problem2
2. 考虑一个正态分布),(~)(2σμN x p 和Parzen 窗函数)1,0(~)(N x ϕ。
证明Parzen 窗估计
∑=-=n i n
i n
n h x x nh x p 1)(1)(ϕ 有如下性质：
（a ）),(~)(22n n h N x p +σμ （b ）Var [])(21
)(x p nh x p n n π≈
（c ）对于n h 较小时，)(1)(21)()(22x p x h x p x p n n ⎥⎥⎦
⎤⎢⎢⎣⎡⎪⎭⎫ ⎝⎛--≈-σμσ 注意，如果n h h n 1=，那么这个结果表示由于偏差而导致的误差率以n 1的速度趋向于零，而噪声的标准差以速度4n 趋于零。
Chapter5 problem2
2.考虑一个线性机，它的判别函数是c i w g i i ,...,1,(0=+=x w x t )，证明判决区是凸的，即如果i i R R ∈∈21x x ,，那么10,)1(≤≤∈-+λλλi R 21x x。