模式识别实验报告

模式识别与智能信息处理实践实验一聚类分析一、实验目的通过聚类分析实验，加深对聚类分析基本思想、方法的理解和掌握。

二、实验内容了解动态、静态聚类算法的特点；熟练掌握k-均值算法或层次聚类算法；编写能对实际模式样本正确分类的算法程序。

掌握动态聚类算法的基本思想；认识类别数、初始类心的选择对k-均值算法聚类结果的影响；编写能对实际模式样本正确分类的k-均值算法程序。

三、方法手段设类别数为k，选取k个初始聚类中心，按最小距离原则将各模式分配到k类中的某一类，不断地计算类心和调整各模式的类别使每个模式特征矢量到其所属类别中心的距离平方之和最小。

四、k-均值算法（1）从D中随机取k个元素，作为k个簇的各自的中心。

（2）分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到相异度最低的簇。

（3）根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数。

（4）将D中全部元素按照新的中心重新聚类。

（5）重复第4步，直到聚类结果不再变化。

五、k-均值程序运行结果（1）改变初始类心，观察对聚类结果的影响若选初始类心是[1 2 3]时的结果为其分为1类共39个，分为2类共61个，分为3类共50个，其中被分为第1类的样本为{51 53 78 101 103 104 105 106 108 109 110 111 112 113 116 117 118 119 121 123 125 126 129 130 131 132 133 135 136 137 138 140 141 142 144 145 146 148 149}被分为第2类的样本为{52 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 102 107 114 115 120 122 124 127 128 134 139 143 147 150}被分为第3类的样本为{1 2 3 4 5 6 7 8 9 1011 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50}。

若选初始类心是[2 4 5]时其聚类结果为其分为1类共96个，分为2类共22个，分为3类共个32，其中被分为第1类的样本为{51 52 53 54 55 56 57 59 60 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 95 96 97 98 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150}被分为第2类的样本为{ 2 3 4 7 9 10 13 14 25 26 30 31 35 39 42 43 46 48 58 61 94 99}被分为第3类的样本为{1 5 6 8 11 12 15 16 17 18 19 20 21 22 23 24 27 28 29 32 33 34 36 37 38 40 41 44 45 47 49 50}。

可见，初始类心的选择对于K均值算法的影响较大。

（2）改变类别数k，比较其对类内距离平方和的大小的影响若k=3且选初始类心是[1 2 3]时，其最终各类中心的距离为[1.1657 0.8230 4.0783]，若k=4且选初始类心是[1 2 3 4]时，其最终各类中心的距离为[1.3049 0.4917 4.0783 1.3928]，可见，改变类别数k，其对类内距离平方和的大小有直接的影响，且k越大，其类内距离平方和距离越小。

六、实验总结影响k-均值算法结果的因素有:初始类心的选择以及k值的选择，且k-均值算法适用于k值已知的情况，即类别号已知的情况。

七、Kmeans程序function y=my_Kmeans(k,mid)k=3;%类数mid=[1 2 3]; %随便给三个聚类中心%从文本文件读入数据放入X中load fisheriris;X=meas;k=3;mid=[1 2 3]; %Iris测试数据集num=size(X,1);%获得X维数大小for i=1:kZ(i,:)=X(mid(i),:);%获取k个聚类中心的初始坐标end%计算新的聚类中心，K-均值算法的核心部分temp=[];while(~isequal(Z,temp)) %聚类中心是否变化,若不变化则停止循环temp=Z;class=cell(k,1);%初始化类样本classvalue=cell(k,1);%初始化类样本的坐标valuefor j=1:numfor t=1:kD(t)=dist(X(j,:),Z(t,:)');%计算每个样本到类中心的距离 [minu,index]=min(D);%求出离聚类中心最小的一个样本endclass{index}=cat(1,class{index},j);%将该样本归于一类value{index}=cat(1,value{index},X(j,:));%存放该类样本的坐标 endfor i=1:kZ(i,:)=mean(value{i});%计算k类样本的均值，更新聚类中心endendcelldisp(class);%显示Kmeans聚类结果D %显示最终类间距离实验二 判别域代数界面方程法一、实验目的通过实验加深对判别域代数界面方程法基本思想、方法的认识，了解线性判别函数的分类能力，熟练掌握感知器算法，或H-K 算法，或累积势函数分类法，以及它们各自的适用条件，加深对有监督训练、线性可分、解空间、权空间等概念的理解，编写能对实际模式样本正确分类的算法程序。

二、实验内容编写能对实际模式样本正确分类的感知器算法，或H-K 算法，或累积势函数分类法的算法程序，能对实际模式样本进行正确分类。

三、方法手段设已知类别模式特征矢量集为{x 1,x 2,…,x N }，类别数为c 。

感知器算法是基于一次准则函数的梯度下降法。

从任意初始解矢量w 0出发，利用产生错分的样本对解矢量进行迭代校正：w k =w k-1+ρx i ，i=1,2,…,c，k=0,1,2…，ρ=常数，从而解得线性判决函数d(x )=w ’x 的解矢量w . 四、感知器算法 1、算法思想校正方法实际上是最优化技术中的负梯度下降法。

该算法也是人工神经网络理论中的线性阈值神经元的学习算法。

2、算法原理步骤 设给定一个增广的训练模式集{}N x x x ,,,21，其中每个模式类别已知，它们分属1ω类和2ω类。

（1） 置步数1=k ，令增量=ρ某正的常数，分别赋给增广权矢量初值)1(w的各分量较小的任意值。

（2） 输入训练模式k x 。

（3）计算判别函数值k x k w )('。

（4）调整增广权矢量，规则是① 如果1ω∈k x 和0)(≤'k x k w ，则k x k w k wρ+=+)()1(；(偏小，故加) ② 如果2ω∈k x 和0)(≥'k x k w，则k x k w k w ρ-=+)()1(；(偏大，故减) ③ 如果1ω∈k x 和0)(>'k x k w ，或2ω∈k x 和0)(<'k x k w ，则)()1(k w k w =+。

（分类正确，不校正）（5）令1+=k k 。

如果N k ≤，返至⑵。

如果N k >，检验判别函数x w '对N x x x ,,,21是否都能正确分类。

若是，结束；若不是，令1=k ，返至（2）。

如果训练模式已经符号规范化，即2ω∈k x 已乘以－1（包括增广分量1），则校正权矢量的规则可统一为⎩⎨⎧ρ+=+k x k w k w k w )()()1()(0)()(0)(错误分类若正确分类若≤'>'k k x k w x k w在用全部模式训练完一轮后只要还有模式被判错，则需要进行第二轮迭代，用全部训练模式再训练一次，建立新的权矢量。

如果对训练模式还有错分的，则进行第三轮迭代，余类推，直至对所有训练模式均能正确分类为止，此时的w即为所求的权矢量。

五、感知器算法实验结果（1）改变权矢量初值，观察对算法的影响已知w1:X1=(0 0)’,X2=(1 0)’,X3=(1 1)’,X4=(1 2)’；w2:X5=(1 3)’,X6=(2 3)’,X7=(3 2)’,X8=(3 3)’， 若步长因子ρ=1不变，权初始值取w=[0 0 0],则需迭代eth0=15步，若权初始值取w=[1 1 1]，则需迭代eth0=18步，可见，权初始值选取的不同，将直接导致算法的收敛速度不同。

（2）改变步长因子ρ，观察对算法的影响若权初始值取w=[0 0 0]不变，取步长因子ρ=1，则需迭代eth0=15步，若取步长因子ρ=0.1，则需迭代eth0=16步，可见，步长因子ρ选取的不同，也将直接导致算法的收敛速度不同。

（3）算法的适用性若已知w1:X1=(1 3)’,X2=(2 3)’,X3=(1 1)’,X4=(1 2)’；w2:X5=(0 0)’,X6=(1 0)’,X7=(3 2)’,X8=(3 3)’，则导致该程序死循环，可见，感知器算法只适用两类样本线性可分的条件下（图1），若希望在两类样本线性不可分的条件下，构造一判决平面，则可考虑使用势函数。

图1 感知器算法分类结果图2 线性不可分的情况六、实验程序function y=my_preception(W1,W2)%感知器算法，对两类问题生成线性判别函数%注意：前提是两类可线性判别，否则将死循环%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%W1=[0 0;1 0;1 1;1 2];%w1类中的样本W2=[1 3;2 3;3 2;3 3];%w2类中的样本%%%%%%初始化w=[0 0 0]; %任取w初值c=1; %任取校正增量系数c=1；%%%%%%感知器算法部分%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%增广样本w1和w2乘(-1)[m,n]=size(W1);for i=1:mW1(:,n+1)=1;%w1增广end[m,n]=size(W2);for i=1:mW2(:,n+1)=1;%w2增广endW2=-W2;%取反%将增广向量转换成元组，便于处理M=ones(1,m);w1=mat2cell(W1,M,n+1);w2=mat2cell(W2,M,n+1);X=cat(1,w1,w2);%合并两类增广样本%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%eth0=0; %迭代次数%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%感知器算法核心部分[m,n]=size(X);temp1=[];temp2=1;%随意两个赋不等的值while(~isequal(temp1,temp2)) %判断权值是否变换化，若不变化，则终止循环 eth0=eth0+1;temp2=temp1;clear temp1;%不清除此变量不行啊！！for i=1:mtemp1{i,1}=w;if(w*X{i}'<=0) %w乘X{i}的转置w=w+c*X{i}; %若小于0更新权值endendend %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%w %显示线性分类器权值eth0 %显示迭代次数实验三 Bayes 分类器设计一、实验目的通过实验，加深对统计判决与概率密度估计基本思想、方法的认识，了解影响Bayes 分类器性能的因素，掌握基于Bayes 决策理论的随机模式分类的原理和方法。