(完整word版)模式作业设计

1.1题目给出K-均值算法的程序框图，编写程序，自选一组分别属于三类的三维模式样本（图2.13），并给它们进行聚类分析。

1.2算法原理K-均值算法也称C-均值算法，是根据函数准则进行分类的聚类算法，基于使聚类准则最小化。

此处所用的聚类准则函数是聚类集中每一个样本点到该类聚类中心的距离平方和，对于第j 个聚类集，准则函数定义为式中，S j 表示第j 个聚类集，也称聚类域，其聚类中心为j Z ；j N 为第j 个聚类集j S 中所包含的样本个数。

（1）任选K 个初始聚类中心Z 1(1)，Z 2(1)，…，Z K (1)，K N <。

括号内的序号代表寻找聚类中心的迭代运算的次序号。

一般可选择样本集中前K 个样本作为初始聚类中心。

（2）按最小距离原则将其余样本分配到K 个聚类中心中的某一个，即：若min{(),1,2,K}()()i j X Z k i X Z k D k -=⋅⋅⋅=-=，则i j X S ∈。

式中，k 代表迭代运算次序号；K 代表聚类中心的个数。

（3）计算各个聚类中心的新向量值(1)j Z k +，1,2,,j K =⋅⋅⋅即以均值向量作为新的聚类中心。

这一步要分别计算K 个聚类中心的样本均值向量，故该算法被称为K-均值算法。

（4）如果(1)()j j Z k Z k +≠，1,2,,j K =⋅⋅⋅，则回到（2），将模式样本逐个重新分类，并重复迭代计算；如果(1)()j j Z k Z k +=，1,2,,j K =⋅⋅⋅，算法收敛，计算完毕。

1.3程序流程图21jN j i j i ji J X Z X S ==-∈∑，()1(1)j j X S k JZ k XN ∈+=∑1.4 MATLAB程序代码clear all;clc;data=input('请输入样本数据矩阵：');X=data(:,1);Y=data(:,2);figure(1);plot(X,Y,'r*','LineWidth',3);axis([0 9 0 8])xlabel('x');ylabel('y');hold on;grid on;m=size(data,1);n=size(data,2);counter=0;k=input('请输入聚类数目：');if k>mdisp('输入的聚类数目过大，请输入正确的k值');k=input('请输入聚类数目：');endM=cell(1,m);for i=1:kM{1,i}=zeros(1,n);endMold=cell(1,m);for i=1:kMold{1,i}=zeros(1,n);end%随机选取k个样本作为初始聚类中心%第一次聚类,使用初始聚类中心p=randperm(m);%产生m个不同的随机数for i=1:kM{1,i}=data(p(i),:);while truecounter=counter+1;disp('第');disp(counter);disp('次迭代');count=zeros(1,k);%初始化聚类CC=cell(1,k);for i=1:kC{1,i}=zeros(m,n);end%聚类for i=1:mgap=zeros(1,k);for d=1:kfor j=1:ngap(d)=gap(d)+(M{1,d}(j)-data(i,j))^2;endend[y,l]=min(sqrt(gap));count(l)=count(l)+1;C{1,l}(count(l),:)=data(i,:);endMold=M;disp('聚类中心为：');for i=1:kdisp(M{1,i});enddisp('聚类结果为：');for i=1:kdisp(C{1,i});sumvar=0;for i=1:kE=0;disp('单个误差平方和为：');for j=1:count(i)for h=1:nE=E+(M{1,i}(h)-C{1,i}(j,h))^2;endenddisp(E);sumvar=sumvar+E;enddisp('总体误差平方和为：');disp(sumvar);%计算新的聚类中心,更新M,并保存旧的聚类中心for i=1:kM{1,i}=sum(C{1,i})/count(i);end%检查前后两次聚类中心是否变化，若变化则继续迭代；否则算法停止；tally=0;for i=1:kif abs(Mold{1,i}-M{1,i})<1e-5*ones(1,n)tally=tally+1;continue;elsebreak;endendif tally==kbreak;endend1.5结果与分析请输入聚类数目：3第1次迭代聚类中心为：2 2 7 43 6 聚类结果为：0 01 12 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 37 37 40 00 00 00 00 00 00 03 73 64 65 70 00 00 00 00 00 0单个误差平方和为：10单个误差平方和为：3单个误差平方和为：7总体误差平方和为：20第2次迭代聚类中心为：1 1 6.6667 3.3333 3.7500 6.5000 聚类结果为：0 01 12 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 37 37 40 00 00 00 00 00 00 03 73 64 65 70 00 00 00 00 00 0单个误差平方和为：4单个误差平方和为：1.3333单个误差平方和为：3.7500总体误差平方和为：9.0833程序以循环语句来实现算法中迭代的要求。

在对课本上图2.13所示的10个样本进行聚类时，考虑到实际应用中，需试探不同的K值和选择不同的聚类中心起始值，而题中K值已定，所以随机选取了k个样本作为初始聚类中心。

另一方面，这个程序不能生成聚类的结果图。

2.1题目给出感知器算法程序框图，编写算法程序，解习题3-5,。

2.2算法原理两类线性可分的模式类：21,ωω，设判别函数为X W X T)(=d 。

其中，T 121[,,,,]n n W w w w w +=⋅⋅⋅，T 121[,,,,]n n X x x x x +=⋅⋅⋅。

d （X ）应具有以下性质：对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有：0)(T>=X W X d 。

下面是感知器的具体步骤：（1）选择N 个分属于1ω和2ω类的模式样本构成训练样本集{1X ，⋅⋅⋅，N X }，构成增广向量形式，并进行规范化处理。

任取权向量初始值W (1)，开始迭代。

括号中的1代表迭代次数k =1。

（2）用全部训练样本进行一轮迭代，计算()Ti W k X 的值，并修正权向量。

假设进行到第k 次迭代时，输入的样本为i X ，计算()Ti W k X ，分两种情况更新权向量： ①若()Ti W k X ≤0，说明分类器对i X 的分类发生错误，权向量需要校正，且校正为：(1)W k +=，其中，c 为校正增量系数，0c >。

②若()Ti W k X 0>，表明分类正确，权向量不变，即(1)()W k W k +=。

可统一写为（3）分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类，结束迭代。

此时的权向量即为算法结果。

2.3程序流程图⎩⎨⎧∈<∈>=21T,0,0)(ωωX X X WX 若若d ()=1+k W ()ic k XW +()k W ()0>T i k X W 若()0≤T i k X W 若2.4MATLAB程序代码clear all;clc;disp('感知器算法求解两类训练样本的判别函数'); Data1=input('请输入第一类样本数据：');Data2=input('请输入第二类样本数据：');W=input('请输入权向量初始值W(1)=');Expand=cat(1,Data1,Data2);ExpandData1=cat(2,Data1,ones(4,1)); ExpandData2=cat(2,Data2.*-1,ones(4,1).*-1); ExpandData=cat(1,ExpandData1,ExpandData2);X=Expand(:,1);Y=Expand(:,2);Z=Expand(:,3);[ro,co]=size(ExpandData);Step=0;CountError=1;while CountError>0;CountError=0;for i=1:roTemp=W*ExpandData(i,:)';if Temp<=0W=W+ExpandData(i,:);disp(W)CounterError=CountError+1;endendStep=Step+1;enddisp(W)figure(1)plot3(X,Y,Z,'ks','LineWidth',2);grid on;hold on;xlabel('x');ylabel('y');zlabel('z');f=@(x,y,z)W(1)*x+W(2)*y+W(3)*z+W(4); [x,y,z]=meshgrid(-1:.2:1,-1:.2:1,0:.2:1);v=f(x,y,z);h=patch(isosurface(x,y,z,v ));isonormals(x,y,z,v,h)set(h,'FaceColor','r','EdgeColor','none'); 2.5结果与分析3.5 判别界面个人认为在这道题中需要注意的是对MA TLAB 绘图的阅读能力，尤其是三维图像，可以用figure 窗口的Rotate 3D 和Data Cursor 工具进行多角度的观察。

3.1题目编写两类正态分布模式的贝叶斯分类程序，并使用编写的程序求解4.3题。

3.2算法原理正态分布模式的贝叶斯决策又称为高斯分布。

当特征空间中的某一类样本较多地分布在其均值附近，远离均值点的样本比较少时，用正态分布作为概率模型就是合理的。

最小错误率贝叶斯决策和最小风险贝叶斯决策应用范围很广，但事先必须求出(|)i p X ω和()i P ω。