《模式识别》线性分类器设计实验报告
哈尔滨工程大学-模式识别实验报告模板
实验报告实验课程名称：模式识别姓名：班级： 20120811 学号：注：1、每个实验中各项成绩按照5分制评定，实验成绩为各项总和2、平均成绩取各项实验平均成绩3、折合成绩按照教学大纲要求的百分比进行折合2015年 4月实验1 图像的贝叶斯分类1.1 实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。
1.2 实验仪器设备及软件HP D538、MATLAB1.3 实验原理1.3.1基本原理阈值化分割算法是计算机视觉中的常用算法，对灰度图象的阈值分割就是先确定一个处于图像灰度取值范围内的灰度阈值，然后将图像中每个像素的灰度值与这个阈值相比较。
并根据比较的结果将对应的像素划分为两类，灰度值大于阈值的像素划分为一类，小于阈值的划分为另一类，等于阈值的可任意划分到两类中的任何一类。
此过程中，确定阈值是分割的关键。
对一般的图像进行分割处理通常对图像的灰度分布有一定的假设，或者说是基于一定的图像模型。
最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，处于目标和背景内部相邻像素间的灰度值是高度相关的，但处于目标和背景交界处两边的像素灰度值有较大差别，此时，图像的灰度直方图基本上可看作是由分别对应于目标和背景的两个单峰直方图混合构成。
而且这两个分布应大小接近，且均值足够远，方差足够小，这种情况下直方图呈现较明显的双峰。
类似地，如果图像中包含多个单峰灰度目标，则直方图可能呈现较明显的多峰。
上述图像模型只是理想情况，有时图像中目标和背景的灰度值有部分交错。
这时如用全局阈值进行分割必然会产生一定的误差。
分割误差包括将目标分为背景和将背景分为目标两大类。
实际应用中应尽量减小错误分割的概率，常用的一种方法为选取最优阈值。
这里所谓的最优阈值，就是指能使误分割概率最小的分割阈值。
图像的直方图可以看成是对灰度值概率分布密度函数的一种近似。
模式识别上机实验报告
实验一、二维随机数的产生1、实验目的（1） 学习采用Matlab 程序产生正态分布的二维随机数 （2） 掌握估计类均值向量和协方差矩阵的方法（3） 掌握类间离散度矩阵、类内离散度矩阵的计算方法（4） 熟悉matlab 中运用mvnrnd 函数产生二维随机数等matlab 语言2、实验原理多元正态分布概率密度函数：11()()2/21/21()(2)||T X X d p X eμμπ---∑-=∑其中：μ是d 维均值向量：Td E X μμμμ=={}[,,...,]12Σ是d ×d 维协方差矩阵：TE X X μμ∑=--[()()]（1）估计类均值向量和协方差矩阵的估计 各类均值向量1ii X im X N ω∈=∑ 各类协方差矩阵1()()iTi iiX iX X N ωμμ∈∑=--∑（2）类间离散度矩阵、类内离散度矩阵的计算类内离散度矩阵：()()iTi iiX S X m X m ω∈=--∑， i=1,2总的类内离散度矩阵：12W S S S =+类间离散度矩阵：1212()()Tb S m m m m =--3、实验内容及要求产生两类均值向量、协方差矩阵如下的样本数据，每类样本各50个。
1[2,2]μ=--，11001⎡⎤∑=⎢⎥⎣⎦，2[2,2]μ=，21004⎡⎤∑=⎢⎥⎣⎦ （1）画出样本的分布图；（2） 编写程序，估计类均值向量和协方差矩阵；（3） 编写程序，计算类间离散度矩阵、类内离散度矩阵； （4）每类样本数增加到500个，重复（1）-（3）4、实验结果(1)、样本的分布图(2)、类均值向量、类协方差矩阵根据matlab 程序得出的类均值向量为：N=50 : m1=[-1.7160 -2.0374] m2=[2.1485 1.7678] N=500: m1=[-2.0379 -2.0352] m2=[2.0428 2.1270] 根据matlab 程序得出的类协方差矩阵为：N=50: ]0628.11354.01354.06428.1[1=∑ ∑--2]5687.40624.00624.08800.0[N=500：∑--1]0344.10162.00162.09187.0[∑2]9038.30211.00211.09939.0[(3)、类间离散度矩阵、类内离散度矩阵根据matlab 程序得出的类间离散度矩阵为：N=50： ]4828.147068.147068.149343.14[=bS N=500： ]3233.179843.169843.166519.16[b =S根据matlab 程序得出的类内离散度矩阵为：N=50：]0703.533088.73088.71052.78[1=S ]7397.2253966.13966.18975.42[2--=S ]8100.2789123.59123.50026.121[=W SN=500: ]5964.5167490.87490.86203.458[1--=S ]8.19438420.78420.70178.496[2=S ]4.24609071.09071.06381.954[--=W S5、结论由mvnrnd 函数产生的结果是一个N*D 的一个矩阵，在本实验中D 是2，N 是50和500.根据实验数据可以看出，当样本容量变多的时候，两个变量的总体误差变小，观测变量各个取值之间的差异程度减小。
模式识别--第二讲 线性分类器
第 1 页第二讲 线性分类器一、 判别函数1、 决策论方法在模式识别中，如果根据模式特征信息，按照决策论的思路，以一定的数量规则来采取不同的分类决策，将待识别的模式划分到不同的类别中去，就称为模式识别的决策论方法。
在决策论方法中，特征空间被划分成不同的区域，每个区域对应一个模式类，称为决策区域（Decision Region ）。
当我们判定待识别的模式位于某个决策区域时，就判决它可以划归到对应的类别中。
图1 决策区域需要注意的是：决策区域包含模式类中样本的分布区域，但不等于模式类的真实分布范围。
2、 判别函数如果特征空间中的决策区域边界（Decision Boundary ）可以用一组方程0)( x i G来表示，则将一个模式对应的特征向量x 代入边界方程中的)(x i G ，确定其正负符号，就可以确定该模式位于决策区域边界的哪一边，从而可以判别其应当属于的类别，)(x i G 称为判别函数（Discriminant Function ）。
判别函数的形式可以是线性的（Linear ）或非线性（Non-linear）的。
第 2 页例如图2就显示了一个非线性判别函数，当G (x )>0时，可判别模式x ∈ω1；当G (x )<0时，可判别x ∈ω2。
图2 非线性判别函数非线性判别函数的处理比较复杂，如果决策区域边界可以用线性方程来表达，则决策区域可以用超平面（Hyperplane ）来划分，无论在分类器的学习还是分类决策时都比较方便。
例如图3中的特征空间可以用两个线性判别函数来进行分类决策：当G 21(x )>0且G 13(x )>0时，x ∈ω2； 当G 13(x )<0且G 21(x )<0时，x ∈ω3； 当G 21(x )<0 且 G 13(x )>0时，x ∈ω1；当G 21(x )>0且G 13(x )<0时，x 所属类别无法判别。
《模式识别》实验报告-贝叶斯分类
《模式识别》实验报告---最小错误率贝叶斯决策分类一、实验原理对于具有多个特征参数的样本（如本实验的iris 数据样本有4d =个参数），其正态分布的概率密度函数可定义为112211()exp ()()2(2)T d p π-⎧⎫=--∑-⎨⎬⎩⎭∑x x μx μ 式中，12,,,d x x x ⎡⎤⎣⎦=x 是d 维行向量，12,,,d μμμ⎡⎤⎣⎦=μ是d 维行向量，∑是d d ⨯维协方差矩阵，1-∑是∑的逆矩阵，∑是∑的行列式。
本实验我们采用最小错误率的贝叶斯决策，使用如下的函数作为判别函数()(|)(),1,2,3i i i g p P i ωω==x x （3个类别）其中()i P ω为类别i ω发生的先验概率，(|)i p ωx 为类别i ω的类条件概率密度函数。
由其判决规则，如果使()()i j g g >x x 对一切j i ≠成立，则将x 归为i ω类。
我们根据假设：类别i ω，i=1,2,……,N 的类条件概率密度函数(|)i p ωx ，i=1,2,……,N 服从正态分布，即有(|)i p ωx ~(,)i i N ∑μ，那么上式就可以写为1122()1()exp ()(),1,2,32(2)T i i dP g i ωπ-⎧⎫=-∑=⎨⎬⎩⎭∑x x -μx -μ对上式右端取对数，可得111()()()ln ()ln ln(2)222T i i i i dg P ωπ-=-∑+-∑-i i x x -μx -μ上式中的第二项与样本所属类别无关，将其从判别函数中消去，不会改变分类结果。
则判别函数()i g x 可简化为以下形式111()()()ln ()ln 22T i i i i g P ω-=-∑+-∑i i x x -μx -μ二、实验步骤（1）从Iris.txt 文件中读取估计参数用的样本，每一类样本抽出前40个，分别求其均值，公式如下11,2,3ii iii N ωωω∈==∑x μxclear% 原始数据导入iris = load('C:\MATLAB7\work\模式识别\iris.txt'); N=40;%每组取N=40个样本%求第一类样本均值 for i = 1:N for j = 1:4w1(i,j) = iris(i,j+1); end endsumx1 = sum(w1,1); for i=1:4meanx1(1,i)=sumx1(1,i)/N; end%求第二类样本均值 for i = 1:N for j = 1:4 w2(i,j) = iris(i+50,j+1);end endsumx2 = sum(w2,1); for i=1:4meanx2(1,i)=sumx2(1,i)/N; end%求第三类样本均值 for i = 1:N for j = 1:4w3(i,j) = iris(i+100,j+1); end endsumx3 = sum(w3,1); for i=1:4meanx3(1,i)=sumx3(1,i)/N; end（2）求每一类样本的协方差矩阵、逆矩阵1i -∑以及协方差矩阵的行列式i ∑， 协方差矩阵计算公式如下11()(),1,2,3,41i ii N i jklj j lk k l i x x j k N ωωσμμ==--=-∑其中lj x 代表i ω类的第l 个样本，第j 个特征值；ij ωμ代表i ω类的i N 个样品第j 个特征的平均值lk x 代表i ω类的第l 个样品，第k 个特征值；iw k μ代表i ω类的i N 个样品第k 个特征的平均值。
电子科技大学模式识别作业ANN-BP分类器设计
ANN-BP分类器设计（控制工程XXXXXXXXXX）1、问题表述对“data3.m”数据，用其中一半的数据采用ANN-BP算法设计分类器，另一半数据用于测试分类器性能。
二、方法描述神经网络(Neural Networks, NN)是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。
神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。
BP 神经网络的标准学习过程：神经网络在外界输入样本的刺激下，不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。
信号正向传播；若输出层的实际输出与期望的输出（教师信号）不符时，转入反向传播阶段；误差反传，误差以某种形式在各层表示——修正各层单元的权值；依次循环，直到网络输出的误差减少到可接受的程度或者进行到预先设定的学习次数为止。
BP神经网络的标准学习步骤：第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。
第二步,随机选取第k个输入样本及对应期望输出。
第三步，计算隐含层各神经元的输入和输出。
第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。
第五步，利用隐含层到输出层的连接权值、输出层的偏导数和隐含层的输出计算误差函数对隐含层各神经元的偏导数。
第六步，利用输出层各神经元的偏导数和隐含层各神经元的输出来修正连接权值。
第七步，利用隐含层各神经元的偏导数和输入层各神经元的输入修正连接权。
第八步，计算全局误差。
第九步，判断网络误差是否满足要求。
当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。
否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。
BP神经网络的特点：非线性映射能力：能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。
模式识别试验(基于Fisher准则线性分类器设计)
模式识别实验（三）一、实验名称基于Fisher准则线性分类器设计二、实验目的：本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理，以及Lagrange乘子求解的原理。
三、实验原理：线性判别函数的一般形式可表示成其中根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。
另外，该式这种形式的运算，我们称为线性变换，其中(m1-m2)式一个向量，Sw-1是Sw的逆矩阵，如(m1-m2)是d维，Sw和Sw-1都是d×d维，得到的也是一个d维的向量。
向量就是使Fisher准则函数达极大值的解，也就是按Fisher准则将d维X 空间投影到一维Y空间的最佳投影方向，该向量的各分量值是对原d维特征向量求加权和的权值。
以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量 的计算方法，但是判别函数中的另一项w0尚未确定，一般可采用以下几种方法确定w0如或者或当与已知时可用……当W 0确定之后，则可按以下规则分类，使用Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。
四、实验内容：已知有两类数据1ω和2ω二者的概率已知=0.6，=0.4。
1ω中数据点的坐标对应一一如下：数据：x =0.2331 1.5207 0.6499 0.7757 1.0524 1.19740.2908 0.2518 0.6682 0.5622 0.9023 0.1333-0.5431 0.9407 -0.2126 0.0507 -0.0810 0.73150.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099 y =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.83401.87042.2948 1.7714 2.3939 1.5648 1.93292.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604 z =0.5338 0.8514 1.0831 0.4164 1.1176 0.55360.6071 0.4439 0.4928 0.5901 1.0927 1.07561.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548 数据点的对应的三维坐标为2x2 =1.4010 1.23012.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.79091.3322 1.1466 1.7087 1.59202.9353 1.46642.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 =1.0298 0.9611 0.9154 1.4901 0.8200 0.93991.1405 1.0678 0.8050 1.2889 1.4601 1.43340.7091 1.2942 1.3744 0.9387 1.2266 1.18330.8798 0.5592 0.5150 0.9983 0.9120 0.71261.2833 1.1029 1.2680 0.7140 1.2446 1.33921.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 =0.6210 1.3656 0.5498 0.6708 0.8932 1.43420.9508 0.7324 0.5784 1.4943 1.0915 0.76441.2159 1.3049 1.1408 0.9398 0.6197 0.66031.3928 1.4084 0.6909 0.8400 0.5381 1.37290.7731 0.7319 1.3439 0.8142 0.9586 0.73790.7548 0.7393 0.6739 0.8651 1.3699 1.1458数据的样本点分布如下图：0.511.522.5五、实验要求：1. 可以选择二维的数据，或者选择三维的数据作为样本。
模式识别：线性分类器
模式识别：线性分类器一、实验目的和要求目的：了解线性分类器，对分类器的参数做一定的了解，理解参数设置对算法的影响。
要求：1. 产生两类样本2. 采用线性分类器生成出两类样本的分类面3. 对比线性分类器的性能，对比参数设置的结果二、实验环境、内容和方法环境：windows 7，matlab R2010a内容：通过实验，对生成的实验数据样本进行分类。
三、实验基本原理感知器基本原理：1.感知器的学习过程是不断改变权向量的输入，更新结构中的可变参数，最后实现在有限次迭代之后的收敛。
感知器的基本模型结构如图1所示：图1 感知器基本模型其中，X输入，Xi表示的是第i个输入；Y表示输出；W表示权向量；w0是阈值，f是一个阶跃函数。
感知器实现样本的线性分类主要过程是：特征向量的元素x1，x2，……，xk是网络的输入元素，每一个元素与相应的权wi相乘。
，乘积相加后再与阈值w0相加，结果通过f函数执行激活功能，f为系统的激活函数。
因为f是一个阶跃函数，故当自变量小于0时，f= -1；当自变量大于0时，f= 1。
这样，根据输出信号Y，把相应的特征向量分到为两类。
然而，权向量w并不是一个已知的参数，故感知器算法很重要的一个步骤即是寻找一个合理的决策超平面。
故设这个超平面为w，满足：（1）引入一个代价函数，定义为：（2）其中，Y是权向量w定义的超平面错误分类的训练向量的子集。
变量定义为：当时，= -1；当时，= +1。
显然，J(w)≥0。
当代价函数J(w)达到最小值0时，所有的训练向量分类都全部正确。
为了计算代价函数的最小迭代值，可以采用梯度下降法设计迭代算法，即：（3）其中，w(n)是第n次迭代的权向量，有多种取值方法，在本设计中采用固定非负值。
由J(w)的定义，可以进一步简化（3）得到：（4）通过（4）来不断更新w，这种算法就称为感知器算法（perceptron algorithm）。
可以证明，这种算法在经过有限次迭代之后是收敛的，也就是说，根据（4）规则修正权向量w，可以让所有的特征向量都正确分类。
《模式识别》课程标准精选全文完整版
可编辑修改精选全文完整版《模式识别》课程标准一、课程概述1.课程性质《模式识别》是人工智能技术服务专业针对人工智能产业及其应用相关的企事业单位的人工智能技术应用开发、系统运维、产品营销、技术支持等岗位，经过对企业岗位典型工作任务的调研和分析后，归纳总结出来的为适应人工智能产品开发与测试、数据处理、系统运维等能力要求而设置的一门专业核心课程。
2.课程任务《模式识别》课程通过与各类特征识别应用案例开发相关的实际项目学习，增强学生对本专业智能感知与识别算法知识的认识，训练他们养成良好的解析思维习惯，在理解理论知识的基础之上，根据实现情况分析与设计出最优解决方案，再用编程方式实现特征提取和识别算法并加以应用的能力，从而满足企业对相应岗位的职业能力需求。
3.课程要求通过课程的学习培养学生智能感知与识别算法应用方面的岗位职业能力，分析问题、解决问题的能力，养成良好的职业道德，为后续课程的学习打下坚实的基础。
二、教学目标（一）知识目标（1）了解模式识别的概念，掌握通过编程实现模板匹配算法来解决简单的模式识别问题的能力；（2）了解常用模式识别算法的原理，能初步利用该类算法解决具体模式识别问题的一般方法；（3）理解特征提取与降维的概念及主要方法，并能够在解决模式识别问题的过程中加以应用；（4）详细了解BP神经网络的原理，熟练掌握利用该算法解决手写体识别问题的方法；（5）详细了解朴素贝叶斯分类器算法的原理，熟练掌握利用该算法解决打印体文字识别问题的方法；（6）详细了解基于隐马尔可夫模型的语音识别原理，熟练掌握利用该模型解决语音识别问题的方法；（7）详细了解基于PCA和SVM模型的人脸识别原理，熟练掌握利用该模型解决人脸识别问题的方法。
（二）能力目标（1）会识读程序流程图，能看懂案例程序代码；（2）会使用Python语言实现“模式识别”常规算法；（3）能按照任务要求，设计程序流程图，编写程序代码；（4）能够根据系统功能要求对程序进行调试；（5）能够对所编写的程序故障进行分析，提出解决方案并进行故障排除：（6）能根据系统工作情况，提出合理的改造方案，组织技术改造工作、绘制程序流程图、提出工艺要求、编制技术文件。
模式识别实验指导书
类别1234样本x 1x 2x 1x 2x 1x 2x 1x 210.1 1.17.1 4.2-3.0-2.9-2.0-8.42 6.87.1-1.4-4.30.58.7-8.90.23-3.5-4.1 4.50.0 2.9 2.1-4.2-7.74 2.0 2.7 6.3 1.6-0.1 5.2-8.5-3.25 4.1 2.8 4.2 1.9-4.0 2.2-6.7-4.06 3.1 5.0 1.4-3.2-1.3 3.7-0.5-9.27-0.8-1.3 2.4-4.0-3.4 6.2-5.3-6.780.9 1.2 2.5-6.1-4.1 3.4-8.7-6.49 5.0 6.48.4 3.7-5.1 1.6-7.1-9.710 3.9 4.0 4.1-2.2 1.9 5.1-8.0-6.3实验一 感知器准则算法实验一、实验目的：贝叶斯分类方法是基于后验概率的大小进行分类的方法，有时需要进行概率密度函数的估计，而概率密度函数的估计通常需要大量样本才能进行，随着特征空间维数的增加，这种估计所需要的样本数急剧增加，使计算量大增。
在实际问题中，人们可以不去估计概率密度，而直接通过与样本和类别标号有关的判别函数来直接将未知样本进行分类。
这种思路就是判别函数法，最简单的判别函数是线性判别函数。
采用判别函数法的关键在于利用样本找到判别函数的系数，模式识别课程中的感知器算法是一种求解判别函数系数的有效方法。
本实验的目的是通过编制程序，实现感知器准则算法，并实现线性可分样本的分类。
二、实验内容：实验所用样本数据如表2-1给出（其中每个样本空间（数据）为两维，x 1表示第一维的值、x 2表示第二维的值），编制程序实现1、 2类2、 3类的分类。
分析分类器算法的性能。
2-1 感知器算法实验数据具体要求1、复习感知器算法；2、写出实现批处理感知器算法的程序1）从a=0开始，将你的程序应用在和的训练数据上。
记下收敛的步数。
感知准则函数
《模式识别》实验报告1 实验目的1. 学习和掌握关于感知准则函数的知识；2. 应用感知准则函数求解判决面，解决模式识别的分类问题；2 实验内容利用感知准则函数用感知准则函数的方法求解以下数据的判决面，学习率为ρt=0.1，画出每次迭代法向量的变化轨迹，并画出最终的判决曲线。
3 实验原理或步骤初始的线性判别函数为g(x) = w T x + w0为了讨论方便，把向量x 增加一维，但取其值为常数，即定义y = [1,x1,x2,···,x d]T1其中，x1 为样本x 的第i 维分量。
我们称y 为增广的样本向量。
相应地，定义增广的权向量为α = [w0,w1,w2,···,w d]T线性判别函数变为g(y) = αT y决策规则是：如果g(y) > 0，则y ∈ω1；如果g(y) < 0，则y ∈ω2。
设一组样本为y1···,y N，若存在权向量α，使得对于样本集中的任意一个样本y i，i=1，···，N，若y ∈ω1 则αT y i > 0，若y ∈ω2 则αT y i < 0，那么称这组样本或这个样本集是线性可分的。
即在样本的特征空间中，至少存在一个线性分类面能够把两类样本没有错误地分开。
如果定义一个新的变量y′，使对于第一类的样本y′=y，而对第二类样本则y′=−y，即其中i = 1,2,···,N则样本可分性条件就变成了存在α，使这样定义的y′称作规范化增广样本向量。
为了讨论方便，都采用规范化增广样本向量，并且把y′仍然记作y。
对于权向量α，如果某个样本y k 被错误分类，则αT y k ≤ 0。
我们可以用对所有错分样本的求和来表示对错分样本的惩罚这就是Rosenblatt 提出的感知器准则函数。
显然，当且仅当J P(α∗) = minJ P(α) = 0 时α∗是解向量。
《模式识别》课程实验 线性分类器设计实验
《模式识别》课程实验线性分类器设计实验一、实验目的：1、掌握Fisher 线性分类器设计方法；2、掌握感知准则函数分类器设计方法。
二、实验内容：1、对下列两种情况，求采用Fisher 判决准则时的投影向量和分类界面，并做图。
12{(2,0),(2,2),(2,4),(3,3)}{(0,3),(2,2),(1,1),(1,2),(3,1)}T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 12{(1,1),(2,0),(2,1),(0,2),(1,3)}{(1,2),(0,0),(1,0),(1,1),(0,2)}T T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 2、对下面的两类分类问题，采用感知准则函数，利用迭代修正求权向量的方法求两类的线性判决函数及线性识别界面，并画出识别界面将训练样本区分的结果图。
12{(1,1),(2,0),(2,1),(0,2),(1,3)}{(1,2),(0,0),(1,0),(1,1),(0,2)}T T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 三、实验原理：（1）Fisher 判决准则投影方向：*112()w w S μμ-=-（2）感知准则函数：()()kT p z Z J v v z ==-∑当k Z为空时，即()0J v ，*v即为所求p四、解题思路:1、fisher线性判决器：A.用mean函数求两类样本的均值B.求两类样本的均值的类内离散矩阵SiC.利用类内离散矩阵求总类内离散矩阵SwD.求最佳投影方向WoE.定义阈值，并求得分界面2、感知准则函数分类器：A.获得增广样本向量和初始增广权向量B.对样本进行规范化处理C.获得解区，并用权向量迭代修正错分样本集，得到最终解区五、实验结果：1、fisher线性判决分类器：条件：取pw1=pw2=0.5,阈值系数为0.5A．第一种情况B.第二种情况2、感知准则函数判决：条件：取步长row为1判决结果：六、结果分析：1、fisher线性判决器中，调整阈值系数时，分界面会随之平行上下移动，通过调整阈值系数的大小，就能比较合理的得到分界面。
模式识别实验【范本模板】
《模式识别》实验报告班级：电子信息科学与技术13级02 班姓名：学号：指导老师:成绩：通信与信息工程学院二〇一六年实验一 最大最小距离算法一、实验内容1. 熟悉最大最小距离算法,并能够用程序写出。
2. 利用最大最小距离算法寻找到聚类中心,并将模式样本划分到各聚类中心对应的类别中.二、实验原理N 个待分类的模式样本{}N X X X ， 21,，分别分类到聚类中心{}N Z Z Z ， 21,对应的类别之中.最大最小距离算法描述：（1）任选一个模式样本作为第一聚类中心1Z 。
（2）选择离1Z 距离最远的模式样本作为第二聚类中心2Z 。
（3）逐个计算每个模式样本与已确定的所有聚类中心之间的距离，并选出其中的最小距离.（4）在所有最小距离中选出一个最大的距离，如果该最大值达到了21Z Z -的一定分数比值以上，则将产生最大距离的那个模式样本定义为新增的聚类中心，并返回上一步.否则，聚类中心的计算步骤结束。
这里的21Z Z -的一定分数比值就是阈值T ，即有：1021<<-=θθZ Z T（5）重复步骤（3）和步骤（4），直到没有新的聚类中心出现为止。
在这个过程中，当有k 个聚类中心{}N Z Z Z ， 21,时,分别计算每个模式样本与所有聚类中心距离中的最小距离值,寻找到N 个最小距离中的最大距离并进行判别,结果大于阈值T 是，1+k Z 存在，并取为产生最大值的相应模式向量；否则,停止寻找聚类中心。
（6)寻找聚类中心的运算结束后，将模式样本{}N i X i ,2,1, =按最近距离划分到相应的聚类中心所代表的类别之中。
三、实验结果及分析该实验的问题是书上课后习题2。
1，以下利用的matlab 中的元胞存储10个二维模式样本X ｛1}=［0;0］；X{2}=［1；1];X ｛3｝=[2;2]；X{4｝=[3；7]；X{5｝=[3;6］; X{6}=［4；6］；X{7}=［5；7];X{8}=[6；3］;X{9｝=［7;3］;X{10}=［7;4]；利用最大最小距离算法，matlab 运行可以求得从matlab 运行结果可以看出，聚类中心为971,,X X X ，以1X 为聚类中心的点有321,,X X X ,以7X 为聚类中心的点有7654,,,X X X X ，以9X 为聚类中心的有1098,,X X X 。
模式识别实验报告
实验一Bayes 分类器设计本实验旨在让同学对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。
1实验原理最小风险贝叶斯决策可按下列步骤进行：(1)在已知)(i P ω，)(i X P ω，i=1,…，c 及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率： ∑==cj iii i i P X P P X P X P 1)()()()()(ωωωωω j=1,…，x(2)利用计算出的后验概率及决策表，按下面的公式计算出采取i a ,i=1,…，a 的条件风险∑==cj j jii X P a X a R 1)(),()(ωωλ,i=1,2,…,a(3)对(2)中得到的a 个条件风险值)(X a R i ,i=1,…，a 进行比较，找出使其条件风险最小的决策k a ，即则k a 就是最小风险贝叶斯决策。
2实验内容假定某个局部区域细胞识别中正常（1ω）和非正常（2ω）两类先验概率分别为 正常状态：P （1ω）=0.9； 异常状态：P （2ω）=0.1。
现有一系列待观察的细胞，其观察值为x ：-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682 -1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 已知类条件概率密度曲线如下图：)|(1ωx p )|(2ωx p 类条件概率分布正态分布分别为（-2，0.25）（2,4）试对观察的结果进行分类。
3 实验要求1) 用matlab 完成分类器的设计，要求程序相应语句有说明文字。
2) 根据例子画出后验概率的分布曲线以及分类的结果示意图。
模式识别实验报告
二、实验步骤 前提条件： 只考虑第三种情况：如果 di(x) >dj(x) 任意 j≠ i ，则判 x∈ωi 。
○1 、赋初值，分别给 c 个权矢量 wi(1)（i=1,2,…c）赋任意的初
值，选择正常数ρ ，置步数 k=1；
○2 、输入符号未规范化的增广训练模式 xk, xk∈{x1, x2… xN} ,
二、实验步骤
○1 、给出 n 个混合样本，令 I=1，表示迭代运算次数，选取 c
个初始聚合中心 ，j=1,2,…,c;
○2 、 计 算 每 个 样 本 与 聚 合 中 心 的 距 离
，
。
若
， ，则
。
○3 、 计 算 c 个 新 的 聚 合 中 心 ：
，
。
○4 、判断：若
，
，则 I=I+1，返回
第二步 b 处，否则结束。 三、程序设计
聚类没有影响。但当 C=2 时，该类别属于正确分类。 而类别数目大于 2 时，初始聚合中心对聚类的影响非常大，仿真
结果多样化，不能作为分类标准。 2、考虑类别数目对聚类的影响： 当类别数目变化时，结果也随之出现变化。 3、总结 综上可知，只有预先分析过样本，确定合适的类别数目，才能对
样本进行正确分类，而初始聚合中心对其没有影响。
8
7
6
5
4
3
2
1
0
0
1
2
3
4
5
6
7
8
9
初始聚合中心为（0,0），（2,2）,（5,5），（7,7），（9,9）
K-均 值 聚 类 算 法 ： 类 别 数 目 c=5 9
8
7
6
5
4
模式识别实验报告
模式识别实验报告班级：电信08-1班姓名：黄**学号：********课程名称：模式识别导论实验一安装并使用模式识别工具箱一、实验目的：1．掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；2．熟练使用最小错误率贝叶斯决策器对样本分类；3．熟练使用感知准则对样本分类；4．熟练使用最小平方误差准则对样本分类；5．了解近邻法的分类过程，了解参数K值对分类性能的影响（选做）；6．了解不同的特征提取方法对分类性能的影响（选做）。
二、实验内容与原理：1．安装模式识别工具箱；2．用最小错误率贝叶斯决策器对呈正态分布的两类样本分类；3．用感知准则对两类可分样本进行分类，并观测迭代次数对分类性能的影响；4．用最小平方误差准则对云状样本分类，并与贝叶斯决策器的分类结果比较；5．用近邻法对双螺旋样本分类，并观测不同的K值对分类性能的影响（选做）；6．观测不同的特征提取方法对分类性能的影响（选做）。
三、实验器材（设备、元器件、软件工具、平台）：1．PC机－系统最低配置512M 内存、P4 CPU；2．Matlab 仿真软件－7.0 / 7.1 / 2006a等版本的Matlab 软件。
四、实验步骤：1．安装模式识别工具箱。
并调出Classifier主界面。
2．调用XOR.mat文件，用最小错误率贝叶斯决策器对呈正态分布的两类样本分类。
3.调用Seperable.mat文件，用感知准则对两类可分样本进行分类。
4.调用Clouds.mat文件，用最小平方误差准则对两类样本进行分类。
5.调用Spiral.mat文件，用近邻法对双螺旋样本进行分类。
6.调用XOR.mat文件，用特征提取方法对分类效果的影响。
五、实验数据及结果分析：（1）Classifier主界面如下（2）最小错误率贝叶斯决策器对呈正态分布的两类样本进行分类结果如下：（3）感知准则对两类可分样本进行分类当Num of iteration=300时的情况：当Num of iteration=1000时的分类如下：（4）最小平方误差准则对两类样本进行分类结果如下：（5）近邻法对双螺旋样本进行分类，结果如下当Num of nearest neighbor=3时的情况为：当Num of nearest neighbor=12时的分类如下：（6）特征提取方法对分类结果如下当New data dimension=2时，其结果如下当New data dimension=1时，其结果如下六、实验结论：本次实验使我掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；对模式识别有了初步的了解。
模式识别实验报告哈工程
一、实验背景随着计算机科学和信息技术的飞速发展，模式识别技术在各个领域得到了广泛应用。
模式识别是指通过对数据的分析、处理和分类，从大量数据中提取有用信息，从而实现对未知模式的识别。
本实验旨在通过实践操作，加深对模式识别基本概念、算法和方法的理解，并掌握其应用。
二、实验目的1. 理解模式识别的基本概念、算法和方法；2. 掌握常用的模式识别算法，如K-均值聚类、决策树、支持向量机等；3. 熟悉模式识别在实际问题中的应用，提高解决实际问题的能力。
三、实验内容本次实验共分为三个部分：K-均值聚类算法、决策树和神经网络。
1. K-均值聚类算法（1）实验目的通过实验加深对K-均值聚类算法的理解，掌握其基本原理和实现方法。
（2）实验步骤① 准备实验数据：选取一组二维数据，包括100个样本，每个样本包含两个特征值；② 初始化聚类中心：随机选择K个样本作为初始聚类中心；③ 计算每个样本到聚类中心的距离，并将其分配到最近的聚类中心；④ 更新聚类中心：计算每个聚类中所有样本的均值，作为新的聚类中心；⑤ 重复步骤③和④，直到聚类中心不再变化。
（3）实验结果通过实验，可以得到K个聚类中心，每个样本被分配到最近的聚类中心。
通过可视化聚类结果，可以直观地看到数据被分成了K个类别。
2. 决策树（1）实验目的通过实验加深对决策树的理解，掌握其基本原理和实现方法。
（2）实验步骤① 准备实验数据：选取一组具有分类标签的二维数据，包括100个样本，每个样本包含两个特征值；② 选择最优分割特征：根据信息增益或基尼指数等指标，选择最优分割特征；③ 划分数据集：根据最优分割特征，将数据集划分为两个子集；④ 递归地执行步骤②和③，直到满足停止条件（如达到最大深度、叶节点中样本数小于阈值等）；⑤ 构建决策树：根据递归分割的结果，构建决策树。
（3）实验结果通过实验，可以得到一棵决策树，可以用于对新样本进行分类。
3. 神经网络（1）实验目的通过实验加深对神经网络的理解，掌握其基本原理和实现方法。
模式识别实验报告
模式识别实验报告实验一、线性分类器的设计与实现1. 实验目的：掌握模式识别的基本概念，理解线性分类器的算法原理。
2. 实验要求：（1）学习和掌握线性分类器的算法原理；（2）在MATLAB 环境下编程实现三种线性分类器并能对提供的数据进行分类；（3）对实现的线性分类器性能进行简单的评估（例如算法适用条件，算法效率及复杂度等）。
注：三种线性分类器为，单样本感知器算法、批处理感知器算法、最小均方差算法批处理感知器算法算法原理：感知器准则函数为J p a=(−a t y)y∈Y，这里的Y(a)是被a错分的样本集，如果没有样本被分错，Y就是空的，这时我们定义J p a为0.因为当a t y≤0时，J p a是非负的，只有当a是解向量时才为0，也即a在判决边界上。
从几何上可知，J p a是与错分样本到判决边界距离之和成正比的。
由于J p梯度上的第j个分量为∂J p/ða j,也即∇J p=(−y)y∈Y。
梯度下降的迭代公式为a k+1=a k+η(k)yy∈Y k，这里Y k为被a k错分的样本集。
算法伪代码如下：begin initialize a，η(∙)，准则θ，k=0do k=k+1a=a+η(k)yy∈Y k|<θuntil | ηk yy∈Y kreturn aend因此寻找解向量的批处理感知器算法可以简单地叙述为：下一个权向量等于被前一个权向量错分的样本的和乘以一个系数。
每次修正权值向量时都需要计算成批的样本。
算法源代码：unction [solution iter] = BatchPerceptron(Y,tau)%% solution = BatchPerceptron(Y,tau) 固定增量批处理感知器算法实现%% 输入：规范化样本矩阵Y,裕量tau% 输出：解向量solution，迭代次数iter[y_k d] = size(Y);a = zeros(1,d);k_max = 10000; %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% k=0;y_temp=zeros(d,1);while k<k_maxc=0;for i=1:1:y_kif Y(i,:)*a'<=tauy_temp=y_temp+Y(i,:)';c=c+1;endendif c==0break;enda=a+y_temp';k=k+1;end %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %k = k_max;solution = a;iter = k-1;运行结果及分析：数据1的分类结果如下由以上运行结果可以知道，迭代17次之后，算法得到收敛，解出的权向量序列将样本很好的划分。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《模式识别》实验报告
三、线性分类器实验
1.(a)产生两个都具有200 个二维向量的数据集X1 和X1 ’。
向量的前半部分来自m1=[-5;0]的正态分布，并且S1=I 。
向量的后半部分来自m2=[5;0]的正态分布，并且S1=I。
其中I是一个2×2 的单位矩阵。
(b)在上面产生的数据集上运用Fisher 线性判别、感知器算法和最小平方误差判别算法，需要初始化参数的方法使用不同的初始值。
(c)测试每一种方法在X1 和X1 ’ 上的性能（错误率）。
(d)画出数据集X1 和X1 ’，已经每种方法得到对应参数向量W 的分界线。
Fisher线性判别
图1 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，
参数向量w = [-9.9406, 0.9030]’
错误率error=0，
感知器算法：
图2 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1;0.1]；迭代次数iter=2
参数向量w = [-4.8925, 0.0920]’
错误率error=0
图3 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 1]；迭代次数iter=2
参数向量w = [-3.9925, 0.9920]’
错误率error=0
图4 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[10; 10]；迭代次数iter=122
参数向量w = [-5.6569, 7.8096]’
错误率error=0
图5 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[50; 50]；迭代次数iter=600
参数向量w = [-27.0945, 37.4194]’
错误率error=0
图6 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[50; 100]；迭代次数iter=1190
参数向量w = [-54.0048, 74.5875]’
错误率error=0
最小平方误差判别算法：
图7 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1; 0.1]；参数向量w = [-0.1908, -0.0001]’
错误率error=0
图8 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.5; 0.5]；参数向量w = [-0.1924, 0.1492]’
错误率error=0
图9 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 0.5]；参数向量w = [-0.1914, 0.0564]’
错误率error=0
图10 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 1]；参数向量w = [-0.1943, 0.3359]’
错误率error= 0.0050
2.重复1.中的实验内容，数据集为X2 和X2 ’。
向量的前半部分来自m1=[-2;0]的正态分布，并且S1=I。
向量的后半部分来自m2=[2;0]的正态分布，并且S1=I。
Fisher线性判别
图11 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，
参数向量w = [-3.9763, 0.3612]’
错误率error=0.1125，
感知器算法：
图12 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1;0.1]；迭代次数iter=10000
参数向量w = [-0.2302, 0.0322]’
错误率error= 0.0200
图13 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1;1]；迭代次数iter=10000
参数向量w = [-0.0319, 0.0070]’
错误率error= 0.0225
图14 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[10;10]；迭代次数iter=10000
参数向量w = [-0.0241, -0.0479]’
错误率error= 0.1900
最小平方误差判别算法：
图15 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1; 0.1]；参数向量w = [-0.1908, -0.0001]’
错误率error=0.02
图16 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.5; 0.5]；参数向量w = [-0.3505, 0.2484]’
错误率error= 0.0425
图17 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 0.5]；参数向量w = [-0.3108, 0.2273]’
错误率error= 0.0450
3.重复1.中的实验内容，数据集为X3 和X3 ’。
向量的前半部分来自[-1;0]的正态分布，并且S1=I。
向量的后半部分来自[1;0]的正态分布，并且S1=I。
Fisher线性判别
图18 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，
参数向量w = [-1.9881, 0 0.1806]’
错误率error= 0.2475，
感知器算法：
图19 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1;0.1]；迭代次数iter=10000
参数向量w = [-0.0187, 0.0175]’
错误率error= 0.2250
图20 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1;1]；迭代次数iter=10000
参数向量w = [-0.3430, 0.0430]’
错误率error= 0.1675
图21 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[10;10]；迭代次数iter=10000
参数向量w = [-0.0332, 0.0061]’
错误率error= 0.1650
图22 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，
参数的初始值为[50;50]；迭代次数iter=10000
参数向量w = [-0.3722, -0.0620]’
错误率error= 0.1725
最小平方误差判别算法：
图23 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1; 0.1]；参数向量w = [-0.2688, 0.0290]’
错误率error= 0.1650
图24 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.5; 0.5]；参数向量w = [-0.1174, 0.2402]’
错误率error= 0.3425
4.讨论从以上1.~3.实验中获得的结果。
当样本明显线性可分时，三种判别方法都能将样本很好地区分，只是有初始化的感知器算法在不同的初始化下收敛到不同的局部最优参数值，且收敛次数随参数的变化而变化，最小平方误差判别算法在初始参数不同时收敛到的局部最优参数也不同。
且通过图形可以明显看到，感知器算法和最小平方误差判别算法在初始参数较小的时候能收敛到较好的参数，随初始化参数的变大，最终参数越差，最后最小平方误差判别算法都不能完全正确区分两类样本了。
当样本线性不可分时，三种判别方法都不能将样本无差地区分，且同线性可分一样，初始化参数的不同，最终的参数也不同，初始化参数可影响分类算法的分来性能的好坏。