模式识别实验指导书2014
模式识别实验指导
《模式识别》实验指导实验用数据说明：¾训练样本集1)FAMALE.TXT——50个女生的身高、体重数据2)MALE.TXT——50个男生的身高、体重数据¾测试样本集1)test1.txt——35个同学的身高、体重、性别数据（15个女生、20个男生）2)test2.txt——300个同学的身高、体重、性别数据（50个女生、250个男生）实验一 Bayes分类器设计一、实验目的1)加深对Bayes分类器原理的理解和认识2)掌握Bayes分类器的设计方法二、实验环境1)具有相关编程软件的PC机三、实验原理1)Bayes分类器的理论基础2)分类器的性能评价四、实验内容1)用FAMALE.TXT和MALE.TXT的数据作为训练样本集，建立Bayes分类器；2)用测试样本数据test2.txt对该分类器进行测试;3)调整特征、分类器等方面的一些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感性认识。
五、实验步骤1)应用单个特征进行实验：以（a）身高或者（b）体重数据作为特征，在正态分布假设下利用最大似然法或者贝叶斯估计法估计分布密度参数，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到测试样本，考察测试错误情况。
在分类器设计时可以考察采用不同先验概率（如0.5对0.5, 0.75对0.25, 0.9对0.1等）进行实验，考察对决策规则和错误率的影响；2)用两个特征进行实验：同时采用身高和体重数据作为特征，分别假设二者相关或不相关，在正态分布假设下估计概率密度，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。
比较相关假设和不相关假设下结果的差异。
在分类器设计时可以考察采用不同先验概率（如0.5 vs. 0.5, 0.75 vs. 0.25, 0.9 vs. 0.1等）进行实验，考察对决策和错误率的影响；3)自行给出一个决策表，采用最小风险的Bayes决策重复上面的某个或全部实验。
模式识别实验指导书
四、 实验组织运行要求
集中授课，统一实验时间
五、 实验条件
一人一机；学生应通过指导书，事先有初步设想；正式实验由实验室教师指导， 并适当安排讲解；部分参考资料由教师根据实际情况和学生程度不同考虑提供；
六、 实验步骤
1、提取分类特征，确定特征值值域，确定特征空间； 2、确定分类的限定错误率； 3、编写分类决策程序； 4、输入考试样本的分类特征，验证分类规则； 5、分析分类成功与失败样本，找出分类失败的原因。
为了统计类间的划分是否合理，需要观察两类间最为接近处的近邻函数值。如 果该数值较小，则表示本来很有可能连接起来的近邻没有被“连接”起来，这意味着 要冒较大风险，付出较大代价。用定量关系描述，需先定义两类间的最小近邻函数
值 ，它是 与 邻值 ri 定义为
间各对样本近邻函数值的最小值，而 对所有 c-1 类的最小近
实验一 势函数算法的迭代训练
实验学时：2 学时 实验类型：设计 实验要求：必修
一、 实验目的
通过本实验的学习，使学生了解或掌握模式识别的基本内容在限定一类错误率 条件下使另一类错误率为最小的两类别决策的有关知识，通过选用此种分类方法进 行分类器设计实验，从而强化学生对在限定一类错误率条件下使另一类错误率为最 小的两类别决策的了解和应用，为模式识别课程的后续环节奠定基础。
这种决策要求可看成是在 P2(e)=ε0 条件下，求 P1(e)极小值的条件极值问题，因 此可以用求条件极值的拉格朗日乘子法解决。为此我们写出如下算式
《模式识别》实验报告 K-L变换 特征提取
基于K-L 变换的iris 数据分类一、实验原理K-L 变换是一种基于目标统计特性的最佳正交变换。
它具有一些优良的性质：即变换后产生的新的分量正交或者不相关；以部分新的分量表示原矢量均方误差最小；变换后的矢量更趋确定，能量更集中。
这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。
设n 维矢量12,,,Tn x x x ⎡⎤⎣⎦=x ，其均值矢量E ⎡⎤⎣⎦=μx ，协方差阵()T x E ⎡⎤⎣⎦=--C x u)(x u ，此协方差阵为对称正定阵，则经过正交分解克表示为x =T C U ΛU ,其中12,,,[]n diag λλλ=Λ，12,,,n u u u ⎡⎤⎣⎦=U 为对应特征值的特征向量组成的变换阵，且满足1T -=U U 。
变换阵T U 为旋转矩阵，再此变换阵下x 变换为()T -=x u y U ,在新的正交基空间中，相应的协方差阵12[,,,]x n diag λλλ==x UC U C 。
通过略去对应于若干较小特征值的特征向量来给y 降维然后进行处理。
通常情况下特征值幅度差别很大，忽略一些较小的值并不会引起大的误差。
对经过K-L 变换后的特征向量按最小错误率bayes 决策和BP 神经网络方法进行分类。
二、实验步骤（1）计算样本向量的均值E ⎡⎤⎣⎦=μx 和协方差阵()T x E ⎡⎤⎣⎦=--C x u)(x u 5.8433 3.0573 3.7580 1.1993⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦=μ，0.68570.0424 1.27430.51630.04240.189980.32970.12161.27430.3297 3.1163 1.29560.51630.1216 1.29560.5810x ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦----=--C （2）计算协方差阵x C 的特征值和特征向量，则4.2282 , 0.24267 , 0.07821 , 0.023835[]diag =Λ-0.3614 -0.6566 0.5820 0.3155 0.0845 -0.7302 -0.5979 -0.3197 -0.8567 0.1734 -0.0762 -0.4798 -0.3583 0.0755 -0.5458 0.7537⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦=U 从上面的计算可以看到协方差阵特征值0.023835和0.07821相对于0.24267和4.2282很小，并经计算个特征值对误差影响所占比重分别为92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最小的特征值，得到新的变换阵12,,,new n k u u u -⎡⎤⎣⎦=U 。
《模式识别》实验报告-贝叶斯分类
《模式识别》实验报告---最小错误率贝叶斯决策分类一、实验原理对于具有多个特征参数的样本（如本实验的iris 数据样本有4d =个参数），其正态分布的概率密度函数可定义为112211()exp ()()2(2)T d p π-⎧⎫=--∑-⎨⎬⎩⎭∑x x μx μ 式中，12,,,d x x x ⎡⎤⎣⎦=x 是d 维行向量，12,,,d μμμ⎡⎤⎣⎦=μ是d 维行向量，∑是d d ⨯维协方差矩阵，1-∑是∑的逆矩阵，∑是∑的行列式。
本实验我们采用最小错误率的贝叶斯决策，使用如下的函数作为判别函数()(|)(),1,2,3i i i g p P i ωω==x x （3个类别）其中()i P ω为类别i ω发生的先验概率，(|)i p ωx 为类别i ω的类条件概率密度函数。
由其判决规则，如果使()()i j g g >x x 对一切j i ≠成立，则将x 归为i ω类。
我们根据假设：类别i ω，i=1,2,……,N 的类条件概率密度函数(|)i p ωx ，i=1,2,……,N 服从正态分布，即有(|)i p ωx ~(,)i i N ∑μ，那么上式就可以写为1122()1()exp ()(),1,2,32(2)T i i dP g i ωπ-⎧⎫=-∑=⎨⎬⎩⎭∑x x -μx -μ对上式右端取对数，可得111()()()ln ()ln ln(2)222T i i i i dg P ωπ-=-∑+-∑-i i x x -μx -μ上式中的第二项与样本所属类别无关，将其从判别函数中消去，不会改变分类结果。
则判别函数()i g x 可简化为以下形式111()()()ln ()ln 22T i i i i g P ω-=-∑+-∑i i x x -μx -μ二、实验步骤（1）从Iris.txt 文件中读取估计参数用的样本，每一类样本抽出前40个，分别求其均值，公式如下11,2,3ii iii N ωωω∈==∑x μxclear% 原始数据导入iris = load('C:\MATLAB7\work\模式识别\iris.txt'); N=40;%每组取N=40个样本%求第一类样本均值 for i = 1:N for j = 1:4w1(i,j) = iris(i,j+1); end endsumx1 = sum(w1,1); for i=1:4meanx1(1,i)=sumx1(1,i)/N; end%求第二类样本均值 for i = 1:N for j = 1:4 w2(i,j) = iris(i+50,j+1);end endsumx2 = sum(w2,1); for i=1:4meanx2(1,i)=sumx2(1,i)/N; end%求第三类样本均值 for i = 1:N for j = 1:4w3(i,j) = iris(i+100,j+1); end endsumx3 = sum(w3,1); for i=1:4meanx3(1,i)=sumx3(1,i)/N; end（2）求每一类样本的协方差矩阵、逆矩阵1i -∑以及协方差矩阵的行列式i ∑， 协方差矩阵计算公式如下11()(),1,2,3,41i ii N i jklj j lk k l i x x j k N ωωσμμ==--=-∑其中lj x 代表i ω类的第l 个样本，第j 个特征值；ij ωμ代表i ω类的i N 个样品第j 个特征的平均值lk x 代表i ω类的第l 个样品，第k 个特征值；iw k μ代表i ω类的i N 个样品第k 个特征的平均值。
孙杨威_12281201_模式识别第7次实验报告(2)
实验报告学生姓名：孙杨威学号：12281201实验地点：九教北401实验室实验时间：2014.11.13一、实验名称：BP神经网络算法二、实验原理：BP网络模型处理信息的基本原理是：输入信号X i通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Y k，网络训练的每个样本包括输入向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值W ij和隐层节点与输出节点之间的联接强度T jk以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。
此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。
三、实验内容：●有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。
●不同品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。
●我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。
用已有的数据训练一个神经网络用作分类器。
四、实验步骤：1.建立一个新的网络2.使用样本训练这个网络3.使用新的数据集模拟这个网络五、实验代码及分析：bp_test.m%读取测试数据[t1 t2 t3 t4 c] = textread('testData.txt' , '%f%f%f%f%s',75); %测试数据归一化testInput = tramnmx ( [t1,t2,t3,t4]' , minI, maxI ) ;%仿真Y = sim( net , testInput );s=length(c);output1=zeros(s,3);for i = 1 : sif strcmp(c(i),'Isetosa')~=0output1( i , 1 ) = 1;elseif strcmp(c(i),'Iversicolor')~=0output1( i , 2 ) = 1;elseoutput1( i , 3 ) = 1;endend%统计识别正确率[s1 , s2] = size( Y ) ;hitNum = 0 ;for i = 1 : s2[m , Index] = max( Y( : , i ) ) ;if( output1(i,Index) == 1 )hitNum = hitNum + 1 ;endendsprintf('识别率是 %3.3f%%',100 * hitNum / s2 )bp_rain.m%将Iris数据集分为2组，每组各75个样本，每组中每种花各有25个样本。
2014模式识别课程设计（全文5篇）
2014模式识别课程设计（全文5篇）第一篇：2014模式识别课程设计【设计题目】自选【设计目标】通过本课程设计，学习利用非监督学习方法对生活中的实际问题进行识别分类，掌握模式识别系统的基本设计思路与步骤。
【设计内容】观察生活与环境，自选一个问题，采用一种非监督学习方法对其进行分类与识别。
【设计要求】提交设计报告，报告内容包括：问题描述，选用某种方法的理由，模式采集，特征提取与选择，分类器设计，学习过程，测试结果，结果分析（含不足与展望），设计总结。
程序代码作为附录与报告一起提交。
报告正文部分不超过10页，文字部分不超过1万字。
1模式识别在发动机故障诊断中的应用模式识别受体在慢性阻塞性肺疾病中的作用基于模式识别的短时交通流预测Fault Mode Diagnosis System Based on for Automobile ABS Nerve Network平行路段模式识别与简化初探-Primary study on recognition and simplification of parallel sections in road networks第二篇：数字图像模式识别王丽霞深圳市南山区学府路；***、******************求职意向数字图像处理、模式识别算法工程师教育经历汕头大学电子工程系信号与信息处理专业硕士2007.9—2010.6 汕头市·在校期间成绩优良，分别一次获汕头大学一等、二等奖学金；2008 09担任女生部部长负责统筹管理，成立特色学科及基础学科研讨组，积极开拓学生的思维并提高他们的学习成绩，更贴近社会的新路线。
潍坊学院信息与控制工程学院电子信息工程学士2003.9—2007.6 潍坊市·2007年9月以第一名成绩考入汕头大学攻读硕士研究生；在校期间担任班级学习委员负责不同类学生的学习方法指导；2004-9-2007-6担任学院文艺部部长，负责迎新晚会筹划，锻炼了团队领导能力、协调能力、临场反应能力以及创新思维。
模式识别python实验指导书
《模式识别Python实验指导书》一、前言模式识别是一个重要的研究领域，它涵盖了许多应用领域，如人脸识别、语音识别、图像处理等。
Python作为一种流行的编程语言，具有简单易学、丰富的库和工具、强大的社区支持等特点，在模式识别领域也有着广泛的应用。
本实验指导书旨在帮助读者学习如何利用Python进行模式识别实验，并为读者提供详细的实验指导和相关代码。
二、实验环境搭建1. 安装Python环境- 访问Python全球信息站（网络协议sxxx）下载最新版本的Python，并按照冠方指引进行安装。
- 在命令行中输入python，若可以成功启动Python解释器，则表示安装成功。
2. 安装相关库和工具- 通过pip命令安装numpy、scipy、scikit-learn等常用的数据处理和机器学习库。
- 可选择性安装Jupyter Notebook进行实验过程的交互式展示和编辑。
三、实验内容与步骤1. 数据预处理- 从公开数据集中获取样本数据。
- 使用Python中的pandas库对数据进行清洗、去噪等处理。
- 划分数据集为训练集和测试集。
2. 特征提取与选择- 使用Python中的特征提取工具进行特征提取，如PCA、LDA等。
- 利用Python的特征选择算法对提取的特征进行排序、选择。
3. 模型构建与训练- 使用Python中的机器学习库构建模式识别模型，如SVM、KNN 等。
- 利用训练集进行模型训练。
4. 模型评估与优化- 使用测试集对训练好的模型进行评估，如准确率、精确率、召回率等指标。
- 根据评估结果对模型进行调参、优化。
5. 模型应用与结果展示- 利用训练好的模型对新数据进行预测。
- 使用Python的可视化工具对模型结果进行可视化展示。
四、实验案例1. 人脸识别实验- 搜集包含人脸图像的数据集。
- 利用Python进行人脸图像的特征提取、模型构建和训练。
- 展示识别结果并分析模型性能。
2. 文字识别实验- 利用Python进行文字图像的特征提取与模型构建。
模式识别实验指导书
模式识别实验指导书西安理工大学信息与控制工程系前言模式识别能力是人类智能的重要标志，通过这种能力我们能够辨识人脸、识别语音、阅读手写文字、从口袋里摸出钥匙或者根据气味判断苹果是否成熟。
模式识别这门课程就是研究如何用计算机实现人的模式识别能力。
模式识别是以应用为基础的学科，目的是将对象进行分类。
这些对象可以是图像、信号波形、文字、语音等可以测量的对象。
为了让高年级本科学生能够更好地理解，模式识别课程中讲授的基本内容和方法，配合授课内容和实验学时要求，设计了6个学时的模式识别实验项目。
使用时可以在3个实验中任选2个来进行。
本实验指导书中给出了实验的内容、要求和简单的参考例程。
例程仅起参考作用，学生必须通过对例程的理解自己设计程序，完成全部实验内容。
实验一总体概率密度分布的非参数方法一、实验目的：在进行Bayes决策时，一个前提条件是要预先知道先验概率密度和类条件概率密度，而实际中我们只是收集到有限数目的样本，而不知道先验概率密度和类条件概率密度。
因此，我们必须先根据有限的样本对类条件概率密度和先验概率密度进行估计，再用估计的结果进行Bayes决策。
由样本集估计概率密度的方法有监督参数估计、非监督参数估计和非参数估计三种类型，其中非参数估计方法是在样本所属类别已知，但是未知总体概率密度函数形式的条件下，直接推断概率密度函数本身的方法。
本实验的目的是通过编程进行概率密度的函数的Parzen窗函数估计和K N近邻估计，加深对非参数估计基本思想的认识和理解。
二、实验要求：1、复习非监督参数估计的基本思想；2、复习用Parzen窗法进行总体分布的非参数估计方法并编制程序；3、复习K N近邻法进行总体分布估计的基本原理，并编制程序；4、本实验在2学时内完成；三、参考例程及其说明：下面程序采用正态窗进行概率密度函数的估计。
程序中N表示样本个数，h1表示于窗宽。
clearN=4096;XI=randn(1,N);h1=0.25;for x=-3:0.001:3%t=(x+2.5)*100%pausej=ceil((x+3)*100)+1;P(j)=0;for i=1:N%i%j%pauseP(j)=exp(-0.5*((x-XI(i))*N^0.5/h1)^2)/((h1/N^0.5)*(2*pi)^0.5)+P(j);endP(j)=P(j)/N;endx1=-3:0.01:3;plot(x1,P)四、上机完成内容：1、修改参数N，令N=1，N=4，N=16，分析所得到的概率密度曲线的变化情况，说明这些曲线的意义。
《模式识别》实验报告-贝叶斯分类
《模式识别》实验报告-贝叶斯分类一、实验目的通过使用贝叶斯分类算法，实现对数据集中的样本进行分类的准确率评估，熟悉并掌握贝叶斯分类算法的实现过程，以及对结果的解释。
二、实验原理1.先验概率先验概率指在不考虑其他变量的情况下，某个事件的概率分布。
在贝叶斯分类中，需要先知道每个类别的先验概率，例如：A类占总样本的40%，B类占总样本的60%。
2.条件概率后验概率指在已知先验概率和条件概率下，某个事件发生的概率分布。
在贝叶斯分类中，需要计算每个样本在各特征值下的后验概率，即属于某个类别的概率。
4.贝叶斯公式贝叶斯公式就是计算后验概率的公式，它是由条件概率和先验概率推导而来的。
5.贝叶斯分类器贝叶斯分类器是一种基于贝叶斯定理实现的分类器，可以用于在多个类别的情况下分类，是一种常用的分类方法。
具体实现过程为：首先，使用训练数据计算各个类别的先验概率和各特征值下的条件概率。
然后，将测试数据的各特征值代入条件概率公式中，计算出各个类别的后验概率。
最后，取后验概率最大的类别作为测试数据的分类结果。
三、实验步骤1.数据集准备本次实验使用的是Iris数据集，数据包含150个Iris鸢尾花的样本，分为三个类别：Setosa、Versicolour和Virginica，每个样本有四个特征值：花萼长度、花萼宽度、花瓣长度、花瓣宽度。
2.数据集划分将数据集按7:3的比例分为训练集和测试集，其中训练集共105个样本，测试集共45个样本。
计算三个类别的先验概率，即Setosa、Versicolour和Virginica类别在训练集中出现的频率。
对于每个特征值，根据训练集中每个类别所占的样本数量，计算每个类别在该特征值下出现的频率，作为条件概率。
5.测试数据分类将测试集中的每个样本的四个特征值代入条件概率公式中，计算出各个类别的后验概率，最后将后验概率最大的类别作为该测试样本的分类结果。
6.分类结果评估将测试集分类结果与实际类别进行比较，计算分类准确率和混淆矩阵。
《模式识别》课程实验 线性分类器设计实验
《模式识别》课程实验线性分类器设计实验一、实验目的：1、掌握Fisher 线性分类器设计方法；2、掌握感知准则函数分类器设计方法。
二、实验内容：1、对下列两种情况，求采用Fisher 判决准则时的投影向量和分类界面，并做图。
12{(2,0),(2,2),(2,4),(3,3)}{(0,3),(2,2),(1,1),(1,2),(3,1)}T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 12{(1,1),(2,0),(2,1),(0,2),(1,3)}{(1,2),(0,0),(1,0),(1,1),(0,2)}T T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 2、对下面的两类分类问题，采用感知准则函数，利用迭代修正求权向量的方法求两类的线性判决函数及线性识别界面，并画出识别界面将训练样本区分的结果图。
12{(1,1),(2,0),(2,1),(0,2),(1,3)}{(1,2),(0,0),(1,0),(1,1),(0,2)}T T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 三、实验原理：（1）Fisher 判决准则投影方向：*112()w w S μμ-=-（2）感知准则函数：()()kT p z Z J v v z ==-∑当k Z为空时，即()0J v ，*v即为所求p四、解题思路:1、fisher线性判决器：A.用mean函数求两类样本的均值B.求两类样本的均值的类内离散矩阵SiC.利用类内离散矩阵求总类内离散矩阵SwD.求最佳投影方向WoE.定义阈值，并求得分界面2、感知准则函数分类器：A.获得增广样本向量和初始增广权向量B.对样本进行规范化处理C.获得解区，并用权向量迭代修正错分样本集，得到最终解区五、实验结果：1、fisher线性判决分类器：条件：取pw1=pw2=0.5,阈值系数为0.5A．第一种情况B.第二种情况2、感知准则函数判决：条件：取步长row为1判决结果：六、结果分析：1、fisher线性判决器中，调整阈值系数时，分界面会随之平行上下移动，通过调整阈值系数的大小，就能比较合理的得到分界面。
模式识别实验指导书2014版
cpmean(i,:)=mean(meas(strmatch(char(sta(i,1)),species,'exact'),:));
4 5
⎟⎟⎠⎞,
⎜⎜⎝⎛
− −
5 6
⎟⎟⎠⎞, ⎜⎜⎝⎛
− −
6 5
⎟⎟⎠⎞,
⎜⎜⎝⎛
5 5
⎟⎟⎠⎞,
⎜⎜⎝⎛
5 4
⎟⎟⎠⎞,
⎜⎜⎝⎛
4 5
⎟⎟⎠⎞,
⎜⎜⎝⎛
5 6
⎟⎟⎠⎞,
⎜⎜⎝⎛
6 5
⎟⎟⎠⎞⎭⎬⎫
，计算样本协方
差矩阵，求解数据第一主成分，并重建原始数据。
（2）使用 Matlab 中进行主成分分析的相关函数，实现上述要求。
有 c 个不同的水平，表示 c 个不同的类。
表 1-1 fit 方法支持的参数名与参数值列表
参数名
参数值
说明
'normal'
正态分布（默认）
核密度估计（通过‘KSWidth’参数设置核密度估计的窗宽
'kernel'
（默认情况下自动选取窗宽；通过‘KSSupport’参数设置
‘Distribution’ 'mvmn'
信息与电气工程学院专业实验中心 二〇一四年八月
《模式识别》实验一 贝叶斯分类器设计
一、实验意义及目的
掌握贝叶斯判别原理，能够利用 Matlab 编制程序实现贝叶斯分类器设计，熟悉基于 Matlab 的 算法处理函数，并能够利用算法解决简单问题。
实验指导书(模式识别)
《模式识别》实验指导书河北工业大学信息工程学院《模式识别》课程组2008年1月前言模式识别是电子信息工程专业的一门重要的专业选修课。
其目的是通过对模式识别基本理论、概念和方法的学习，使学生能够灵活运用所学知识，借助计算机解决实际工程应用中的自动识别问题。
而模式识别实验是本门课程重要的教学环节,其目的是使学生掌握统计模式识别中常见分类方法的算法设计及其验证方法，通过接受实验的训练，以提高学生的分析和解决问题的能力。
为此，河北工业大学信息工程学院编写了《模式识别实验指导书》。
在编写中由于可供参考的实验指导资料有限，因此本书肯定存在不少不妥之处，恳请读者予以批评指正。
本实验指导书共包含三个实验。
第一个实验为安装并使用模式识别工具箱，通过本次实验可以让学生了解模式识别软件的具体形态、基本设置以及运行流程，了解一些基本识别方法的工作过程。
第二个实验为用人工神经网络对二维样本进行分类，通过本次实验可以让学生掌握人工神经网络的运行机理，了解神经网络在解决实际问题时如何进行参数设置和模型选择。
第三个实验为用支持向量机进行人脸识别，通过本次实验可以让学生掌握支持向量机的运行机理、参数选择与快速算法等，了解在实际分类中学习样本库的重要性。
目录实验一安装并使用模式识别工具箱----------------------------------------------------------4 实验二用人工神经网络对二维样本分类---------------------------------------------------13 实验三用支持向量机进行人脸识别---------------------------------------------------------22实验一安装并使用模式识别工具箱（2学时）一、实验目的1．掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；2．熟练使用最小错误率贝叶斯决策器对样本分类；3．熟练使用感知准则对样本分类；4．熟练使用最小平方误差准则对样本分类；5．了解近邻法的分类过程，了解参数K值对分类性能的影响（选做）；6．了解不同的特征提取方法对分类性能的影响（选做）。
《模式识别》课程教学大纲(本科)
《模式识别》课程教学大纲课程编号：04226课程名称：模式识别英文名称：Pattern Recognition课程类型：专业课课程要求：选修学时/学分：32/2 （讲课学时：28 实验学时：4）适用专业：智能科学与技术一、课程性质与任务模式识别课程是智能科学与技术专业的•门选修课，是研究计算机模式识别的基本理论和方法、应用。
模式识别就是利用计算机对某些物理现象进行分类，在错误概率最小的条件下，使识别的结果尽量与事物相符。
这门课的教学目的是让学生掌握统计模式识别和结构模式识别基本原理和方法。
本课程的主要任务是通过对模式识别的基本理论和方法、运用实例的学习，使学生掌握模式识别的基本理论与方法，培养学生利用模式识别方法、运用技能解决本专业及相关领域实际问题的能力，为将来继续深入学习或进行科学研究打下坚实的基础。
本课程的教学目的是为了使学生能应用模式识别处理计算机自动识别事物，机器学习数据分析中有关的技术问题。
由于本课程的目标是侧重在应用模式识别技术，因此在学习内容上侧重基本概念的讲解，辅以必要的数学推导，使学生能掌握模式识别技术中最基本的概念，以及最基本的处理问题方法。
学生在学习过程中还会用到一些概率论的最基本知识，线性代数中的部分知识，对学生在数学课中学到知识的进一步理解与巩固起到温故而知新的作用。
（该门课程支撑毕业要求中1.1, 2.1, 3.1, 3.3, 4.1, 6.1, 10.1和12.1）二、课程与其他课程的联系先修课程：概率论与数理统计、线性代数、机器学习后续课程：智能感知综合实践先修课程概率论与数理统计和线性代数为学生学习模式识别技术中最基本的概念，必要的数学推导打下基础，机器学习可以使学生建立整体思考问题的方法，并具有系统性能优化的概念。
本课程为后续智能优化方法打下理论基础。
三、课程教学目标1. 学习模式识别基本理论知识，理解参数估计的基本思想，掌握最大似然和贝叶斯儿种典型算法，理解聚类分析的的基本思想，掌握聚类分析的几种典型算法：（支撑毕业要求1.1,2.1）2. 具有数学分析和识别的基本能力；（支撑毕业要求1.1）3. 掌握基本的识别优化创新方法，培养学生追求创新的态度和意识；（支撑毕业要求3.1）4. 培养学生树立正确的分析和识别思想，了解设计过程中国家有关的经济、环境、法律、安全、健康、伦理等政策和制约因素；（支撑毕业要求3.3）5. 培养学生的工程实践学习能力，使学生具有运用标准、规范、手册、图册和查阅有关技术资料的能力；（支撑毕业要求4.1, 6.1）6, 了解模式识别方法前沿和新发展动向；（支撑毕业要求10.1, 12.1）四、教学内容、基本要求与学时分配五、其他教学环节（课外教学环节、要求、目标）无六、教学方法本课程以课堂教学为主，结合作业、自学及洲验等教学手段和形式完成课程教学任务。
2014模式识别(1)
系统实例
纸币识别器对纸币按面额进行分类
面额
系统实例
长度(mm) 136 141 146 151 156 宽度(mm) 63 70 70 70 77
5元 10元 20元 50元 100元
系统实例
磁性 有 有 有 有 有 金属条位置(大约) 54/82 54/87 57/89 60/91 63/93
编号 1 2
身高(cm) 体重(kg) 170 130 68 66
性别 男 女
编号 11 12
身高(cm) 体重(kg) 140 150 62 64
性别 男 女
3
4 5 6 7 8 9 10
180
190 160 150 190 210 100 170
71
73 70 66 68 76 58 75
男
男 女 男 男 男 女 男
• 1929年 G. Tauschek发明阅读机， 能够阅读0-9的数字。 • 30年代 Fisher提出统计分类理论,奠定了统 计模式识别的基础。因此，在60～70年代， 统计模式识别发展很快，但由于被识别的 模式愈来愈复杂，特征也愈多，就出现 “维数灾难”。但由于计算机运算速度的 迅猛发展，这个问题得到一定克服。统计 模式识别仍是模式识别的主要理论。
模式识别之初印象
主讲教师：张永利
模式识别之初印象
主讲教师：张永利
参考书目
模式识别 清华大学出版社 边肇祺
书名：模式识别-第四版 作者：（希）西奥多里蒂斯等 电子工业出版社
模式识别原理 孙亮 北京工业大学出版社
主要内容
1 模式识别的基本概念 判别函数 线性分类器的设计
2
3 4
聚类的算法
§1-1 模式识别的基本概念
模式识别实验报告材料
实验报告实验课程名称：模式识别姓名：王宇班级： 20110813 学号： 2011081325注：1、每个实验中各项成绩按照5分制评定，实验成绩为各项总和2、平均成绩取各项实验平均成绩3、折合成绩按照教学大纲要求的百分比进行折合2014年 6月实验一、图像的贝叶斯分类一、实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。
二、实验仪器设备及软件 HP D538、MATLAB 三、实验原理 概念：阈值化分割算法是计算机视觉中的常用算法，对灰度图象的阈值分割就是先确定一个处于图像灰度取值范围内的灰度阈值，然后将图像中每个像素的灰度值与这个阈值相比较。
并根据比较的结果将对应的像素划分为两类，灰度值大于阈值的像素划分为一类，小于阈值的划分为另一类，等于阈值的可任意划分到两类中的任何一类。
最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，处于目标和背景内部相邻像素间的灰度值是高度相关的，但处于目标和背景交界处两边的像素灰度值有较大差别，此时，图像的灰度直方图基本上可看作是由分别对应于目标和背景的两个单峰直方图混合构成。
而且这两个分布应大小接近，且均值足够远，方差足够小，这种情况下直方图呈现较明显的双峰。
类似地，如果图像中包含多个单峰灰度目标，则直方图可能呈现较明显的多峰。
上述图像模型只是理想情况，有时图像中目标和背景的灰度值有部分交错。
这时如用全局阈值进行分割必然会产生一定的误差。
分割误差包括将目标分为背景和将背景分为目标两大类。
实际应用中应尽量减小错误分割的概率，常用的一种方法为选取最优阈值。
这里所谓的最优阈值，就是指能使误分割概率最小的分割阈值。
图像的直方图可以看成是对灰度值概率分布密度函数的一种近似。
如一幅图像中只包含目标和背景两类灰度区域，那么直方图所代表的灰度值概率密度函数可以表示为目标和背景两类灰度值概率密度函数的加权和。
模式识别实验指导书
类别1234样本x 1x 2x 1x 2x 1x 2x 1x 210.1 1.17.1 4.2-3.0-2.9-2.0-8.42 6.87.1-1.4-4.30.58.7-8.90.23-3.5-4.1 4.50.0 2.9 2.1-4.2-7.74 2.0 2.7 6.3 1.6-0.1 5.2-8.5-3.25 4.1 2.8 4.2 1.9-4.0 2.2-6.7-4.06 3.1 5.0 1.4-3.2-1.3 3.7-0.5-9.27-0.8-1.3 2.4-4.0-3.4 6.2-5.3-6.780.9 1.2 2.5-6.1-4.1 3.4-8.7-6.49 5.0 6.48.4 3.7-5.1 1.6-7.1-9.710 3.9 4.0 4.1-2.2 1.9 5.1-8.0-6.3实验一 感知器准则算法实验一、实验目的：贝叶斯分类方法是基于后验概率的大小进行分类的方法，有时需要进行概率密度函数的估计，而概率密度函数的估计通常需要大量样本才能进行，随着特征空间维数的增加，这种估计所需要的样本数急剧增加，使计算量大增。
在实际问题中，人们可以不去估计概率密度，而直接通过与样本和类别标号有关的判别函数来直接将未知样本进行分类。
这种思路就是判别函数法，最简单的判别函数是线性判别函数。
采用判别函数法的关键在于利用样本找到判别函数的系数，模式识别课程中的感知器算法是一种求解判别函数系数的有效方法。
本实验的目的是通过编制程序，实现感知器准则算法，并实现线性可分样本的分类。
二、实验内容：实验所用样本数据如表2-1给出（其中每个样本空间（数据）为两维，x 1表示第一维的值、x 2表示第二维的值），编制程序实现1、 2类2、 3类的分类。
分析分类器算法的性能。
2-1 感知器算法实验数据具体要求1、复习感知器算法；2、写出实现批处理感知器算法的程序1）从a=0开始，将你的程序应用在和的训练数据上。
记下收敛的步数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验一、基于感知函数准则线性分类器设计1.1 实验类型：设计型：线性分类器设计（感知函数准则）1.2 实验目的：本实验旨在让同学理解感知准则函数的原理，通过软件编程模拟线性分类器，理解感知函数准则的确定过程，掌握梯度下降算法求增广权向量，进一步深刻认识线性分类器。
1.3 实验条件：matlab 软件1.4 实验原理：感知准则函数是五十年代由Rosenblatt 提出的一种自学习判别函数生成方法，由于Rosenblatt 企图将其用于脑模型感知器，因此被称为感知准则函数。
其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。
感知准则函数利用梯度下降算法求增广权向量的做法，可简单叙述为： 任意给定一向量初始值)1(a ，第k+1次迭代时的权向量)1(+k a 等于第k 次的权向量)(k a 加上被错分类的所有样本之和与k ρ的乘积。
可以证明，对于线性可分的样本集，经过有限次修正，一定可以找到一个解向量a ，即算法能在有限步内收敛。
其收敛速度的快慢取决于初始权向量)1(a 和系数k ρ。
1.5 实验内容已知有两个样本空间w1和w2，这些点对应的横纵坐标的分布情况是：x1=[1,2,4,1,5];y1=[2,1,-1,-3,-3];x2=[-2.5,-2.5,-1.5,-4,-5,-3];y2=[1,-1,5,1,-4,0];在二维空间样本分布图形如下所示：（plot(x1,y1,x2,y2)）-6-4-20246-6-4-2246w1w21.6 实验任务：1、 用matlab 完成感知准则函数确定程序的设计。
2、 请确定sample=[(0,-3),(1,3),(-1,5),(-1,1),(0.5,6),(-3,-1),(2,-1),(0,1),(1,1),(-0.5,-0.5),( 0.5,-0.5)];属于哪个样本空间,根据数据画出分类的结果。
3、 请分析一下k ρ和)1(a 对于感知函数准则确定的影响，并确定当k ρ=1/2/3时，相应的k 的值，以及)1(a 不同时，k 值得变化情况。
4、 根据实验结果请说明感知准则函数是否是唯一的，为什么？实验二、基于Fisher 准则线性分类器设计2.1实验类型：设计型：线性分类器设计（Fisher 准则）2.2实验目的：本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher 准则方法确定最佳线性分界面方法的原理，以及Lagrande 乘子求解的原理。
2.3实验条件：matlab 软件2.4实验原理：线性判别函数的一般形式可表示成0)(w X W X g T += 其中⎪⎪⎪⎭⎫ ⎝⎛=d x x X 1 ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=d w w w W 21根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W 的函数为：2221221~~)~~()(S S m m W J F +-= )(211*m m S W W -=-上面的公式是使用Fisher 准则求最佳法线向量的解，该式比较重要。
另外，该式这种形式的运算，我们称为线性变换，其中21m m -式一个向量，1-W S 是W S 的逆矩阵，如21m m -是d 维，W S 和1-W S 都是d ×d 维，得到的*W 也是一个d 维的向量。
向量*W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量*W 的各分量值是对原d 维特征向量求加权和的权值。
以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量*W 的计算方法，但是判别函数中的另一项0W 尚未确定，一般可采用以下几种方法确定0W 如 2~~210m m W +-= 或者 m N N m N m N W ~~~2122110=++-= 或当1)(ωp 与2)(ωp 已知时可用[]⎥⎦⎤⎢⎣⎡-+-+=2)(/)(ln 2~~2121210N N p p m m W ωω ……当W 0确定之后，则可按以下规则分类，2010ωω∈→->∈→->X w X W X w X W T T使用Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。
2.5实验内容：已知有两类数据1ω和2ω二者的概率已知1)(ωp =0.6，2)(ωp =0.4。
ω中数据点的坐标对应一一如下：1数据：x =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099 y =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.83401.87042.2948 1.7714 2.3939 1.5648 1.93292.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604 z =0.5338 0.8514 1.0831 0.4164 1.1176 0.55360.6071 0.4439 0.4928 0.5901 1.0927 1.07561.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548ω数据点的对应的三维坐标为2x2 =1.4010 1.23012.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.79091.3322 1.1466 1.7087 1.59202.9353 1.46642.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.18330.8798 0.5592 0.5150 0.9983 0.9120 0.71261.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288 z2 =0.6210 1.3656 0.5498 0.6708 0.8932 1.43420.9508 0.7324 0.5784 1.4943 1.0915 0.76441.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458数据的样本点分布如下图：-2-101230.511.522.50.511.522.6实验要求：1) 请把数据作为样本，根据Fisher 选择投影方向W 的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向W 的函数，并在图形表示出来。
并在实验报告中表示出来，并求使)(w J F 取极大值的*w 。
用matlab 完成Fisher 线性分类器的设计，程序的语句要求有注释。
2) 根据上述的结果并判断（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），属于哪个类别，并画出数据分类相应的结果图，要求画出其在W 上的投影。
3) 回答如下问题，分析一下W 的比例因子对于Fisher 判别函数没有影响的原因。
实验三、K均值聚类算法－动态聚类3.1 实验类型：设计型：K均值/C-均值动态聚类算法3.2 实验目的：本实验旨在让同学理解动态聚类算法的原理，掌握K均值/C-均值算法，并能利用K均值/C-均值算法解决实际的分类问题。
3.3 实验条件：matlab软件3.4 实验原理：动态聚类方法的任务是将数据集划分成一定数量的子集，例如将一个数据集划分成三个子集，四个子集等。
因此要划分成多少个子集往往要预先确定，或大致确定，当然这个子集数目在理想情况现能体现数据集比较合理的划分。
这里要解决的问题是: 1．怎样才能知道该数据集应该划分的子集数目2．如果划分数目已定，则又如何找到最佳划分。
因为数据集可以有许多种不同的划分方法，需要对不同的划分作出评价，并找到优化的划分结果。
由于优化过程是从不甚合理的划分到“最佳”划分，是一个动态的迭代过程，故这种方法称为动态聚类方法。
我们先讨论在子集数目已定条件下的聚类方法，然后在讨论如何确定合理的子集数目。
一个动态聚类算法需要有以下几个要点：1.选定某种距离度量作为样本间的相似性度量；2.确定样本合理的初始分类，包括代表点的选择，初始分类的方法选择等。
3.确定某种评价聚类结果质量的准则函数，用以调整初始分类直至达到该准则函数的极值。
这是一个动态聚类方法的三个要素，其中初始划分只是为了使划分能从某个初始点开始，。