模式识别实验指导书
模式识别实验指导
《模式识别》实验指导实验用数据说明：¾训练样本集1)FAMALE.TXT——50个女生的身高、体重数据2)MALE.TXT——50个男生的身高、体重数据¾测试样本集1)test1.txt——35个同学的身高、体重、性别数据（15个女生、20个男生）2)test2.txt——300个同学的身高、体重、性别数据（50个女生、250个男生）实验一 Bayes分类器设计一、实验目的1)加深对Bayes分类器原理的理解和认识2)掌握Bayes分类器的设计方法二、实验环境1)具有相关编程软件的PC机三、实验原理1)Bayes分类器的理论基础2)分类器的性能评价四、实验内容1)用FAMALE.TXT和MALE.TXT的数据作为训练样本集，建立Bayes分类器；2)用测试样本数据test2.txt对该分类器进行测试;3)调整特征、分类器等方面的一些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感性认识。
五、实验步骤1)应用单个特征进行实验：以（a）身高或者（b）体重数据作为特征，在正态分布假设下利用最大似然法或者贝叶斯估计法估计分布密度参数，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到测试样本，考察测试错误情况。
在分类器设计时可以考察采用不同先验概率（如0.5对0.5, 0.75对0.25, 0.9对0.1等）进行实验，考察对决策规则和错误率的影响；2)用两个特征进行实验：同时采用身高和体重数据作为特征，分别假设二者相关或不相关，在正态分布假设下估计概率密度，建立最小错误率Bayes分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。
比较相关假设和不相关假设下结果的差异。
在分类器设计时可以考察采用不同先验概率（如0.5 vs. 0.5, 0.75 vs. 0.25, 0.9 vs. 0.1等）进行实验，考察对决策和错误率的影响；3)自行给出一个决策表，采用最小风险的Bayes决策重复上面的某个或全部实验。
《模式识别》实验报告 K-L变换 特征提取
基于K-L 变换的iris 数据分类一、实验原理K-L 变换是一种基于目标统计特性的最佳正交变换。
它具有一些优良的性质：即变换后产生的新的分量正交或者不相关；以部分新的分量表示原矢量均方误差最小；变换后的矢量更趋确定，能量更集中。
这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。
设n 维矢量12,,,Tn x x x ⎡⎤⎣⎦=x ，其均值矢量E ⎡⎤⎣⎦=μx ，协方差阵()T x E ⎡⎤⎣⎦=--C x u)(x u ，此协方差阵为对称正定阵，则经过正交分解克表示为x =T C U ΛU ,其中12,,,[]n diag λλλ=Λ，12,,,n u u u ⎡⎤⎣⎦=U 为对应特征值的特征向量组成的变换阵，且满足1T -=U U 。
变换阵T U 为旋转矩阵，再此变换阵下x 变换为()T -=x u y U ,在新的正交基空间中，相应的协方差阵12[,,,]x n diag λλλ==x UC U C 。
通过略去对应于若干较小特征值的特征向量来给y 降维然后进行处理。
通常情况下特征值幅度差别很大，忽略一些较小的值并不会引起大的误差。
对经过K-L 变换后的特征向量按最小错误率bayes 决策和BP 神经网络方法进行分类。
二、实验步骤（1）计算样本向量的均值E ⎡⎤⎣⎦=μx 和协方差阵()T x E ⎡⎤⎣⎦=--C x u)(x u 5.8433 3.0573 3.7580 1.1993⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦=μ，0.68570.0424 1.27430.51630.04240.189980.32970.12161.27430.3297 3.1163 1.29560.51630.1216 1.29560.5810x ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦----=--C （2）计算协方差阵x C 的特征值和特征向量，则4.2282 , 0.24267 , 0.07821 , 0.023835[]diag =Λ-0.3614 -0.6566 0.5820 0.3155 0.0845 -0.7302 -0.5979 -0.3197 -0.8567 0.1734 -0.0762 -0.4798 -0.3583 0.0755 -0.5458 0.7537⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦=U 从上面的计算可以看到协方差阵特征值0.023835和0.07821相对于0.24267和4.2282很小，并经计算个特征值对误差影响所占比重分别为92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最小的特征值，得到新的变换阵12,,,new n k u u u -⎡⎤⎣⎦=U 。
实验七基于神经网络的模式识别实验
实验七基于神经网络的模式识别实验一、实验目的利用神经网络实现模式识别，并验证其性能。
掌握基于神经网络的模式识别方法。
二、实验原理1.神经网络神经网络是一种模仿生物神经系统的计算模型，它由大量的神经元节点相互连接而成。
在模式识别中，我们一般采用多层前向神经网络进行模式的训练和识别。
2.神经网络的训练过程神经网络的训练过程可以分为两步：前向传播和反向传播。
前向传播是指将输入样本通过网络的各个层传递到输出层，并计算输出结果。
反向传播是指根据输出结果和目标结果之间的误差，将误差反向传播到网络的各个层，并根据误差调整网络中的权值。
3.模式识别对于模式识别问题，我们首先需要将输入模式转化为特征向量，然后通过神经网络来训练这些特征向量，并将其与已知类别的模式进行比较，从而进行模式的识别。
三、实验步骤1.数据准备选择适当的模式识别数据集，例如手写数字识别的MNIST数据集，将其分为训练集和测试集。
2.特征提取对于每个输入模式，我们需要将其转化为一个特征向量。
可以使用各种特征提取方法，例如像素值，轮廓等。
3.神经网络设计设计合适的神经网络结构，包括输入层、隐藏层和输出层，并确定各层的神经元数目。
4.神经网络训练使用训练集对神经网络进行训练，包括前向传播和反向传播过程。
可以使用各种优化算法，例如梯度下降法。
5.模式识别使用测试集对训练好的神经网络进行测试和验证，计算识别的准确率和性能指标。
6.性能评估根据得到的结果，评估神经网络的性能，并分析可能的改进方法。
四、实验结果通过实验我们可以得到神经网络模式识别的准确率和性能指标，例如精确度、召回率和F1-score等。
五、实验总结在本次实验中，我们利用神经网络实现了模式识别，并验证了其性能。
通过实验，我们可以掌握基于神经网络的模式识别方法，了解神经网络的训练和识别过程，以及模式识别中的特征提取方法。
实验结果表明，神经网络在模式识别问题中具有较好的性能，并且可以根据需要进行改进和优化。
模式识别实验
《模式识别》实验报告班级：电子信息科学与技术13级02 班姓名：学号：指导老师：成绩：通信与信息工程学院二〇一六年实验一 最大最小距离算法一、实验内容1. 熟悉最大最小距离算法，并能够用程序写出。
2. 利用最大最小距离算法寻找到聚类中心，并将模式样本划分到各聚类中心对应的类别中。
二、实验原理N 个待分类的模式样本{}N X X X ， 21,，分别分类到聚类中心{}N Z Z Z ， 21,对应的类别之中。
最大最小距离算法描述：（1）任选一个模式样本作为第一聚类中心1Z 。
（2）选择离1Z 距离最远的模式样本作为第二聚类中心2Z 。
（3）逐个计算每个模式样本与已确定的所有聚类中心之间的距离，并选出其中的最小距离。
（4）在所有最小距离中选出一个最大的距离，如果该最大值达到了21Z Z -的一定分数比值以上，则将产生最大距离的那个模式样本定义为新增的聚类中心，并返回上一步。
否则，聚类中心的计算步骤结束。
这里的21Z Z -的一定分数比值就是阈值T ，即有：1021<<-=θθZ Z T（5）重复步骤（3）和步骤（4），直到没有新的聚类中心出现为止。
在这个过程中，当有k 个聚类中心{}N Z Z Z ， 21,时，分别计算每个模式样本与所有聚类中心距离中的最小距离值，寻找到N 个最小距离中的最大距离并进行判别，结果大于阈值T 是，1+k Z 存在，并取为产生最大值的相应模式向量；否则，停止寻找聚类中心。
（6）寻找聚类中心的运算结束后，将模式样本{}N i X i ,2,1, =按最近距离划分到相应的聚类中心所代表的类别之中。
三、实验结果及分析该实验的问题是书上课后习题2.1，以下利用的matlab 中的元胞存储10个二维模式样本X{1}=[0;0];X{2}=[1;1];X{3}=[2;2];X{4}=[3;7];X{5}=[3;6]; X{6}=[4;6];X{7}=[5;7];X{8}=[6;3];X{9}=[7;3];X{10}=[7;4];利用最大最小距离算法，matlab 运行可以求得从matlab 运行结果可以看出，聚类中心为971,,X X X ，以1X 为聚类中心的点有321,,X X X ，以7X 为聚类中心的点有7654,,,X X X X ，以9X 为聚类中心的有1098,,X X X 。
实验七基于神经网络的模式识别实验
实验七基于神经网络的模式识别实验
一、实验背景
模式识别是机器学习领域中的一项重要研究领域，它可以被应用于多个领域，包括计算机视觉，图像处理，智能交通，自然语言处理和生物信息学等。
模式识别的目的是从观察到的数据中检测，理解和预测结果。
其中，神经网络（应用模式识别）是人工智能的关键部分，它模拟人类的神经元的工作方式，并且可以被用来识别，分类，计算和获取模式。
二、实验目标
本次实验的目的是，探讨神经网络在模式识别中的应用，并使用一个基于神经网络的模式识别系统来识别模式。
三、实验内容
（一）数据预处理
在进行本次实验之前，需要进行数据预处理，以便能够更好地使用神经网络。
数据预处理的目的是通过将原始数据处理成神经网络可以处理的格式，以便更好地提取特征。
（二）神经网络模型设计
（三）神经网络模型训练
在训练神经网络模型时，首先需要准备一组被识别的模式。
模式识别python实验指导书
《模式识别Python实验指导书》一、前言模式识别是一个重要的研究领域，它涵盖了许多应用领域，如人脸识别、语音识别、图像处理等。
Python作为一种流行的编程语言，具有简单易学、丰富的库和工具、强大的社区支持等特点，在模式识别领域也有着广泛的应用。
本实验指导书旨在帮助读者学习如何利用Python进行模式识别实验，并为读者提供详细的实验指导和相关代码。
二、实验环境搭建1. 安装Python环境- 访问Python全球信息站（网络协议sxxx）下载最新版本的Python，并按照冠方指引进行安装。
- 在命令行中输入python，若可以成功启动Python解释器，则表示安装成功。
2. 安装相关库和工具- 通过pip命令安装numpy、scipy、scikit-learn等常用的数据处理和机器学习库。
- 可选择性安装Jupyter Notebook进行实验过程的交互式展示和编辑。
三、实验内容与步骤1. 数据预处理- 从公开数据集中获取样本数据。
- 使用Python中的pandas库对数据进行清洗、去噪等处理。
- 划分数据集为训练集和测试集。
2. 特征提取与选择- 使用Python中的特征提取工具进行特征提取，如PCA、LDA等。
- 利用Python的特征选择算法对提取的特征进行排序、选择。
3. 模型构建与训练- 使用Python中的机器学习库构建模式识别模型，如SVM、KNN 等。
- 利用训练集进行模型训练。
4. 模型评估与优化- 使用测试集对训练好的模型进行评估，如准确率、精确率、召回率等指标。
- 根据评估结果对模型进行调参、优化。
5. 模型应用与结果展示- 利用训练好的模型对新数据进行预测。
- 使用Python的可视化工具对模型结果进行可视化展示。
四、实验案例1. 人脸识别实验- 搜集包含人脸图像的数据集。
- 利用Python进行人脸图像的特征提取、模型构建和训练。
- 展示识别结果并分析模型性能。
2. 文字识别实验- 利用Python进行文字图像的特征提取与模型构建。
模式识别实验指导书2014
实验一、基于感知函数准则线性分类器设计1.1 实验类型：设计型：线性分类器设计（感知函数准则）1.2 实验目的：本实验旨在让同学理解感知准则函数的原理，通过软件编程模拟线性分类器，理解感知函数准则的确定过程，掌握梯度下降算法求增广权向量，进一步深刻认识线性分类器。
1.3 实验条件：matlab 软件1.4 实验原理：感知准则函数是五十年代由Rosenblatt 提出的一种自学习判别函数生成方法，由于Rosenblatt 企图将其用于脑模型感知器，因此被称为感知准则函数。
其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。
感知准则函数利用梯度下降算法求增广权向量的做法，可简单叙述为： 任意给定一向量初始值)1(a ，第k+1次迭代时的权向量)1(+k a 等于第k 次的权向量)(k a 加上被错分类的所有样本之和与k ρ的乘积。
可以证明，对于线性可分的样本集，经过有限次修正，一定可以找到一个解向量a ，即算法能在有限步内收敛。
其收敛速度的快慢取决于初始权向量)1(a 和系数k ρ。
1.5 实验内容已知有两个样本空间w1和w2，这些点对应的横纵坐标的分布情况是：x1=[1,2,4,1,5];y1=[2,1,-1,-3,-3];x2=[-2.5,-2.5,-1.5,-4,-5,-3];y2=[1,-1,5,1,-4,0];在二维空间样本分布图形如下所示：（plot(x1,y1,x2,y2)）-6-4-20246-6-4-2246w1w21.6 实验任务：1、 用matlab 完成感知准则函数确定程序的设计。
2、 请确定sample=[(0,-3),(1,3),(-1,5),(-1,1),(0.5,6),(-3,-1),(2,-1),(0,1),(1,1),(-0.5,-0.5),( 0.5,-0.5)];属于哪个样本空间,根据数据画出分类的结果。
3、 请分析一下k ρ和)1(a 对于感知函数准则确定的影响，并确定当k ρ=1/2/3时，相应的k 的值，以及)1(a 不同时，k 值得变化情况。
模式识别实验指导书
模式识别实验指导书西安理工大学信息与控制工程系前言模式识别能力是人类智能的重要标志，通过这种能力我们能够辨识人脸、识别语音、阅读手写文字、从口袋里摸出钥匙或者根据气味判断苹果是否成熟。
模式识别这门课程就是研究如何用计算机实现人的模式识别能力。
模式识别是以应用为基础的学科，目的是将对象进行分类。
这些对象可以是图像、信号波形、文字、语音等可以测量的对象。
为了让高年级本科学生能够更好地理解，模式识别课程中讲授的基本内容和方法，配合授课内容和实验学时要求，设计了6个学时的模式识别实验项目。
使用时可以在3个实验中任选2个来进行。
本实验指导书中给出了实验的内容、要求和简单的参考例程。
例程仅起参考作用，学生必须通过对例程的理解自己设计程序，完成全部实验内容。
实验一总体概率密度分布的非参数方法一、实验目的：在进行Bayes决策时，一个前提条件是要预先知道先验概率密度和类条件概率密度，而实际中我们只是收集到有限数目的样本，而不知道先验概率密度和类条件概率密度。
因此，我们必须先根据有限的样本对类条件概率密度和先验概率密度进行估计，再用估计的结果进行Bayes决策。
由样本集估计概率密度的方法有监督参数估计、非监督参数估计和非参数估计三种类型，其中非参数估计方法是在样本所属类别已知，但是未知总体概率密度函数形式的条件下，直接推断概率密度函数本身的方法。
本实验的目的是通过编程进行概率密度的函数的Parzen窗函数估计和K N近邻估计，加深对非参数估计基本思想的认识和理解。
二、实验要求：1、复习非监督参数估计的基本思想；2、复习用Parzen窗法进行总体分布的非参数估计方法并编制程序；3、复习K N近邻法进行总体分布估计的基本原理，并编制程序；4、本实验在2学时内完成；三、参考例程及其说明：下面程序采用正态窗进行概率密度函数的估计。
程序中N表示样本个数，h1表示于窗宽。
clearN=4096;XI=randn(1,N);h1=0.25;for x=-3:0.001:3%t=(x+2.5)*100%pausej=ceil((x+3)*100)+1;P(j)=0;for i=1:N%i%j%pauseP(j)=exp(-0.5*((x-XI(i))*N^0.5/h1)^2)/((h1/N^0.5)*(2*pi)^0.5)+P(j);endP(j)=P(j)/N;endx1=-3:0.01:3;plot(x1,P)四、上机完成内容：1、修改参数N，令N=1，N=4，N=16，分析所得到的概率密度曲线的变化情况，说明这些曲线的意义。
《模式识别》课程实验 线性分类器设计实验
《模式识别》课程实验线性分类器设计实验一、实验目的：1、掌握Fisher 线性分类器设计方法；2、掌握感知准则函数分类器设计方法。
二、实验内容：1、对下列两种情况，求采用Fisher 判决准则时的投影向量和分类界面，并做图。
12{(2,0),(2,2),(2,4),(3,3)}{(0,3),(2,2),(1,1),(1,2),(3,1)}T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 12{(1,1),(2,0),(2,1),(0,2),(1,3)}{(1,2),(0,0),(1,0),(1,1),(0,2)}T T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 2、对下面的两类分类问题，采用感知准则函数，利用迭代修正求权向量的方法求两类的线性判决函数及线性识别界面，并画出识别界面将训练样本区分的结果图。
12{(1,1),(2,0),(2,1),(0,2),(1,3)}{(1,2),(0,0),(1,0),(1,1),(0,2)}T T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 三、实验原理：（1）Fisher 判决准则投影方向：*112()w w S μμ-=-（2）感知准则函数：()()kT p z Z J v v z ==-∑当k Z为空时，即()0J v ，*v即为所求p四、解题思路:1、fisher线性判决器：A.用mean函数求两类样本的均值B.求两类样本的均值的类内离散矩阵SiC.利用类内离散矩阵求总类内离散矩阵SwD.求最佳投影方向WoE.定义阈值，并求得分界面2、感知准则函数分类器：A.获得增广样本向量和初始增广权向量B.对样本进行规范化处理C.获得解区，并用权向量迭代修正错分样本集，得到最终解区五、实验结果：1、fisher线性判决分类器：条件：取pw1=pw2=0.5,阈值系数为0.5A．第一种情况B.第二种情况2、感知准则函数判决：条件：取步长row为1判决结果：六、结果分析：1、fisher线性判决器中，调整阈值系数时，分界面会随之平行上下移动，通过调整阈值系数的大小，就能比较合理的得到分界面。
模式识别实验指导书2014版
cpmean(i,:)=mean(meas(strmatch(char(sta(i,1)),species,'exact'),:));
4 5
⎟⎟⎠⎞,
⎜⎜⎝⎛
− −
5 6
⎟⎟⎠⎞, ⎜⎜⎝⎛
− −
6 5
⎟⎟⎠⎞,
⎜⎜⎝⎛
5 5
⎟⎟⎠⎞,
⎜⎜⎝⎛
5 4
⎟⎟⎠⎞,
⎜⎜⎝⎛
4 5
⎟⎟⎠⎞,
⎜⎜⎝⎛
5 6
⎟⎟⎠⎞,
⎜⎜⎝⎛
6 5
⎟⎟⎠⎞⎭⎬⎫
，计算样本协方
差矩阵，求解数据第一主成分，并重建原始数据。
（2）使用 Matlab 中进行主成分分析的相关函数，实现上述要求。
有 c 个不同的水平，表示 c 个不同的类。
表 1-1 fit 方法支持的参数名与参数值列表
参数名
参数值
说明
'normal'
正态分布（默认）
核密度估计（通过‘KSWidth’参数设置核密度估计的窗宽
'kernel'
（默认情况下自动选取窗宽；通过‘KSSupport’参数设置
‘Distribution’ 'mvmn'
信息与电气工程学院专业实验中心 二〇一四年八月
《模式识别》实验一 贝叶斯分类器设计
一、实验意义及目的
掌握贝叶斯判别原理，能够利用 Matlab 编制程序实现贝叶斯分类器设计，熟悉基于 Matlab 的 算法处理函数，并能够利用算法解决简单问题。
模式识别实验指导书2015
6
深圳大学研究生课程“模式识别理论与方法”实验指导书(4th Edition 裴继红编)
(c) 用（b）中设计的分类器对测试点进行分类： (1, 2,1) ， (5,3, 2) ， (0, 0, 0) ， (1, 0, 0) ， 并且利用式（45）求出各个测试点与各个类别均值之间的 Mahalanobis 距离。 (d) 如果 P ( w1 ) 0.8, P ( w2 ) P ( w3 ) 0.1 ，再进行（b）和（c）实验。 (e) 分析实验结果。 表格 1
深圳大学研究生课程：模式识别理论与方法
课程作业实验指导
（4th Edition） （分数：5％10＝50％） （共 10 题）
实验参考教材：
a) 《Pattern Classification》by Richard O.Duda, Peter E.Hart, David G.Stork, 2nd Edition Wiley-Interscience, 2000. (机械工业出版社，2004 年, 影印版)。 b) 《模式分类》Richard O.Duda, Peter E.Hart, David G.Stork 著；李宏东， 姚天翔等译；机械工业出版社和中信出版社出版，2003 年。（上面 a 的 中文翻译版） c) 《模式识别（英文第四版）》Sergios Theodoridis, Konstantinos Koutroumbas 著；机械工业出版社，2009 年，影印版。 d) 《神经网络与机器学习（原书第三版）》Simon Haykin 著；申富 饶等译，机械工业出版社，2013 年。
裴继红 编
2015 年 2 月 深圳大学 信息工程学院
深圳大学研究生课程“模式识别理论与方法”实验指导书(4th Edition 裴继红编)
模式识别实验指导书2014版
cpmean(i,:)=mean(meas(strmatch(char(sta(i,1)),species,'exact'),:));
SCORE 矩阵中相应的列。
（3）pcares 函数
功能：重建数据，并求样本观测值矩阵中的每个观测的每一个分量所对应的残差。
调用格式：
RESIDUALS = pcares(X,NDIM)
[RESIDUALS,RECONSTRUCTED] = pcares(X,NDIM)
参数：
NDIM：所用的主成分的个数， ≤ n ；
有 c 个不同的水平，表示 c 个不同的类。
表 1-1 fit 方法支持的参数名与参数值列表
参数名
参数值
说明
'normal'
正态分布（默认）
核密度估计（通过‘KSWidth’参数设置核密度估计的窗宽
'kernel'
（默认情况下自动选取窗宽；通过‘KSSupport’参数设置
‘Distribution’ 'mvmn'
标量所有类的所有变量的核密度估计的窗宽个元素指定了第j个变量的核密度估计的窗宽个元素指定了第i类的所有变量的核密度估计的窗宽kswidth结构体变量有width窗宽向量或矩阵和class类水平向量两个字段unbounded设置核密度函数的定义域为整个实数轴默认positive设置核密度函数的定义域为正半轴kssupport指定核密度函数定义区间的上下限kstype一个字符串或1指定核函数类型可用的字符串有normal默认boxtriangle或epanechnikov
模式识别实验报告
二、实验步骤 前提条件： 只考虑第三种情况：如果 di(x) >dj(x) 任意 j≠ i ，则判 x∈ωi 。
○1 、赋初值，分别给 c 个权矢量 wi(1)（i=1,2,…c）赋任意的初
值，选择正常数ρ ，置步数 k=1；
○2 、输入符号未规范化的增广训练模式 xk, xk∈{x1, x2… xN} ,
二、实验步骤
○1 、给出 n 个混合样本，令 I=1，表示迭代运算次数，选取 c
个初始聚合中心 ，j=1,2,…,c;
○2 、 计 算 每 个 样 本 与 聚 合 中 心 的 距 离
，
。
若
， ，则
。
○3 、 计 算 c 个 新 的 聚 合 中 心 ：
，
。
○4 、判断：若
，
，则 I=I+1，返回
第二步 b 处，否则结束。 三、程序设计
聚类没有影响。但当 C=2 时，该类别属于正确分类。 而类别数目大于 2 时，初始聚合中心对聚类的影响非常大，仿真
结果多样化，不能作为分类标准。 2、考虑类别数目对聚类的影响： 当类别数目变化时，结果也随之出现变化。 3、总结 综上可知，只有预先分析过样本，确定合适的类别数目，才能对
样本进行正确分类，而初始聚合中心对其没有影响。
8
7
6
5
4
3
2
1
0
0
1
2
3
4
5
6
7
8
9
初始聚合中心为（0,0），（2,2）,（5,5），（7,7），（9,9）
K-均 值 聚 类 算 法 ： 类 别 数 目 c=5 9
8
7
6
5
4
《数字图像及模式识别》上机实验指导书
《数字图像及模式识别》上机实验指导书《数字图像及模式识别》上机实验指导书2009.2 By 梅斌⽬录实验⼀数字图像获取 (2)实验⼆图像的傅⽴叶变换 (5)实验三图像增强 (7)实验四图象分割 (10)实验⼀数字图像获取⼀、实验⽬的1、掌握使⽤扫描仪等数字化设备以及计算机获取数字图像的⽅法；2、了解数字图像的获取与存储。
⼆、实验原理⽤扫描仪获取图像也是图像的数字化过程的⽅法之⼀。
扫描仪按种类可以分为⼿持扫描仪，台式扫描仪和滚筒式扫描仪（⿎形扫描仪）。
扫描仪的主要性能指标有x、y⽅向的分辨率、⾊彩分辨率（⾊彩位数）、扫描幅⾯和接⼝⽅式等。
各类扫描仪都标明了它的光学分辨率和最⼤分辨率。
分辨率的单位是dpi，dpi是英⽂Dot Per Inch的缩写，意思是每英⼨的像素点数。
扫描仪⼯作时，⾸先由光源将光线照在欲输⼊的图稿上，产⽣表⽰图像特征的反射光（反射稿）或透射光（透射稿）。
光学系统采集这些光线，将其聚焦在CCD上，由CCD将光信号转换为电信号，然后由电路部分对这些信号进⾏A/D转换及处理，产⽣对应的数字信号输送给计算机。
当机械传动机构在控制电路的控制下，带动装有光学系统和CCD的扫描头与图稿进⾏相对运动，将图稿全部扫描⼀遍，⼀幅完整的图像就输⼊到计算机中去了。
图1.1扫描仪的⼯作原理扫描仪扫描图像的步骤是:⾸先将欲扫描的原稿正⾯朝下铺在扫描仪的玻璃板上，原稿可以是⽂字稿件或者图纸照⽚；然后启动扫描仪驱动程序后，安装在扫描仪内部的可移动光源开始扫描原稿。
为了均匀照亮稿件，扫描仪光源为长条形，并沿y⽅向扫过整个原稿；照射到原稿上的光线经反射后穿过⼀个很窄的缝隙，形成沿x⽅向的光带，⼜经过⼀组反光镜，由光学透镜聚焦并进⼊分光镜，经过棱镜和红绿蓝三⾊滤⾊镜得到的RGB三条彩⾊光带分别照到各⾃的CCD上，CCD将RGB光带转变为模拟电⼦信号，此信号⼜被A/D变换器转变为数字电⼦信号。
⾄此，反映原稿图像的光信号转变为计算机能够接受的⼆进制数字电⼦信号，最后通过串⾏或者并⾏等接⼝送⾄计算机。
模式识别实验指导书
类别1234样本x 1x 2x 1x 2x 1x 2x 1x 210.1 1.17.1 4.2-3.0-2.9-2.0-8.42 6.87.1-1.4-4.30.58.7-8.90.23-3.5-4.1 4.50.0 2.9 2.1-4.2-7.74 2.0 2.7 6.3 1.6-0.1 5.2-8.5-3.25 4.1 2.8 4.2 1.9-4.0 2.2-6.7-4.06 3.1 5.0 1.4-3.2-1.3 3.7-0.5-9.27-0.8-1.3 2.4-4.0-3.4 6.2-5.3-6.780.9 1.2 2.5-6.1-4.1 3.4-8.7-6.49 5.0 6.48.4 3.7-5.1 1.6-7.1-9.710 3.9 4.0 4.1-2.2 1.9 5.1-8.0-6.3实验一 感知器准则算法实验一、实验目的：贝叶斯分类方法是基于后验概率的大小进行分类的方法，有时需要进行概率密度函数的估计，而概率密度函数的估计通常需要大量样本才能进行，随着特征空间维数的增加，这种估计所需要的样本数急剧增加，使计算量大增。
在实际问题中，人们可以不去估计概率密度，而直接通过与样本和类别标号有关的判别函数来直接将未知样本进行分类。
这种思路就是判别函数法，最简单的判别函数是线性判别函数。
采用判别函数法的关键在于利用样本找到判别函数的系数，模式识别课程中的感知器算法是一种求解判别函数系数的有效方法。
本实验的目的是通过编制程序，实现感知器准则算法，并实现线性可分样本的分类。
二、实验内容：实验所用样本数据如表2-1给出（其中每个样本空间（数据）为两维，x 1表示第一维的值、x 2表示第二维的值），编制程序实现1、 2类2、 3类的分类。
分析分类器算法的性能。
2-1 感知器算法实验数据具体要求1、复习感知器算法；2、写出实现批处理感知器算法的程序1）从a=0开始，将你的程序应用在和的训练数据上。
记下收敛的步数。
实验指导书(模式识别)
《模式识别》实验指导书河北工业大学信息工程学院《模式识别》课程组2008年1月前言模式识别是电子信息工程专业的一门重要的专业选修课。
其目的是通过对模式识别基本理论、概念和方法的学习，使学生能够灵活运用所学知识，借助计算机解决实际工程应用中的自动识别问题。
而模式识别实验是本门课程重要的教学环节,其目的是使学生掌握统计模式识别中常见分类方法的算法设计及其验证方法，通过接受实验的训练，以提高学生的分析和解决问题的能力。
为此，河北工业大学信息工程学院编写了《模式识别实验指导书》。
在编写中由于可供参考的实验指导资料有限，因此本书肯定存在不少不妥之处，恳请读者予以批评指正。
本实验指导书共包含三个实验。
第一个实验为安装并使用模式识别工具箱，通过本次实验可以让学生了解模式识别软件的具体形态、基本设置以及运行流程，了解一些基本识别方法的工作过程。
第二个实验为用人工神经网络对二维样本进行分类，通过本次实验可以让学生掌握人工神经网络的运行机理，了解神经网络在解决实际问题时如何进行参数设置和模型选择。
第三个实验为用支持向量机进行人脸识别，通过本次实验可以让学生掌握支持向量机的运行机理、参数选择与快速算法等，了解在实际分类中学习样本库的重要性。
目录实验一安装并使用模式识别工具箱----------------------------------------------------------4 实验二用人工神经网络对二维样本分类---------------------------------------------------13 实验三用支持向量机进行人脸识别---------------------------------------------------------22实验一安装并使用模式识别工具箱（2学时）一、实验目的1．掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；2．熟练使用最小错误率贝叶斯决策器对样本分类；3．熟练使用感知准则对样本分类；4．熟练使用最小平方误差准则对样本分类；5．了解近邻法的分类过程，了解参数K值对分类性能的影响（选做）；6．了解不同的特征提取方法对分类性能的影响（选做）。
实验一模式识别
实验一安装并使用模式识别工具箱（2学时）一、实验目的1．掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；2．熟练使用最小错误率贝叶斯决策器对样本分类；3．熟练使用感知准则对样本分类；4．熟练使用最小平方误差准则对样本分类；5．了解近邻法的分类过程，了解参数K值对分类性能的影响（选做）；6．了解不同的特征提取方法对分类性能的影响（选做）。
二、实验内容1．安装模式识别工具箱；2．用最小错误率贝叶斯决策器对呈正态分布的两类样本分类；3．用感知准则对两类可分样本进行分类，并观测迭代次数对分类性能的影响；4．用最小平方误差准则对云状样本分类，并与贝叶斯决策器的分类结果比较；5．用近邻法对双螺旋样本分类，并观测不同的K值对分类性能的影响（选做）；6．观测不同的特征提取方法对分类性能的影响（选做）。
三、实验仪器、设备1．PC机－系统最低配置512M 内存、P4 CPU；2．Matlab 仿真软件－7.0 / 7.1 / 2006a等版本的Matlab 软件。
四、实验原理1．模式识别工具箱模式识别工具箱是学习模式识别基本原理、灵活应用既有的模式识别方法、开发研制新的识别方法、提高学生分析和解决问题能力的一个良好平台。
本实验采用的模式识别工具箱是由Elad Yom-Tov，Hilit Serby和David G. Storka等人开发的。
2．最小错误率贝叶斯决策器在模式识别领域，贝叶斯决策通常利用一些决策规则来判定样本的类别。
最常见的决策规则有最大后验概率决策和最小风险决策等。
设共有K 个类别，各类别用符号k c ()K k ,,2,1 =代表。
假设k c 类出现的先验概率()k P c 以及类条件概率密度()|k P c x 是已知的，那么应该把x 划分到哪一类才合适呢？若采用最大后验概率决策规则，首先计算x 属于k c 类的后验概率()()()()()()()()1||||k k k k k Kk kk P c P c P c P c P c P P c P c ===∑x x x x x然后将x 判决为属于kc ~类，其中 ()1arg max |k k Kk P c ≤≤=x 若采用最小风险决策，则首先计算将x 判决为k c 类所带来的风险(),k R c x ，再将x 判决为属于kc ~类，其中 ()min ,k k k R c =x可以证明在采用0-1损失函数的前提下，两种决策规则是等价的。
模式识别试验基础指导书
实验一、基于感知函数准则线性分类器设计1.1 实验类型：设计型：线性分类器设计（感知函数准则）1.2 实验目旳：本实验旨在让同窗理解感知准则函数旳原理，通过软件编程模拟线性分类器，理解感知函数准则旳拟定过程，掌握梯度下降算法求增广权向量，进一步深刻结识线性分类器。
1.3 实验条件：matlab 软件1.4 实验原理：感知准则函数是五十年代由Rosenblatt 提出旳一种自学习鉴别函数生成措施，由于Rosenblatt 企图将其用于脑模型感知器，因此被称为感知准则函数。
其特点是随意拟定旳鉴别函数初始值，在对样本分类训练过程中逐渐修正直至最后拟定。
感知准则函数运用梯度下降算法求增广权向量旳做法，可简朴论述为： 任意给定历来量初始值)1(a ，第k+1次迭代时旳权向量)1(+k a 等于第k 次旳权向量)(k a 加上被错分类旳所有样本之和与k ρ旳乘积。
可以证明，对于线性可分旳样本集，通过有限次修正，一定可以找到一种解向量a ，即算法能在有限步内收敛。
其收敛速度旳快慢取决于初始权向量)1(a 和系数k ρ。
1.5 实验内容已知有两个样本空间w1和w2，这些点相应旳横纵坐标旳分布状况是：x1=[1,2,4,1,5];y1=[2,1,-1,-3,-3];x2=[-2.5,-2.5,-1.5,-4,-5,-3];y2=[1,-1,5,1,-4,0];在二维空间样本分布图形如下所示：（plot(x1,y1,x2,y2)）-6-4-20246-6-4-22461.6 实验任务：1、 用matlab 完毕感知准则函数拟定程序旳设计。
2、 请拟定sample=[(0,-3),(1,3),(-1,5),(-1,1),(0.5,6),(-3,-1),(2,-1),(0,1), (1,1),(-0.5,-0.5),( 0.5,-0.5)];属于哪个样本空间,根据数据画出分类旳成果。
3、 请分析一下k ρ和)1(a 对于感知函数准则拟定旳影响，并拟定当k ρ=1/2/3时，相应旳k 旳值，以及)1(a 不同步，k 值得变化状况。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验一、基于感知函数准则线性分类器设计1.1 实验类型：设计型：线性分类器设计（感知函数准则）1.2 实验目的：本实验旨在让同学理解感知准则函数的原理，通过软件编程模拟线性分类器，理解感知函数准则的确定过程，掌握梯度下降算法求增广权向量，进一步深刻认识线性分类器。
1.3 实验条件：matlab 软件1.4 实验原理：感知准则函数是五十年代由Rosenblatt 提出的一种自学习判别函数生成方法，由于Rosenblatt 企图将其用于脑模型感知器，因此被称为感知准则函数。
其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。
感知准则函数利用梯度下降算法求增广权向量的做法，可简单叙述为： 任意给定一向量初始值)1(a ，第k+1次迭代时的权向量)1(+k a 等于第k 次的权向量)(k a 加上被错分类的所有样本之和与k ρ的乘积。
可以证明，对于线性可分的样本集，经过有限次修正，一定可以找到一个解向量a ，即算法能在有限步内收敛。
其收敛速度的快慢取决于初始权向量)1(a 和系数k ρ。
1.5 实验内容已知有两个样本空间w1和w2，这些点对应的横纵坐标的分布情况是：x1=[1,2,4,1,5];y1=[2,1,-1,-3,-3];x2=[-2.5,-2.5,-1.5,-4,-5,-3];y2=[1,-1,5,1,-4,0];在二维空间样本分布图形如下所示：（plot(x1,y1,x2,y2)）-6-4-20246-6-4-2246w1w21.6 实验任务：1、 用matlab 完成感知准则函数确定程序的设计。
2、 请确定sample=[(0,-3),(1,3),(-1,5),(-1,1),(0.5,6),(-3,-1),(2,-1),(0,1),(1,1),(-0.5,-0.5),( 0.5,-0.5)];属于哪个样本空间,根据数据画出分类的结果。
3、 请分析一下k ρ和)1(a 对于感知函数准则确定的影响，并确定当k ρ=1/2/3时，相应的k 的值，以及)1(a 不同时，k 值得变化情况。
4、 根据实验结果请说明感知准则函数是否是唯一的，为什么？实验二、基于Fisher 准则线性分类器设计2.1实验类型：设计型：线性分类器设计（Fisher 准则）2.2实验目的：本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher 准则方法确定最佳线性分界面方法的原理，以及Lagrande 乘子求解的原理。
2.3实验条件：matlab 软件2.4实验原理：线性判别函数的一般形式可表示成0)(w X W X g T += 其中⎪⎪⎪⎭⎫ ⎝⎛=d x x X 1 ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=d w w w W 21根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W 的函数为：2221221~~)~~()(S S m m W J F +-= )(211*m m S W W -=-上面的公式是使用Fisher 准则求最佳法线向量的解，该式比较重要。
另外，该式这种形式的运算，我们称为线性变换，其中21m m -式一个向量，1-W S 是W S 的逆矩阵，如21m m -是d 维，W S 和1-W S 都是d ×d 维，得到的*W 也是一个d 维的向量。
向量*W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量*W 的各分量值是对原d 维特征向量求加权和的权值。
以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量*W 的计算方法，但是判别函数中的另一项0W 尚未确定，一般可采用以下几种方法确定0W 如 2~~210m m W +-= 或者 m N N m N m N W ~~~2122110=++-= 或当1)(ωp 与2)(ωp 已知时可用[]⎥⎦⎤⎢⎣⎡-+-+=2)(/)(ln 2~~2121210N N p p m m W ωω ……当W 0确定之后，则可按以下规则分类，2010ωω∈→->∈→->X w X W X w X W T T使用Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。
2.5实验内容：已知有两类数据1ω和2ω二者的概率已知1)(ωp =0.6，2)(ωp =0.4。
ω中数据点的坐标对应一一如下：1数据：x =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099 y =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.83401.87042.2948 1.7714 2.3939 1.5648 1.93292.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604 z =0.5338 0.8514 1.0831 0.4164 1.1176 0.55360.6071 0.4439 0.4928 0.5901 1.0927 1.07561.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548ω数据点的对应的三维坐标为2x2 =1.4010 1.23012.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.79091.3322 1.1466 1.7087 1.59202.9353 1.46642.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.18330.8798 0.5592 0.5150 0.9983 0.9120 0.71261.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288 z2 =0.6210 1.3656 0.5498 0.6708 0.8932 1.43420.9508 0.7324 0.5784 1.4943 1.0915 0.76441.2159 1.3049 1.1408 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458数据的样本点分布如下图：-2-101230.511.522.50.511.522.6实验要求：1) 请把数据作为样本，根据Fisher 选择投影方向W 的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向W 的函数，并在图形表示出来。
并在实验报告中表示出来，并求使)(w J F 取极大值的*w 。
用matlab 完成Fisher 线性分类器的设计，程序的语句要求有注释。
2) 根据上述的结果并判断（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），属于哪个类别，并画出数据分类相应的结果图，要求画出其在W 上的投影。
3) 回答如下问题，分析一下W 的比例因子对于Fisher 判别函数没有影响的原因。
实验三、K均值聚类算法－动态聚类3.1 实验类型：设计型：K均值/C-均值动态聚类算法3.2 实验目的：本实验旨在让同学理解动态聚类算法的原理，掌握K均值/C-均值算法，并能利用K均值/C-均值算法解决实际的分类问题。
3.3 实验条件：matlab软件3.4 实验原理：动态聚类方法的任务是将数据集划分成一定数量的子集，例如将一个数据集划分成三个子集，四个子集等。
因此要划分成多少个子集往往要预先确定，或大致确定，当然这个子集数目在理想情况现能体现数据集比较合理的划分。
这里要解决的问题是: 1．怎样才能知道该数据集应该划分的子集数目2．如果划分数目已定，则又如何找到最佳划分。
因为数据集可以有许多种不同的划分方法，需要对不同的划分作出评价，并找到优化的划分结果。
由于优化过程是从不甚合理的划分到“最佳”划分，是一个动态的迭代过程，故这种方法称为动态聚类方法。
我们先讨论在子集数目已定条件下的聚类方法，然后在讨论如何确定合理的子集数目。
一个动态聚类算法需要有以下几个要点：1.选定某种距离度量作为样本间的相似性度量；2.确定样本合理的初始分类，包括代表点的选择，初始分类的方法选择等。
3.确定某种评价聚类结果质量的准则函数，用以调整初始分类直至达到该准则函数的极值。
这是一个动态聚类方法的三个要素，其中初始划分只是为了使划分能从某个初始点开始，。