北邮信息工程模式识别实验报告
北邮信息工程模式识别实验报告
0.8514 0.4439 0.4272 0.7127 0.4129 0.7840
1.0831 0.4928 0.4353 1.0124 1.0085 0.4158
0.4164 0.5901 0.9869 0.4576 0.7676 1.0315
1.1176 1.0927 0.4841 0.8544 0.8418 0.7533
6、实验要求
1) 请把数据作为样本，根据 Fisher 选择投影方向 W 的原则，使原样本向量在 该方向上的投影能兼顾类间分布尽可能分开， 类内样本投影尽可能密集的要 求，求出评价投影方向 W 的函数，并在图形表示出来。并在实验报告中表 示出来，并求使 J F ( w) 取极大值的 w* 。用 matlab 完成 Fisher 线性分类器 的设计，程序的语句要求有注释。 2) 根据上述的结果并判断 （1， 1.5， 0.6） (1.2， 1.0， 0.55)， (2.0， 0.9， 0.68)， (1.2，1.5，0.89)， （0.23，2.33，1.43） ，属于哪个类别，并画出数据分类 相应的结果图，要求画出其在 W 上的投影。 3) 回答如下问题，分析一下 W 的比例因子对于 Fisher 判别函数没有影响的原 因。
~ m ~ )2 (m 1 2 J F (W ) ~ 2 ~ S1 S 22
1 W * SW (m1 m2 )
上面的公式是使用 Fisher 准则求最佳法线向量的解，该式比较重要。另外，该式这种
2
形式的运算， 我们称为线性变换， 其中 m1 m2 式一个向量，SW 是 SW 的逆矩阵， 如 m1 m2
*
以上讨论了线性判别函数加权向量 W 的确定方法，并讨论了使 Fisher 准则函数极大的 d 维向量 W
北邮信号与信息系统实习报告(个人版)
实习成绩:
指导教师签名：实习单位公章
年月日
北京邮电大学实习报告
实习名称
信号与信息系统认识实习
学院
信息与通信工程学院
学生姓名
曹爽
班级
2013211124
学号
2013210640
实习时间
2014年9月
实习地点
北京邮电大学主楼1121
实习内容
信源信道编码
学生
实习
总结
（600字左右）
实习之前，我对信源信道编码可以说使一无所知，凭直觉认为这应该是一种信息处理方式。在这次实习课上，我对信息的传输方式和信源信道编码方式有了进一步的了解。
最后，老师向我们介绍了WSN的分类以及今后的研究方向，包括网络、通信、嵌入式系统、信号处理等方面。我们身边每天都覆盖着网络，有无数的数据进行传输，虽然WSN的应用已经十分广泛，但任何一项技术都是在日臻成熟中，WSN也有一些缺陷有待克服，比如不少结点仍然解决不了耗能大的问题，这也说明WSN技术还有很大的发展空间。作为第一次实习，老师的讲解让我对信息工程专业有了更多的认识，对本专业产生了更多学习的兴趣。
计算机网络是将具有独立功能的多台主机及终端设备，通过通信线路进行连接，在通信协议协调下，实现资源共享和信息传递的完整系统。按网络规模和覆盖需要，可分为广域网（WAN）、局域网（LAN）、城域网（MAN）；按传输介质，可分为有线网络和无线网络。其中，无线网络可以通过无线电、微波、红外线等介质传输信息。通过老师的介绍，我还了解到无线网络是按照网络所采用的技术与协议分类的，而不是单纯地按照其覆盖范围。无线网络主要分为无线个人网（WPAN）、无线局域网（WLAN）、无线城域网（WMAN）、无线广域网（WWAN）。不同的网络有不同的用途，比如蓝牙技术使用的是WPAN，而宽带技术则需要使用WLAN。
北邮 郭军_模式识别实验室介绍
网络搜索
搜索引擎相关技术研究
–网络信息获取（爬虫技术） 网络信息获取（爬虫技术） 网络信息获取 –内容抽取 内容抽取 –索引构建 索引构建 –查询扩展、查询反馈机制 查询扩展、 查询扩展
文本过滤系统相关技术
–邮件过滤系统 邮件过滤系统 –短信过滤系统 短信过滤系统 –基于文本标记音视频内容过滤与检索 基于文本标记音视频内容过滤与检索
北邮模式识别实验室 介绍
内
容
发展历程 人员情况 研究方向 项目情况 科研成果
发展历程
1998年依托信号与信息处理国家重点学科以及模式识别 与智能系统信息产业部重点学科创建 2003年得到教育部留学生实验室建设项目支持 2004年得到”211工程”实验室建设资金支持
人员情况
目前，实验室成员共107人 实验室主任: 郭军教授，博导，信通院院长 教授2人 副教授6人 讲师7人 在读博士12人 在读硕士80人
自然语言理解相关技术的研究
网络管理
数据挖掘 故障关联 基于模式识别的网络数据管理与控制
2000年以来已完成的项目
国家863项目“银行票据OCR系统中的成套关键技术” 国家863项目“银行票据OCR系统中的成套关键技术” 863项目 OCR系统中的成套关键技术 国家自然科学基金项目“ 国家自然科学基金项目“网络图像文档过滤中的若干关键问 题研究” 题研究” 与山东中创软件公司合作项目“金融票据识别系统” 与山东中创软件公司合作项目“金融票据识别系统” 教育部重点项目“票据图像处理与识别中的基本算法” 教育部重点项目“票据图像处理与识别中的基本算法” 网通研究院项目“中国网通集团公司3G网络管理系统中的 网通研究院项目“中国网通集团公司3G网络管理系统中的 3G 数据接口” 数据接口”
北邮信号与信息系统实习报告
北邮信号与信息系统实习报告一、实习背景作为北邮信号与信息系统专业的学生，为了更好地掌握实际工作的技能和流程，我选择了去科技公司进行实习。
在这次实习中，我所在团队主要从事软件开发和维护工作，接触到了各种实际问题，并通过与团队的合作不断提升自己的技能。
二、实习内容1.软件需求分析与设计：在实习的第一个月，我们团队接到一个新的项目，我负责对项目需求进行分析和设计。
这个项目需要开发一个移动端的应用程序，用于用户查询和管理个人信息。
我与团队成员一起进行了需求讨论，然后根据需求编写了相应的需求规格文档和软件架构设计文档。
这个过程让我了解了软件开发的全过程，从需求分析到架构设计的各个环节。
2. 软件开发与测试：在需求分析和设计完成后，我开始参与软件的具体开发工作。
我们团队采用了敏捷开发的模式，每个人负责不同的模块开发。
我负责实现用户登录和注册模块，并参与了其他模块的开发和测试工作。
在这个过程中，我熟悉了使用各种开发工具和技术，如Android开发平台、Java编程语言等，并学会了编写规范的代码和进行测试。
3. 软件维护与优化：在软件开发完成后，我们团队需要对软件进行维护和优化。
我参与了对现有系统的功能完善和bug修复工作，并研究了一些新的技术来提升系统的性能和稳定性。
通过这个阶段的实习，我对软件的维护和优化有了更深入的了解，并学会了如何利用新技术来改进现有系统。
三、实习收获通过这次实习，我不仅学到了很多实际工作中的知识和技能，还提升了自己的解决问题和团队合作能力。
具体来说，我收获如下：1.学会了需求分析和设计的方法和技巧，能够将抽象的需求转化为具体的设计方案。
2.熟悉了软件开发的全过程，包括开发、测试、维护等各个环节，了解了软件工程的基本原理。
3.提高了与团队成员合作的能力，学会了如何有效地与他人进行沟通和协作。
4.增强了问题解决能力，学会了分析和解决实际问题的方法。
5.增强了对软件开发的兴趣和热情，对自己的专业方向更加明确。
《模式识别》实验报告-贝叶斯分类
《模式识别》实验报告-贝叶斯分类一、实验目的通过使用贝叶斯分类算法，实现对数据集中的样本进行分类的准确率评估，熟悉并掌握贝叶斯分类算法的实现过程，以及对结果的解释。
二、实验原理1.先验概率先验概率指在不考虑其他变量的情况下，某个事件的概率分布。
在贝叶斯分类中，需要先知道每个类别的先验概率，例如：A类占总样本的40%，B类占总样本的60%。
2.条件概率后验概率指在已知先验概率和条件概率下，某个事件发生的概率分布。
在贝叶斯分类中，需要计算每个样本在各特征值下的后验概率，即属于某个类别的概率。
4.贝叶斯公式贝叶斯公式就是计算后验概率的公式，它是由条件概率和先验概率推导而来的。
5.贝叶斯分类器贝叶斯分类器是一种基于贝叶斯定理实现的分类器，可以用于在多个类别的情况下分类，是一种常用的分类方法。
具体实现过程为：首先，使用训练数据计算各个类别的先验概率和各特征值下的条件概率。
然后，将测试数据的各特征值代入条件概率公式中，计算出各个类别的后验概率。
最后，取后验概率最大的类别作为测试数据的分类结果。
三、实验步骤1.数据集准备本次实验使用的是Iris数据集，数据包含150个Iris鸢尾花的样本，分为三个类别：Setosa、Versicolour和Virginica，每个样本有四个特征值：花萼长度、花萼宽度、花瓣长度、花瓣宽度。
2.数据集划分将数据集按7:3的比例分为训练集和测试集，其中训练集共105个样本，测试集共45个样本。
计算三个类别的先验概率，即Setosa、Versicolour和Virginica类别在训练集中出现的频率。
对于每个特征值，根据训练集中每个类别所占的样本数量，计算每个类别在该特征值下出现的频率，作为条件概率。
5.测试数据分类将测试集中的每个样本的四个特征值代入条件概率公式中，计算出各个类别的后验概率，最后将后验概率最大的类别作为该测试样本的分类结果。
6.分类结果评估将测试集分类结果与实际类别进行比较，计算分类准确率和混淆矩阵。
模式识别实习报告
一、贝叶斯估计做分类【问题描述】实习题目一：用贝叶斯估计做分类。
问题描述：给出试验区裸土加水田的tif图像，要求通过贝叶斯估计算法对房屋、水田及植被进行分类。
问题分析：首先通过目视解译法对图像进行分类，获取裸土、水田和植被的DN值，在此基础上，通过该部分各个类别的面积计算先验概率，然后带入公式进行计算，从而对整个图像进行分类。
【模型方法】与分布有关的统计分类方法主要有最大似然/ 贝叶斯分类。
最大似然分类是图像处理中最常用的一种监督分类方法,它利用了遥感数据的统计特征,假定各类的分布函数为正态分布,在多变量空间中形成椭圆或椭球分布,也就是和中个方向上散布情况不同,按正态分布规律用最大似然判别规则进行判决,得到较高准确率的分类结果。
否则,用平行六面体或最小距离分类效果会更好。
【方案设计】①确定需要分类的地区和使用的波段和特征分类数,检查所用各波段或特征分量是否相互已经位置配准；②根据已掌握的典型地区的地面情况,在图像上选择训练区；③计算参数,根据选出的各类训练区的图像数据,计算和确定先验概率；④分类,将训练区以外的图像像元逐个逐类代入公式,对于每个像元,分几类就计算几次,最后比较大小,选择最大值得出类别；⑤产生分类图,给每一类别规定一个值,如果分10 类,就定每一类分别为1 ,2 ……10 ,分类后的像元值便用类别值代替,最后得到的分类图像就是专题图像. 由于最大灰阶值等于类别数,在监视器上显示时需要给各类加上不同的彩色；⑥检验结果,如果分类中错误较多,需要重新选择训练区再作以上各步,直到结果满意为止。
【结果讨论】如图所示，通过贝叶斯算法，较好地对图像完成了分类，裸土、植被和水田三个类别清晰地判别出来。
在计算先验概率时，选择何种数据成为困扰我的一个问题。
既有ENVI自身提供的精确的先验概率值，也可以自己通过计算各个类别的面积，从而获取大致的先验概率值。
最后，在田老师的讲解下，我知道了虽然数据可能不太精确，但是，计算先验概率时，总体的倾向是一致的，所以在最后判别时，因此而引起的误差是微乎其微的，所以，一定要弄清楚算法原理，才能让自己的每一步工作都有理可循。
模式识别方法二实验报告
《模式识别》大作业人脸识别方法二---- 基于PCA 和FLD 的人脸识别的几何分类器（修改稿）一、 理论知识1、fisher 概念引出在应用统计方法解决模式识别问题时，为了解决“维数灾难”的问题，压缩特征空间的维数非常必要。
fisher 方法实际上涉及到维数压缩的问题。
fisher 分类器是一种几何分类器, 包括线性分类器和非线性分类器。
线性分类器有：感知器算法、增量校正算法、LMSE 分类算法、Fisher 分类。
若把多维特征空间的点投影到一条直线上，就能把特征空间压缩成一维。
那么关键就是找到这条直线的方向，找得好，分得好，找不好，就混在一起。
因此fisher 方法目标就是找到这个最好的直线方向以及如何实现向最好方向投影的变换。
这个投影变换恰是我们所寻求的解向量*W ，这是fisher 算法的基本问题。
样品训练集以及待测样品的特征数目为n 。
为了找到最佳投影方向，需要计算出各类均值、样品类内离散度矩阵i S 和总类间离散度矩阵w S 、样品类间离散度矩阵b S ，根据Fisher 准则，找到最佳投影准则，将训练集内所有样品进行投影，投影到一维Y 空间，由于Y 空间是一维的，则需要求出Y 空间的划分边界点，找到边界点后，就可以对待测样品进行进行一维Y 空间的投影，判断它的投影点与分界点的关系，将其归类。
Fisher 法的核心为二字：投影。
二、 实现方法1、 一维实现方法(1) 计算给类样品均值向量i m ，i m 是各个类的均值，i N 是i ω类的样品个数。
11,2,...,ii X im X i nN ω∈==∑(2) 计算样品类内离散度矩阵iS 和总类间离散度矩阵wS1()()1,2,...,i Ti i i X w ii S X m X m i nS Sω∈==--==∑∑(3) 计算样品类间离散度矩阵b S1212()()Tb S m m m m =--(4) 求向量*W我们希望投影后，在一维Y 空间各类样品尽可能地分开，也就是说我们希望两类样品均值之差（12m m -）越大越好，同时希望各类样品内部尽量密集，即希望类内离散度越小越好，因此，我们可以定义Fisher 准则函数：()Tb F Tw W S W J W W S W=使得()F J W 取得最大值的*W 为 *112()w WS m m -=-(5) 将训练集内所有样品进行投影*()Ty W X =(6) 计算在投影空间上的分割阈值0y在一维Y 空间，各类样品均值i m为 11,2,...,ii y imy i n N ω∈==∑样品类内离散度矩阵2i s和总类间离散度矩阵w s 22()ii iy sy mω∈=-∑21w ii ss==∑【注】【阈值0y 的选取可以由不同的方案： 较常见的一种是1122012N m N m y N N +=+另一种是121201ln(()/())22m m P P y N N ωω+=++- 】(7) 对于给定的X ，计算出它在*W 上的投影y (8) 根据决策规则分类0102y y X y y X ωω>⇒∈⎧⎨<⇒∈⎩2、程序中算法的应用Fisher 线性判别方法（FLD ）是在Fisher 鉴别准则函数取极值的情况下，求得一个最佳判别方向，然后从高位特征向量投影到该最佳鉴别方向，构成一个一维的判别特征空间将Fisher 线性判别推广到C-1个判决函数下，即从N 维空间向C-1维空间作相应的投影。
模式识别实验报告
模式识别实验报告关键信息项：1、实验目的2、实验方法3、实验数据4、实验结果5、结果分析6、误差分析7、改进措施8、结论1、实验目的11 阐述进行模式识别实验的总体目标和期望达成的结果。
111 明确实验旨在解决的具体问题或挑战。
112 说明实验对于相关领域研究或实际应用的意义。
2、实验方法21 描述所采用的模式识别算法和技术。
211 解释选择这些方法的原因和依据。
212 详细说明实验的设计和流程，包括数据采集、预处理、特征提取、模型训练和测试等环节。
3、实验数据31 介绍实验所使用的数据来源和类型。
311 说明数据的规模和特征。
312 阐述对数据进行的预处理操作，如清洗、归一化等。
4、实验结果41 呈现实验得到的主要结果，包括准确率、召回率、F1 值等性能指标。
411 展示模型在不同数据集或测试条件下的表现。
412 提供可视化的结果，如图表、图像等，以便更直观地理解实验效果。
5、结果分析51 对实验结果进行深入分析和讨论。
511 比较不同实验条件下的结果差异，并解释其原因。
512 分析模型的优点和局限性，探讨可能的改进方向。
6、误差分析61 研究实验中出现的误差和错误分类情况。
611 分析误差产生的原因，如数据噪声、特征不充分、模型复杂度不足等。
612 提出减少误差的方法和建议。
7、改进措施71 根据实验结果和分析，提出针对模型和实验方法的改进措施。
711 描述如何优化特征提取、调整模型参数、增加训练数据等。
712 预测改进后的可能效果和潜在影响。
8、结论81 总结实验的主要发现和成果。
811 强调实验对于模式识别领域的贡献和价值。
812 对未来的研究方向和进一步工作提出展望。
在整个实验报告协议中，应确保各项内容的准确性、完整性和逻辑性，以便为模式识别研究提供有价值的参考和借鉴。
模式识别实验【范本模板】
《模式识别》实验报告班级：电子信息科学与技术13级02 班姓名：学号：指导老师:成绩：通信与信息工程学院二〇一六年实验一 最大最小距离算法一、实验内容1. 熟悉最大最小距离算法,并能够用程序写出。
2. 利用最大最小距离算法寻找到聚类中心,并将模式样本划分到各聚类中心对应的类别中.二、实验原理N 个待分类的模式样本{}N X X X ， 21,，分别分类到聚类中心{}N Z Z Z ， 21,对应的类别之中.最大最小距离算法描述：（1）任选一个模式样本作为第一聚类中心1Z 。
（2）选择离1Z 距离最远的模式样本作为第二聚类中心2Z 。
（3）逐个计算每个模式样本与已确定的所有聚类中心之间的距离，并选出其中的最小距离.（4）在所有最小距离中选出一个最大的距离，如果该最大值达到了21Z Z -的一定分数比值以上，则将产生最大距离的那个模式样本定义为新增的聚类中心，并返回上一步.否则，聚类中心的计算步骤结束。
这里的21Z Z -的一定分数比值就是阈值T ，即有：1021<<-=θθZ Z T（5）重复步骤（3）和步骤（4），直到没有新的聚类中心出现为止。
在这个过程中，当有k 个聚类中心{}N Z Z Z ， 21,时,分别计算每个模式样本与所有聚类中心距离中的最小距离值,寻找到N 个最小距离中的最大距离并进行判别,结果大于阈值T 是，1+k Z 存在，并取为产生最大值的相应模式向量；否则,停止寻找聚类中心。
（6)寻找聚类中心的运算结束后，将模式样本{}N i X i ,2,1, =按最近距离划分到相应的聚类中心所代表的类别之中。
三、实验结果及分析该实验的问题是书上课后习题2。
1，以下利用的matlab 中的元胞存储10个二维模式样本X ｛1}=［0;0］；X{2}=［1；1];X ｛3｝=[2;2]；X{4｝=[3；7]；X{5｝=[3;6］; X{6}=［4；6］；X{7}=［5；7];X{8}=[6；3］;X{9｝=［7;3］;X{10}=［7;4]；利用最大最小距离算法，matlab 运行可以求得从matlab 运行结果可以看出，聚类中心为971,,X X X ，以1X 为聚类中心的点有321,,X X X ,以7X 为聚类中心的点有7654,,,X X X X ，以9X 为聚类中心的有1098,,X X X 。
模式识别的报告(1)
模式识别实验报告（2）姓名：某某某班号：075113学号：2011100xxxx指导老师：马丽基于kNN算法的遥感图像分类一、目标：1. 掌握KNN算法原理2. 用MATLAB实现kNN算法，并进行结果分析二、算法分析：所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用她最接近的k个邻居来代表。
kNN算法的核心思想是如果一个样本在特征空间中的k 个最相似的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
kNN方法在类别决策时，只与极少量的相邻样本有关。
由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
三、实验内容：1.利用所有带标记的数据作为train数据，调用KNN分类函数KNN_Cla（）对整个图像进行分类，得到整个图像的分类结果图。
2.随机在所有带标记的数据中选择train和test数据（50%train数据，50%test 数据）然后进行kNN分类。
随机选择10次，计算总体分类精度OA，然后求平均结果，作为最终对算法的评价。
K值依次选择1,3,5,7,9,11，分别用这6种K的取值进行kNN算法，得到每种K值下的总体分类精度OA，然后进行比较。
分类结果：四、数据介绍：zy3sample1：资源三号卫星遥感图，Img为读入遥感图生成的400*400*4矩阵。
xy3roi：ROI数据，GT为读入ROI生成的400*400矩阵。
INP_200：INP高光谱数据145*145*200。
92A V3GT_cls：ROI数据45*145。
五、实验程序：function [result,OA]=knn_classifier(X_train,Y_train,X_test,Y_test,options)%% 实现KNN分类% 输入参数% X_train : N*D% Y_train : 1*N% X_test : N*D% 输出参数% result ：N*1% OA ：精确度for k=1:len%一次处理1个点len=length(X_test);d=Euclidian_distance(X_train,X_test(k,:);%计算所有待分类点到所有训练点的距离[D,n]=sort(d);ind=n(1:option.K);%找到所有距离中最小的K个距离for k=1:len%一次处理1个点C(k)=length(find(Y_train(ind)==k);endindc=find(max(C));result(k)=indc(1);end;error=length(find(result'~=Y_test));%求出差错率OA=1-error/len;六、实验结果：zy3sample数据KNN分类结果（K=1）：不同k值下的OA变化曲线图：七、心得体会：这次的程序主要是弄懂KNN 算法的思想就可以画出流程图其实最主要的就是搞清楚中间迭代部分的写法。
模式识别课程实验报告
模式识别课程实验报告学院专业班级姓名学号指导教师提交日期1 Data PreprocessingThe provide dataset includes a training set with 3605 positive samples and 10055 negative samples, and a test set with 2043 positive samples and 4832 negative samples. A 2330-dimensional Haar-like feature was extracted for each sample. For high dimensional data, we keep the computation manageable by sampling , feature selection, and dimension reduction.1.1 SamplingIn order to make the samples evenly distributed, we calculate the ratio of negative samples and positive samples int test set. And then randomly select the same ratio of negative samples in training set. After that We use different ratios of negative and positive samples to train the classifier for better training speed.1.2 Feature SelectionUnivariate feature selection can test each feature, measure the relationship between the feature and the response variable so as to remove unimportant feature variables. In the experiment, we use the method sklearn.feature_selection.SelectKBest to implement feature selection. We use chi2 which is chi-squared stats of non-negative features for classification tasks to rank features, and finally we choose 100 features ranked in the top 100.2 Logistic regressionIn the experiment, we choose the logistic regression model, which is widely used in real-world scenarios. The main consideration in our work is based on the binary classification logic regression model.2.1 IntroductionA logistic regression is a discriminant-based approach that assumes that instances of a class are linearly separable. It can obtain the final prediction model by directly estimating the parameters of the discriminant. The logistic regression model does not model class conditional density, but rather models the class condition ratio.2.2 processThe next step is how to obtain the best evaluation parameters, making the training of the LR model can get the best classification effect. This process can also be seen as a search process, that is, in an LR model of the solution space, how to find a design with our LR model most match the solution. In order to achieve the best available LR model, we need to design a search strategy.The intuitive idea is to evaluate the predictive model by judging the degree of matching between the results of the model and the true value. In the field of machine learning, the use of loss function or cost function to calculate the forecast. For the classification, logistic regression uses the Sigmoid curve to greatly reduce the weight of the points that are far from the classification plane through the nonlinear mapping, which relatively increases the weight of the data points which is most relevant to the classification.2.3 Sigmoid functionWe should find a function which can separate two in the two classes binary classification problem. The ideal function is called step function. In this we use the sigmoid function.()z e z -+=11σWhen we increase the value of x, the sigmoid will approach 1, and when we decrease the value of x, the sigmoid will gradually approaches 0. The sigmoid looks like a step function On a large enough scale.2.4 gradient descenti n i i T i x x y L ∑=+--=∂∂-=1t t1t ))(()(θσαθθθαθθThe parameter α called learning rate, in simple terms is how far each step. this parameter is very critical. parameter σis sigmoid function that we introduce in 2.3.3 Train classifierWe use the gradient descent algorithm to train the classifier. Gradient descent is a method of finding the local optimal solution of a function using the first order gradient information. In optimized gradient rise algorithm, each step along the gradient negative direction. The implementation code is as follows:# calculate the sigmoid functiondef sigmoid(inX):return 1.0 / (1 + exp(-inX))#train a logistic regressiondef trainLogisticRegression(train_x, train_y, opts):numSamples, numFeatures = shape(train_x)alpha = opts['alpha'];maxIter = opts['maxIter']weights = ones((numFeatures, 1))# optimize through gradient descent algorilthmfor k in range(maxIter):if opts['optimizeType'] == 'gradDescent': # gradient descent algorilthm output = sigmoid(train_x * weights)error = train_y - outputweights = weights + alpha * train_x.transpose() * error return weightsIn the above program, we repeat the following steps until the convergence:(1) Calculate the gradient of the entire data set(2) Use alpha x gradient to update the regression coefficientsWhere alpha is the step size, maxIter is the number of iterations.4 evaluate classifier4.1 optimizationTo find out when the classifier performs best, I do many experiments. The three main experiments are listed below.First.I use two matrix types of data to train a logistic regression model using some optional optimize algorithm, then use some optimization operation include alpha and maximum number of iterations. These operations are mainly implemented by this function trainLogisticRegression that requires three parameters train_x, train_y, opts, of which two parameters are the matrix type of training data set, the last parameter is some optimization operations, including the number of steps and the number of iterations. And the correct rate as follows：When we fixed the alpha, change the number of iterations, we can get the results as shown below：Red: alpha = 0.001Yellow: alpha = 0.003Blue: alpha = 0.006Black: alpha = 0.01Green: alpha = 0.03Magenta: alpha = 0.3This line chart shows that if the iterations too small, the classifier will perform bad. As the number of iterations increases, the accuracy will increase. And we can konw iterations of 800 seems to be better. The value of alpha influences the result slightly. If the iterations is larger then 800, the accuracy of the classifier will stabilize and the effect of the step on it can be ignored.Second.When we fixed the iterations, change the alpha, we can get the results as shown below：This line chart shows when the number of iterations is larger 800, the accuracy is relatively stable, with the increase of the alpha, the smaller the change. And when the number of iterations is small, for example, the number of times is 100, the accuracy is rather strange, the accuracy will increase with the increase of alpha. We can know that when the number of iterations is small, even if the alpha is very small, its accuracy is not high. The number of iterations and the alpha is important for the accuracy of the logical regression model training.Third.The result of the above experiment is to load all the data to train the classifier, but there are 3605 pos training data but 10055 neg training data. So I am curious about whether can I use less neg training data to train the classifier for better training speed.I use the test_differentNeg.py to does this experiment:Red: iterations = 100 Yellow: iterations = 300 Blue: iterations = 800 Black: iterations = 1000The line chart shows that the smaller the negative sample, the lower the accuracy. However, as the number of negative samples increases, the accuracy of the classifier.I found that when the number of negative samples is larger 6000, the accuracy was reduced and then began to increase.4.2 cross-validationWe divided the data set into 10 copies on average，9 copies as a training set and 1 copies as a test set.we can get the results as shown below:Red: alpha = 0.001Yellow: alpha = 0.003Blue: alpha = 0.006Black: alpha = 0.01Green: alpha = 0.03Magenta: alpha = 0.3This figure shows that if the iterations too small, the classifier will perform bad. Asthe number of iterations increases, the accuracy will increase. And we can konw iterations of 1000 seems to be better. The value of alpha influences the result slightly.If the iterations is larger then 1000, the accuracy of the classifier will achieve 84% and stable. And the effect of the step on it can be ignored.5 ConclusionIn this experiment, We notice that no matter before or after algorithm optimization,the test accuracy does not achieve our expectation. At first the accuracy of LR can reach 80%. After optimization, the accuracy of LR can reach 88%. I think there are several possible reasons below：(1) The training set is too small for only about 700 samples for active training sets, while the negative training set has only 800 samples;(2) We did not use a more appropriate method to filter the samples;(3) The method of selecting features is not good enough because it is too simple;(4) Dimension reduction does not be implemented, so that The high dimension of features increases the computation complexity and affects the accuracy;(5) The test sets may come from different kinds of video or images which are taken from different areas.(6) The number of iterations is set too small or the alpha is set too small or too large. These questions above will be improved in future work.In this project, we use Logistic regression to solve the binary classification problem. Before the experiment, we studied and prepared the algorithm of the LR model and reviewed other machine learning models studied in the pattern recognition course. In this process, we use python with a powerful machine learning library to implement, continue to solve the various problems, and optimize the algorithm to make the classifier perform better. At the same time, we also collaborate and learn from each other. Although the project takes us a lot of time, We have consolidated the theoretical knowledge and have fun in practice.。
模式识别学习报告(团队)
模式识别学习报告(团队)
简介
本报告是我们团队就模式识别研究所做的总结和讨论。
模式识别是一门关于如何从已知数据中提取信息并作出决策的学科。
在研究过程中，我们通过研究各种算法和技术，了解到模式识别在人工智能、机器研究等领域中的重要性并进行实践操作。
研究过程
在研究过程中，我们首先了解了模式识别的基本概念和算法，如KNN算法、朴素贝叶斯算法、决策树等。
然后我们深入研究了SVM算法和神经网络算法，掌握了它们的实现和应用场景。
在实践中，我们使用了Python编程语言和机器研究相关的第三方库，比如Scikit-learn等。
研究收获
通过研究，我们深刻认识到模式识别在人工智能、机器研究领域中的重要性，了解到各种算法和技术的应用场景和优缺点。
同时我们也发现，在实践中，数据的质量决定了模型的好坏，因此我们需要花费更多的时间来处理数据方面的问题。
团队讨论
在研究中，我们也进行了很多的团队讨论和交流。
一方面，我们优化了研究方式和效率，让研究更加有效率；另一方面我们还就机器研究的基本概念和算法的前沿发展进行了讨论，并提出了一些有趣的问题和方向。
总结
通过学习和团队讨论，我们深刻认识到了模式识别在人工智能和机器学习领域中的核心地位，并获得了实践经验和丰富的团队协作经验。
我们相信这些学习收获和经验会在今后的学习和工作中得到很好的应用。
模式识别实验报告
二、实验步骤 前提条件： 只考虑第三种情况：如果 di(x) >dj(x) 任意 j≠ i ，则判 x∈ωi 。
○1 、赋初值，分别给 c 个权矢量 wi(1)（i=1,2,…c）赋任意的初
值，选择正常数ρ ，置步数 k=1；
○2 、输入符号未规范化的增广训练模式 xk, xk∈{x1, x2… xN} ,
二、实验步骤
○1 、给出 n 个混合样本，令 I=1，表示迭代运算次数，选取 c
个初始聚合中心 ，j=1,2,…,c;
○2 、 计 算 每 个 样 本 与 聚 合 中 心 的 距 离
，
。
若
， ，则
。
○3 、 计 算 c 个 新 的 聚 合 中 心 ：
，
。
○4 、判断：若
，
，则 I=I+1，返回
第二步 b 处，否则结束。 三、程序设计
聚类没有影响。但当 C=2 时，该类别属于正确分类。 而类别数目大于 2 时，初始聚合中心对聚类的影响非常大，仿真
结果多样化，不能作为分类标准。 2、考虑类别数目对聚类的影响： 当类别数目变化时，结果也随之出现变化。 3、总结 综上可知，只有预先分析过样本，确定合适的类别数目，才能对
样本进行正确分类，而初始聚合中心对其没有影响。
8
7
6
5
4
3
2
1
0
0
1
2
3
4
5
6
7
8
9
初始聚合中心为（0,0），（2,2）,（5,5），（7,7），（9,9）
K-均 值 聚 类 算 法 ： 类 别 数 目 c=5 9
8
7
6
5
4
模式识别技术实验报告
模式识别技术实验报告本实验旨在探讨模式识别技术在计算机视觉领域的应用与效果。
模式识别技术是一种人工智能技术，通过对数据进行分析、学习和推理，识别其中的模式并进行分类、识别或预测。
在本实验中，我们将利用机器学习算法和图像处理技术，对图像数据进行模式识别实验，以验证该技术的准确度和可靠性。
实验一：图像分类首先，我们将使用卷积神经网络（CNN）模型对手写数字数据集进行分类实验。
该数据集包含大量手写数字图片，我们将训练CNN模型来识别并分类这些数字。
通过调整模型的参数和训练次数，我们可以得到不同准确度的模型，并通过混淆矩阵等评估指标来评估模型的性能和效果。
实验二：人脸识别其次，我们将利用人脸数据集进行人脸识别实验。
通过特征提取和比对算法，我们可以识别不同人脸之间的相似性和差异性。
在实验过程中，我们将测试不同算法在人脸识别任务上的表现，比较它们的准确度和速度，探讨模式识别技术在人脸识别领域的应用潜力。
实验三：异常检测最后，我们将进行异常检测实验，使用模式识别技术来识别图像数据中的异常点或异常模式。
通过训练异常检测模型，我们可以发现数据中的异常情况，从而做出相应的处理和调整。
本实验将验证模式识别技术在异常检测领域的有效性和实用性。
结论通过以上实验，我们对模式识别技术在计算机视觉领域的应用进行了初步探索和验证。
模式识别技术在图像分类、人脸识别和异常检测等任务中展现出了良好的性能和准确度，具有广泛的应用前景和发展空间。
未来，我们将进一步深入研究和实践，探索模式识别技术在更多领域的应用，推动人工智能技术的发展和创新。
【字数：414】。
模式识别实验报告
北京邮电大学实验报告题目:模式识别班级：27专业：信息工程姓名：吕则东序号：20目录实验一、Bayes分类器设计 (3)1.1实验类型： (3)1.2实验目的： (3)1.3实验条件： (3)1.4实验原理： (3)1.5实验内容： (4)1.6 实验要求： (4)1.7实验代码和结果 (5)最小错误率贝叶斯分类器设计 (6)实验程序： (6)运行结果 (8)最小风险贝叶斯决策分类器设计 (8)实验程序 (9)运行结果 (11)实验二、基于Fisher准则线性分类器设计 (13)2.1实验类型： (13)2.2实验目的： (13)2.3实验条件： (13)2.4实验原理： (13)2.5实验内容： (14)2.6实验要求： (17)2.7实验代码和实验结果 (18)分类器设计和分类结果 (18)实验结果 (20)实验分析： (25)实验四、近邻法分类器设计 (26)4.1 实验类型： (26)4.2 实验目的： (26)4.3 实验条件： (26)4.4 实验原理： (26)4.5 实验内容 (27)4.6 实验要求： (33)实验代码： (35)实验结果： (39)问题3回答： (41)实验总结 (41)实验一、Bayes 分类器设计1.1实验类型：基础型：Bayes 分类器设计1.2实验目的：本实验旨在让同学对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。
1.3实验条件：matlab 软件1.4实验原理：最小风险贝叶斯决策可按下列步骤进行：(1)在已知)(i P ω，)(i X P ω，i=1,…，c 及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率： ∑==cj iii i i P X P P X P X P 1)()()()()(ωωωωω j=1,…，x(2)利用计算出的后验概率及决策表，按下面的公式计算出采取i a ,i=1,…，a 的条件风险∑==cj jjii X P a X a R 1)(),()(ωωλ,i=1,2,…,a(3)对(2)中得到的a 个条件风险值)(X a R i ,i=1,…，a 进行比较，找出使其条件风险最小的决策k a ，即则k a 就是最小风险贝叶斯决策。
模式识别实验报告2_贝叶斯分类实验_实验报告(例)
end
plot(1:23,t2,'b','LineWidth',3);
%下面是bayesian_fun函数
functionf=bayesian_fun(t2,t1,W1,W2,w1,w2,w10,w20)
x=[t1,t2]';
f=x'*W1*x+w1'*x+w10- (x'*W2*x+w2'*x+w20);
%f=bayesian_fun.m
function f=bayesian_fun(t2,t1,W1,W2,w1,w2,w10,w20)
x=[t1,t2]';
f=x'*W1*x+w1'*x+w10 - (x'*W2*x+w2'*x+w20);
w10=-1/2 * u1'*S1tinv*u1 - 1/2 *log(det(S1t)) + log(pw1);
w20=-1/2 * u2'*S2tinv*u2 - 1/2 *log(det(S2t)) + log(pw2);
t2=[]
fort1=1:23
tt2 = fsolve('bayesian_fun',5,[],t1,W1,W2,w1,w2,w10,w20);
'LineWidth',2,...
'MarkerEdgeColor','k',...
'MarkerFaceColor',[0 1 0],...
'MarkerSize',10)
模式识别实验报告
实验报告实验课程名称：模式识别：王宇班级：20110813 学号：2011081325注：1、每个实验中各项成绩按照5分制评定，实验成绩为各项总和2、平均成绩取各项实验平均成绩3、折合成绩按照教学大纲要求的百分比进行折合2014年6月实验一、图像的贝叶斯分类一、实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。
二、实验仪器设备及软件HP D538、MATLAB三、实验原理概念：阈值化分割算法是计算机视觉中的常用算法，对灰度图象的阈值分割就是先确定一个处于图像灰度取值围的灰度阈值，然后将图像中每个像素的灰度值与这个阈值相比较。
并根据比较的结果将对应的像素划分为两类，灰度值大于阈值的像素划分为一类，小于阈值的划分为另一类，等于阈值的可任意划分到两类中的任何一类。
最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，处于目标和背景部相邻像素间的灰度值是高度相关的，但处于目标和背景交界处两边的像素灰度值有较大差别，此时，图像的灰度直方图基本上可看作是由分别对应于目标和背景的两个单峰直方图混合构成。
而且这两个分布应大小接近，且均值足够远，方差足够小，这种情况下直方图呈现较明显的双峰。
类似地，如果图像中包含多个单峰灰度目标，则直方图可能呈现较明显的多峰。
上述图像模型只是理想情况，有时图像中目标和背景的灰度值有部分交错。
这时如用全局阈值进行分割必然会产生一定的误差。
分割误差包括将目标分为背景和将背景分为目标两大类。
实际应用中应尽量减小错误分割的概率，常用的一种方法为选取最优阈值。
这里所谓的最优阈值，就是指能使误分割概率最小的分割阈值。
图像的直方图可以看成是对灰度值概率分布密度函数的一种近似。
如一幅图像中只包含目标和背景两类灰度区域，那么直方图所代表的灰度值概率密度函数可以表示为目标和背景两类灰度值概率密度函数的加权和。
模式识别实验
《模式识别》实验报告班电子信息科学与技术13级02 班级：姓名：学号：指导老师：成绩：通信与信息工程学院二〇一六年实验一 最大最小距离算法一、实验内容1. 熟悉最大最小距离算法，并能够用程序写出。
2. 利用最大最小距离算法寻找到聚类中心，并将模式样本划分到各聚类中心对应的类别中。
二、实验原理N 个待分类的模式样本{}N X X X ， 21,，分别分类到聚类中心{}N Z Z Z ， 21,对应的类别之中。
最大最小距离算法描述：（1）任选一个模式样本作为第一聚类中心1Z 。
（2）选择离1Z 距离最远的模式样本作为第二聚类中心2Z 。
（3）逐个计算每个模式样本与已确定的所有聚类中心之间的距离，并选出其中的最小距离。
（4）在所有最小距离中选出一个最大的距离，如果该最大值达到了21Z Z -的一定分数比值以上，则将产生最大距离的那个模式样本定义为新增的聚类中心，并返回上一步。
否则，聚类中心的计算步骤结束。
这里的21Z Z -的一定分数比值就是阈值T ，即有：1021<<-=θθZ Z T（5）重复步骤（3）和步骤（4），直到没有新的聚类中心出现为止。
在这个过程中，当有k 个聚类中心{}N Z Z Z ， 21,时，分别计算每个模式样本与所有聚类中心距离中的最小距离值，寻找到N 个最小距离中的最大距离并进行判别，结果大于阈值T 是，1+k Z 存在，并取为产生最大值的相应模式向量；否则，停止寻找聚类中心。
（6）寻找聚类中心的运算结束后，将模式样本{}N i X i ,2,1, =按最近距离划分到相应的聚类中心所代表的类别之中。
三、实验结果及分析该实验的问题是书上课后习题2.1，以下利用的matlab 中的元胞存储10个二维模式样本X{1}=[0;0];X{2}=[1;1];X{3}=[2;2];X{4}=[3;7];X{5}=[3;6]; X{6}=[4;6];X{7}=[5;7];X{8}=[6;3];X{9}=[7;3];X{10}=[7;4]; 利用最大最小距离算法，matlab 运行可以求得从matlab 运行结果可以看出，聚类中心为971,,X X X ，以1X 为聚类中心的点有321,,X X X ，以7X 为聚类中心的点有7654,,,X X X X ，以9X 为聚类中心的有1098,,X X X 。
模式识别实验报告_3
模式识别实验报告_3第⼀次实验实验⽬的：1.学习使⽤ENVI2.会⽤MATLAB读⼊遥感数据并进⾏处理实验内容：⼀学习使⽤ENVI1.使⽤ENVI打开遥感图像（任选3个波段合成假彩⾊图像，保存写⼊报告）2.会查看图像的头⽂件（保存或者copy⾄报告）3.会看地物的光谱曲线（保存或者copy⾄报告）4.进⾏数据信息统计（保存或者copy⾄报告）5.设置ROI，对每类地物⾃⼰添加标记数据，并保存为ROI⽂件和图像⽂件（CMap贴到报告中）。
6.使⽤⾃⼰设置的ROI进⾏图像分类（ENVI中的两种有监督分类算法）（分类算法名称和分类结果写⼊报告）⼆MATLAB处理遥感数据（提交代码和结果）7.⽤MATLAB读⼊遥感数据（zy3和DC两个数据）8.⽤MATLAB读⼊遥感图像中ROI中的数据（包括数据和标签）9.把图像数据m*n*L（其中m表⽰⾏数，n表⽰列数，L表⽰波段数），重新排列为N*L的⼆维矩阵（其中N=m*n），其中N表⽰所有的数据点数量m*n。
（提⽰，⽤reshape函数，可以help查看这个函数的⽤法）10.计算每⼀类数据的均值（平均光谱），并把所有类别的平均光谱画出来(plot)（类似下⾯的效果）。
11.画出zy3数据中“农作物类别”的数据点（⾃⼰ROI标记的这个类别的点）在每个波段的直⽅图（matlab函数：nbins=50;hist(Xi,nbins)，其中Xi表⽰这类数据在第i波段的数值）。
计算出这个类别数据的协⽅差矩阵，并画出（figure,imagesc(C),colorbar）。
1.打开遥感图像如下：2.查看图像头⽂件过程如下：3.地物的光谱曲线如下：4.数据信息统计如下：（注：由于保存的txt⽂件中的数据信息过长，所以采⽤截图的⽅式只显⽰了出⼀部分数据信息）5.设置ROI，对每类地物⾃⼰添加标记数据，CMap如下:6.使⽤⾃⼰设置的ROI进⾏图像分类(使⽤⽀持向量机算法和最⼩距离算法），⽀持向量机算法分类结果如下：最⼩距离算法分类结果如下：对⽐两种算法的分类结果可以看出⽀持分量机算法分类结果⽐最⼩距离算法分类结果好⼀些。
北邮信息工程专业认知实习报告
北京邮电大学实习报告北京邮电大学实习报告实习名称信号与信息系统认识实习学院学生姓名班级201321127 学号实习时间实习地点实习内容信源信道编码学生实习总结（600字左右）●通信系统的组成：●信源编码：目的：将原始信号转换为适合传输的信号方法：1.信源的原始信号大多是模拟信号，要通过A/D，D/A进行数模变换。
2.对传输信号进行压缩，去掉多余信息，提高传输效率。
设计信源编码的要求：传输道引入的误码和接受端对信号的质量的要求评价指标：速率，质量，复杂性，延时●信源编码的分类:波形编码，参数编码，混合编码波形编码：以尽可能逼近波形为原则，直接在时域或则变换域上进行编码，高质量，高码率，适合高保质音乐参数编码：以尽可能保持语音的可懂性为原则，通过为语音信号建立数学模型，根据给定的语音信号计算模型参数并量化编码来实现，压缩比大，计算量大，音质不高混合编码：将波形编码和参数编码组合起来，数据率和音质介于参数和波形编码之间。
●语音编码的采集率：窄带(300HZ~3400HZ），宽带（7KHZ），音乐带宽（20KHZ)●PCM编码:波形编码中最重要的一种方式，主要由抽样、量化与编码三个步骤组成。
抽样是将时间上连续的模拟语音转换成时间上离散的抽样信号，量化是将幅度连续的语音转换成幅度离散的量化信号，编码是将时间离散且幅度离散的量化信号用二进制数字流表示。
分为均匀量化PCM和非均匀量化PCM。
●自适应差分脉冲编码调制ADPCM：差分脉冲编码调制DPCM采用了线性预测的方法，即当前时刻的样值可以由前面若干时刻的样值线性组合得到。
●GSM系统的语音压缩编码（RPE-LTP LPC）：GSM系统中所使用的语音编码器的主要原理是对人类音域的数学建模，从而产生出一种用于传输语音的有效压缩方法。
●G.729语音编码算法：使用线性预测——合成编码来进行语音及其他声音信号的编码。
●信道编码目的：提高信道编码的可靠性方法：在传输的信号里添加纠错码产生错码的原因：乘性干扰引起的码间串扰和加性干扰引起的信噪比降低北京邮电大学实习报告北京邮电大学实习报告。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3、实验条件
matlab 软件
4、实验原理
线性判别函数的一般形式可表示成
g ( X ) W T X w0 其中 x1 X x d w1 w2 W w d
根据 Fisher 选择投影方向 W 的原则，即使原样本向量在该方向上的投影能兼顾类间分 布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向 W 的函数为：
1.6365 1.5118 2.3939 1.6991 1.7987 2.1614
1.7844 1.9692 1.5648 2.4883 2.0828 1.9235
2.0155 1.8340 1.9329 1.7259 2.0798 2.2604
0.5338 0.6071 1.0072 1.0299 0.7705 0.9751
1.1974 0.1333 0.7315 0.6655 0.5152 -0.2099
2.3385 2.0681 1.8704 2.2027 2.0466 1.9449 z =
2.1946 2.1213 2.2948 2.4568 2.0226 2.3801
1.6730 2.4797 1.7714 1.7523 2.3757 2.2373
1 1 是 d 维， SW 和 SW 都是 d×d 维，得到的 W * 也是一个 d 维的向量。
向量 W 就是使 Fisher 准则函数 J F (W ) 达极大值的解， 也就是按 Fisher 准则将 d 维 X
*
空间投影到一维 Y 空间的最佳投影方向，该向量 W 的各分量值是对原 d 维特征向量求加权 和的权值。
6、实验要求
1) 请把数据作为样本，根据 Fisher 选择投影方向 W 的原则，使原样本向量在 该方向上的投影能兼顾类间分布尽可能分开， 类内样本投影尽可能密集的要 求，求出评价投影方向 W 的函数，并在图形表示出来。并在实验报告中表 示出来，并求使 J F ( w) 取极大值的 w* 。用 matlab 完成 Fisher 线性分类器 的设计，程序的语句要求有注释。 2) 根据上述的结果并判断 （1， 1.5， 0.6） (1.2， 1.0， 0.55)， (2.0， 0.9， 0.68)， (1.2，1.5，0.89)， （0.23，2.33，1.43） ，属于哪个类别，并画出数据分类 相应的结果图，要求画出其在 W 上的投影。 3) 回答如下问题，分析一下 W 的比例因子对于 Fisher 判别函数没有影响的原 因。
0.9611 1.0678 1.2942 0.5592 1.1029 0.5503
0.9154 0.8050 1.3744 0.5150 1.2680 1.4708
1.4901 1.2889 0.9387 0.9983 0.7140 1.1435
0.8200 1.4601 1.2266 0.9120 1.2446 0.7679
0.6708 1.4943 0.9398 0.8400 0.8142 0.8651
0.8932 1.0915 0.6197 0.5381 0.9586 1.3699
1.4342 0.7644 0.6603 1.3729 0.7379 1.1458
数据的样本点分布如下图：
5
2 1.5 1 0.5 0 2.5 2 1.5 1 0.5 -2 -1 0 1 2 3
0.9399 1.4334 1.1833 0.7126 1.3392 1.1288
0.6210 0.9508 1.2159 1.3928 0.7731 0.7548
1.3656 0.7324 1.3049 1.4084 0.7319 0.7393
0.5498 0.5784 1.1408 0.6909 1.3439 0.6739
0.5536 1.0756 1.0992 1.1275 0.8784 0.9548
2 数据点的对应的三维坐标为
4
x2 =
1.4010 1.7632 1.2500 1.3322 2.9313 2.0353
1.2301 1.9739 1.2864 1.1466 1.8349 2.6030
2.0814 2.4152 1.2614 1.7087 1.8340 1.2327
0.8514 0.4439 0.4272 0.7127 0.4129 0.7840
1.0831 0.4928 0.4353 1.0124 1.0085 0.4158
0.4164 0.5901 0.9869 0.4576 0.7676 1.0315
1.1176 1.0927 0.4841 0.8544 0.8418 0.7533
使用 Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法 的时间比较早，仍见有人使用。
5、实验内容
已知有两类数据 1 和 2 二者的概率已知 p( )1 =0.6， p的坐标对应一一如下：
数据： x =
0.2331 0.2908 -0.5431 0.3345 0.5838 0.7226 y =
1
实验二 基于 Fisher 准则线性分类器设计
1、实验类型
设计型：线性分类器设计（Fisher 准则）
2、实验目的
本实验旨在让同学进一步了解分类器的设计概念， 能够根据自己的设计对线性分类器有 更深刻地认识， 理解 Fisher 准则方法确定最佳线性分界面方法的原理， 以及 Lagrande 乘子 求解的原理。
~ m ~ )2 (m 1 2 J F (W ) ~ 2 ~ S1 S 22
1 W * SW (m1 m2 )
上面的公式是使用 Fisher 准则求最佳法线向量的解，该式比较重要。另外，该式这种
2
形式的运算， 我们称为线性变换， 其中 m1 m2 式一个向量，SW 是 SW 的逆矩阵， 如 m1 m2
1.1655 2.5890 2.0071 1.5920 2.5096 2.1465
1.3740 2.8472 2.1831 2.9353 2.7198 1.5673
1.1829 1.9539 1.7909 1.4664 2.3148 2.9414
y2 =
1.0298 1.1405 0.7091 0.8798 1.2833 1.1808 z2 =
6
7、m 文件程序
function fisher %w1 中数据点的坐标 x1 =[0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099]; x2 =[2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604]; x3 =[0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548]; %将 x1、x2、x3 变为行向量 x1=x1(:); x2=x2(:); x3=x3(:); %计算第一类的样本均值向量 m1 m1(1)=mean(x1); m1(2)=mean(x2); m1(3)=mean(x3); %计算第一类样本类内离散度矩阵 S1 S1=zeros(3,3); for i=1:36 S1=S1+[-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)]'*[-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)]; end %w2 的数据点坐标 x4 =[1.4010 1.2301 2.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414];
*
以上讨论了线性判别函数加权向量 W 的确定方法，并讨论了使 Fisher 准则函数极大的 d 维向量 W
*
的计算方法，但是判别函数中的另一项 W0 尚未确定，一般可采用以下几种方
法确定 W0 如
W0
~ m ~ m 1 2 2
或者
W0
~ N m ~ N1m ~ 1 2 2 m N1 N 2