《模式识别》课程2018年度作业1
模式识别大作业
模式识别专业：电子信息工程班级：电信****班学号：********** 姓名：艾依河里的鱼一、贝叶斯决策（一）贝叶斯决策理论 1.最小错误率贝叶斯决策器在模式识别领域，贝叶斯决策通常利用一些决策规则来判定样本的类别。
最常见的决策规则有最大后验概率决策和最小风险决策等。
设共有K 个类别，各类别用符号k c ()K k ,,2,1 =代表。
假设k c 类出现的先验概率()k P c以及类条件概率密度()|k P c x 是已知的，那么应该把x 划分到哪一类才合适呢？若采用最大后验概率决策规则，首先计算x 属于k c 类的后验概率()()()()()()()()1||||k k k k k Kk k k P c P c P c P c P c P P c P c ===∑x x x x x然后将x 判决为属于kc ~类，其中()1arg max |kk Kk P c ≤≤=x若采用最小风险决策，则首先计算将x 判决为k c 类所带来的风险(),k R c x ，再将x 判决为属于kc ~类，其中()min ,kkk R c =x可以证明在采用0-1损失函数的前提下，两种决策规则是等价的。
贝叶斯决策器在先验概率()k P c 以及类条件概率密度()|k P c x 已知的前提下，利用上述贝叶斯决策规则确定分类面。
贝叶斯决策器得到的分类面是最优的，它是最优分类器。
但贝叶斯决策器在确定分类面前需要预知()k P c 与()|k P c x ，这在实际运用中往往不可能，因为()|k P c x 一般是未知的。
因此贝叶斯决策器只是一个理论上的分类器，常用作衡量其它分类器性能的标尺。
最小风险贝叶斯决策可按下列步骤进行： (1)在已知)(i P ω，)(i X P ω，i=1,…，c 及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率：∑==cj iii i i P X P P X P X P 1)()()()()(ωωωωω j=1,…，x(2)利用计算出的后验概率及决策表，按下面的公式计算出采取i a ,i=1,…，a 的条件风险∑==cj j j i i X P a X a R 1)(),()(ωωλ,i=1,2,…,a(3)对(2)中得到的a 个条件风险值)(X a R i ,i=1,…，a 进行比较，找出使其条件风险最小的决策k a ，即()()1,min k i i aR a x R a x ==则k a 就是最小风险贝叶斯决策。
模式识别习题及答案
模式识别习题及答案第⼀章绪论1.什么是模式具体事物所具有的信息。
模式所指的不是事物本⾝，⽽是我们从事物中获得的___信息__。
2.模式识别的定义让计算机来判断事物。
3.模式识别系统主要由哪些部分组成数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。
第⼆章贝叶斯决策理论1.最⼩错误率贝叶斯决策过程答：已知先验概率，类条件概率。
利⽤贝叶斯公式得到后验概率。
根据后验概率⼤⼩进⾏决策分析。
2.最⼩错误率贝叶斯分类器设计过程答：根据训练数据求出先验概率类条件概率分布利⽤贝叶斯公式得到后验概率如果输⼊待测样本X ，计算X 的后验概率根据后验概率⼤⼩进⾏分类决策分析。
3.最⼩错误率贝叶斯决策规则有哪⼏种常⽤的表⽰形式答：4.贝叶斯决策为什么称为最⼩错误率贝叶斯决策答：最⼩错误率Bayes 决策使得每个观测值下的条件错误率最⼩因⽽保证了（平均）错误率最⼩。
Bayes 决策是最优决策：即，能使决策错误率最⼩。
5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利⽤这个概率进⾏决策。
6.利⽤乘法法则和全概率公式证明贝叶斯公式答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1)()|()()()|()()|()(所以推出贝叶斯公式7.朴素贝叶斯⽅法的条件独⽴假设是（P(x| ωi) =P(x1, x2, …, xn | ωi)= P(x1| ωi) P(x2| ωi)… P(xn| ωi)）8.怎样利⽤朴素贝叶斯⽅法获得各个属性的类条件概率分布答：假设各属性独⽴，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi)类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值⽅差，最后得到类条件概率分布。
北邮模式识别课堂作业答案(参考)
第一次课堂作业⏹ 1.人在识别事物时是否可以避免错识？⏹ 2.如果错识不可避免，那么你是否怀疑你所看到的、听到的、嗅到的到底是真是的，还是虚假的？⏹ 3.如果不是，那么你依靠的是什么呢？用学术语言该如何表示。
⏹ 4.我们是以统计学为基础分析模式识别问题，采用的是错误概率评价分类器性能。
如果不采用统计学，你是否能想到还有什么合理地分类器性能评价指标来替代错误率？1.知觉的特性为选择性、整体性、理解性、恒常性。
错觉是错误的知觉，是在特定条件下产生的对客观事物歪曲的知觉。
认知是一个过程，需要大脑的参与.人的认知并不神秘，也符合一定的规律，也会产生错误2.不是3.辨别事物的最基本方法是计算. 从不同事物所具有的不同属性为出发点认识事物. 一种是对事物的属性进行度量，属于定量的表示方法(向量表示法)。
另一种则是对事务所包含的成分进行分析，称为定性的描述(结构性描述方法)。
4.风险第二次课堂作业⏹作为学生，你需要判断今天的课是否点名。
结合该问题(或者其它你熟悉的识别问题，如”天气预报”)，说明:⏹先验概率、后验概率和类条件概率？⏹按照最小错误率如何决策？⏹按照最小风险如何决策？ωi为老师点名的事件,x为判断老师点名的概率1.先验概率: 指根据以往经验和分析得到的该老师点名的概率,即为先验概率P(ωi )后验概率: 在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。
在上过课之后,了解到的老师点名的概率为后验概率P(ωi|x)类条件概率:在老师点名这个事件发生的条件下,学生判断老师点名的概率p(x| ωi )2.如果P(ω1|X)>P(ω2|X)，则X归为ω1类别如果P(ω1|X)≤P(ω2|X)，则X归为ω2类别3.1)计算出后验概率已知P(ωi)和P(X|ωi)，i=1,…，c，获得观测到的特征向量X根据贝叶斯公式计算j=1,…，x2)计算条件风险已知: 后验概率和决策表计算出每个决策的条件风险3) 找出使条件风险最小的决策αk,则αk就是最小风险贝叶斯决策。
模式识别大作业1
模式识别大作业--fisher线性判别和近邻法学号：021151**姓名：**任课教师:张**I. Fisher线性判别A. fisher线性判别简述在应用统计方法解决模式识别的问题时，一再碰到的问题之一是维数问题．在低维空间里解析上或计算上行得通的方法，在高维里往往行不通．因此，降低维数就成为处理实际问题的关键．我们考虑把维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维．这样，必须找一个最好的，易于区分的投影线．这个投影变换就是我们求解的解向量．B.fisher线性判别的降维和判别1．线性投影与Fisher准则函数各类在维特征空间里的样本均值向量：，(1)通过变换映射到一维特征空间后，各类的平均值为：，(2)映射后，各类样本“类内离散度”定义为：，(3)显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。
因此，定义Fisher准则函数：(4)使最大的解就是最佳解向量，也就是Fisher的线性判别式。
2．求解从的表达式可知，它并非的显函数，必须进一步变换。
已知：，, 依次代入上两式，有：，(5)所以：(6)其中：(7)是原维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，越大越容易区分。
将(4.5-6)和(4.5-2)代入(4.5-4)式中：(8)其中：，(9)因此：(10)显然：(11)称为原维特征空间里，样本“类内离散度”矩阵。
是样本“类内总离散度”矩阵。
为了便于分类，显然越小越好，也就是越小越好。
将上述的所有推导结果代入表达式：可以得到：其中，是一个比例因子，不影响的方向，可以删除，从而得到最后解：(12)就使取得最大值，可使样本由维空间向一维空间映射，其投影方向最好。
是一个Fisher线性判断式.这个向量指出了相对于Fisher准则函数最好的投影线方向。
C.算法流程图左图为算法的流程设计图。
II.近邻法A. 近邻法线简述K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。
模式识别_作业1
作业一：作业二：对如下5个6维模式样本，用最小聚类准则进行系统聚类分析： x 1: 0, 1, 3, 1, 3, 4 x 2: 3, 3, 3, 1, 2, 1 x 3: 1, 0, 0, 0, 1, 1 x 4: 2, 1, 0, 2, 2, 1 x 5: 0, 0, 1, 0, 1, 01、 计算D (0)=⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛0 12 3 5 2612 0 7 15 243 7 0 24 55 15 24 0 2326 24 5 23 0，因为x3与x5的距离最近，则将x3与x5分为一类。
同时可以求出x1,x2,x4与x3,5的距离，如x1到x3,5的距离为x1到x3的距离与x1与x5的距离中取最小的一个距离。
2、 则D (1)=⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛0 7 15 2470 24 515 24 0 2324 5 23 0，同样现在该矩阵中x4与x3,5的距离最近，则可以将x3,4,5分为一类，这样分类结束，总共可以将x1,x2,x3,x4,x5分为三类，其中:x1为第一类；x2为第二类；x3和x4和x5为第三类。
• 作业三：（K-均值算法）• 选k=2,z 1(1)=x 1,z 2(1)=x 10,用K-均值算法进行聚类分析由图可以看出这二十个点的坐标：x1(0,0),x2(1,0),x3(0,1),x4(1,1),x5(2,1),x6(1,2),x7(2,2),x8( 3,2),x9(6,6),x10(7,6),x11(8,6),x12(6,7),x13(7,7),x14(8,7),x 15(9,7),x16(7,8),x17(8,8),x18(9,8),x19(8,9),x20(9,9)。
1、选2个初始聚类中心，z1(1)=x1，z2(1)=x10.2、求取其它十八个点分别到x1与x10的距离：x2到x1的距离为1;x2到x10的距离为6x3到x1的距离为1;x3到x10的距离为x4到x1的距离为;x4到x10的距离为x5到x1的距离为;x5到x10的距离为5x6到x1的距离为;x6到x10的距离为x7到x1的距离为2;x7到x10的距离为x8到x1的距离为;x8到x10的距离为4x9到x1的距离为6;x9到x10的距离为1x11到x1的距离为10;x11到x10的距离为1x12到x1的距离为;x12到x10的距离为x13到x1的距离为7;x13到x10的距离为1x14到x1的距离为;x14到x10的距离为x15到x1的距离为;x15到x10的距离为x16到x1的距离为;x16到x10的距离为2x17到x1的距离为8;x17到x10的距离为x18到x1的距离为;x18到x10的距离为2x19到x1的距离为;x19到x10的距离为x20到x1的距离为9;x20到x10的距离为所以其中x2到x8距离x1近些，则可以将x2到x8与x1分为一类，而x9与x11到x20与x10分为另一类；3、通过将第一类中的所有x1到x8的坐标求取平均来计算该类别的中心坐标，求取新的类别的中心坐标z1(2)= (5/4,9/8),同理可以求出另一类的中心坐标z2(2)= (92/12,22/3)4、然后重新计算各点距离这二点中心坐标的距离，最后可以得出x1到x8仍然为第一类，x9到x20仍然为第二类。
模式识别作业
第二章主要内容：几种常见的聚类算法已经所使用的准则函数。
作业1：对如下5个6维模式样本，用最小聚类准则进行系统聚类分析 已知样本如下：x1: 0, 1, 3, 1, 3, 4；x2: 3, 3, 3, 1, 2, 1；x3: 1, 0, 0, 0, 1, 1；x4: 2, 1, 0, 2, 2, 1；x5: 0, 0, 1, 0, 1, 0 第1步：将每一样本看成单独一类，得(0)(0)(0)112233(0)(0)4455{},{},{}{},{}G x G x G x Gx Gx =====计算各类之间的欧式距离，可得距离矩阵(0)D第2步：矩阵(0)D，它是(0)3G 和(0)5G 之间的距离，将他们合并为一类，得新的分类为(1)(0)(1)(0)(1)(0)(0)(1)(0)112233544{},{},{,},{}G G G G G G G G G ====计算聚类后的距离矩阵(1)D 第3步：由于(1)D 它是(1)3G 与(1)4G 之间的距离，于是合并(1)3G 和(1)4G ，得新的分类为(2)(1)(2)(2)(2)(1)(1)1122334{},{},{,}G G G G G G G ===同样，按最小距离准则计算距离矩阵(2)D，得第4步：同理得(3)(2)(3)(2)(2)11223{},{,}G G G G G == 满足聚类要求，如聚为2类，聚类完毕。
系统聚类算法介绍：第一步：设初始模式样本共有N 个，每个样本自成一类，即建立N 类。
G 1(0), G 2(0) , ……,G N (0)为计算各类之间的距离（初始时即为各样本间的距离），得到一个N*N 维的距离矩阵D(0)。
这里，标号(0)表示聚类开始运算前的状态。
第二步：假设前一步聚类运算中已求得距离矩阵D(n)，n 为逐次聚类合并的次数，则求D(n)中的最小元素。
如果它是Gi(n)和Gj(n)两类之间的距离，则将Gi(n)和Gj(n)两类合并为一类G ij (n+1)，由此建立新的分类：G 1(n+1), G 2(n+1)……第三步：计算合并后新类别之间的距离，得D(n+1)。
模式识别大作业-许萌-1306020
第一题对数据进行聚类分析1.题目要求用FAMALE.TXT、MALE.TXT和/或test2.txt的数据作为本次实验使用的样本集，利用C 均值聚类法和层次聚类法对样本集进行聚类分析，对结果进行分析，从而加深对所学内容的理解和感性认识。
2.原理及流程图2.1 C均值聚类法原理C均值算法首先取定C个类别数量并对这C个类别数量选取C个聚类中心，按最小距离原则将各模式分配到C类中的某一类，之后不断地计算类心和调整各模式的类别，最终使各模式到其对应的判属类别中心的距离平方之和最小。
2.2 C均值聚类算法流程图N图1.1 C均值聚类算法流程图2.3 层次聚类算法原理N个初始模式样本自成一类，即建立N类，之后按照以下步骤运算：Step1：计算各类之间（即各样本间）的距离，得一个维数为N×N的距离矩阵D(0)。
“0”表示初始状态。
Step2：假设已求得距离矩阵D(n)（n为逐次聚类合并的次数），找出D(n)中的最小元素，将其对应的两类合并为一类。
由此建立新的分类：Step3：计算合并后所得到的新类别之间的距离，得D (n +1)。
Step4：跳至第2步，重复计算及合并。
直到满足下列条件时即可停止计算：①取距离阈值T ，当D (n )的最小分量超过给定值 T 时，算法停止。
所得即为聚类结果。
②或不设阈值T ，一直到将全部样本聚成一类为止，输出聚类的分级树。
2.4层次聚类算法流程图N图1.2层次聚类算法流程图3 验结果分析对数据文件FAMALE.TXT 、MALE.TXT 进行C 均值聚类的聚类结果如下图所示：图1.3 C 均值聚类结果的二维平面显示将两种样本即进行聚类后的样本中心进行比较，如下表：从下表可以纵向比较可以看出，C 越大，即聚类数目越多，聚类之间差别越小，他们的聚类中心也越接近。
横向比较用FEMALE,MALE 中数据作为样本和用FEMALE,MALE ，test2中),1(),1(21++n G n G数据作为样本时，由于引入了新的样本，可以发现后者的聚类中心比前者都稍大。
模式识别作业(全)
模式识别大作业一．K均值聚类（必做，40分）1.K均值聚类的基本思想以及K均值聚类过程的流程图；2.利用K均值聚类对Iris数据进行分类，已知类别总数为3。
给出具体的C语言代码，并加注释。
例如，对于每一个子函数，标注其主要作用，及其所用参数的意义，对程序中定义的一些主要变量，标注其意义；3.给出函数调用关系图，并分析算法的时间复杂度；4.给出程序运行结果，包括分类结果（只要给出相对应的数据的编号即可）以及循环迭代的次数；5.分析K均值聚类的优缺点。
二．贝叶斯分类（必做，40分）1.什么是贝叶斯分类器，其分类的基本思想是什么；2.两类情况下，贝叶斯分类器的判别函数是什么，如何计算得到其判别函数；3.在Matlab下，利用mvnrnd()函数随机生成60个二维样本，分别属于两个类别（一类30个样本点），将这些样本描绘在二维坐标系下，注意特征值取值控制在（-5，5）范围以内；4.用样本的第一个特征作为分类依据将这60个样本进行分类，统计正确分类的百分比，并在二维坐标系下将正确分类的样本点与错误分类的样本点用不同标志（正确分类的样本点用“O”，错误分类的样本点用“X”）画出来；5.用样本的第二个特征作为分类依据将这60个样本再进行分类，统计正确分类的百分比，并在二维坐标系下将正确分类的样本点与错误分类的样本点用不同标志画出来；6.用样本的两个特征作为分类依据将这60个样本进行分类，统计正确分类的百分比，并在二维坐标系下将正确分类的样本点与错误分类的样本点用不同标志画出来；7.分析上述实验的结果。
8.60个随即样本是如何产生的的；给出上述三种情况下的两类均值、方差、协方差矩阵以及判别函数；三．特征选择（选作，15分）1.经过K均值聚类后，Iris数据被分作3类。
从这三类中各选择10个样本点；2.通过特征选择将选出的30个样本点从4维降低为3维，并将它们在三维的坐标系中画出（用Excell）；3.在三维的特征空间下，利用这30个样本点设计贝叶斯分类器，然后对这30个样本点利用贝叶斯分类器进行判别分类，给出分类的正确率，分析实验结果，并说明特征选择的依据；。
《模式识别》(边肇祺)习题答案
– (1) E {ln (x)|w1 } = E {ln+1 (x)|w2 } – (2) E {l(x)|w2 } = 1 – (3) E {l(x)|w1 } − E 2 {l(x)|w2 } = var{l(x)|w2 }（教材中题目有问题） ∫ ∫ (p(x|w1 ))n+1 n n 证明： 对于(1)，E {l (x)|w1 } = l (x)p(x|w1 )dx = dx 又E {ln+1 (x)|w2 } = (p(x|w2 ))n ∫ ∫ (p(x|w1 ))n+1 n+1 l p(x|w2 )dx = dx 所以，E {ln (x)|w1 } = E {ln+1 (x)|w2 } (p(x|w2 ))n ∫ ∫ 对于(2)，E {l(x)|w2 } = l(x)p(x|w2 )dx = p(x|w1 )dx = 1 对于(3)，E {l(x)|w1 } − E 2 {l(x)|w2 } = E {l2 (x)|w2 } − E 2 {l(x)|w2 } = var{l(x)|w2 } • 2.11 xj (j = 1, 2, ..., n)为n个独立随机变量，有E [xj |wi ] = ijη ，var[xj |wi ] = i2 j 2 σ 2 ，计 算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下，由贝叶斯决策引起的错误率。 （中心极限 定理） 解： 在0 − 1损失下，最小风险贝叶斯决策与最小错误率贝叶斯决策等价。 • 2.12 写出离散形式的贝叶斯公式。 解： P (wi |x) = ∑c P (x|wi )P (x) j =1 P (x|wi )P (wi )
证明： p(m|x) = p(x|m)p(m) p(x) p(x|m)p(m) =∫ p(x|m)p(m)dm { { } } 1 1 2 2 (2π ) 2 −1 exp − 1 (m − m )2 /σ 2 (2π ) 2 σ −1 exp − 1 σm 0 m 2 (x − m) /σ 2 =∫ } } { 1 { 1 1 −1 2 2 (2π ) 2 σ −1 exp − 2 (x − m)2 /σ 2 (2π ) 2 σm exp − 1 2 ( m − m 0 ) / σm d m [ ( ) ] 1 2 2 x + m σ2 2 (σ 3 + σm ) 2 σm 1 σ 2 + σm 0 = m− exp − 1 2 2 2 σ 2 σm σ 2 + σm (2π ) 2 σσm
模式识别方法大作业实验报告
《模式识别导论》期末大作业2010-2011-2学期第 3 组《模式识别》大作业人脸识别方法一---- 基于PCA 和欧几里得距离判据的模板匹配分类器一、 理论知识1、主成分分析主成分分析是把多个特征映射为少数几个综合特征的一种统计分析方法。
在多特征的研究中，往往由于特征个数太多，且彼此之间存在着一定的相关性，因而使得所观测的数据在一定程度上有信息的重叠。
当特征较多时，在高维空间中研究样本的分布规律就更麻烦。
主成分分析采取一种降维的方法，找出几个综合因子来代表原来众多的特征，使这些综合因子尽可能地反映原来变量的信息，而且彼此之间互不相关，从而达到简化的目的。
主成分的表示相当于把原来的特征进行坐标变换（乘以一个变换矩阵），得到相关性较小（严格来说是零）的综合因子。
1.1 问题的提出一般来说，如果N 个样品中的每个样品有n 个特征12,,n x x x ，经过主成分分析，将它们综合成n 综合变量，即11111221221122221122n n n n n n n nn ny c x c x c x y c x c x c x y c x c x c x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩ij c 由下列原则决定：1、i y 和j y （i j ≠，i,j = 1,2,...n ）相互独立；2、y 的排序原则是方差从大到小。
这样的综合指标因子分别是原变量的第1、第2、……、第n 个主分量，它们的方差依次递减。
1.2 主成分的导出我们观察上述方程组，用我们熟知的矩阵表示，设12n x x X x ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦是一个n 维随机向量，12n y y Y y ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦是满足上式的新变量所构成的向量。
于是我们可以写成Y=CX,C 是一个正交矩阵，满足CC ’=I 。
坐标旋转是指新坐标轴相互正交，仍构成一个直角坐标系。
变换后的N 个点在1y 轴上有最大方差，而在n y 轴上有最小方差。
【最新精选】模式识别答案
模式识别试题二答案问答第1题答：在模式识别学科中，就“模式”与“模式类”而言，模式类是一类事物的代表，概念或典型，而“模式”则是某一事物的具体体现，如“老头”是模式类，而王先生则是“模式”，是“老头”的具体化。
问答第2题答：Mahalanobis距离的平方定义为：其中x，u为两个数据，是一个正定对称矩阵（一般为协方差矩阵）。
根据定义，距某一点的Mahalanobis距离相等点的轨迹是超椭球，如果是单位矩阵Σ，则Mahalanobis距离就是通常的欧氏距离。
问答第3题答：监督学习方法用来对数据实现分类，分类规则通过训练获得。
该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。
非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。
就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。
使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。
问答第4题答：动态聚类是指对当前聚类通过迭代运算改善聚类；分级聚类则是将样本个体，按相似度标准合并，随着相似度要求的降低实现合并。
问答第5题答：在给定观察序列条件下分析它由某个状态序列S产生的概率似后验概率，写成P(S|O)，而通过O求对状态序列的最大似然估计,与贝叶斯决策的最小错误率决策相当。
问答第6题答：协方差矩阵为，则1）对角元素是各分量的方差，非对角元素是各分量之间的协方差。
2）主分量，通过求协方差矩阵的特征值，用得，则，相应的特征向量为：，对应特征向量为，对应。
这两个特征向量即为主分量。
3）K-L变换的最佳准则为：对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。
4）在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关消除。
模式识别试题及总结.doc
《模式识别》试卷（ A）一、填空与选择填空（本题答案写在此试卷上，30 分）1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择和模式分类。
2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。
3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。
（1）无监督分类(2)有监督分类（3）统计模式识别方法（4）句法模式识别方法4、若描述模式的特征量为0-1 二值特征量，则一般采用（4）进行相似性度量。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2）(3)(4)6、Fisher 线性判别函数的求解过程是将N 维特征矢量投影在（2）中进行。
（1）二维空间（2）一维空间（3）N-1维空间7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。
（1）感知器算法（2）H-K算法（3）积累位势函数法8、下列四元组中满足文法定义的有（1）（2）（4）。
（1）({A, B}, {0, 1}, {A 01, A0A1 ,A1A0 , B BA , B0}, A)（2）({A}, {0, 1}, {A 0, A0A}, A)（3）({S}, {a, b}, {S 00S, S11S, S00, S11},S)（4）({A}, {0, 1}, {A 01, A0A1, A1A0}, A)9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的类别数目））。
10、欧式距离具有（1、 2）；马式距离具有（1、2、3、 4）。
（1）平移不变性（ 2）旋转不变性（ 3）尺度缩放不变性（ 4）不受量纲影响的特性11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。
模式识别作业马忠彧
作业1：线性分类器设计 1、问题描述将4个输入矢量分为两类，其中两个矢量对应的目标值为1，另两个矢量对应的目标值为0。
输入矢量为P ＝[-0.5 -0.5 0.3 0 -0.5 0.5 -0.3 1] 目标分类矢量为T ＝[1 1 0 0]2、算法描述采用单一感知器神经元来解决这个简单的分类问题。
感知器（perceptron ）是由美国学者F.Rosenblatt 于1957年提出的，它是一个具有单层计算神经元的神经网络，并由线性阈值单元组成。
当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。
两类样本线性情况下，线性判别函数可描述为0()0T g x w x w =+=，其中12[,,...,]T l w w w w =是权向量，0w 是阈值。
假设两类样本线性可分，则一定存在一个由''0Tw x =定义的超平面，满足'1'2'0,'0,T T w x x w w x x w >∀∈<∀∈，其中0'[,1],'[,]T T T T x x w w w ==。
定义感知器代价函数为()()Tx x YJ w w x δ∈=∑，其中Y 是训练向量的子集，是权向量w 定义的超平面错误分类的部分。
变量11,x x w δ=-∈当时；21,x x w δ=∈当时。
为了计算出代价函数的最小迭代值，利用梯度下降法设计迭代方案，即()()(1)()tw w t J w w t w t wρ=∂+=-∂其中()x x YJ w w δ∈∂=∂∑，代入得 (1)()t x x Yw t w t x ρδ∈+=-∑这种算法称为感知器算法。
这个算法从任意权向量w(0)开始初始化，通过错误分类特征形成修正向量。
如此重复到算法收敛于解，即所有的特征向量都正确的分类。
可以证明，如果两类模式是线性可分的，则算法一定收敛。
感知器特别适合用于简单的模式分类问题。
（完整word版）模式识别试题答案
（完整word版）模式识别试题答案模式识别非学位课考试试题考试科目：模式识别考试时间考生姓名：考生学号任课教师考试成绩一、简答题（每题6分，12题共72分）：1、监督学习和非监督学习有什么区别？参考答案：当训练样本的类别信息已知时进行的分类器训练称为监督学习，或者由教师示范的学习；否则称为非监督学习或者无教师监督的学习。
2、你如何理解特征空间？表示样本有哪些常见方法？参考答案：由利用某些特征描述的所有样本组成的集合称为特征空间或者样本空间，特征空间的维数是描述样本的特征数量。
描述样本的常见方法：矢量、矩阵、列表等。
3、什么是分类器？有哪些常见的分类器？参考答案：将特征空中的样本以某种方式区分开来的算法、结构等。
例如：贝叶斯分类器、神经网络等。
4、进行模式识别在选择特征时应该注意哪些问题？参考答案：特征要能反映样本的本质；特征不能太少，也不能太多；要注意量纲。
5、聚类分析中，有哪些常见的表示样本相似性的方法？参考答案：距离测度、相似测度和匹配测度。
距离测度例如欧氏距离、绝对值距离、明氏距离、马氏距离等。
相似测度有角度相似系数、相关系数、指数相似系数等。
6、你怎么理解聚类准则？参考答案：包括类内聚类准则、类间距离准则、类内类间距离准则、模式与类核的距离的准则函数等。
准则函数就是衡量聚类效果的一种准则，当这种准则满足一定要求时，就可以说聚类达到了预期目的。
不同的准则函数会有不同的聚类结果。
7、一种类的定义是：集合S 中的元素x i 和x j 间的距离d ij 满足下面公式：∑∑∈∈≤-S x S x ij i jh d k k )1(1，d ij ≤ r ，其中k 是S 中元素的个数，称S 对于阈值h ，r 组成一类。
请说明，该定义适合于解决哪一种样本分布的聚类？参考答案：即类内所有个体之间的平均距离小于h ，单个距离最大不超过r ，显然该定义适合团簇集中分布的样本类别。
8、贝叶斯决策理论中，参数估计和非参数估计有什么区别？参考答案：参数估计就是已知样本分布的概型，通过训练样本确定概型中的一些参数；非参数估计就是未知样本分布概型，利用Parzen 窗等方法确定样本的概率密度分布规律。
模式识别导论习题集
模式识别导论习题集模式识别导论习题集1、设⼀幅256×256⼤⼩的图像，如表⽰成向量，其维数是多少？如按⾏串接成⼀维，则第3⾏第4个象素在向量表⽰中的序号。
解：其维数为2；序号为256×2＋4＝5162、如标准数字1在5×7的⽅格中表⽰成如图所⽰的⿊⽩图像，⿊为1，⽩为0，现若有⼀数字1在5×7⽹格中向左错了⼀列。
试⽤分别计算要与标准模板之间的欧⽒距离、绝对值偏差、偏差的夹⾓表⽰，异⼰⽤“异或”计算两者差异。
解：把该图像的特征向量为5×7＝35维，其中标准模版的特征向量为：x =[0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0]T待测样本的特征向量为：y =[0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0]T，绝对值偏差为351|()|14i i i x y =-=∑，夹⾓余弦为cos 0||||||||T x y x y θ==?，因此夹⾓为90度。
3、哈明距离常⽤来计算⼆进制之间的相似度，如011与010的哈明距离为1，010与100距离为3。
现⽤来计算7位LED 编码表⽰的个数字之间的相似度，试计算3与其它数字中的哪个数字的哈明距离最⼩。
解：是“9”，距离为14、对⼀个染⾊体分别⽤⼀下两种⽅法描述：(1)计算其⾯积、周长、⾯积/周长、⾯积与其外接矩形⾯积之⽐可以得到⼀些特征描述，如何利⽤这四个值？属于特征向量法，还是结构表⽰法？(2)按其轮廓线的形状分成⼏种类型，表⽰成a 、b 、c 等如图表⽰，如何利⽤这些量？属哪种描述⽅法？ (3)设想其他结构描述⽅法。
解：（1）这是⼀种特征描述⽅法，其中⾯积周长可以体现染⾊体⼤⼩，⾯积周长⽐值越⼩，说明染⾊体越粗，⾯积占外接矩形的⽐例也体现了染⾊体的粗细。
模式识别上机作业[1].doc
![模式识别上机作业[1].doc](https://img.taocdn.com/s3/m/274a80aff18583d04864593e.png)
应急预案模式识别上机作业队别：研究生二队姓名：孙祥威学号： 112082作业一：1 {(0,0),(0,1)} ，2 {(1,0),(1,1)} 。
用感知器固定增量法求判别函数，设w1 (1,1,1)，k 1 。
写程序上机运行，写出判别函数，打出图表。
解答：1、程序代码如下：clc,clearw=[0 0 1;011;-1 0 -1;-1 -1 -1];W=[1 1 1];rowk=1;flag=1;flagS=zeros(1,size(w,1));k=0;while flagfor i=1:size(w,1)if isempty(find(flagS==0))flag=0;break;endk=k+1;pb=w(i,:)*W';if pb<=0flagS(i)=0;W=W+rowk*w(i,:);elseflagS(i)=1;endendendW,kwp1=[0 0;01;];wp2=[1 0;11];plot(wp1(:,1),wp1(:,2),'o' )hold on plot(wp2(:,1),wp2(:,2),'*' ) hold on y=-0.2:1/100:1.2;plot(1/3*ones(1,size(y)),y, 'r-' )axis([-0.25 1.25 -0.25 1.25])2、判别函数。
计算得到增广权矢量为w*( 3,0,1)T，故判别函数表达式为：页脚内容 43x1103、分类示意图：图 1 感知器算法分类结果图作业二：在下列条件下，求待定样本x(2,0) T的类别，画出分界线，编程上机。
1、二类协方差相等；2、二类协方差不等。
训练样 1 2 1 2本号 k 3 31 1 -1 -1特征 x12 -21 0 1 0特征 x2-1 -1类别1 2解答：经计算，两类的协方差矩阵不相等。
设P( 1 ) P( 2 )，计算时相关项直接略去。
模式识别习题参考1_齐敏教材第6章
第5章 句法模式识别习题解答6.1 用链码法描述5～9五个数字。
解：用弗利曼链码表示，基元如解图6.1所示：数字5~9的折线化和量化结果如解图6.2所示：各数字的链码表示分别为：“5”的链码表示为434446600765=x ； “6”的链码表示为3444456667012=x ； “7”的链码表示为00066666=x ；0 17解图6.1 弗利曼链码基元解图6.2 数字5~9的折线化和量化结果“8”的链码表示为21013457076543=x ； “9”的链码表示为5445432107666=x 。
6.2 定义所需基本基元，用PDL 法描述印刷体英文大写斜体字母“H ”、“K ”和“Z ”。
解：设基元为：用PDL 法得到“H ”的链描述为)))))(~((((d d c d d x H ⨯+⨯+=；“K ”的链描述为))((b a d d x K ⨯⨯+=； “Z ”的链描述为))((c c g x Z ⨯-=。
6.3 设有文法),,,(S P V V G T N =，N V ，T V 和P 分别为},,{B A S V N =，},{b a V T =：P ①aB S →，②bA S →，③a A →，④aS A →⑤bAA A →，⑥b B →，⑦bS B →，⑧aBB B → 写出三个属于)(G L 的句子。
解：以上句子ab ，abba ，abab ，ba ，baab ，baba 均属于)(G L 。
bcadeabba abbA abS aB S ⇒⇒⇒⇒ ① ⑦ ② ③ab aB S ⇒⇒ ① ⑥ba bA S ⇒⇒② ③ abab abaB abS aB S ⇒⇒⇒⇒ ① ⑦ ① ⑥baab baaB baS bA S ⇒⇒⇒⇒ ② ④ ① ⑥baba babA baS bA S ⇒⇒⇒⇒② ④ ② ③6.4 设有文法),,,(S P V V G T N =，其中},,,{C B A S V N =，}1,0{=T V ，P 的各生成式为①A S 0→，②B S 1→，③C S 1→ ④A A 0→，⑤B A 1→，⑥1→A ⑦0→B ，⑧B B 0→，⑨C C 0→，⑩1→C问00100=x 是否属于语言)(G L ？ 解：由可知00100=x 属于语言)(G L 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《模式识别》课程2018年度作业1
注意事项：（请务必详细阅读所有注意事项）
1.本作业发布时间2018.3.20，交作业时间：2018.3.29日第一节课下课后，第二节课
上课前。
迟于此时间交作业视为迟交，迟交的作业在2018.4.4下午2点之前交作
业的可以得到一半的分数，在那之后不再接收，以0分计.
2.请手写或打印，回答尽量简洁，一般每次作业的答案（只要答案，不要抄写题目）
应该不会超过1张纸（2页）为佳，超过1张纸的请用订书钉钉起来。
请不要用本子上交作业。
3.请在每次作业的开始部分写上姓名、学号、所属院系, 请注明是本科或研究生。
缺
少该信息的，本次作业总分扣除10分。
4.如果是已经完成保送手续，先修研究生课程的本校本科生，请一定每次作业在姓名
后加注“（本科保送）”，否则无法拿到学分。
作业题：
1.第一章讲义01_Intro.pdf中的习题。
最后一小题的回答不要超过100个字。
(30
分，2+2+3+3+4+10+3+3=30)
2.第二章讲义02_Math.pdf中的习题1. （10分，2+2+2+4=10）
3.第二章讲义02_Math.pdf中的习题2. （10分，5+5=10）
4.第二章讲义02_Math.pdf中的习题6. （20分，5+5+5+5=20）
5.第二章讲义02_Math.pdf中的习题10. 本习题中涉及凸函数和拉格朗日乘子法的基
本概念，请先自习第二章讲义中相关的部分。
（30分，5+5+5+15=30）。