模式识别复习题(2012)

第九章 聚类分析
1. 了解动态聚类与分级聚类这两种方法的原理 习题 1：简述 ISODATA 法的聚类方法
习题 2：设有 6 个五维模式样本如下，按最小距离准则进行层次聚类分析 x1: x4: 0, 3, 1, 2, 0 1, 1, 0, 2, 0 x2: x5: 1, 3, 0, 1, 0 3, 2, 1, 2, 1 x3: x6: 3, 3, 0, 0, 1 4, 1, 1, 1, 0
（1） 将判别函数写成 g (x) w x w0 的形式，并画出 g ( x ) 0 的图形；
T
（2） 映射成广义齐次线性判别函数
解:
T
g (x) a T y
T
1 x1 g ( x ) x1 2 x2 2 w x w0 2 2 x2 x1 1 故w＝ ，x , w0 2 2 x2 2 T 广义齐次函数 g ( x ) a y 1 2
（2） 当 L=
0 3 时， 12 3, 22 021 1, 11 0 1 0 (12 22 ) p( w2 ) (3 0) *1/ 3 . 3/ 2 (21 11 ) p( w1 ) (1 0) * 2 / 3
从而最小风险贝叶斯决策规则的阈值为：
T T T T
w2 类的样本均值： 2 1/ 4[(0,1.5) (0, 2.5) (1,3) (2, 2) ] (3 / 4,9 / 4) 。
T T T T T
对未知样本 x，决策函数为
g ( x ) ( x 2 ) T ( x 2 ) ( x 1 ) T ( x 1 ) 。
及
，其中
， 试问：按 Fisher 准则设计线性分类器的法线向量。 答：由分布系数可知，A 与 B 在空间呈圆形分布，故 fisher 准则中使用的投影直线应该为两圆心的连线方向，则 法线应该垂直于这个方向，应为（-3,2）。 习题 2：对于二维线性判别函数 g ( x ) x1 2 x2 2
习题 2：试说明 Mahalanobis 距离平方的定义，到某点的 Mahalanobis 距离平方为常数的轨迹的几何意义，它与欧氏 距离的区别与联系。
第四章
线性分类
1. 要求掌握线性判别的一般步骤，fisher 分类器的设计步骤。
2. 了解 SVM 分类的基本原理。
习题 1： 已知 A 类与 B 类样本在空间的分布为离散分布
T
1 x 1 x2
习题 3:
叙述线性分类器中 Fisher 准则和支持向量机的原理。 （自己补充。 。 。 ）
第六章 近邻法
1. . 理解并能应用 k-近邻法 习题 1：设有七个二维样本分属于两类： 1 : x1 (0.5,0) , x2 (1,0) , x3 (0, 1) ,
1.1 0.3 1 (0, 0)T , 2 (2, 3)T , 1 2 ， 0.3 1.9
一未知类别样本的特征向量 x (1, 2) ，计算 x 的主成分特征。 解：两类模式的协方差矩阵
T

1
1.1 0.3 2 0.3 1.9
第二章
贝叶斯决策理论
1. 掌握最小错误率贝叶斯分类器； 2. 掌握最小风险贝叶斯分类器； 习 题 1 ： 在 一 个 一 维 模 式 两 类 分 类 问 题 中 ， 设 p (1 ) 1/ 3, p (2 ) 2 / 3 ， 两 类 的 类 概 率 密 度 分 别 为
p ( x / 1 )
1

exp( ( x 1) 2), p ( x / 2 )
1

exp( ( x 1) 2)
1）求最小错误率贝叶斯分类器的阈值。 2）设损失为 L
0 3 ，求最小风险贝叶斯分类器的阈值。 1 0
解： （1）由于 p(w1)=1/3, p(w2)=2/3，则最小错误率贝叶斯分类器的阈值θ= p(w2)/p(w1)=2 ，其相应的决策规则为：
若 g(x)>0, 则 x w1 ，若 g(x)<0, 则 x w2 决策面 g(x)=0 如上图。
第七章 特征选择和提取
1. 了解特征选择和提取的区别和主要方法 2. 理解主成分分析的原理并能够应用 习题 1：简述特征选择的主要的评价标准。 习题 2：设两类模式的特征向量分别服从正态分布，均值向量及协方差矩阵分别为：
判决规则为：
w1 p ( x / w1 ) ,则 x { w2 p ( x / w2 )
即
1/ exp( x ) 3 / 2 => exp( 4 x) 3 / 2 1/ exp( ( x 1) 2 )
2
ln(3/ 2) w1 x 4 x w x ln(3/ 2) 2 4
它所对应的特征值 E

1.1 0.3 ( 1)( 2) 0 0.3 1.9
故特征值 1 1, 2 2 。 而 1 所对应的特征向量

3 10
,
1 3 1 , ， 2 所对应的特征向量 。 10 10 10
p( x / w1) p( w 2) , p( x / w 2) p( w1) 1/ exp( ( x 1) ) 2 1/ exp( ( x 1) 2 )
2
w1 则 x { w2
即
ln 2 w1 x 4 x w x ln 2 2 4
2
1 的贡献率为 p1

i 1
2
1
i
1/ 3 33.3% ， 2 的贡献率为 p2
2
i

i ຫໍສະໝຸດ Baidu1
2 / 3 66.7%
故第一主成分为： y1
1 10
x1
3 10
T x2 ，将 x (1, 2) 代入得 y1 =2.2138
第二主成分为：
y2
3 1 x1 x2 ，将 x (1, 2)T 代入得 y2 = -0.3163。 10 10
（1）按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它 们构成一组最小距离分类器，它们之间的中垂面就是分界面，实际分界面有 4 条线组成。 （2） w1 类的样本均值： 1 1/ 3[(0.5, 0) (1, 0) (0, 1) (1/ 6, 1/ 3) ，
T T T
2 : x4 (0,1.5)T , x5 (0,2.5)T , x6 (1,3)T , x7 (2,2)T ，假定前三个为ω1 类,后四个为ω2 类。
1) 画出最近邻法的决策面; 2) 求各类样本均值, 若按与各类样本均值的最小距离分类, 试给出决策函数, 并画出决策面.
模式识别
第一章 概论
2012 复习题
1. 了解模式识别的主要流程 2. 了解监督与非监督模式识别的区别 习题 1：简述一个模式识别系统的主要模块和功能
a 数据获取
b 预处理
c 特征抽取
d 分类器设计
e 分类决策
a: 通过测量、采样和量化，可以用矩阵或向量表示二维图象或一维波形，这就是信息获取过程； b: 预处理的目的是去除噪声，加强有用的信息，并对种种因素造成的退化现象进行复原； c: 为了有效地实现分类识别，要对原始数据进行选择或变换，得到最能反应分类本质的待征，构成特征向量； d: 用一定数量的样本(称为训练样本集)确定出一套分类判别规则，使得按这套分类判别规则对待识模式进行分 类所造成的错误识别率最小或引起约损失最小。 e: 分类器按已确定的分类判别规则对待识模式进行分类判别，输出分类结果。 习题 2 : 简述监督模式识别与非监督模式识别的区别 有监督学习（supervised learning)：用已知类别的样本训练分类器，以求对训练集的数据达到某种最优，并能推 广到对新数据的分类 非监督学习（unsupervised learning) ：样本数据类别未知，需要根据样本间的相似性对样本集进行分类(聚类， clustering)