模式识别v试题库

《模式识别》试题库
一、大体概念题
模式识别的三大核心问题是：、、。

、模式散布为团状时，选用聚类算法较好。

欧式距离具有。

马式距离具有。

（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲阻碍的特性
描述模式相似的测度有：。

（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度
利用两类方式处置多类问题的技术途径有：（1）；（2）；
（3）。

其中最经常使用的是第个技术途径。

判别函数的正负和数值大小在分类中的意义
是：，。

感知器算法。

（1）只适用于线性可分的情形；（2）线性可分、不可分都适用。

积存位势函数法的判别界面一样为。

（1）线性界面；（2）非线性界面。

基于距离的类别可分性判据有：。

（1）
1
[]
w B
Tr S S
-
（2）
B
W
S
S（3）
B
W B
S
S S
+
作为统计判别问题的模式分类，在（）情形下，可利用聂曼-皮尔逊裁决准那么。

确信性模式非线形分类的势函数法中，位势函数K(x,x k)与积存位势函数K(x)的关系为
（）。

用作确信性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)假设同时知足以下三个条件，都可作为势函数。

①（）；
②（ ）； ③ K(x,x k )是滑腻函数，且是x 和x k 之间距离的单调下降函数。

散度J ij 越大，说明ωi 类模式与ωj 类模式的散布（ ）。

当ωi 类模式与ωj 类模式的散布相同时，J ij =（ ）。

假设用Parzen 窗法估量模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。

信息熵能够作为一种可分性判据的缘故
是： 。

作为统计判别问题的模式分类，在（ ）条件下，最小损失裁决规那么与最小错误裁决规那么是等价的。

随机变量l(x )=p( x |ω1)/p( x |ω2)，l( x )又称似然比，那么E {l( x )|ω2}=
（ ）。

在最小误判概率准那么下，对数似然比Bayes 裁决规那么为（ ）。

阻碍类概率密度估量质量的最重要因素是
（ ）。

基于熵的可分性判据概念为
)]
|(log )|([1
x P x P E J i c i i x H
ωω∑=-=，J H 越（ ），说明模式的可分
性越强。

当P(ωi | x ) =（ ）(i=1,2,…,c)时，J H 取极大值。

Kn 近邻元法较之于Parzen 窗法的优势在于
（ ）。

上述两种算法的共同弱点主要是（ ）。

已知有限状态自动机Af=(∑，Q ，δ，q0，F)，∑={0，1}；Q={q0，q1}；
δ：δ(q0，0)= q1，δ(q0，1)= q1，δ(q1，0)=q0，δ(q1，1)=q0；q0=q0；F={q0}。

现有输入字符串：(a) 000，(b) 11，(c) ，(d)0010011，试问，用Af 对上述字符串进行分类的结果为（ ）。

句法模式识别中模式描述方式有： 。

（1）符号串 （2）树 （3）图 （4）特点向量
设集合X={a,b,c,d }上的关系，
R={(a,a),(a,b),(a,d),(b,b),(b,a),(b,d),(c,c),(d,d),(d,a),(d,b)}，那么a,b,c,d 生成的R 等价类别离为 （ [a]R= ，[b]R= ，[c]R= ，[d]R= ）。

若是集合X 上的关系R 是传递的、（ ）和（ ）的，那么称R 是一个等价关系。

一个模式识别系统由那几部份组成？画出其原理框图。

统计模式识别中，模式是如何描述的。

简述随机矢量之间的统计关系：不相关，正交，独立的概念及它们之间的关系。

试证明，关于正态散布，不相关与独立是等价的。

试证明，多元正态随机矢量的线性变换仍为多元正态随机矢量。

试证明，多元正态随机矢量X
的分量的线性组合是一正态随机变量。

第二部份 分析、证明、计算题 第二章 聚类分析
阻碍聚类结果的要紧因素有那些？ 马氏距离有那些优势？
若是各模式类呈现链状散布，衡量其类间距离用最小距离仍是用最大距离？什么缘故？
动态聚类算法较之于简单聚类算法的改良的地方安在？层次聚类算法是动态聚类算法吗？比较层次聚类算法与c-均值算法的好坏。

ISODATA 算法较之于c-均值算法的优势安在？ 简述最小张树算法的优势。

证明马氏距离是平移不变的、非奇异线性变换不变的。

设，类p ω、 q ω的重心别离为 p x 、 q x
，它们别离有样本 p n 、 q n 个。

将和 q ω归并为 l ω，那么 l
ω有 q p l n n n +=个样本。

另一类 k ω的重心为 k x。

试证明 k ω与 l ω的距离平方是
2
2
2
2
pq
l
k q p kq l
k q kp l
k p kl D n n n n D n n n D n n n D +-
++
+=
（1）设有M 类模式ωi ，i=1,2,...,M ，试证明整体散布矩阵S T 是总类内散布矩阵S W 与类间散布矩阵S B 之和，即S T ＝S W ＋S B 。

（2）设有二维样本：x1=(-1,0)T ，x2=(0,-1)T ，x3=(0,0)T ，x4=(2,0)T 和x5=(0,2)T。

试选用一种适合的方式进行一维特点特点提取y i = W T
x i 。

要求求出变换矩阵W ，并求出变换结果y i ，(i=1,2,3,4,5)。

（3）依照（2）特点提取后的一维特点，选用一种适合的聚类算法将这些样本分为两类，要求每类样本个数很多于两个，并写出聚类进程。

（1）试给出c-均值算法的算法流程图;
（2）试证明c-均值算法可使误差平方和准那么∑∑
∈=--=)
()
()()()(1
)
(k j i x k j i T k j i c
j k z x z x J
ω
最小。

其中，k 是迭代次数；
)
(k j z
是
)(k j ω的样本均值。

现有2k+1个一维样本，其中k 个样本在x=-2处重合，另k 个样本在x=0处重合，只有1个在x=a>0处。

假设a=2(k+1)，证明，使误差平方和准那么Jc 最小的两类划分是x=0处的k 个样本与x=a 处的1个样本为一类，其余为另一类。

那个地址，
c N j Jc = ∑ ∑(x i -m j )2
j=1 i=1
其中，c 为类别数，Nj 是第j 类的样本个数，xi ∈ωj ，i=1,2,...,Nj ，mj 是第j 类的样本均值。

有样本集}
01,55,45,54,44,10,00{⎪⎪⎭⎫
⎝⎛⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛，试用谱系聚类算法对其分类。

设有样本集S=},...,,{21n x x x ，证明类心 z 到S 中各样本点距离平方和 ∑=--n
i i T i z x z x 1)()( 为最小
时，有
∑==n i i
x n z 11。

假设s 为模式矢量集X 上的距离相似侧度，有,0,(,)0x y s x y ∀>>且当0a >时，
(,)/(,)d x y a s x y =。

证明d 是距离不同性测度。

证明欧氏距离知足旋转不变性。

提示：运用Minkowski 不等式，对于两矢量T 1[,
,]l x x x =和
min min max max m m (),(),(),()()
ss
ss
ss
ss
ss
ss
ss
ss
avg avg ean ean d s d s d s d s d s ，知足
1/1/1/1
1
1
()
()
()
p
p
p
l
l
l
p
p
p
i i i i i i i y y x x ≤+===+∑∑∑
证明：
（a ）如果s 是类X 上的距离相似侧度，,0,(,)0x y s x y ∀>>，那么关于 0a ∀>， (,)s x y a +也
是类X 上的距离测度。

（b ）如果d 是类X 上的距离差异性测度，那么对于0a ∀>， d a +也是类X 上的距离不同性测度 假设:f R R +
+
→是持续单调递增函数，知足
()()(),,f x f y f x y x y R +
+≥+∀∈
d 是类X 上的距离不同性测度且
00d ≥。

证明 ()f d 也是类X 上的距离不同性测度。

假设s 为类X 上的距离相似侧度，有,0,(,)0x y s x y ∀>>， :f R R +
+
→是持续单调递增函数，
知足
1
11()()(),,x y
f x f y f x y R +
+≥∀∈+
证明()f x 是X 上的距离相似侧度。

证明：关于模式矢量集X 上任意两个矢量x 和 y 有
21(,)(,)(,)
x y x y x y d
d d ∞
≤≤
（a ）证明公式
1/(,)1(,)()
q
F l
q q
x y i i i s x y s ==∑中 (,)F
s x y 的最大最小值别离是和 1/0.5q
l 。

（b ）证明当q →+∞时，公式
1/(,)1(,)
()
q
q
F l
q
x y i i i s x y s ==∑中
1(,)max (,)
i l i i F
x y s x y s
≤≤=
假设d 是模式矢量集X 上的不同性测度，
max s d d =-是相应相似测度。

证明 max (,)(,),,ps
ps
avg avg x C x C x X C X
s d d =-∀∈⊂
其中ps avg
s
和
ps avg
d
是别离依照s 和d 所概念的。

ps
avg
ψ的概念来自于下面公式，其中第一个集合
只含有一个矢量。

提示：平均亲近函数
1
(,)(,)
i j
i j
ps avg i j x D y D D D D D x y n n ∈∈ψ=
ψ∑∑，其中
i
D n 和
j
D n 别离是集合
i D 和 j D 的势。

即便 ψ是测度，显然
ps avg
ψ不是测度。

在公式中，
i D 和 j D 中的所有矢量都参与计算。

假设,{0,1}l
x y ∈。

证明
2
(,)x y d
=。

考虑一维空间的两矢量，T 1[,
,]l x x x =和 T 1[,,]l y y y =，
1
max {}
j l
i
j i
j
y
y x x =-=-，
概念距离
(,)
n
x y d
为
1,1
(,)[(2)/2]l
n
i
i
i
i
j j i
x y l l y
y
d
x x =≠=
-+---∑
那个距离曾被提议作为欧氏距离的近似值。

（a ）证明n d 是距离。

（b ）比较n d
和
2d
的计算复杂度。

2．24 假设概念以下准那么函数
1
1()()
i c
T T i T i i x X J x m S x m -=∈=--∑∑
其中
i m 是 i X 中 i N 个样本的均值向量， T S 是总散布矩阵，
（1）证明
T J 对数据的非奇异线形变换具有不变性。

（2）证明把
i X 中的样本 ˆx 转移到 j X 中去，那么使 T J 改变成 *
1
1
ˆˆˆˆ[()()()()]1
1j T T i T
T j T j i T i j i N N J J x m S x
m x m S x m N N --=------+-
（3）写出使
T J 最小化的迭代程序。

2．25 证明关于C-均值算法，聚类准那么函数知足使算法收敛的条件。

（即假设(,)(,)J K J K Γ≤Γ，
那么有 (,)(,)J K J K Γ≤Γ）
2．26 令
1
11(,)()()log ||22T j j j j j y K y m y m -∆=
-∑-+∑是点到聚类的相似性气宇，式中 j m 和 j ∑是
聚类
j
Γ的均值和协方差矩阵，假设把一点从
i Γ转移到 j Γ中去，计算由公式
1(,)
j
c
K j i y J y K =∈Γ=∆∑∑所示
K J 的转变值。

第三章 判别域代数界面方程法
证明感知器算法在训练模式是线性可分的情形下，通过有限次迭代后能够收敛到正确的解矢量*
w 。

（1）试给出LMSE 算法（H-K 算法）的算法流程图;
（2）试证明X #
e(k)=0，那个地址, X #
是伪逆矩阵；e(k)为第k 次迭代的误差向量; （3）已知两类模式样本ω1：x1=(-1,0)T
, x2=(1,0)T
；ω2：x3=(0,0)T
，x4=(0,-1)T。

试用LMSE 算法判断其线性可分性。

设等式方程组b w X
=，其中：属于 1ω的样本作为 X 的前 1N 行，属于 2ω的样本作为 X 的后 2N 行。

证明：当余量矢量
),,,,,(
2
1
2211
N N N N
N N N N N N b =时，MSE 解等价于Fisher 解。

已知二维样本：1x =(-1,0)T ， 2x =(0,-1)T ，=(0,0)T ， 4x
=(2,0)T 和 5x =(0,2)T ， 13
21},,{ω∈x x x ， 254},{ω∈x x 。

试用感知器算法求出分类决策函数，并判定 6x
=(1,1)T 属于哪一类？
. 已知模式样本 x 1=(0,0)T
,x 2=(1,0)T
,x 3=(-1,1)T
别离属于三个模式类别，即， x 1∈ω1,x 2∈ω2,x 3∈ω3， （1）试用感知器算法求判别函数g i (x)，使之知足，假设x i ∈ωi 那么g i (x)>0，i=1,2,3； （2）求出相应的裁决界面方程，并画出解区域的示用意。

给定校正增量因子C=1，初始值能够取：
w 1(1)=(4,-9,-4)T
，w 2(1)=(4,1,-4,)T
，w 3(1)=(-4,-1,-6)T。

已知ω1：{(0,0)T },ω2：{(1,1)T },ω3：{(-1,1)T
}。

用感知器算法求该三类问题的判别函数，并画出解区域。

试证明：
（1）从x 到超平面 0)(0=+=w x w x g T 的距离 w x g r |)(|=是在 0)(=q x g 的约束条件下，使
2q
x x -达到极小的解。

（2）x 在超平面上的投影是 w
w x g x x p
2)(-= 。

设有一维空间二次判别函数2
975)(x x x g ++=，试将其映射成广义齐次线性判别函数
y a x g T
=)(。

对二维线性判别函数
22)(21-+=x x x g （1）将判别函数写成
0)(w x w x g T += 的形式，并画出 0)(=x g 的几何图形； （2）将其映射成广义齐次线性判别函数
y a x g T
=)( ； （3）指出上述X 空间实际是Y 空间的一个子空间，且0=y a T
对X 子空间的划分与原空间中
00=+w x w T
对原X 空间的划分相同，并在图上表示出来。

指出在Fisher 线性判别中，w 的比例因子对Fisher 判别结果无阻碍的缘故。

证明两向量外积组成的矩阵一样是奇异的。

证明，在几何上，感知器准那么函数值正比于被错分类样本到决策面的距离之和。

说明什么缘故感知器函数是一个持续分段的线性分类器。

若是在感知器算法中
k
ρρ
=，那么在
()()*
2
02w w
k
αρρβ-=
-步以后，那个算法收敛，其中
2
αγβ
=
，
2ρ<。

证明感知器算法的正确分类和错误分类在有限个反复的运算以后是收敛的
考虑一种情形，在类
1
ω中包括两个特点向量，
[]
0,1T。

类
2ω
中包括
[]1,0T
和
[]1,1T
两个向
量。

依照感知器算法，其中 1ρ=，
[](0)0.5,0.5T
ω=，设计一个线性分离器来区分这两类
在上一章2。

12问题中两分类问题中，取
[]1
1,1T
μ=,
[]2
0,0T
μ=,
2
21
2
0.2
σσ==.关于每一类产生
50个向量。

为了确保关于这两类的线性分离，关于向量[1，1]类确保
12
1
x x
+
<，
关于[0，0]向量类
1
2
1
x x
+>。

下面的步骤确实是利用这些向量去设计一个线性分类器利用中的感知
器算法。

在收敛以后，画出相关的判定线
假设问题中是多类分类问题，每一类有100个样本点。

依照LMS 算法利用这些数据去设计一个线性分类器。

当所有的点被带入那个算法中进行计算的时候，画出那个算法收敛的相关超平面。

其中
0.01
k
ρρ
==，然后利用 0.01ρ=。

观看那个结果
证明，利用KESLER 构造器，通过前面3。

21感知器算法的有限步正确与错误分类计算后，关于一个
()t
i
x ω
∈，变成
()()()
()()()()()()
()()()()()1,1,
1T
T
i i t i
t j t T
T
i i t i
t j t k k t t if t j i t t if t j i t t k j
andk i
x x x x x x ρρωωωωωωωωωω+=+<≠+=-<≠+=∀≠≠
证明理想权重向量的误差平方和趋渐进于MSE 的解。

利用均方误差和的原那么解问题并设计一个线性分类器。

证明设计一个M 类的线性分类器，有最正确误差平方和。

分类器减少到M 等价个有相应的成效。

证明，假设x,y 服从联合高斯散布，关于x 条件下y 的散布是
[]|y
y
x
y
x
x
E y x x μασασμσσ
=
+-，
2
2
x
x y
x
y
y
σασσασσσ
⎡
⎤
⎢
⎥∑=⎢⎥⎣⎦
取M 类分类器依照参数函数
()
;k g x ω的形式存在，目的是估量参数
k ω
，使得分类器依照输入向量
x 能够产生期望的响应输出值 。

假设在每一类中x 是随机散布，分类器的输出依照有关期望响应值的不同而不同。

依照高斯已知变量的一个高斯散布，假设所有的输出都是相同的。

证明依照误差平方和的原那么，ML 估量是产生一个等价的估量值。

提示：在已知的类别当中掏出N 个训练样本值。

关于他们中的每一个形成
();i
i k k
i
g y x d ω=-。

i k
d
是第k 类中第i 个样本点的期望响应值。

'
i
s y 服从正态0均值，方差为
2
σ
的散布。

那个似然函数利
用
'
i
s y
在二类分类问题中，贝叶斯最正确判定截面是通过()()()12||0
g x P x P x ωω=-=给出，证明MSE
中训练一个判定界面 ()
;f x ω，目的是对两类进行有效判别，相关的，它等价于在MSE 最优感知中，
它等价于 ()
;f x ω的渐进函数形式g(.).
假设在两类分类问题中有服从联合散布的特点向量，他们在有一起的方差∑。

设计一个线性MSE 分类器，证明在问题中的贝叶斯分类器和那个结果的MSE 分类器仅仅通过一个阈值就能够够区分。

简化起见，仅仅考虑等概率的类的情形。

提示：计算MSE 超平面
00
T
x ω
ω+=，增加x 的维数，它的解依照以下方式提供，
[][]
()
1
2
01
210
T
R
E x w E w x μμ⎡⎤
⎡⎤⎡⎤-⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦⎣
⎦⎣
⎦
相关的R 和∑在MSE 分类器中依照以下的形式给出
()(
)
1
121()0122T
x μμμμ-⎛⎫
-
+>< ⎪
⎝
⎭-∑
第四章 统计裁决
利用最小最大损失裁决规那么的错分概率是最小吗？什么缘故？ 当∑i=σ2I 时，先验概率对决策超平面的位置阻碍如何？
假设在某个地域的细胞识别中正常1ω和异样 2ω两类的先验概率别离为
正常状态 ：1()0.9P ω=
异样状态：
2()0.1P ω=
现有一待识的细胞，其观测值为x ，从类条件概率密度散布曲线上查得 12()0.2,()0.4p x p x ω==
而且已知损失系数为λ11=0，λ12=1，λ21=6，λ22=0。

试对该细胞以以下两种方式进行分类：①基于最小错误概率准那么的贝叶斯裁决；②基于最小损失准那么的贝叶斯裁决。

请分析两种分类结果的异同及缘故。

试用最大似然估量的方式估量单变量正态散布的均值μ和方差 2
σ。

已知两个一维模式类别的类概率密度函数为
⎧ x 0≤x<1 p(x |ω1)=⎨ 2-x
1≤x ≤2
⎩ 0 其它 ⎧ x -1 1≤x<2 p(x |ω2)=⎨ 3-x 2≤x ≤3 ⎩ 0 其它 先验概率P(ω1)=，P(ω2)=， （1）求0-1代价Bayes 裁决函数； （2）求总错误概率P(e)；
（3）判定样本{x1=,x2=,x3=,x4=}各属于哪一类别。

在目标识别中，假定有农田和装甲车两种类型，类型
1
ω和类型
2
ω别离代表农田和装甲车，它们的先
验概率别离为和，损失函数如表1所示。

此刻做了三次实验，取得三个样本的类概率密度如下： )/(1ωx p ：，，
)/(2ωx p ：，，
（1） 试用贝叶斯最小误判概率准则判决三个样本各属于哪一个类型；
（2） 假定只考虑前两种判决，试用贝叶斯最小风险准则判决三个样本各属于哪一个类型； （3） 把拒绝判决考虑在内，重新考核三次试验的结果。

表1
已知两个一维模式类别的类概率密度函数为
⎩⎨
⎧≤≤=其它 ,01
0 ,2)|(1x x x p ω ⎩⎨
⎧≤≤-=其它 , 01
0 , 22)|(2x x x p ω
先验概率P(ω1)=P(ω2)，损失函数，λ11=λ22=0，λ12=，λ21=。

（1）求最小平均损失Bayes 裁决函数； （2）求总的误判概率P(e)；
（3）关于一个两类一维问题，假设这两类的类概率密度别离服从正态散布N(0,σ2
)和 N(1,σ2
)，证明使
平均决策风险最小的决策门限为
)()(ln 21
11222120ωλωλσP P x -=
那个地址，假设风险函数λ11=λ22=0 。

一维正态散布：]
2)([2
221)(σμσ
π--
=
x e
x p
设T j j N j N m x N m x N N C ))(ˆ))((ˆ(1)(ˆ1 --=∑=是基于样本集{ N x x x ,...,,21}对整体 x − ),(C m N 的协方差矩阵的最大似然估量。

试推导由 )(ˆN C 求增加一个样本 1+N x 后协方差矩阵的估量 )1(ˆ+N C 的递推公式。

其中， )(ˆN m 是基于样本集{ N x x x ,...,,21}对整体 x 的均值向量 m 的最大似然估量
j
N j x N N m ∑==1
1)(ˆ 。

设以下两类模式均为正态散布 ω1：{(0,0)T
，(2,0)T
，(2,2)T
，(0,2)T
} ω2：{(4,4)T
，(6,4)T
，(6,6)T
，(4,6)T
}
(1) 设P(ω1)= P(ω2)=1/2，求该两类模式之间的Bayes 判别界面的方程。

(2) 绘出判别界面。

设以下两类模式均为正态散布
ω1：{(-5,-5)T
，(-5,-4)T
，(-4,-5)T
，(-6,-5)T
，(-5,-6)T
} ω2：{(5,5)T
，(5,6)T
，(6,5)T
，(5,4)T
，(4,5)T
}
(1) 试用正交函数逼近法求类概率密度的估计
)|(1ωx p 和 )|(2ωx p ，可选用Hermite 正交多项式前四项低阶基函数：H 0(x)=1, H 1(x)=2x,H 2(x)=4x 2
-2, H 3(x)=8x 3
-12x ； (2) 设P(ω1)= P(ω2)=1/2，求Bayes 裁决函数； (3) 给出判别界面方程和图示。

证明在多类问题中，贝叶斯决策准那么使错误分类概率最小。

提示：使用正确分类概率来证明要方便一些。

在一个两类一维问题中，两类的概率散布密度函数别离为高斯散布),0(2
σN 和 ),1(2
σN ，证明使平
均风险最小的门限
0x
为：
()
()
212012
1221ln
P x P λωσλω=- 其中
11220λλ==。

假设两类类问题中损失矩阵为L=
⎪⎪⎭⎫ ⎝⎛22211211λλλλ，ε1是将本来属于ω1类的样本错分为ω2的概率，ε2是将本来属于ω2类的样本错分为ω1的概率。

试证明平均风险为
证明在多类分类问题中，M 类的分类错误概率上限为 Pe=(M-1)/M 。

提示，对于每一个向量x 最大后验概率密度函数
(|)i P x ω，i=1,2，…，M ，大于或等于1/M 。

这等价于
每一个
(|)i P x ω都是相等的。

假设在一维两类分类当中样本点符合Rayleigh 概率密度函数散布：
⎪⎩⎪⎨⎧<≥-=0 00
)2exp()|(22
2x x x x x p i
i i σσω 试求裁决边界
()0g x =。

在两类分类问题中，限定其中一类的错分误概率为ε1=ε，证明，使另一类的错分概率ε2最小等价于似
然比裁决：若是P(ω1)/P(ω2)> θ，那么判x ∈ω1，那个地址，θ是使ε1=ε成立的似然比裁决门限。

注：这就是Neyman-Pearson 判决准则， 它类似于贝叶斯最小风险准则。

提示：该问题等价于用Langrange 乘子法，使q=θ(ε1-ε)+ε2最小化。

．二维三类问题，假设每一类都服从同一正态散布，且特点向量的的协方差矩阵为
1.20.40.4 1.8⎡⎤
=⎢⎥
⎣⎦∑ 各类的均值向量别离是
[]0.1,0.1T
，
[]2.1,1.9T
，
[]1.5,2.0T
-。

（1）用贝叶斯最小错误概率分类器将向量
[]1.6,1.5T
分类。

（2）画出距离向量
[]2.1,1.9T
的等马氏距离曲线图（略图）。

. 在两类三维空间分类问题中，每一类中的特点向量都服从正态散布，协方差矩阵为
0.30.10.10.10.30.10.10.10.3⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦∑ 这两类的各自的均值向量别离为
[]0,0,0T
和
[]0.5,0.5,0.5T。

试推导相应的线性决策函数和决
策界面方程。

．在两类等概率分类问题中，每一类中的特点向量的协方差矩阵均为∑，相关的均值向量为
1μ， 2μ，
证明关于贝叶斯最小错误概率分类器，错误概率散布是
2(1/2)1
exp(/2)2m
B
d z dz P π+∞
=
-⎰
其中，
m d 是这两个均值向量之间的马氏距离。

该函数是 m d 的增函数。

提示：对数似然比
12ln (|)ln (|)
u p p x w x w =-是一个随机变量，且服从高斯散布：
221,2m m d d ⎛⎫
N ⎪⎝⎭，∀
1x ω∈；和 221,2m m d d ⎛⎫
N - ⎪
⎝⎭，∀ 2x ω∈。

据此计算错误概率。

．证明假设每一个向量都遵循高斯概率密度函数散布，在（2。

19）的最大似然概率检测
()
()112122|()()|p x x if
p x l ωωωθ
ω∈=><
等价于
()()
()22
1121
2
2
,|,|ln
2ln m
m
x x d d θμ
μ
-+<>-∑∑∑∑
那个地址()2,|m
i
i
x d μ∑是
i μ和x 之间关于
i
∑
矩阵的的马氏距离。

．若是1
2
==∑∑
∑，证明上个问题成为
()()1
21T
x μμ-><Θ
-∑，那个地址
()
1
2
ln 12
θμ
μ
Θ=+∑-
∑。

．在二维两类问题中，每一类
12,ωω都服从以下散布：
()()1112
2111
1|exp ()22T
p x x x ωμμπσσ⎛⎫=--- ⎪⎝⎭ ()()22222
221
1|exp ()22T
p x x x ωμμπσσ⎛⎫=
--- ⎪⎝⎭ 其中
1
(1,1)T
μ=，
2
(1.5,1.5)T
μ=，
22
120.2σσ==假设
12()()P P ωω=，设计一个贝叶斯分类器，
知足
（a ） 错误分类概率最小
（b ） 具有损失矩阵Λ的平均风险最小
010.50⎡⎤
Λ=⎢⎥⎣⎦
利用一个伪随机的数值产生器，从每一个类中取得100个特点向量。

依照上面的概率密度函数。

利用那
个分类器去分类已经产生的向量。

关于每一个事例中的错误概率是多少？用2(3.0,3.0)T
μ=重复那个
实验。

．重复上面的实验，特点向量服从以下散布：
()()(
)
1
12
1
1
|exp 22T
i i p x x i x ωπμμ-⎛⎫
=-- ⎪
⎝⎭
-∑∑
而且
1.010.20.2 1.01⎡⎤∑=⎢⎥⎣⎦ 而且
[]1
1,1T
μ
=
，
[]2
1.5,1.5T
μ=
提示：一个高斯随机向量的线性变换仍然是一个高斯随机向量。

注意
1.010.210.110.10.2 1.010.110.11⎡⎤⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥
⎣
⎦⎣⎦⎣⎦
．二维两类问题，假设两类服从同一正态散布，其协方差矩阵为
1.10.30.3 1.9⎛⎫
∑= ⎪
⎝⎭，均值向量别离为 12(0,0),(3,3)T T μμ==。

试用贝叶斯分类器对向量 (1.0,2.2)T x =进行分类。

．假设在两类一维问题中
()
1|p x ω服从高斯散布
2
(,)μσN ，()2|p x ω服从a 到b 之间的均匀散布。

证明贝叶斯错误概率的上限为b a G G μμσσ--⎛⎫⎛⎫
- ⎪ ⎪
⎝⎭⎝⎭，其中()()G x P y x ≡≤，而且y 服从高斯(0,1)N 散布。

．证明随机向量ln((;))
k p x θθ∂∂的均值是0。

．在掷硬币的游戏实验中，正面（1）显现的概率是q ，反面显现的概率是（1-q ）。

设
i x ，i=1,2,…，N
是那个实验的结果， {}0,1i x ∈，证明q 的最大似然估量是 11N
i
ML i N q x ==∑
提示：
似然函数是：
()
()
11(;)1i
i
N
i x x P X q q q
-==-∏
证明ML 结果是以下方程的解 ()()
11i
i
i
i N i
i i i N x x q
q x x q q
-⎛⎫-∑∑-= ⎪
⎪-⎝
⎭∑∑-
．随机变量x 服从高斯
()
2,N μσ散布，μ未知。

给定该变量的N 个观测值，设L （μ）为μ的对数似然
函数：()ln((;))L p x μμ=。

试求该随机变量的Cramer-Rao 界：
()22L E μμ⎡⎤
-⎢⎥⎢⎥⎣⎦∂∂。

将该结果与μ的ML 估量值的方差进行比较，有何结论？假设那个未知参数是方差2
σ，结论又如何？。

．证明假设似然函数是高斯函数有未知的均值μ，和协方差矩阵 ∑，然后ML 估量如下给出
1
1N
k
k N x
μ==
∑
11
T
N
k k k N
x x μμ=⎛⎫∑=
- ⎪⎝
⎭⎛⎫
-∑ ⎪⎝
⎭
．随机变量x 服从Erlang 散布，概率密度函数为
()()()
2;exp p x x x u x θθθ=-
其中u(x)是一个阶跃函数
()1
, 0
0, 0x u x x >⎧=⎨
<⎩
假设x 的N 个观测值x 1，…，x N ，证明θ的最大似然估量为
12ˆ
ML
N
k k N
x
θ==
∑
．随机变量x 是服从正态散布
2
(,)
μσN ，其中未知参数 μ服从Rayleigh 散布，其概率密度函数为
()22
2
exp(/2)
p μμμμσμσ-=
试证明μ的最大后验概率估量为
ˆ(12MAP Z
R μ
=+
其中， 2
1
1
N
k
k Z x
σ
==
∑,
2
2
1
N
R μ
σσ
=
+
. 证明关于对数正态散布
2
2
(),0
2
(ln)
p x x
x
σ
θ
⎛⎫
⎪
=->
⎪
⎝⎭
-
最大似然估量为
1
1
ˆln
N
ML k
k
x
N
θ
=
=∑
．假设已知一个随机变量x的均值和方差：
()
xp x dx
μ+∞
-∞
=⎰
，
22
()()
x p x dx
σμ
+∞
-∞
=-
⎰
试证明，该随机变量概率密度函数的最大熵估量服从高斯散布
2
(,)
Nμσ
．P为一个随机点x位于某区间h的概率。

给定x的N个观测值，其中有k个落入区间h的概率服从二项式散布：
{}()
!
!()!
1N k
k
N
prob k
k N k
P
P-
=
-
-
证明
[/]
E k N P
=，而且它的方差为22
[(/)](1)/
E k N P P P N
σ=-=-
而且那个概率估量P=k/N是无偏的和渐进一致的。

第五章特点提取与选择
设有M类模式ωi，i=1,2,...,M，试证明整体散布矩阵St是总类内散布矩阵Sw与类间散布矩阵Sb之和，即St＝Sw＋Sb 。

下面哪个矩阵能够用在二维空间线性变换中，并维持马氏距离的特性？请说明缘故。

⎪⎪
⎭
⎫
⎝
⎛
-
=
1
1
1
2
A
；
⎪⎪
⎭
⎫
⎝
⎛
=
1
1
1
2
B
；
⎪⎪
⎭
⎫
⎝
⎛
-
=
1
5.0
5.0
1
C
Bhattacharyya可分性判据概念为
⎰Ω
-=x
d x p x p J B
2/121)]|()|([ln ωω
式中Ω表示特点空间。

试证明，在最小误判概率准那么裁决下，最小最小误判概率有
)exp()]()([)(2/111B J P P e P -≤ωω 。

令x i ，i=1，2，3为独立的二值特点，且p(x i =1|ω1)=αi ，p(x i =1|ω2)=βi ，两类的先验概率相等，且αi ，βi 知足以下条件：
（1）αi <βi ，∀i, (2) β1 - α1 >β2 - α2>β3 - α3 。

试证明各特征分别使用时之错误概率e(x i )知足：e(x 1)< e(x 2)< e(x 3) 。

按上题条件，试证明当两个特点合历时，其错误概率为
|]
)(|)(|)(|)()()([21
),(i i j j j j i i j i j i x e x e x e x e e x e ααβααβ------+=
请找出使),(),(3221x x e x x e <之条件。

同上题，若是给定
70.0,80.0,90.0,
01.0,05.0,10.0321321======βββααα
试计算),(),,(),,(),(),(),(323121321x x e x x e x x e x e x e x e 。

已知以下两类模式
ω1：{(0,0,0)T
，(1,0,0)T
，(1,0,1)T
，(1,1,0)T
} ω2：{(0,0,1)T
，(0,1,0)T
，(0,1,1)T
，(1,1,1)T
}
试用K-L 变换分别把特征空间维数降到d=2和d=1，并作图画出样本在该特征空间中的位置。

令
i ∑和 i P 别离是 i ω类（i=1,2）的协方差矩阵和先验概率。

假设对数据进行了白化变换，即，使
I B S B w T =。

那个地址，
∑∑=i
i
i w P S ，I 是单位矩阵。

试证明矩阵 B B P T 11
∑和 B B P T 22∑所产生的K-L 坐标轴是相同的。

假设用 i Λ表示矩阵
B B P i T
i ∑的本征值矩阵，求证 21Λ-=ΛI 。

8．1 三类
123,,ωωω，其中
()()()
{
}1:1,0,2,0,1,1T T T
ω，
()()()
{
}2:1,0,1,1,0,1T T T
ω--，，求
w S 及
b S 。

8．3 令
(|)~(,)i i i p x N ωμ∑， 1,2,i =假定各特点分量 ,1,2,
,,
j x j D =彼此独立，试证按式
(|)
[(|)(|)]ln
(|)i D ij ji i j X
j p x J I I p x p x dx
p x ωωωω=+=-⎰
概念的散度D J 可写为
1
D
D Dj
j J J ==∑
8．6 两个一维正态散布， 其期望与方差如下：
第一组2212120,2,4,0.25μμσσ====；第二组 221
2120,2,1,1μμσσ====。

求Bhattacharyya 距离及散度。

8．10 令,1,2,3i x i =为独立的二值特点，且 12(1|),(1|)i i i i p x p x ωαωβ====，
二类先验概率相等，
且
,i i αβ知足以下条件：
①
,i i i αβ<∀，② 112233βαβαβα->->-。

试证各特点别离利历时之错误概率()i e x 知足： 123()()()e x e x e x <<。

8．11令,1,2,3i x i =为独立的二值特点，且 12(1|),(1|)i i i i p x p x ωαωβ====，二类先验概率相等，
且
,i i αβ知足以下条件：
①
,i i i αβ<∀，② 112233βαβαβα->->-。

试证当两个特点合历时其错误概率为
12(,)[()()()|()|()|()|]
i j i j i i j j j j i i e x x e x e x e x e x βααβαα=+------
找出使
1223(,)(,)e x x e x x <之条件。

8．12令,1,2,3i x i =为独立的二值特点，且 12(1|),(1|)i i i i p x p x ωαωβ====，二类先验概率相等，
且
,i i αβ知足以下条件：
①
,i i i αβ<∀，② 112233βαβαβα->->-。

当两
个
特
点
合
历
时
其
错
误
概
率
为
12(,)[()()()|()|()|()|]
i j i j i i j j j j i i e x x e x e x e x e x βααβαα=+------，若是给定 1231230.10,0.05,0.01,0.90,0.80,0.70
αααβββ======。

试
计
算
123121323(),(),();(,),(,),(,)e x e x e x e x x e x x e x x 。

第六章 句法模式识别
句法模式识别中，模式类是如何描述的。

文法G=(V N ,V T ,P,S)中起始符S 能够是非终止符吗？
试给出能产生不含子串011的0，1字符串的全部的正那么文法Gn ，画出Gn 对应的有限状态自动机的状态转移图。

设x=10010，试依照CYK 算法导出对x 的最左剖析。

已知文法G=(V N ,V T ,P,S)，V N ={S,∆}，V T ={a,d,(,),+，⨯，-,*,~},其中，a,d 为图形描述语言（PDL ）的基元：a ：→；d ：↓；“+，⨯，-，*，~”为基元链接运算：“+”为头接尾；“⨯”为尾尾相接；“-”为头头相接；“*”为头接和尾接；“~”为反向；“（，）”为运算顺序操纵符。

试写出描述字母“E ”的PDL 句子及相应的产生式P 。

第三部份 综合分析题
一、在描述一个完整的模式识别系统的基础上, 给出你所了解的一种模式识别应用实例，并对其中可能用到的模式识别典型理论和方式进行简要说明。

二、举出日常生活或技术、学术领域中应用模式识别理论解决问题的实例（包括问题模型，解决的方式，体会）
3、 假设要实现电话上的语音拨号功能，你以为应该有哪些处置步骤？别离需要哪些模式识别方式？试用流程图予以说明。

4、 假设要实现机械（运算机、电话等）的手写字符输入功能，你以为应该有哪些处置步骤？别离需要哪些模式识别方式？试用流程图予以说明。

五、假设要实现运算机指纹识别功能，你以为应该有哪些处置步骤？别离需要哪些模式识别方式？试用流程图予以说明。

六、假设要实现汽车车牌自动识别，你以为应该有哪些处置步骤？别离需要哪些模式识别方式？试用流程图予以说明。