模式识别习题及答案

第一章 绪论

1.什么是模式具体事物所具有的信息。

模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义让计算机来判断事物。

3.模式识别系统主要由哪些部分组成数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。

第二章 贝叶斯决策理论

~

1.最小错误率贝叶斯决策过程 答：已知先验概率，类条件概率。利用贝叶斯公式

得到后验概率。根据后验概率大小进行决策分析。

2.最小错误率贝叶斯分类器设计过程 答：根据训练数据求出先验概率 类条件概率分布

利用贝叶斯公式得到后验概率 、

如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式 答：

4.贝叶斯决策为什么称为最小错误率贝叶斯决策

答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。

5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。

6.利用乘法法则和全概率公式证明贝叶斯公式

答：

∑====m

j Aj p Aj B p B p A p A B p B p B A p AB p 1

)

()|()()

()|()()|()(所以推出贝叶斯公式

⎩⎨⎧∈>=<211

221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==

2

1

)()|()

()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==2

1

)()|()

()|()|(j j j i i i w P w x P w P w x P x w P ∑===

M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1

)

()|

()

()|()()

()|()|(

7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)）

8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布

答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)

后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi)

类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。

均值：∑==m

i xi m x mean 11)( 方差：2)^(11)var(1

∑=--=m i x xi m x 9.@

10.计算属性Marital Status 的类条件概率分布

给表格计算，婚姻状况几个类别和分类几个就求出多少个类条件概率。 10，朴素贝叶斯分类器的优缺点 答：分类器容易实现。

面对孤立的噪声点，朴素贝叶斯分类器是健壮的。因为在从数据中估计条件概率时。 这些点被平均。面对无关属性，该分类器是健壮的。相关属性可能降低分类器的性能。因为对这些属性，条件独立的假设已不成立。

11.我们将划分决策域的边界称为(决策面)，在数学上用可以表示成(决策面方程)

12.用于表达决策规则的函数称为(判别函数) 13.判别函数与决策面方程是密切相关的，且它们都由相应的决策规则所确定. 14.—

15.写出多元正态概率下的最小错误率贝叶斯决策的判别函数，即

16.多元正态概率下的最小错误率贝叶斯决策的决策面方程为

()()0

i j g g -=x x

17.多元正态概率下的最小错误率贝叶斯决策，当类条件概率分布的协方差矩阵为

I ∧=∑

2σi

时，每类的协方差矩阵相等，且类内各特征间（相互独立）

，并具有相等的方差。

18.多元正态概率下的最小错误率贝叶斯决策，如果先验概率相等，并

I ∧=∑

2σi

且

i=1,2,...c ，那么分类问题转化为只要计算待测样本x 到各类均值的(欧式距离)，然后把x

归于具有（最小距离平方）的类。这种分类器称为（最小距离分类器）。 19. 20.：

()ln((|)())

i i i g p P ωω==

x x 112

12()()ln 2ln ln ()2

T i i i i i d P πω-=--∑---∑+x μx μ

21.

多元正态概率下的最小错误率贝叶斯决策，类条件

概率密度各类的协方差矩阵不相等时，决策面是（超二次曲面），判别函数是（二次型）

，

第三章 概率密度函数的估计

1.类条件概率密度估计的两种主要方法（参数估计）和（非参数估计）。

2.类条件概率密度估计的非参数估计有两种主要的方法（Parzen 窗法）和（KN 近邻法）。它们的基本原理都是基于样本对分布的（未知）原则。

3.如果有N 个样本，可以计算样本邻域的体积V ，然后获得V 中的样本数k ，那么P(x)=

V

N K

4.假设正常细胞和癌细胞的样本的类条件概率服从多元正态分

布 ，使用最大似然估计方法，对概率密度的参数估计的结果为。 。 证明：使用最大似然估计方法，对一元正态概率密度的参数估计的结果如下：

5.已知5个样本和2个属性构成的数据集中，w1类有3个样本，w2类有两个样本。如果使用贝叶斯方法设计分类器，需要获得各类样本的条件概率分布，现假设样本服从多元正态分 布

则只需获得分布的参数均值向量和协方差矩阵即可，那么采用最大似然估计获得的w1类的

类条件概率密度均值向量为（()3,2转置）,以及协方差矩阵为（⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡----422220202）

。

第四章 线性判别函数

!

1.已知两类问题的样本集中，有两个样本。 属于类， 属于类，对它们进行增广后，这两个样本的增广样本分别为 [ y1 =(1,1,-3,2)T,y2 =(-1,-1,-2,3)T ]

2.广义线性判别函数主要是利用(映射)原理解决（普通函数不能解决的高次判别函数）问题，利用广义线性判别函数设计分类器可能导致（维数灾难）。

3.线性分类器设计步骤 主要步骤：

1.收集训练数据集D={x1,x2,…,xN}

111ˆN k k x N μ

θ∧

===∑2221

1ˆ()N

k k x N σθμ∧∧===-∑(|)(,)1,2i i i p N i ω=∑=x μ1(1,3,2)T x =-2(1,2,3)T x =-