模式识别复习要点和参考习题教学内容
模式识别 复习笔记
第一章 概论① 什么是模式识别？使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程。
（老师的简略说法：用机器判断事物类别）② 模式识别系统主要由四个部分组成：原始数据的获取和预处理，特征提取与选择，分类或类聚，后处理。
③ 紧致性：做模式识别的前提条件是每个模式类满足紧致性。
④ 相似性度量满足的条件：1234点⑤ 一些专业术语的中英文：PR （pattern recognition ）模式识别 BP （back-propagation ）反向传播算法 PCA （principal component analysis ）主成分分析NN （neural networks ）神经网络 ⑥ 欧式距离：()()Tx u x u -- ⑦ 马氏距离：()()1Tx u x u ---∑第二章 贝叶斯决策（两大贝叶斯决策=最小错误率贝叶斯决策+最小风险贝叶斯决策）：①贝叶斯决策的三个前提条件：类别数确定，各类的先验概率p(w i)已知，各类的条件概率密度函数p(x|w i)已知。
②最小错误率贝叶斯决策：使错误率最小的分类决策。
对应于最大后验概率。
贝叶斯公式：P17 白细胞例子③最小风险贝叶斯决策：考虑各种错误造成损失不同时的一种最优决策。
第三章最大似然估计（两大参数估计=最大似然估计+贝叶斯估计）：最可能出一题最大似然估计的计算题。
判断估计好坏的标准：无偏性、有效性、一致性。
①最大似然估计的求解流程：1、构造似然函数2、对数化3、求偏导4、求解第四章线性分类器①Fisher判别法Fisher准则：找到一个最合适的投影轴，使两类样本在该轴上的投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。
各类样本均值向量m i判定函数J（w）越大，说明分子类间距离越大，分母类内距离越小。
符合fisher准则。
引入拉格朗日函数：求偏导②最小二乘法y=ax+b第五章非线性分类器①反向传播算法BP：1.三层结构2.简述BP过程、偏差回来调整权系数P953.学习规则：a.随机给定权系数；b.计算输出；c.得到偏差；d.进行调整4.算法步骤：第七章特征选择遗传算法过程：a.初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成M个个体作为初始群体P（0）.b.个体评价：计算群体P（t）中各个个体的适应度。
模式识别复习资料答案
一、感知器算法流程图：二、矩阵分解的方法：所谓矩阵分解，就是将一个矩阵写成结构比较简单的或性质比较熟悉的另一些矩阵的乘积。
其分解的方法有很多种，常用的有三角分解、QR 分解、奇异值分解。
三角分解定义：如果方阵A 可分解成一个下三角形矩阵L 和上三角形矩阵U 的的乘积，则称A 可作三角分解或LU 分解。
QR 分解（正交分解）定义：如果实（复）非奇异矩阵A 能化成正交（酉）矩阵Q 与实（复）非奇异上三角矩阵R 的乘积，即A=QR ，则称上式为A 的QR 分解。
奇异值分解定理：设A 是一个m n ⨯的矩阵， 且()r A r =，则存在m 阶酉矩阵U 和n 阶酉矩阵V ，使得000H U AV ⎛⎫⎪= ⎪ ⎪⎝⎭∑ (2)， 其中，1()rdiag σσ=∑L ，且120r σσσ≥≥≥≥L 。
由（2）知000H A U V ⎛⎫⎪= ⎪ ⎪⎝⎭∑ （3）， 该式称为A 的奇异值分解，(1,2,)i i r σ=L ，称为A 的奇异值，U 的第i 列称为A 对应i σ的左奇异向量，V 的第i 列称为A 对应的i σ右奇异向量。
三、非负矩阵分解：在NMF 中要求原始的矩阵V 的所有元素的均是非负的，那么矩阵V 可以分解为两个更小的非负矩阵的乘积，这个矩阵V 有且仅有一个这样的分解，即满足存在性和唯一性。
分解方法：已知数据举矩阵V 和所能忍受的误差e ，求非负分解矩阵W ，H 。
（1） 随机初始化矩阵，要求非负；（2） 应用迭代公式进行迭代。
如果噪声服从高斯分布，则根据式()()Tik ik ikTikVH W W WHH ←g和式()()T kjkj kj TkjW V H H W WH ←g进行，如果噪声服从Poisson 分布，则根据式()kj ijij jik ik kjjH VWH W W H⎡⎤⎣⎦←∑∑g和 ()ik ikijikj kjik iW V WH H H W⎡⎤⎣⎦←∑∑g进行；（3）当||||V WH -误差小于e 时，或者达到最大迭代次数时，停止迭代。
模式识别教案
模式识别教案一、课题模式识别二、教学目标1. 知识与技能目标- 学生能够理解模式识别的基本概念，包括模式、模式类等。
- 了解模式识别的主要方法，如统计模式识别和结构模式识别的基本原理。
- 能够区分不同模式识别方法的适用场景。
2. 过程与方法目标- 通过案例分析，培养学生观察、分析和归纳总结的能力。
- 以小组合作探究的方式，让学生体验模式识别在实际生活中的应用开发过程，提高学生的团队协作能力和解决问题的能力。
3. 情感态度与价值观目标- 激发学生对模式识别这一人工智能领域的兴趣，培养学生对新兴技术的探索精神。
- 让学生意识到模式识别在现代科技发展和社会生活中的重要性，增强学生的科技意识。
三、教学重点&难点1. 教学重点- 模式识别的基本概念，如模式、模式类、特征提取等。
- 统计模式识别和结构模式识别的原理及主要算法。
- 模式识别在实际生活中的典型应用，如人脸识别、指纹识别等。
2. 教学难点- 理解统计模式识别中概率密度函数的估计方法，如最大似然估计等。
- 掌握结构模式识别中模式的描述和匹配方法，如句法分析等。
四、教学方法小组合作探究法、案例分析法、问题驱动法五、教学过程1. 导入（10分钟）- 教师展示一些图片，包括不同人的脸、不同的指纹、各种手写数字等。
然后提问学生：“你们是如何区分这些图片中的不同对象的呢？”引导学生思考人类识别物体的方式。
- 教师话术：“同学们，今天我们来看这些有趣的图片。
你们看，这里有很多不同的人脸，还有不同的指纹，以及手写的数字。
大家想一想，当你们看到这些的时候，你们是怎么知道哪张脸是不同的人，哪个指纹属于不同的手指，这些数字又分别是什么呢？其实，这就是一种识别的能力，而今天我们要学习的模式识别，就是让计算机也具备这样的能力。
”- 接着，教师再展示一些利用模式识别技术实现的成果，如门禁系统中的人脸识别、手机上的指纹解锁等视频，进一步激发学生的兴趣。
2. 概念讲解（15分钟）- 教师给出模式识别的定义：模式识别是指对表征事物或现象的各种形式的（数值的、文字的和逻辑关系的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。
模式识别总结
模式识别压轴总结
另外，使用欧氏距离度量时，还要注意模式样本测量值的选取，应该是有效 反映类别属性特征（各类属性的代表应均衡） 。但马氏距离可解决不均衡（一个 多，一个少）的问题。例如，取 5 个样本，其中有 4 个反映对分类有意义的特征 A，只有 1 个对分类有意义的特征 B，欧氏距离的计算结果，则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取， 预处理， 特征提取和选择， 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少 的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最 好的特征 特征提取/选择的目的，就是要压缩模式的维数，使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则，所提取的特征使在 某种准则下的分类错误最小。为此，必须考虑特征之间的统计关系，选用 适当的变换，才能提取最有效的特征。 特征提取的分类准则：在该准则下，选择对分类贡献较大的特征，删除贡 献甚微的特征。 特征选择：从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 － 典型的组合优化问题 特征选择的方法大体可分两大类： Filter 方法：根据独立于分类器的指标 J 来评价所选择的特征子集 S，然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法：将特征选择和分类器结合在一起，即特征子集的好坏标准 是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。
模式识别复习提纲2
（2）使用最近邻规则将所有样本分配到各聚类中心所代表的类
ωj（l）中，各类所包含的样本数为Nj(l)；
（3）计算各类的重心（均值向量），并令该重心为新的聚类中
心，即：
Zj(l+1)=N－j(1l)∑xi j=1,2,…,c xi∈ωj（l）
（4）如zj(l+1)≠zj(l)，表示尚未得到最佳聚类结果，则返回步骤 （2），继续迭代；
（1）绝对可分：
➢ 每个模式类都可用单一判别函数与其他模式类区分开。 ➢ 如是M类分类，则有M个判别函数
x2
d3（X）＝0
1
d1（X）＝0
2 d2（X）＝0
3
x1
判别函数的性质：
di(X)=Wi*TX*
>0， X∈ωi
<0， =0，
X不∈定ωj，j≠i
i，j=1,2,……,M
在模式空间S中，若给定N个样本，如能按 照样本间的相似程度，将S划分为k个决策 区域Si（i＝1，2，…..，k），使得各样本 均能归入其中一个类，且不会同时属于两 个类。即 S1∪S2∪S3∪……∪Sk＝S
Si∩Sj＝0，i≠j
数据聚类的依据是样本间的“相似度”
2、数据聚类的特点：
无监督学习 数据驱动 聚类结果多样化：特征选取、相似度的度 量标准，坐标比例；
dij(X)= -dji(X)
分类决策规则：
x2
d23（X）＝0 1 3
d12（X）＝0
2 d13（X）＝0
IR
x1
分类决策规则：
X∈ω1: d12(X)>0, d13(X)>0,
X∈ω2: d21(X)>0, d23(X)>0,
模式识别复习资料
（4）如果 Z j( k 1 ) Z j( k )j 1 ,2 , ,K ，则回到（2），将模式 样本逐个重新分类，重复迭代计算。
.
15
例2.3：已知20个模式样本如下，试用K-均值算法分类。
X1 0,0T X2 1,0T X3 0,1T X4 1,1T X5 2,1T X6 1,2T X7 2,2T X8 3,2T
x1
20
8 聚类准则函数Jj与K的关系曲线
上述K-均值算法，其类型数目假定已知为K个。当K未知时，
可以令K逐渐增加， 此时J j 会单调减少。最初减小速度快，但当 K 增加到一定数值时，减小速度会减慢，直到K =总样本数N 时，
Jj = 0。Jj－K关系曲线如下图：
Jj
曲线的拐点 A 对应着接近最优
④ 判断：
Zj(2)Zj(1)
j 1,2 ，故返回第②步。 .
17
② 从新的聚类中心得：
X 1： D D12||||X X11ZZ12((22))|||| X1S1(2) ┋
X 20：D D12||||X X2200Z Z12((22))|||| X20S2(2) 有： S 1 ( 2 ) { X 1 ,X 2 , ,X 8 } N 1 8
（2）将最小距离 3 对应的类 G1(0) 和G2 (0) 合并为1类，得 新的分类。
G 1( 1 2 ) G 1 ( 0 )G , 2 ( 0 ) G 3(1)G 3(0) G 4(1 )G 4(0 ) G 5(1)G 5(0) G 6(1 )G 6(0)
计算聚类后的距离矩阵D(1)： 由D(0) 递推出D(1) 。
3）计算合并后新类别之间的距离，得D(n+1)。
4）跳至第2步，重复计算及合并。
四川大学模式识别复习要点及答案
简答题1.什么是模式与模式识别？模式：对象之间存在的规律性关系；模式识别：是研究用计算机来实现人类模式识别能力的一门学科。
/*模式：广义地说，模式是一些供模仿用的、完美无缺的标本。
本课程把所见到的具体事物称为模式，而将它们归属的类别称为模式类。
模式的直观特性:可观察性，可区分性，相似性模式识别：指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。
*/2.一个典型的模式识别系统主要由哪几个部分组成3.什么是后验概率？系统在某个具体的模式样本X条件下位于某种类型的概率。
4.确定线性分类器的主要步骤①采集训练样本，构成训练样本集。
样本应该具有典型性②确定一个准则J=J(w,x)，能反映分类器性能，且存在权值w*使得分类器性能最优③设计求解w的最优算法，得到解向量w*5.样本集推断总体概率分布的方法6.近邻法的基本思想是什么？作为一种分段线性判别函数的极端情况，将各类中全部样本都作为代表点，这样的决策方法就是近邻法的基本思想。
7.什么是K近邻法？取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归为哪一类。
7.监督学习与非监督学习的区别利用已经标定类别的样本集进行分类器设计的方法称为监督学习。
很多情况下无法预先知道样本的类别，从没有标记的样本集开始进行分类器设计，这就是非监督学习。
/*监督学习：对数据实现分类，分类规则通过训练获得。
该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。
非监督学习方法不需要单独的离线训练过程，也没有带分类号的训练数据集，一般用来对数据集进行分析。
如聚类，确定其分布的主分量等。
*/8.什么是误差平方和准则？对于一个给定的聚类，均值向量是最能代表聚类中所有样本的一个向量，也称其为聚类中心。
一个好的聚类方法应能使集合中的所有向量与这个均值向量的误差的长度平方和最小。
9.分级聚类算法的2种基本途径是什么按事物的相似性，或内在联系组织起来，组成有层次的结构，使得本质上最接近的划为一类，然后把相近的类再合并，依次类推，这就是分级聚类算法的基本思想。
模式识别复习
第一、二章1． 模式识别概念、方法？概念：就是要用机器去完成人类智能中通过视觉听觉触觉等感官去识别外界环境的自然信息的这些工作。
方法：统计方法，句法方法，模糊方法，人工神经网络法，人工智能法2． 模式识别系统的组成，简述各部分的作用？数据获取：通过测量、采样和量化获取数据的过程 预处理：去出噪声,加强有用的信息,复原退化现象 特征提取和选择：得到最能反映分类本质的特征分类决策：就是在特征空间中用统计方法把被识别对象归为某一类别3．相似性度量有哪几种方法？（我找不到，要不你找找?）4．最常见的贝叶斯决策规则？分类？以两类模式（w1和w2 ）为例，根据Bayes 公式：1(|)()(|)(|)()i i i j j j P x w P w P w x P x w P w =×=×å即利用Bayes 公式将先验概率转化为后验概率。
①基于最小错误概率的Bayes 决策规则为：• 若P(w1|x)>P(w2|x)，则x ∈w1 ；反之则x ∈w2 • 或P(wi|x)=maxP(wj|x) ，则x ∈wi (i=1,2)②基于最小风险的贝叶斯决策如果1,...,(|)(|)mini aR a x R a x ==则 a=ak （即应采取的决策为ak ）(或述为x ∈wk)③最小和最大决策5．N-P 决策推导过程令 2)(ε=e P 下，求 (1eP 的极小值。
即：()0P e ε-=⎫⎬约束条件：条件极值如下（求极小值）目标函数采用Lagrange 乘子法，构造Lagrange 函数为：其中λ是Lagrange 乘子，目的是求 γ 的极小值。
(即λ为一待定常数）。
将p1(e)与p2(e)的表达式代入 上式。
]))|([)|(01221εωλωγ-+=⎰⎰dx x P dx x P R R化简后 dx x P x P dx R ⎰-+-=1120)]|()|([)1(ωωλλεγ上式中λ是Lagrange 乘子，而R1是变量，这样γ的极小值问题就是要选择R1和R2的边界（边界点为t ）问题了，即求R1使γ取极小值。
模式识别复习重点总结85199
１．什么是模式及模式识别？模式识别的应用领域主要有哪些？模式:存在于时间,空间中可观察的事物，具有时间或空间分布的信息; 模式识别：用计算机实现人对各种事物或现象的分析,描述,判断，识别。
模式识别的应用领域:（１)字符识别;(2) 医疗诊断；(3）遥感; （４)指纹识别 脸形识别；（5)检测污染分析,大气,水源，环境监测；(6)自动检测；(7 )语声识别,机器翻译，电话号码自动查询,侦听，机器故障判断； （８)军事应用。
2.模式识别系统的基本组成是什么?(1) 信息的获取:是通过传感器,将光或声音等信息转化为电信息；（2） 预处理:包括A ＼Ｄ,二值化，图象的平滑,变换，增强,恢复，滤波等， 主要指图象处理;(3） 特征抽取和选择:在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；（4） 分类器设计：分类器设计的主要功能是通过训练确定判决规则,使按此类判决规则分类时，错误率最低。
把这些判决规则建成标准库； （5） 分类决策：在特征空间中对被识别对象进行分类。
3．模式识别的基本问题有哪些？（１）模式（样本）表示方法：(ａ)向量表示;(ｂ)矩阵表示;（c)几何表示;(4)基元（链码)表示;（2)模式类的紧致性:模式识别的要求:满足紧致集,才能很好地分类;如果不满足紧致集,就要采取变换的方法,满足紧致集（3)相似与分类;(a)两个样本x i ，x j 之间的相似度量满足以下要求: ① 应为非负值② 样本本身相似性度量应最大 ③ 度量应满足对称性④ 在满足紧致性的条件下,相似性应该是点间距离的 单调函数(ｂ)用各种距离表示相似性 （4）特征的生成:特征包括：（a)低层特征;(b)中层特征;(ｃ)高层特征 （5） 数据的标准化:(a)极差标准化;(b)方差标准化4.线性判别方法（1）两类：二维及多维判别函数,判别边界，判别规则 二维情况：(a)判别函数: ( )（b)判别边界:g(x ）=0; (c)判别规则:n 维情况：（ａ）判别函数:也可表示为：32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值权向量，T T n n w w w w W ),,...,,(121=+（b)判别边界:ｇ1(x ) =W ＴX =０ （c)判别规则:(2）多类：3种判别方法（函数、边界、规则)（A ）第一种情况:(ａ)判别函数：M 类可有M 个判别函数(b) 判别边界：ωi (ｉ=1，2,…,n ）类与其它类之间的边界由 g ｉ(x ）＝0确定(ｃ）（B)第二种情况：(a)判别函数：有 M （M _１)/2个判别平面(ｂ) 判别边界: (c ）判别规则：(C)第三种情况：(a)判别函数: (b) 判别边界:g i (x ) ＝ｇj （x ） 或g i (x ) -ｇj (x ） =0(ｃ)判别规则:５．什么是模式空间及加权空间,解向量及解区？ （1)模式空间：由 构成的n 维欧氏空间;（2)加权空间:以为变量构成的欧氏空间； (3）解向量:分界面为H,W 与H 正交，Ｗ称为解向量; (４）解区：解向量的变动范围称为解区。
模式识别复习题参考
ω2: X2 =(1,1)T , X4 =(0,-2)T, X6 =(-2,0)T 给定初始增广权向量 w1=(1 1 1)T ， C=1。
要求：用感知器算法求模式分类的解向量w。 7-8 参考： 用多类感知器算法求下列模式的判别函数：
x4: 1, 1, 0, 2, 0
x5: 3, 2, 1, 2, 1 x6: 4, 1, 1, 1, 0
5、设有 5 个 6 维模式样本如下，按最小/大距离准则进行聚类分析（距离度量采用欧氏距离）
x1: 0, 1,3, 1, 3, 4
x2: 3, 3, 3, 1,2,1 x3: 1, 0, 0, 0, 1,1
ω1: (-1 -1)T，ω2: (0 0)T，ω3: (1 1)T 解：采用一般化的感知器算法，将模式样本写成增广形式，即
x1 =（-1,-1,1）T , x2 = (0, 0,1)T , x3 = (1,1,1)T
取初始值 w1 = w2 = w3 = (0, 0, 0)T ，取 C = 1，则有
第四步：若 z j (k + 1) ≠ z j (k) ，j=1,2,…,K，则返回第二步，将模式样本逐个重新分类，重复迭代
运算；
若 z j (k + 1) = z j (k) ，j=1,2,…,K，则算法收敛，计算结束。
（2）选 k = 2 ， z1(1) = x1, z2 (1) = x10 ，用 K-均值算法进行聚类分析
假设 i=j 时， D j (k) = min{ x − zi (k) ,i = 1,2,⋯K} ，则 x ∈ S j (k) ，其中 k 为迭代运算的次序号，
模式识别复习重点总结
1.什么是模式及模式识别？模式识别的应用领域主要有哪些？模式：存在于时间，空间中可观察的事物，具有时间或空间分布的信息； 模式识别：用计算机实现人对各种事物或现象的分析,描述,判断,识别。
模式识别的应用领域：（1）字符识别；（2） 医疗诊断；（3）遥感； (4）指纹识别 脸形识别；（5）检测污染分析，大气，水源，环境监测； （6）自动检测；（7 ）语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断； （8）军事应用。
2.模式识别系统的基本组成是什么？（1） 信息的获取：是通过传感器，将光或声音等信息转化为电信息；（2） 预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理；（3） 特征抽取和选择：在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；（4） 分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。
把这些判决规则建成标准库； （5） 分类决策：在特征空间中对被识别对象进行分类。
3.模式识别的基本问题有哪些？ （1）模式(样本)表示方法：（a ）向量表示；（b ）矩阵表示；（c ）几何表示；（4）基元(链码)表示；（2）模式类的紧致性：模式识别的要求:满足紧致集，才能很好地分类；如果不满足紧致集，就要采取变换的方法,满足紧致集（3）相似与分类；(a)两个样本x i ，x j 之间的相似度量满足以下要求： ① 应为非负值② 样本本身相似性度量应最大 ③ 度量应满足对称性④ 在满足紧致性的条件下，相似性应该是点间距离的 单调函数(b)用各种距离表示相似性（4）特征的生成:特征包括：(a)低层特征;(b)中层特征;(c)高层特征 （5） 数据的标准化:(a)极差标准化；(b)方差标准化4．线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则 二维情况：（a ）判别函数： ( ) （b ）判别边界：g(x)=0; （cn 维情况：（a ）判别函数： 也可表示为： 32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值模式向量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
复习要点绪论1、举出日常生活或技术、学术领域中应用模式识别理论解决问题的实例。
答：我的本科毕设内容和以后的研究方向为重症监护病人的状态监测与预诊断，其中的第一步就是进行ICU病人的死亡率预测，与模式识别理论密切相关。
主要的任务是分析数据库的8000名ICU病人，统计分析死亡与非死亡的生理特征，用于分析预测新进ICU病人的病情状态。
按照模式识别的方法步骤，首先从数据库中采集数据，包括病人的固有信息，生理信息，事件信息等并分为死亡组和非死亡组，然后分别进行数据的预处理，剔除不正常数据，对数据进行插值并取中值进行第一次特征提取，然后利用非监督学习的方法即聚类分析进行第二次特征提取，得到训练样本集和测试样本集。
分别利用判别分析，人工神经网络，支持向量机的方法进行训练，测试，得到分类器，实验效果比传统ICU 中采用的评价预测系统好一些。
由于两组数据具有较大重叠，特征提取，即提取模式特征就变得尤为重要。
语音识别，图像识别，车牌识别，文字识别，人脸识别，通信中的信号识别；① 文字识别汉字已有数千年的历史，也是世界上使用人数最多的文字，对于中华民族灿烂文化的形成和发展有着不可磨灭的功勋。
所以在信息技术及计算机技术日益普及的今天，如何将文字方便、快速地输入到计算机中已成为影响人机接口效率的一个重要瓶颈，也关系到计算机能否真正在我过得到普及的应用。
目前，汉字输入主要分为人工键盘输入和机器自动识别输入两种。
其中人工键入速度慢而且劳动强度大；自动输入又分为汉字识别输入及语音识别输入。
从识别技术的难度来说，手写体识别的难度高于印刷体识别，而在手写体识别中，脱机手写体的难度又远远超过了联机手写体识别。
到目前为止，除了脱机手写体数字的识别已有实际应用外，汉字等文字的脱机手写体识别还处在实验室阶段。
②语音识别语音识别技术技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。
近年来，在生物识别技术领域中，声纹识别技术以其独特的方便性、经济性和准确性等优势受到世人瞩目，并日益成为人们日常生活和工作中重要且普及的安验证方式。
而且利用基因算法训练连续隐马尔柯夫模型的语音识别方法现已成为语音识别的主流技术，该方法在语音识别时识别速度较快，也有较高的识别率。
③ 指纹识别我们手掌及其手指、脚、脚趾内侧表面的皮肤凹凸不平产生的纹路会形成各种各样的图案。
而这些皮肤的纹路在图案、断点和交叉点上各不相同，是唯一的。
依靠这种唯一性，就可以将一个人同他的指纹对应起来，通过比较他的指纹和预先保存的指纹进行比较，便可以验证他的真实身份。
一般的指纹分成有以下几个大的类别:环型(loop),螺旋型(whorl),弓型(arch),这样就可以将每个人的指纹分别归类，进行检索。
指纹识别基本上可分成：预处理、特征选择和模式分类几个大的步骤。
③ 遥感遥感图像识别已广泛用于农作物估产、资源勘察、气象预报和军事侦察等。
④医学诊断在癌细胞检测、X射线照片分析、血液化验、染色体分析、心电图诊断和脑电图诊断等方面，模式识别已取得了成效。
2、若要实现汽车车牌自动识别，你认为应该有哪些处理步骤？分别需要哪些模式识别方法？试用流程图予以说明。
答：汽车车牌自动识别需要有以下三大步骤：(1)获取包含车牌的彩色图像（2）实现车牌定位和获取（3）进行字符分割和识别，详细操作如流程图所示。
第一步需要建立字符库，即根据已知字符的二值图像进行处理生成特征字符库；第二步通过摄像头获取包含车牌的彩色图像，输入图像；第三步利用主成分分析法、K-L变换，MDS和KPCＡ等方法对车牌进行特征识别；第四步对车牌进行粗略定位和精细定位，如VMLA定位，基于边缘检测的方法，基于水平灰度变化特征的方法，基于车牌颜色特征的方法等。
第五步利用分类器确定车牌类型之后对字符进行分割，对图像进行预处理，去除铆钉，谷值分析，模板匹配，二值化投影法等第六步分割成得单个字符进行模式识别，得到每个字符，然后组合输出结果，具体的方法为统计学习或人工神经网络等。
统计决策3、最小错误率贝叶斯决策方法与最小风险贝叶斯决策方法4、正态分布下最小错误率决策与Neyman-Pearson决策方法（1）假设在某个地区的细胞识别中正常1ω和异常 2ω两类的先验概率分别为 正常状态 ：1()0.9P ω=异常状态：2()0.1P ω=现有一待识的细胞，其观测值为x ，从类条件概率密度分布曲线上查得12()0.2,()0.4p x p x ω==并且已知损失系数为λ11=0，λ12=1，λ21=6，λ22=0。
试对该细胞以以下两种方法进行分类：①基于最小错误概率准则的贝叶斯判决；②基于最小风险的贝叶斯判决。
解：①基于最小错误概率准则的贝叶斯判决.),()(),()(,182.0)(1)(818.01.04.09.02.09.02.0)()()()()(211211221111用所以先验概率起很大作因为属正常细胞。
因为先计算先验概率ωωωωωωωωωωωP P x x P x P x P x P P x P P x P x P j jj>>∈∴>=-==⨯+⨯⨯==∑=②基于最小风险的贝叶斯判决作用。
较大，决策损失起决定＝因类风险大。
因决策异常细胞因为条件风险：概率：由上例中计算出的后验6,)()(818.0)()(092.1)()()(182.0)(,818.0)(121211212212121121λωααωλαωλωλαωω∈∴>=======∑=x x R x R x P x R x P x P x R x P x P j j j（2）已知两个一维模式类别的类概率密度函数为⎩⎨⎧≤≤=其它 ,010 ,2)|(1x x x p ω ⎩⎨⎧≤≤-=其它, 010 , 22)|(2x x x p ω 先验概率P(ω1)=P(ω2)，损失函数，λ11=λ22=0，λ12=0.6，λ21=0.4。
（1）求最小平均损失Bayes 判决函数； （2）求总的误判概率P(e)；解：先求先验概率：()()()()()()()()()()()()()()22112222211111||||||||ωωωωωωωωωωωωωωP x P P x P P x P x P P x P P x P P x P x P +=+=、求条件风险：()()()()()()()()x P x P x P x P x P x P x P x P ||||||||12122212122122121111ωλωλωλαωλωλωλα=+==+=期望风险要求最小，当()()x P x P ||21αα=时满足要求，即()()()()()()6.024.0)22(6.0|4.0|6.0||1122121212=⨯=-==x x x P x P P x P x P x P ωωωωωλωλ（3）对于这个两类一维问题，若这两类的类概率密度分别服从正态分布N(0,σ2)和 N(1,σ2)，证明使平均决策风险最小的决策阈值为()()1212122ln 21ωλωλσP P x -=这里，假设风险函数λ11=λ22=0 。
一维正态分布：]2)([2221)(σμσπ--=x ex p解：先求先验概率：()()()()()()()()()()()()()()22112222211111||||||||ωωωωωωωωωωωωωωP x P P x P P x P x P P x P P x P P x P x P +=+=、求条件风险：()()()()()()()()x P x P x P x P x P x P x P x P ||||||||12122212122122121111ωλωλωλαωλωλωλα=+==+=期望风险要求最小，当()()x P x P ||21αα=时满足要求，即()()()()()()()()()()()()12121222212122212122122)1(1211212212121212ln 212ln 2)1(ln 2121||||2222ωλωλσσωλσωλωσπλωσπλωωλωωλωλωλσσP P x x P x P P e P e P x P P x P x P x P x x -=-=--===---两边取对数概率密度函数估计5、最大似然估计方法与贝叶斯估计方法答：最大似然估计是把待估的参数看作固定的未知量，而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量，通过对第i 类学习样本Xi 的观察，使概率密度分布P(Xi/θ)转化为后验概率P(θ/Xi) ，再求贝叶斯估计。
（4）设以下两类模式均为正态分布 1：{(0,0)T ，(2,0)T ，(2,2)T ，(0,2)T} 2：{(4,4)T ，(6,4)T ，(6,6)T ，(4,6)T}设P( 1)= P( 2)=1/2，求该两类模式之间的Bayes 判别界面的方程，并绘出判别界面。
解：()()()()()()()()[]()()()()()()()()[]()()()()[]()()()()[]()()()()()()()()[]()()()()[]()()()()0ln ,5.00ln ,916430043340034345656545431056545656545654543134545656543191643004334003434121210103101210121210121010313410121210315,5,,1,1,5)6644(41,5)4664(411)2200(41,1)0220(4166444664,2200022021212121-2122121112111,22222222221212222221111-112212111211112222122121112222211122212121112221121121====∑∑=∑⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∑⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=∑=-+-+-+-==--+--+--+--===-+-+-+-==∑⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∑⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=∑=-+-+-+-==--+--+--+--===-+-+-+-======+++==+++==+++==+++=⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡=ωωωωP P P P C C C C C C C C C C C C C C C C X X X X X X X X X X X X TTTT先验概率：，，，，协方差矩阵为： ①假定二类协方差矩阵不等6-0)()0,0(018)()0,0(),(x ,),(x 0)()(lnln 21)x x ()x x (21)x x ()x x (21)()()(21121212121211222111112=+==<-====∈⇒><-+-----=-=∑∑∑∑--x x x g X x g x x x x x P P x g x g x g T T T T T T 得分界线方程为：令类。