模式识别 期末复习 笔记
模式识别与机器学习期末总结
模式识别复习重点总结
模式：存在于时间，空间中可观察的事物，具有时偶尔空间分布的信息； 模式识别：用计算机实现人对各种事物或者现象的分析,描述,判断,识别。
模式识别的应用领域： (1)字符识别； (2) 医疗诊断； (3)遥感； (4)指纹识别 脸形识别； (5)检测污染分析，大气，水源，环境监测； (6)自动检测； (7 )语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断； (8)军事应用。
(1) 信息的获取：是通过传感器，将光或者声音等信息转化为电信息；(2) 预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理； (3) 特征抽取和选择： 在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征； (4) 分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。
把这些判决规则建成标准库； (5) 分类决策：在特征空间中对被识别对象进行分类。
(1)模式(样本)表示方法： (a )向量表示； (b )矩阵表示； (c )几何表示； (4)基元(链 码)表示； (2)模式类的紧致性：模式识别的要求:满足紧致集，才干很好地分类；如果不满足紧 致集，就要采取变换的方法,满足紧致集(3)相似与分类； (a)两个样本x i ，x j 之间的相似度量满足以下要求：① 应为非负值② 样本本身相似性度量应最大 ③ 度量应满足对称性④ 在满足紧致性的条件下，相似性应该是点间距离的单调函数 (b) 用各种距离表示相似性(4)特征的生成:特征包括： (a)低层特征;(b)中层特征;(c)高层特征 (5) 数据的标准化:(a)极差标准化； (b)方差标准化二维情况： (a )判别函数： g(x) = w x + w x + w ( w 为参数， x , x 为坐标向量)1 12 23 1 2(b )判别边界： g(x)=0;(c )判别规则： (> 0, Xg i(x) =〈< 0, X1 n 维情况： (a )判别函数： g(x) = w 1x 1 + w2 x 2 + ...... + w n x n + w n +1也可表示为： g(x) = W T XW = (w , w ,..., w , w )T 为增值权向量，1 2 n n +1X ＝(x , x ,..., x ，x +1)T 为增值模式向量。
模式识别笔记
模式识别(Pattern Recognition)：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。
样本（Sample )：一个具体的研究（客观）对象。
如患者，某人写的一个汉字，一幅图片等。
模式(Pattern)：对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。
特征(Features)：能描述模式特性的量（某一模式的测量值集合中的同一量）。
在统计模式识别方法中，通常用一个矢量x 表示，称之为特征矢量，记为12(,,,)n x x x x '=。
（一个特征矢量描述一种模式） 模式类(Class)：具有某些共同特性的模式的集合。
模式识别的三大任务模式采集：从客观世界（对象空间）到模式空间的过程称为模式采集。
特征提取和特征选择：由模式空间到特征空间的变换和选择。
类型判别：特征空间到类型空间所作的操作。
模式识别系统的主要环节特征提取： 符号表示，如长度、波形、。
特征选择： 选择有代表性的特征，能够正确分类 学习和训练：利用已知样本建立分类和识别规则分类识别： 对所获得样本按建立的分类规则进行分类识别一、统计模式识别 模式描述方法：特征向量 12(,,,)n x x x x '= 模式判定：模式类用条件概率分布P(X/wi)表示,m 类就有m 个分布，然后判定未知模式属于哪一个分布。
主要方法：线性、非线性分类、Bayes 决策、聚类分析 主要优点：1）比较成熟2）能考虑干扰噪声等影响 3）识别模式基元能力强 主要缺点：1）对结构复杂的模式抽取特征困难 2）不能反映模式的结构特征，难以描述模式的性质 3）难以从整体角度考虑识别问题二、句法模式识别 模式描述方法：符号串，树，图 模式判定：是一种语言，用一个文法表示一个类，m 类就有m 个文法，然后判定未知模式遵循哪一个文法。
主要方法：自动机技术、CYK 剖析算法、Early 算法、转移图法主要优点：1）识别方便，可以从简单的基元开始，由简至繁。
模式识别复习提纲2
（2）使用最近邻规则将所有样本分配到各聚类中心所代表的类
ωj（l）中，各类所包含的样本数为Nj(l)；
（3）计算各类的重心（均值向量），并令该重心为新的聚类中
心，即：
Zj(l+1)=N－j(1l)∑xi j=1,2,…,c xi∈ωj（l）
（4）如zj(l+1)≠zj(l)，表示尚未得到最佳聚类结果，则返回步骤 （2），继续迭代；
（1）绝对可分：
➢ 每个模式类都可用单一判别函数与其他模式类区分开。 ➢ 如是M类分类，则有M个判别函数
x2
d3（X）＝0
1
d1（X）＝0
2 d2（X）＝0
3
x1
判别函数的性质：
di(X)=Wi*TX*
>0， X∈ωi
<0， =0，
X不∈定ωj，j≠i
i，j=1,2,……,M
在模式空间S中，若给定N个样本，如能按 照样本间的相似程度，将S划分为k个决策 区域Si（i＝1，2，…..，k），使得各样本 均能归入其中一个类，且不会同时属于两 个类。即 S1∪S2∪S3∪……∪Sk＝S
Si∩Sj＝0，i≠j
数据聚类的依据是样本间的“相似度”
2、数据聚类的特点：
无监督学习 数据驱动 聚类结果多样化：特征选取、相似度的度 量标准，坐标比例；
dij(X)= -dji(X)
分类决策规则：
x2
d23（X）＝0 1 3
d12（X）＝0
2 d13（X）＝0
IR
x1
分类决策规则：
X∈ω1: d12(X)>0, d13(X)>0,
X∈ω2: d21(X)>0, d23(X)>0,
模式识别与数据挖掘期末总结
模式识别与数据挖掘期末总结第一章概述1.数据分析是指采用适当的统计分析方法对收集到的数据进行分析、概括和总结，对数据进行恰当地描述，提取出有用的信息的过程。
2.数据挖掘(Data Mining，DM) 是指从海量的数据中通过相关的算法来发现隐藏在数据中的规律和知识的过程。
3.数据挖掘技术的基本任务主要体现在：分类与回归、聚类、关联规则发现、时序模式、异常检测4.数据挖掘的方法：数据泛化、关联与相关分析、分类与回归、聚类分析、异常检测、离群点分析、5.数据挖掘流程：（1）明确问题：数据挖掘的首要工作是研究发现何种知识。
（2）数据准备（数据收集和数据预处理）：数据选取、确定操作对象，即目标数据，一般是从原始数据库中抽取的组数据；数据预处理一般包括：消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换。
（3）数据挖掘：确定数据挖掘的任务，例如：分类、聚类、关联规则发现或序列模式发现等。
确定了挖掘任务后，就要决定使用什么样的算法。
（4）结果解释和评估：对于数据挖掘出来的模式，要进行评估，删除冗余或无关的模式。
如果模式不满足要求，需要重复先前的过程。
6.分类（Classification）是构造一个分类函数(分类模型)，把具有某些特征的数据项映射到某个给定的类别上。
7.分类过程由两步构成：模型创建和模型使用。
8.分类典型方法：决策树，朴素贝叶斯分类，支持向量机，神经网络，规则分类器，基于模式的分类，逻辑回归9.聚类就是将数据划分或分割成相交或者不相交的群组的过程，通过确定数据之间在预先指定的属性上的相似性就可以完成聚类任务。
划分的原则是保持最大的组内相似性和最小的组间相似性10.机器学习主要包括监督学习、无监督学习、半监督学习等1.（1）标称属性(nominal attribute)：类别，状态或事物的名字（2）：布尔属性（3）序数属性(ordinal attribute)：尺寸={小，中，大}，军衔，职称【前面三种都是定性的】（4）数值属性(numeric attribute）: 定量度量，用整数或实数值表示●区间标度(interval-scaled)属性：温度●比率标度(ratio-scaled)属性：度量重量、高度、速度和货币量●离散属性●连续属性2.数据的基本统计描述三个主要方面：中心趋势度量、数据分散度量、基本统计图●中心趋势度量：均值、加权算数平均数、中位数、众数、中列数（最大和最小值的平均值）●数据分散度量：极差（最大值与最小值之间的差距）、分位数（小于x的数据值最多为k/q，而大于x的数据值最多为(q-k)/q）、说明（特征化，区分，关联，分类，聚类，趋势/跑偏，异常值分析等）、四分位数、五数概括、离群点、盒图、方差、标准差●基本统计图：五数概括、箱图、直方图、饼图、散点图3.数据的相似性与相异性相异性：●标称属性：d(i,j)=1−m【p为涉及属性个数，m:若两个对象匹配为1否则p为0】●二元属性：d(i,j)=p+nm+n+p+q●数值属性：欧几里得距离：曼哈顿距离：闵可夫斯基距离：切比雪夫距离：●序数属性：【r是排名的值，M是排序的最大值】●余弦相似性：第三章数据预处理1.噪声数据：数据中存在着错误或异常（偏离期望值），如：血压和身高为0就是明显的错误。
模式识别期末复习总结
1、贝叶斯分类器贝叶斯分类器的定义：在具有模式的完整统计知识的条件下，按照贝叶斯决策理论进行设计的一种最优分类器。
贝叶斯分类器的分类原理：通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。
贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器。
贝叶斯的公式：什么情况下使用贝叶斯分类器：对先验概率和类概率密度有充分的先验知识，或者有足够多的样本，可以较好的进行概率密度估计，如果这些条件不满足，则采用最优方法设计出的分类器往往不具有最优性质。
2、K近邻法kNN算法的核心思想:如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
假设有N个已知样本分属c个类,考察新样本x在这些样本中的前K个近邻，设其中有个属于类，则类的判别函数就是决策规则:若则∈什么情况下使用K近邻法:kNN只是确定一种决策原则，在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别,并不需要利用已知数据事先训练出一个判别函数，这种方法不需要太多的先验知识。
在样本数量不足时，KNN法通常也可以得到不错的结果。
但是这种决策算法需要始终存储所有的已知样本，并将每一个新样本与所有已知样本进行比较和排序，其计算和存储的成本都很大。
对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
3、PCA和LDA的区别Principal Components Analysis(PCA)：uses a signal representation criterionLinear Discriminant Analysis(LDA)：uses a signal classification criterionLDA：线性判别分析，一种分类方法。
它寻找线性分类器最佳的法线向量方向，将高维数据投影到一维空间，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。
模式识别复习提纲
模式识别第⼀一章（主要是概念，可以参照PPT）模式的定义模式识别的⺫⽬目的假说的两种获得⽅方法模式分类的主要⽅方法模式识别系统的基本组成模式识别系统各组成单元的介绍第⼆二章聚类分析•聚类分析的定义聚类分析是⼀一种⽆无监督的分类⽅方法•模式相似/分类的依据•聚类分析的有效性•特征选择的维数——降维⽅方法是什么？•模式对象特征测量的数字化（了解涵义）•相似度测度——欧⽒氏距离（重点），⻢马⽒氏距离（了解），⼀一般化的明⽒氏距离（了解），⾓角度相似性函数（了解）•聚类准则——试探⽅方法；聚类准则函数法（聚类准则函数J的定义？）•聚类分析的算法•最近相邻规则的简单试探法（重点）•最⼤大最⼩小距离算法（了解算法流程和基本思想）•系统聚类法（重点）•动态聚类法——K均值算法（重点）；ISODATA算法（了解）第三章判别函数•线性判别函数（n维）•分类问题——多类情况1、2、3（重点）•⼲⼴广义线性判别函数（了解）•分段线性判别函数（了解）•模式空间与权空间（了解）•感知器算法（重点）第四章统计判别•⻉贝叶斯判别&判别原则•⻉贝叶斯最⼩小⻛风险判别（ppt上有例⼦子）•其他（参考PPT了解）第五章特征选择与提取•距离与散布矩阵（重点）•类内散布矩阵•类间散布矩阵•特征的选择与提取的原则与⽅方法（了解）•K-L变换第六章⼈人⼯工神经⺴⽹网络（⽼老师直接跳过了）第七章句法模式识别•⽂文法与⾃自动机相关的定义（如：句⼦子、句型、语⾔言、短语。
了解）•I型⽂文法•II型⽂文法•III型⽂文法•句法结构的⾃自动机识别（重点）•有限态⾃自动机•⾮非确定有限态⾃自动机•下推⾃自动机。
模式识别复习资料
（4）如果 Z j( k 1 ) Z j( k )j 1 ,2 , ,K ，则回到（2），将模式 样本逐个重新分类，重复迭代计算。
.
15
例2.3：已知20个模式样本如下，试用K-均值算法分类。
X1 0,0T X2 1,0T X3 0,1T X4 1,1T X5 2,1T X6 1,2T X7 2,2T X8 3,2T
x1
20
8 聚类准则函数Jj与K的关系曲线
上述K-均值算法，其类型数目假定已知为K个。当K未知时，
可以令K逐渐增加， 此时J j 会单调减少。最初减小速度快，但当 K 增加到一定数值时，减小速度会减慢，直到K =总样本数N 时，
Jj = 0。Jj－K关系曲线如下图：
Jj
曲线的拐点 A 对应着接近最优
④ 判断：
Zj(2)Zj(1)
j 1,2 ，故返回第②步。 .
17
② 从新的聚类中心得：
X 1： D D12||||X X11ZZ12((22))|||| X1S1(2) ┋
X 20：D D12||||X X2200Z Z12((22))|||| X20S2(2) 有： S 1 ( 2 ) { X 1 ,X 2 , ,X 8 } N 1 8
（2）将最小距离 3 对应的类 G1(0) 和G2 (0) 合并为1类，得 新的分类。
G 1( 1 2 ) G 1 ( 0 )G , 2 ( 0 ) G 3(1)G 3(0) G 4(1 )G 4(0 ) G 5(1)G 5(0) G 6(1 )G 6(0)
计算聚类后的距离矩阵D(1)： 由D(0) 递推出D(1) 。
3）计算合并后新类别之间的距离，得D(n+1)。
4）跳至第2步，重复计算及合并。
模式识别期末复习
1.模式是值得具体的摸一个物体，比如，李论是学生，李论是模式，学生是模式类。
2P134页5.23在图像识别中，假定有灌木丛和坦克两种类型，分别用ω1和ω2表示，它们的先验概率分别为0.7和0.3，损失函数如表所示。
现在做了四次试验，获得四个样本的类概率密度如下：：0.1，0.15，0.3， 0.6：0.8，0.7，0.55， 0.3（1）试用贝叶斯最小误判概率准则判决四个样本各属于哪个类型；（2）假定只考虑前两种判决，试用贝叶斯最小风险准则判决四个样本各属于哪个类型；（3）将拒绝判决考虑在内，重新考核四次试验的结果。
表类型损失判决ω1 ω2a1 (判为ω1) 0.5 2.0a2 (判为ω2) 4.0 1.0a3 (拒绝判决) 1.5 1.5解：（1）两类问题的Bayes最小误判概率准则为如果，则判，否则判。
由已知数据，q12=0.3/0.7=3/7，样本x1：∵ l12（x1）=0.1/0.8<q12=3/7 \ x1Îω2样本x2：∵ l12（x2）=0.15/0.7<q12=3/7 \ x2Îω2样本x3：∵ l12（x3）=0.3/0.55>q12=3/7 \ x3Îω1样本x4：∵ l12（x4）=0.6/0.3>q12=3/7 \ x4Îω1（2）不含拒绝判决的两类问题的Bayes最小风险判决准则为如果，则判，否则判。
由已知数据，q12=0.3´（2 - 1）/[0.7´（4 - 0.5）]=3/24.5，样本x1：∵ l12（x1）=1/8>q12=6/49 \ x1Îω1样本x2：∵ l12（x2）=3/14>q12=6/49 \ x2Îω1样本x3：∵ l12（x3）=6/11>q12=6/49 \ x3Îω1样本x4：∵ l12（x4）=6/3>q12=6/49 \ x4Îω1（3）含拒绝判决的两类问题的Bayes最小风险判决准则为其中条件风险：后验概率：记 (4.7-1)则，含拒绝判决的两类问题的Bayes最小风险判决准则为对四个样本逐一列写下表，用(4.7-1)式计算r(aj|x)。
模式识别期末复习笔记
模式识别期末复习笔记模式识别ch2 贝叶斯决策1.贝叶斯公式2.贝叶斯决策的特例a)先验概率相同（均匀先验概率）：决策仅依赖于类条件概率密度b)类条件概率密度相同：决策仅依赖于先验概率3.计算题（医学测试⽅法）4.计算题（车⾝⾼低）5.贝叶斯决策的最优性a)最⼩化误差概率的⾓度i.每次均选择概率⼤的类做判断结果，因此错误概率永远是最⼩的b)最⼩化风险的⾓度i.每次均选择条件风险最⼩的结果，因此总风险最⼩6.对于两类分类问题，最⼩风险贝叶斯决策a)可以基于似然⽐进⾏决策b)p(x|ω1)p(x|ω2)≥λ12?λ22λ21?λ11p(ω2)p(ω1)则判断为1类，否则为2类c)似然⽐超过某个阈值（θ），那么可判决为ω1类7.0-1损失（误判是等价的）：最⼩化风险就是最⼤化后验，也就是选择后验最⼤的a)最⼩化误差概率与最⼩化风险等价，即选择最⼤后验的分类，即满⾜最⼩误差概率，也满⾜最⼩风险8.先验概率未知时如何设计风险最⼩的分类器？a)使先验概率取任意值时的总风险的最坏情况尽可能⼩b)极⼩化极⼤准则：i.极⼩化指的是贝叶斯风险，因为它是总风险的最⼩值ii.极⼤化指的是使贝叶斯风险达到最⼤iii.贝叶斯风险是和先验有关的，其最⼤也就是其极值，就是导数等于0 的时候c)极⼩化极⼤风险是最坏的贝叶斯风险9.从最⼩化误差概率的意义上讲，贝叶斯是最优的；贝叶斯决策得到的总风险也是最⼩的10.判别函数a)对于两类分类，根据判别函数的正负进⾏类的判断；对于多类问题，两两组成两类问题b)两类问题下：g(x)=g1(x)?g2(x)i.若g(x)≥0，即g1(x)≥g2(x)，则判断为1类，否则为2类c)g1(x)，g2(x)的设计i.最⼩总风险贝叶斯分类器1.g1(x)=?R(α1|x)，风险的相反数ii.最⼩误差概率贝叶斯分类器1. g 1(x )=p (ω1|x )2. g 1(x )=p (x|ω1)p (ω1)3. g 1(x )=log(p (x|ω1))+log(p (ω1))11.12. 计算题（决策边界为何下偏）ch3 参数估计1. 模式分类的途径（截图）2. 当可⽤数据很多以⾄于减轻了先验知识的作⽤时，贝叶斯估计可退化为最⼤似然估计。
四川大学模式识别复习要点及答案
简答题1.什么是模式与模式识别？模式：对象之间存在的规律性关系；模式识别：是研究用计算机来实现人类模式识别能力的一门学科。
/*模式：广义地说，模式是一些供模仿用的、完美无缺的标本。
本课程把所见到的具体事物称为模式，而将它们归属的类别称为模式类。
模式的直观特性:可观察性，可区分性，相似性模式识别：指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。
*/2.一个典型的模式识别系统主要由哪几个部分组成3.什么是后验概率？系统在某个具体的模式样本X条件下位于某种类型的概率。
4.确定线性分类器的主要步骤①采集训练样本，构成训练样本集。
样本应该具有典型性②确定一个准则J=J(w,x)，能反映分类器性能，且存在权值w*使得分类器性能最优③设计求解w的最优算法，得到解向量w*5.样本集推断总体概率分布的方法6.近邻法的基本思想是什么？作为一种分段线性判别函数的极端情况，将各类中全部样本都作为代表点，这样的决策方法就是近邻法的基本思想。
7.什么是K近邻法？取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归为哪一类。
7.监督学习与非监督学习的区别利用已经标定类别的样本集进行分类器设计的方法称为监督学习。
很多情况下无法预先知道样本的类别，从没有标记的样本集开始进行分类器设计，这就是非监督学习。
/*监督学习：对数据实现分类，分类规则通过训练获得。
该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。
非监督学习方法不需要单独的离线训练过程，也没有带分类号的训练数据集，一般用来对数据集进行分析。
如聚类，确定其分布的主分量等。
*/8.什么是误差平方和准则？对于一个给定的聚类，均值向量是最能代表聚类中所有样本的一个向量，也称其为聚类中心。
一个好的聚类方法应能使集合中的所有向量与这个均值向量的误差的长度平方和最小。
9.分级聚类算法的2种基本途径是什么按事物的相似性，或内在联系组织起来，组成有层次的结构，使得本质上最接近的划为一类，然后把相近的类再合并，依次类推，这就是分级聚类算法的基本思想。
模式识别复习要点
复习要点绪论1、举出日常生活或技术、学术领域中应用模式识别理论解决问题的实例。
答：语音识别，图像识别，车牌识别，文字识别，人脸识别，通信中的信号识别；① 文字识别汉字已有数千年的历史，也是世界上使用人数最多的文字，对于中华民族灿烂文化的形成和发展有着不可磨灭的功勋。
所以在信息技术及计算机技术日益普及的今天，如何将文字方便、快速地输入到计算机中已成为影响人机接口效率的一个重要瓶颈，也关系到计算机能否真正在我过得到普及的应用。
目前，汉字输入主要分为人工键盘输入和机器自动识别输入两种。
其中人工键入速度慢而且劳动强度大；自动输入又分为汉字识别输入及语音识别输入。
从识别技术的难度来说，手写体识别的难度高于印刷体识别，而在手写体识别中，脱机手写体的难度又远远超过了联机手写体识别。
到目前为止，除了脱机手写体数字的识别已有实际应用外，汉字等文字的脱机手写体识别还处在实验室阶段。
②语音识别语音识别技术技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。
近年来，在生物识别技术领域中，声纹识别技术以其独特的方便性、经济性和准确性等优势受到世人瞩目，并日益成为人们日常生活和工作中重要且普及的安验证方式。
而且利用基因算法训练连续隐马尔柯夫模型的语音识别方法现已成为语音识别的主流技术，该方法在语音识别时识别速度较快，也有较高的识别率。
③ 指纹识别我们手掌及其手指、脚、脚趾内侧表面的皮肤凹凸不平产生的纹路会形成各种各样的图案。
而这些皮肤的纹路在图案、断点和交叉点上各不相同，是唯一的。
依靠这种唯一性，就可以将一个人同他的指纹对应起来，通过比较他的指纹和预先保存的指纹进行比较，便可以验证他的真实身份。
一般的指纹分成有以下几个大的类别:环型(loop),螺旋型(whorl),弓型(arch),这样就可以将每个人的指纹分别归类，进行检索。
指纹识别基本上可分成：预处理、特征选择和模式分类几个大的步骤。
模式识别复习
第一、二章1． 模式识别概念、方法？概念：就是要用机器去完成人类智能中通过视觉听觉触觉等感官去识别外界环境的自然信息的这些工作。
方法：统计方法，句法方法，模糊方法，人工神经网络法，人工智能法2． 模式识别系统的组成，简述各部分的作用？数据获取：通过测量、采样和量化获取数据的过程 预处理：去出噪声,加强有用的信息,复原退化现象 特征提取和选择：得到最能反映分类本质的特征分类决策：就是在特征空间中用统计方法把被识别对象归为某一类别3．相似性度量有哪几种方法？（我找不到，要不你找找?）4．最常见的贝叶斯决策规则？分类？以两类模式（w1和w2 ）为例，根据Bayes 公式：1(|)()(|)(|)()i i i j j j P x w P w P w x P x w P w =×=×å即利用Bayes 公式将先验概率转化为后验概率。
①基于最小错误概率的Bayes 决策规则为：• 若P(w1|x)>P(w2|x)，则x ∈w1 ；反之则x ∈w2 • 或P(wi|x)=maxP(wj|x) ，则x ∈wi (i=1,2)②基于最小风险的贝叶斯决策如果1,...,(|)(|)mini aR a x R a x ==则 a=ak （即应采取的决策为ak ）(或述为x ∈wk)③最小和最大决策5．N-P 决策推导过程令 2)(ε=e P 下，求 (1eP 的极小值。
即：()0P e ε-=⎫⎬约束条件：条件极值如下（求极小值）目标函数采用Lagrange 乘子法，构造Lagrange 函数为：其中λ是Lagrange 乘子，目的是求 γ 的极小值。
(即λ为一待定常数）。
将p1(e)与p2(e)的表达式代入 上式。
]))|([)|(01221εωλωγ-+=⎰⎰dx x P dx x P R R化简后 dx x P x P dx R ⎰-+-=1120)]|()|([)1(ωωλλεγ上式中λ是Lagrange 乘子，而R1是变量，这样γ的极小值问题就是要选择R1和R2的边界（边界点为t ）问题了，即求R1使γ取极小值。
模式识别复习重点总结85199
１．什么是模式及模式识别？模式识别的应用领域主要有哪些？模式:存在于时间,空间中可观察的事物，具有时间或空间分布的信息; 模式识别：用计算机实现人对各种事物或现象的分析,描述,判断，识别。
模式识别的应用领域:（１)字符识别;(2) 医疗诊断；(3）遥感; （４)指纹识别 脸形识别；（5)检测污染分析,大气,水源，环境监测；(6)自动检测；(7 )语声识别,机器翻译，电话号码自动查询,侦听，机器故障判断； （８)军事应用。
2.模式识别系统的基本组成是什么?(1) 信息的获取:是通过传感器,将光或声音等信息转化为电信息；（2） 预处理:包括A ＼Ｄ,二值化，图象的平滑,变换，增强,恢复，滤波等， 主要指图象处理;(3） 特征抽取和选择:在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；（4） 分类器设计：分类器设计的主要功能是通过训练确定判决规则,使按此类判决规则分类时，错误率最低。
把这些判决规则建成标准库； （5） 分类决策：在特征空间中对被识别对象进行分类。
3．模式识别的基本问题有哪些？（１）模式（样本）表示方法：(ａ)向量表示;(ｂ)矩阵表示;（c)几何表示;(4)基元（链码)表示;（2)模式类的紧致性:模式识别的要求:满足紧致集,才能很好地分类;如果不满足紧致集,就要采取变换的方法,满足紧致集（3)相似与分类;(a)两个样本x i ，x j 之间的相似度量满足以下要求: ① 应为非负值② 样本本身相似性度量应最大 ③ 度量应满足对称性④ 在满足紧致性的条件下,相似性应该是点间距离的 单调函数(ｂ)用各种距离表示相似性 （4）特征的生成:特征包括：（a)低层特征;(b)中层特征;(ｃ)高层特征 （5） 数据的标准化:(a)极差标准化;(b)方差标准化4.线性判别方法（1）两类：二维及多维判别函数,判别边界，判别规则 二维情况：(a)判别函数: ( )（b)判别边界:g(x ）=0; (c)判别规则:n 维情况：（ａ）判别函数:也可表示为：32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值权向量，T T n n w w w w W ),,...,,(121=+（b)判别边界:ｇ1(x ) =W ＴX =０ （c)判别规则:(2）多类：3种判别方法（函数、边界、规则)（A ）第一种情况:(ａ)判别函数：M 类可有M 个判别函数(b) 判别边界：ωi (ｉ=1，2,…,n ）类与其它类之间的边界由 g ｉ(x ）＝0确定(ｃ）（B)第二种情况：(a)判别函数：有 M （M _１)/2个判别平面(ｂ) 判别边界: (c ）判别规则：(C)第三种情况：(a)判别函数: (b) 判别边界:g i (x ) ＝ｇj （x ） 或g i (x ) -ｇj (x ） =0(ｃ)判别规则:５．什么是模式空间及加权空间,解向量及解区？ （1)模式空间：由 构成的n 维欧氏空间;（2)加权空间:以为变量构成的欧氏空间； (3）解向量:分界面为H,W 与H 正交，Ｗ称为解向量; (４）解区：解向量的变动范围称为解区。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模式识别ch2 贝叶斯决策1.贝叶斯公式2.贝叶斯决策的特例a)先验概率相同（均匀先验概率）：决策仅依赖于类条件概率密度b)类条件概率密度相同：决策仅依赖于先验概率3.计算题（医学测试方法）4.计算题（车身高低）5.贝叶斯决策的最优性a)最小化误差概率的角度i.每次均选择概率大的类做判断结果，因此错误概率永远是最小的b)最小化风险的角度i.每次均选择条件风险最小的结果，因此总风险最小6.对于两类分类问题，最小风险贝叶斯决策a)可以基于似然比进行决策b)p(x|ω1)p(x|ω2)≥λ12−λ22λ21−λ11p(ω2)p(ω1)则判断为1类，否则为2类c)似然比超过某个阈值（θ），那么可判决为ω1类7.0-1损失（误判是等价的）：最小化风险就是最大化后验，也就是选择后验最大的a)最小化误差概率与最小化风险等价，即选择最大后验的分类，即满足最小误差概率，也满足最小风险8.先验概率未知时如何设计风险最小的分类器？a)使先验概率取任意值时的总风险的最坏情况尽可能小b)极小化极大准则：i.极小化指的是贝叶斯风险，因为它是总风险的最小值ii.极大化指的是使贝叶斯风险达到最大iii.贝叶斯风险是和先验有关的，其最大也就是其极值，就是导数等于0 的时候c)极小化极大风险是最坏的贝叶斯风险9.从最小化误差概率的意义上讲，贝叶斯是最优的；贝叶斯决策得到的总风险也是最小的10.判别函数a)对于两类分类，根据判别函数的正负进行类的判断；对于多类问题，两两组成两类问题b)两类问题下：g(x)=g1(x)−g2(x)i.若g(x)≥0，即g1(x)≥g2(x)，则判断为1类，否则为2类c)g1(x)，g2(x)的设计i.最小总风险贝叶斯分类器1.g1(x)=−R(α1|x)，风险的相反数ii.最小误差概率贝叶斯分类器1. g 1(x )=p (ω1|x )2. g 1(x )=p (x|ω1)p (ω1)3. g 1(x )=log(p (x|ω1))+log(p (ω1))11.12. 计算题（决策边界为何下偏）ch3 参数估计1. 模式分类的途径（截图）2. 当可用数据很多以至于减轻了先验知识的作用时，贝叶斯估计可退化为最大似然估计。
也就是说，贝叶斯估计比最大似然估计多利用了未知参数的先验知识。
3. 最大似然估计：使观测到这些样本的可能性最大的参数值a) 通过最大化似然函数或者对数似然函数来实现b) c) 先得到似然函数或对数似然函数，然后通过梯度算子，得到极值 d) 对于假定类条件概率密度为正态分布的情况 i.μ未知：μ的最大似然估计是样本的均值ii.μ and Σ均未知1.单变量（特征数目为1）a)μ的最大似然估计是样本均值b)Σ的最大似然估计是样本协方差2.多元变量（特征数目不为1）a)μ的最大似然估计是样本均值b)Σ的最大似然估计是样本协方差（不是无偏估计）4.贝叶斯估计a)将未知参数看做随机变量，根据贝叶斯公式，利用先验概率和样本，得到观察样本之后的后验概率。
b)并非将后验概率分布的尖峰对应的未知参数值直接带入形式中，而是将整个后验概率分布与类条p(x|ω,D)=∫p(x|θ)p(θ|D)dθp(x|θ)是形式已知，参数未知的类条件概率密度，p(θ|D)是未知参数的后验概率c)若将后验概率分布的尖峰对应的未知参数值直接带入形式中，得到的是与p(x|ω,D)近似的解。
d)对于假定类条件概率密度为正态分布的情况，先验为已知的正态分布i.单变量，μ未知，σ2已知ii.多变量，μ未知，Σ已知5.计算题（贝叶斯学习）Ch4 参数模型1.隐马尔可夫模型a)估值问题：计算产生某观测序列的概率i.计算时注意：序列是t=1开始产生的，而初始状态是t=0ii.t=2是在t=1的基础上得到的。
所以计算t=2时不能不考虑t=1时的符号b)解码问题：根据观测序列，寻找最有可能的状态序列i.与估值问题类似的地方在于均可以用前那一列的数据进一步进行计算；不同之处在于解码问题在根据状态计算观测字符的步骤时，不是所有状态都计算之后相加，而是在乘以字符概率步骤之前选择最大的状态概率，用这个概率进行计算。
并同时标记选定的状态。
ii.将图做完后，进行回溯：选择最后一列最大的数值对应的元素的状态，然后该状态标记的状态，该标记的状态标记的状态等等一直回溯下去。
然后倒序即可。
c)学习、参数估计模型：略d)计算题，估值问题e)计算题，解码问题2.贝叶斯置信网a)计算概率i.从上向下算，没有箭头直连的乘时顺序无所谓ii.箭头发出方如果有不确定情况，这种加和会延续至所有其子状态b)计算置信度i.对计算概率时的不确定项的取值，进行分析，选择出最有可能的不确定项的取值ii. 和计算概率类似，将不确定项的每个取值都带入，算出多个结果，这个结果是概率的alpha 倍，归一化后得到置信度iii.如果问的置信度是相对于两个状态之间的，则分别计算每个状态的每个取值的alpha 概率，然后分别对每个状态得到的多个取值对应的概率归一化并得出每个状态符合题意的那个取值的归一化后的置信度，最后比较每个状态基于这个取值的置信度c) 计算题 3. 期望最大化算法Ch5 非参数方法1. Parzen 窗a) 体积是N 的函数 b) 举例，计算 2. Kn 近邻a) 目标个数是N 的函数 3. K 近邻：直接估计后验概率a) K=1：把x 判定为离它最近的那个点的类b) K>1：把x 判定为它周围k 个点中出现次数最多的类 4. 距离度量（计算题）a) 欧几里得距离 i. (∑(a k −b k )2d k=1)1/2ii.受特征尺度影响b) Minkowski 距离 i. Lk 范数：(∑|a k −b k |kd k=1)1/kii. L1范数：∑|a k −b k |d k=1 iii. L2范数：欧几里得距离iv. L 无穷范数：两个点在d 个坐标轴上投影长度的最大值 c) Mahalanobis 距离i. √(a −b )t Σ−1(a −b) ii. 计算 d) Tanimoto 距离i. 集合之间距离ii. n 1+n 2−2n 1,2n 1+n 2−n 1,2iii. 计算 e) Hausdorff 距离i. 集合之间距离 ii. 最小距离的最大值 iii.Mina1=Min(a1->b1, b2)iv.Mina2=Min(a2->b1, b2)v.Minb1=Min(b1->a1, a2)vi.Minb2=Min(b2->a1, a2)vii.Maxa=max(mina1, mina2)viii.Maxb=max(minb1, minb2)ix.Distance=max(maxa, maxb)f)切空间距离i.任意变换不变性Ch6 特征降维和选择1.特征组合a)主成分分析PCA（最小化重构误差）i.计算散布矩阵s -> s的特征值与特征向量-> 拿出较大的d个特征值对应的特征向量-> 组成变换矩阵ii.多大的d个特征值：值占全体的98%，或者找拐点iii.选出来的向量是沿方差最大的方向的b)线性判别分析LDA（最大化类别可分性，fisher线性判别）i.不同类尽量分开，同一类尽量靠近ii.betweenwithin =|m1̃−m2̃|s12+s22=w t S B ww t S W w最大：S B w=λS W w→S W−1S B w=λwiii.2.特征选择a)搜索过程i.循环向前选择法ii.循环向后选择法b)选择准则i.泛化误差：均方误差ii.类内距离度量：类内散布度Ch7 线性判别函数1.判别函数2.广义线性判别函数3.两类线性可分情况4.准则函数a)最小化准则函数的方法i.梯度下降（阈值在准则函数值）1.最优学习率ii.牛顿下降（阈值在步长）b)准则函数的选取：a为解向量时（也是不等式组的解），J(a)最小i.感知器准则函数：被a确定的决策面错分的样本数，正比于错分的样本到决策面的距离。
ii.感知器准则函数最小化5.线性不可分情况：将不等式组改为方程组a)最小平方误差准则b)Widrow-hoff方法6.支持向量机7.多维：keslerCh8 多层神经网络1.是一种判别函数2.简单感知器（仅包含输入层和输出层的两层前馈神经网络，两层之间全互连）a)初始化w=[0, 0,…, 0]b)放入x1，判断sig（wx1）是否满足期望结果i.满足：放入下一个样本ii.不满足：修正c)直到所有样本都满足d)修正方法：new_w=old_w+x*labele)f)3.多层前馈神经网络（至少包含一个隐含层的前馈神经网络）4.反向传播算法BPa)首先给定的模式从输入层传到隐藏层，然后传到下一个隐藏层，最终输出。
b)推导过程Ch10 决策树1.节点代表测试（查询），分支代表结果，叶节点代表类别2.是二叉树3.如何设计查询a)计算不纯度b)选择使不纯度下降最快的查询c)如果使用熵不纯度，则不纯度下降差就是本次查询所能提供的信息增益，应使信息增益尽可能大4.如何确定停止准则a)五个准则b)预剪枝c)后剪枝Ch11 聚类1.。