统计模式识别简介
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 若有未知类别的n个样本，要把它们分到C类中，可 以有不同的聚类方法，如何评价聚类的好坏，需要 决定一个聚类准则。聚类准则的确定有两种方法， 一是凭经验，根据分类问题，选择一种准则（例如 以距离函数作相似性度量），用不断修改阀值，来 达到某种最佳分类。另一种方法是确定一种函数， 当该函数取最小值时，仍未达到最佳分类。
• 当被识对象用n随机向量X表示，二我们已 知分类的先验概率的条件概率密度函数， 便可根据贝叶斯公式，求解后验概率，并 按后验概率的大小来判别分类，这就是贝 叶斯决策方法。下面介绍三种判别准则：
• （1）最小错误概率贝叶斯判别准则 （2）最小风险贝叶斯判别
• （3）聂曼－皮尔逊判别准则准则
（1）最小错误概率贝叶斯判别准则
近邻函数法
• 基于最邻近规范的试探法 • 最大最小距离法
基于最邻近规范的试探法
• 设有n个样本：X1,X2, ……，Xn。取任一样本（例如取X1） 为聚类中心Z1，则有X1=Z1。选取一非负的阀值T1。然 后计算X2到Z1的距离D21,距离函数可以选择上述任一种， 通常选用欧氏距离。计算距离结果，如果D21<T1，则认 为X2在Z1为中心的域内，即X2与X1同类。若D21>T1，则 建立一个新的聚类中心Z2，且X2=Z2。 下一步，取第三个样本X3，分别按距离函数计算X3到Z1、 Z2的距离D31、D32。若D31<T1，则X3与下1同类。若 D31>T1且D32>T1，则X3与X1、X2都不同类。并需建立 第三个聚类中心Z3=X3。 用上述方法对全部样本计算距离，比较阀值，决定聚类。 这种方法计算简单。当具有一些模式分布先验知识，以 指导阀值选取及初始点选择，便可较快获得结果。
统计模式识别模型
• 该模型主要包括两种操作模型:训练和分类 , 其中训练主要利用已有样本完成对决策边 界的划分 ,并采取了一定的学习机制以保证 基于样本的划分是最优的;而分类主要对输 入的模式利用其特征和训练得来的决策函 数而把模式划分到相应模式类中。
基本原理
• 统计模式识别(statistic pattern recognition) 的基本原理是：有相似性的样本在模式空 间中互相接近，并形成“集团”，即“物以类 聚”。其分析方法是根据模式所测得的特征 向量Xi=(xi1,xi2,…,xid)T(i=1,2,…,N)，将一个 给定的模式归入C个类ω1,ω2,…, ωc中，然后 根据模式之间的距离函数来判别分类。其 中，T表示转置；N为样本点数；d为样本特 征数。
非监督参数统计法
• 基于概率密度函数估计的直接方法 • 于样本空间相似性度量的间接聚类方法
聚类分析法
• 在没有训练集的情况下，对一批没有类别的被识别 样本进行自动分类，要按照样本之间的相似程度分 类，即俗语讲的“物以类聚，人以群分”，这种分 类方法称为聚类分析，它是一种无教师的非监督的 分类方法。
设有R类样本，分别为w1,w2,…wR, 已知每类的先验概率为P(wi), 其中 i=1,2, …,R。对于待识别的随机向量X,已知每类的条件概率密度为 P(X|wi),则根据贝叶斯公式有后验概率： P(wi|X)=(P(X| wi)*P(wi))/(∑P(X∣wi)*P(wi)) （1） 根据计算得出得后验概率，取最大得后验概率P(wi|X)所属的wi类，判 决X属于wi类。表示为： P(wi|X)>P(wj|X)则X属于wi 其中i,j=1,2, …,R,且存在j≠i，这就是贝叶斯判别准则。 若按统计理论定义“似然比”为： l(X) = P(X| wi)/ P(x| wi) 取判别阀值： θji= P(wj)/ P(wi) 则有贝叶斯判别准则的似然比表示形式： l(X) > P(wj)/ P(wi) 则X属于wi 对于两类模式集（w1,w2）的分类，贝叶斯判别准则简单表示为： 若 P(w1|X)>P(w2|X)则X属于w1 若 P(w2|X)>P(w1|X)则X属于w2 贝叶斯判别准则实质上是最小错误概率的贝叶斯判别准则。
最大最小距离法
• 这种方法以欧氏距离为度量，先选择相距最远的两点为中心，分别计算各种 本到这两中心的距离Di1和Di2,i=1,2, …，n。对每个i点取两个距离Di1和Di2中的 最小：min（Di1，Di2），检测全部min（Di1，Di2）中的最大者是否大于|Z1Z2|/2来判决聚类。故称最大最小距离法。以下图十点为例，具体步骤如下： 第一步：任意取X1为第一个聚类中心，即X1＝Z1。 第二步：确定离X1最远的标本，令X6＝Z2。 第三步：逐个计算各样本X1,X2, …,Xn与Z1及Z2的距离Di1，Di2。 Di1＝｜X i－Z1｜，Di2＝｜X i－Z2｜ 若存在max{ min（Di1，Di2）,i=1,2, …，n}>｜Z 1－Z2｜/2,则令X i＝Z3（X 7＝ Z3），转下一步。否则，转最后一步。 第四步：计算Di1，Di2，Di3若存在max{ min（Di1，Di2，Di3）,i=1,2, …，n}>｜ Z 1－Z2｜/2，则令Xi＝Z4，转下一步。否则，转最后一步。 …… 最后一步：将全部样本按最小距离分别到最近的聚类中心。本例为三个中心， 得分类结果： ｛X1X3X4｝为第一类，Z 1＝X 1 ｛X2X6｝为第二类，Z 2＝X 6 ｛X5X7X8X9X10｝为第三类，Z 3＝X 7
几何分类法（判别函数法）
•
一个模式经某种数学变换后，映射为一特
征向量，并表示为特征空间的一个点。同一类
的点构成点集，表示一类ωi。不同类的点集
（ωi ,i=1,2, …,n）总是互相有不同程度的分离。
若能几何的方法，找出一种不依赖于条件概率
密度的分离函数，把特征空间划分为对应于不
同类别的子空间，便可实现模式分类。因此，
统计模式识别
统计模式识别方法就是用给定的有限 数量样本集，在已知研究对象统计模型 或已知判别函数类条件下根据一定的准 则通过学习算法把d 维特征空间划分为c 个区域,每一个区域与每一类别相对应。
• 属于同一类别的各个模式之间的差异，部分是 由环境噪声和传感器的性质所引起的，部分是
模式本身所具有的随机性质。前者如纸的质量、 墨水、污点对书写字符的影响；后者表现为同
• 统计模式识别的方法有： • 贝叶斯决策方法 • （1）最小错误概率贝叶斯判别准则 • （2）最小风险贝叶斯判别 • （3）聂曼－皮尔逊判别准则准则 • 判别函数法 • （1）线性可分的几何分类法 • （2）非线性可分的几何分类法
• 监督参数统计法 • （1）KNN法（K最近邻法） • （2）Fisher判别分析法 • 非监督参数统计法 • （1）基于概率密度函数估计的直接方法 • （2）与样本空间相似性度量的间接聚类方法 • 聚类分析法 • 近邻函数法 • （1）基于最邻近规范的试探法 • （2）最大最小距离法
一个人书写同一字符时，虽形状相似，但不可
能完全一样。因此当用特征向量来表示这些在 形状上稍有差异的字符时，同这些特征向量
对应的特征空间中的点便不同一，而是分布在
特征空间的某个区域中。这个区域就可以用来 表示该随机向量实现的集合。
• 假使在特征空间中规定某种距离度量，从直观 上看，两点之间的距离越小，它们所对应的模 式就越相似。在理想的情况下，不同类的两个 模式之间的距离要大于同一类的两个模式之间 的距离，同一类的两点间连接线上各点所对应 的模式应属于同一类。一个畸变不大的模式所 对应的点应紧邻没有畸变时该模式所对应的点。 在这些条件下，可以准确地把特征空间划分为 同各个类别相对应的区域。在不满足上述条件 时，可以对每个特征向量估计其属于某一类的 概率，而把有最大概率值的那一类作为该点所 属的类别。
线性判别函数
• 基于线性判别函数的模式分类器称为线性 分类器。设计线性分类器的主要步骤是： 首先已知一组有类别的样本训练集。第二， 选择一个准则函数，该函数既与样本集X与 W有函数关系，又能反映分类器性能。第三， 用最优化技术求出准则函数的极值解W＊， 从而得到线性判别函数优化解。
监督参数统计法
统计模式识别简介
金新 0937009 张巧玲 0937036
吴曲 0937028 赵显峰 0937041
关于统计学的一个笑话：
有一个从没带过小孩的统计学家，因为妻子 出门勉强答应照看三个年幼好动的孩子。 妻子回家时，他交出一张纸条，写的是：
“擦眼泪11次；系鞋带15次；给每个孩子吹 玩具气球各5次,累计15次；每个气球的平均 寿命10秒钟；警告孩子不要横穿马路26次； 孩子坚持要穿马路26次；我还要再过这样 的星期六0次”。
• KNN法（ K最近邻法） • Fisher判别分析法
K最近邻法
• KNN法，也称K最近邻法，是模式识别的标准算法之一。 • 其基本原理是先将已经分好类别的训练样本点“记入”
多维空间中，然后将待分类的未知样本也记入空间。考 察未知样本的K个近邻，若近邻中某一类样本最多，则 可以将未知样本也判为该类。在多维空间中，各点间的 距离通常规定为欧几里得空间距离。KNN法的好处是它 对数据结构没有特定的要求，只要用每个未知点的近邻 属性类来判别就行了；KNN法也不需要训练过程。KNN 法的一个缺点就是它没有对训练点作信息压缩，因此每 判断一个新的未知点都要将所有对已知点的距离全部算 一遍，计算工作量较大。一种简化的算法称为类重心法， 即将训练中每类样本点的重心求出，然后判别未知样本 点与各类的重心的距离；未知样本与哪一类重心距离最 近，
• 统计学真的这样呆板吗？仅仅收集数据， 整理分析，累加平均…
• 统计理论要解决的是从数据中做出一些 推断、它为解决随机观测事件的决策过程 提供了理论基础。
• PR中的分类问题是根据识别对象特征的观 测值，将其分到相应的类别中去。
• 而统计决策理论是模式分类的主要理论和 工具之一。
• 下面我们介绍统计模式识别，以及几种最 常用、也是最基本的统计决策方法。
最小风险贝叶斯判别准则
• 在实际工作中，有时仅考•虑错误率最小是 不够的。要引入比错误率更广泛的概念— 风险、损失。
• 如果在采取每一决策时，其条件风险都最 小，则对所有的x作决策时，其平均（期望 风险）也最小。称为最小风险的贝叶斯决 策。
• 在决策理论中，称所采取的决定为决策或
行动。每个决策或行动都会带来一定的损 失。该损失用λ表示，它是与本该属于wi但 采取的决策为αj所造成的损失有关。由此定 义损失函数为λ（αj| wi）=λij(i,j=1,2, …,R)。 对样本X属于wi,有贝叶斯公式已知后验概率 为P(wi|X)
• 模式识别系统在进行工作时只要判断被识 别的对象落入哪一个区域，就能确定出它 所属的类别。由噪声和传感器Baidu Nhomakorabea引起的变 异性，可通过预处理而部分消除；而模式 本身固有的变异性则可通过特征抽取和特 征选择得到控制，尽可能地使模式在该特 征空间中的分布满足上述理想条件。因此 一个统计模式识别系统应包含预处理、特 征抽取、分类器等部分（见图）。
主要方法
• 贝叶斯决策法 • 线性判别函数 • 邻近法分类（KNN) • 最小距离分类 • 聚类分析法
贝叶斯决策方法
• 运用统计决策理论设计的分类系统又称为 分类器。
• 贝叶斯决策是一种统计模式识别决策法， 它有如下基本假定： 1.各类别总体的概率分布是已知的 2.被决策的分类数是一定的 3.被识别的事物或对象有多个特征观测值
统计模式识别的研究进展
• 类条件概率分布的估计 线性判别法 贝叶斯分类器 误差界
类条件概率分布的估计
• 考虑将待识样本X∈Rd判别为C个不同类ω1,ω2,…, ωc中的某一类。由贝叶
斯定理，X应判为具最大后验概率的那一类。由于类条件概率分布未知，故通 常假定分布为某一带参数的模型如多维正态分布(当多维正态分布中均值向量 和协方差矩阵已知时，由此分布得到的二次判别函数是最优的），而表示分 布的参数则由训练样本进行估计。当训练样本不充足时，分布参数包含估计 误差影响识别精度。
把这种分类方法称为几何分类法，把这种分离
函数成为判别函数。从而，几何分类法也通常
称为判别函数法。
• 判别函数可以是线性的或非线性的。利用 已知类别的训练集，通过统计方法，可以 求的判别函数的具体形式和参数，然后用 来判别未知样本属何类别。这种方法虽属 统计分类方法，但无需依赖于条件分布密 度的知识，因此在一些场合下，比基于贝 叶斯公式的概率分类法简单。
• 当被识对象用n随机向量X表示，二我们已 知分类的先验概率的条件概率密度函数， 便可根据贝叶斯公式，求解后验概率，并 按后验概率的大小来判别分类，这就是贝 叶斯决策方法。下面介绍三种判别准则：
• （1）最小错误概率贝叶斯判别准则 （2）最小风险贝叶斯判别
• （3）聂曼－皮尔逊判别准则准则
（1）最小错误概率贝叶斯判别准则
近邻函数法
• 基于最邻近规范的试探法 • 最大最小距离法
基于最邻近规范的试探法
• 设有n个样本：X1,X2, ……，Xn。取任一样本（例如取X1） 为聚类中心Z1，则有X1=Z1。选取一非负的阀值T1。然 后计算X2到Z1的距离D21,距离函数可以选择上述任一种， 通常选用欧氏距离。计算距离结果，如果D21<T1，则认 为X2在Z1为中心的域内，即X2与X1同类。若D21>T1，则 建立一个新的聚类中心Z2，且X2=Z2。 下一步，取第三个样本X3，分别按距离函数计算X3到Z1、 Z2的距离D31、D32。若D31<T1，则X3与下1同类。若 D31>T1且D32>T1，则X3与X1、X2都不同类。并需建立 第三个聚类中心Z3=X3。 用上述方法对全部样本计算距离，比较阀值，决定聚类。 这种方法计算简单。当具有一些模式分布先验知识，以 指导阀值选取及初始点选择，便可较快获得结果。
统计模式识别模型
• 该模型主要包括两种操作模型:训练和分类 , 其中训练主要利用已有样本完成对决策边 界的划分 ,并采取了一定的学习机制以保证 基于样本的划分是最优的;而分类主要对输 入的模式利用其特征和训练得来的决策函 数而把模式划分到相应模式类中。
基本原理
• 统计模式识别(statistic pattern recognition) 的基本原理是：有相似性的样本在模式空 间中互相接近，并形成“集团”，即“物以类 聚”。其分析方法是根据模式所测得的特征 向量Xi=(xi1,xi2,…,xid)T(i=1,2,…,N)，将一个 给定的模式归入C个类ω1,ω2,…, ωc中，然后 根据模式之间的距离函数来判别分类。其 中，T表示转置；N为样本点数；d为样本特 征数。
非监督参数统计法
• 基于概率密度函数估计的直接方法 • 于样本空间相似性度量的间接聚类方法
聚类分析法
• 在没有训练集的情况下，对一批没有类别的被识别 样本进行自动分类，要按照样本之间的相似程度分 类，即俗语讲的“物以类聚，人以群分”，这种分 类方法称为聚类分析，它是一种无教师的非监督的 分类方法。
设有R类样本，分别为w1,w2,…wR, 已知每类的先验概率为P(wi), 其中 i=1,2, …,R。对于待识别的随机向量X,已知每类的条件概率密度为 P(X|wi),则根据贝叶斯公式有后验概率： P(wi|X)=(P(X| wi)*P(wi))/(∑P(X∣wi)*P(wi)) （1） 根据计算得出得后验概率，取最大得后验概率P(wi|X)所属的wi类，判 决X属于wi类。表示为： P(wi|X)>P(wj|X)则X属于wi 其中i,j=1,2, …,R,且存在j≠i，这就是贝叶斯判别准则。 若按统计理论定义“似然比”为： l(X) = P(X| wi)/ P(x| wi) 取判别阀值： θji= P(wj)/ P(wi) 则有贝叶斯判别准则的似然比表示形式： l(X) > P(wj)/ P(wi) 则X属于wi 对于两类模式集（w1,w2）的分类，贝叶斯判别准则简单表示为： 若 P(w1|X)>P(w2|X)则X属于w1 若 P(w2|X)>P(w1|X)则X属于w2 贝叶斯判别准则实质上是最小错误概率的贝叶斯判别准则。
最大最小距离法
• 这种方法以欧氏距离为度量，先选择相距最远的两点为中心，分别计算各种 本到这两中心的距离Di1和Di2,i=1,2, …，n。对每个i点取两个距离Di1和Di2中的 最小：min（Di1，Di2），检测全部min（Di1，Di2）中的最大者是否大于|Z1Z2|/2来判决聚类。故称最大最小距离法。以下图十点为例，具体步骤如下： 第一步：任意取X1为第一个聚类中心，即X1＝Z1。 第二步：确定离X1最远的标本，令X6＝Z2。 第三步：逐个计算各样本X1,X2, …,Xn与Z1及Z2的距离Di1，Di2。 Di1＝｜X i－Z1｜，Di2＝｜X i－Z2｜ 若存在max{ min（Di1，Di2）,i=1,2, …，n}>｜Z 1－Z2｜/2,则令X i＝Z3（X 7＝ Z3），转下一步。否则，转最后一步。 第四步：计算Di1，Di2，Di3若存在max{ min（Di1，Di2，Di3）,i=1,2, …，n}>｜ Z 1－Z2｜/2，则令Xi＝Z4，转下一步。否则，转最后一步。 …… 最后一步：将全部样本按最小距离分别到最近的聚类中心。本例为三个中心， 得分类结果： ｛X1X3X4｝为第一类，Z 1＝X 1 ｛X2X6｝为第二类，Z 2＝X 6 ｛X5X7X8X9X10｝为第三类，Z 3＝X 7
几何分类法（判别函数法）
•
一个模式经某种数学变换后，映射为一特
征向量，并表示为特征空间的一个点。同一类
的点构成点集，表示一类ωi。不同类的点集
（ωi ,i=1,2, …,n）总是互相有不同程度的分离。
若能几何的方法，找出一种不依赖于条件概率
密度的分离函数，把特征空间划分为对应于不
同类别的子空间，便可实现模式分类。因此，
统计模式识别
统计模式识别方法就是用给定的有限 数量样本集，在已知研究对象统计模型 或已知判别函数类条件下根据一定的准 则通过学习算法把d 维特征空间划分为c 个区域,每一个区域与每一类别相对应。
• 属于同一类别的各个模式之间的差异，部分是 由环境噪声和传感器的性质所引起的，部分是
模式本身所具有的随机性质。前者如纸的质量、 墨水、污点对书写字符的影响；后者表现为同
• 统计模式识别的方法有： • 贝叶斯决策方法 • （1）最小错误概率贝叶斯判别准则 • （2）最小风险贝叶斯判别 • （3）聂曼－皮尔逊判别准则准则 • 判别函数法 • （1）线性可分的几何分类法 • （2）非线性可分的几何分类法
• 监督参数统计法 • （1）KNN法（K最近邻法） • （2）Fisher判别分析法 • 非监督参数统计法 • （1）基于概率密度函数估计的直接方法 • （2）与样本空间相似性度量的间接聚类方法 • 聚类分析法 • 近邻函数法 • （1）基于最邻近规范的试探法 • （2）最大最小距离法
一个人书写同一字符时，虽形状相似，但不可
能完全一样。因此当用特征向量来表示这些在 形状上稍有差异的字符时，同这些特征向量
对应的特征空间中的点便不同一，而是分布在
特征空间的某个区域中。这个区域就可以用来 表示该随机向量实现的集合。
• 假使在特征空间中规定某种距离度量，从直观 上看，两点之间的距离越小，它们所对应的模 式就越相似。在理想的情况下，不同类的两个 模式之间的距离要大于同一类的两个模式之间 的距离，同一类的两点间连接线上各点所对应 的模式应属于同一类。一个畸变不大的模式所 对应的点应紧邻没有畸变时该模式所对应的点。 在这些条件下，可以准确地把特征空间划分为 同各个类别相对应的区域。在不满足上述条件 时，可以对每个特征向量估计其属于某一类的 概率，而把有最大概率值的那一类作为该点所 属的类别。
线性判别函数
• 基于线性判别函数的模式分类器称为线性 分类器。设计线性分类器的主要步骤是： 首先已知一组有类别的样本训练集。第二， 选择一个准则函数，该函数既与样本集X与 W有函数关系，又能反映分类器性能。第三， 用最优化技术求出准则函数的极值解W＊， 从而得到线性判别函数优化解。
监督参数统计法
统计模式识别简介
金新 0937009 张巧玲 0937036
吴曲 0937028 赵显峰 0937041
关于统计学的一个笑话：
有一个从没带过小孩的统计学家，因为妻子 出门勉强答应照看三个年幼好动的孩子。 妻子回家时，他交出一张纸条，写的是：
“擦眼泪11次；系鞋带15次；给每个孩子吹 玩具气球各5次,累计15次；每个气球的平均 寿命10秒钟；警告孩子不要横穿马路26次； 孩子坚持要穿马路26次；我还要再过这样 的星期六0次”。
• KNN法（ K最近邻法） • Fisher判别分析法
K最近邻法
• KNN法，也称K最近邻法，是模式识别的标准算法之一。 • 其基本原理是先将已经分好类别的训练样本点“记入”
多维空间中，然后将待分类的未知样本也记入空间。考 察未知样本的K个近邻，若近邻中某一类样本最多，则 可以将未知样本也判为该类。在多维空间中，各点间的 距离通常规定为欧几里得空间距离。KNN法的好处是它 对数据结构没有特定的要求，只要用每个未知点的近邻 属性类来判别就行了；KNN法也不需要训练过程。KNN 法的一个缺点就是它没有对训练点作信息压缩，因此每 判断一个新的未知点都要将所有对已知点的距离全部算 一遍，计算工作量较大。一种简化的算法称为类重心法， 即将训练中每类样本点的重心求出，然后判别未知样本 点与各类的重心的距离；未知样本与哪一类重心距离最 近，
• 统计学真的这样呆板吗？仅仅收集数据， 整理分析，累加平均…
• 统计理论要解决的是从数据中做出一些 推断、它为解决随机观测事件的决策过程 提供了理论基础。
• PR中的分类问题是根据识别对象特征的观 测值，将其分到相应的类别中去。
• 而统计决策理论是模式分类的主要理论和 工具之一。
• 下面我们介绍统计模式识别，以及几种最 常用、也是最基本的统计决策方法。
最小风险贝叶斯判别准则
• 在实际工作中，有时仅考•虑错误率最小是 不够的。要引入比错误率更广泛的概念— 风险、损失。
• 如果在采取每一决策时，其条件风险都最 小，则对所有的x作决策时，其平均（期望 风险）也最小。称为最小风险的贝叶斯决 策。
• 在决策理论中，称所采取的决定为决策或
行动。每个决策或行动都会带来一定的损 失。该损失用λ表示，它是与本该属于wi但 采取的决策为αj所造成的损失有关。由此定 义损失函数为λ（αj| wi）=λij(i,j=1,2, …,R)。 对样本X属于wi,有贝叶斯公式已知后验概率 为P(wi|X)
• 模式识别系统在进行工作时只要判断被识 别的对象落入哪一个区域，就能确定出它 所属的类别。由噪声和传感器Baidu Nhomakorabea引起的变 异性，可通过预处理而部分消除；而模式 本身固有的变异性则可通过特征抽取和特 征选择得到控制，尽可能地使模式在该特 征空间中的分布满足上述理想条件。因此 一个统计模式识别系统应包含预处理、特 征抽取、分类器等部分（见图）。
主要方法
• 贝叶斯决策法 • 线性判别函数 • 邻近法分类（KNN) • 最小距离分类 • 聚类分析法
贝叶斯决策方法
• 运用统计决策理论设计的分类系统又称为 分类器。
• 贝叶斯决策是一种统计模式识别决策法， 它有如下基本假定： 1.各类别总体的概率分布是已知的 2.被决策的分类数是一定的 3.被识别的事物或对象有多个特征观测值
统计模式识别的研究进展
• 类条件概率分布的估计 线性判别法 贝叶斯分类器 误差界
类条件概率分布的估计
• 考虑将待识样本X∈Rd判别为C个不同类ω1,ω2,…, ωc中的某一类。由贝叶
斯定理，X应判为具最大后验概率的那一类。由于类条件概率分布未知，故通 常假定分布为某一带参数的模型如多维正态分布(当多维正态分布中均值向量 和协方差矩阵已知时，由此分布得到的二次判别函数是最优的），而表示分 布的参数则由训练样本进行估计。当训练样本不充足时，分布参数包含估计 误差影响识别精度。
把这种分类方法称为几何分类法，把这种分离
函数成为判别函数。从而，几何分类法也通常
称为判别函数法。
• 判别函数可以是线性的或非线性的。利用 已知类别的训练集，通过统计方法，可以 求的判别函数的具体形式和参数，然后用 来判别未知样本属何类别。这种方法虽属 统计分类方法，但无需依赖于条件分布密 度的知识，因此在一些场合下，比基于贝 叶斯公式的概率分类法简单。