统计模式识别简介.ppt

• 模式识别系统在进行工作时只要判断被识 别的对象落入哪一个区域，就能确定出它 所属的类别。由噪声和传感器所引起的变 异性，可通过预处理而部分消除；而模式 本身固有的变异性则可通过特征抽取和特 征选择得到控制，尽可能地使模式在该特 征空间中的分布满足上述理想条件。因此 一个统计模式识别系统应包含预处理、特 征抽取、分类器等部分（见图）。
• 统计学真的这样呆板吗？仅仅收集数据， 整理分析，累加平均…
• 统计理论要解决的是从数据中做出一些 推断、它为解决随机观测事件的决策过程 提供了理论基础。
• PR中的分类问题是根据识别对象特征的观 测值，将其分到相应的类别中去。
• 而统计决策理论是模式分类的主要理论和 工具之一。
• 下面我们介绍统计模式识别，以及几种最 常用、也是最基本的统计决策方法。
统计模式识别简介
金新 0937009 张巧玲 0937036
吴曲 0937028 赵显峰 0937041
关于统计学的一个笑话：
有一个从没带过小孩的统计学家，因为妻子 出门勉强答应照看三个年幼好动的孩子。 妻子回家时，他交出一张纸条，写的是：
“擦眼泪11次；系鞋带15次；给每个孩子吹 玩具气球各5次,累计15次；每个气球的平 均寿命10秒钟；警告孩子不要横穿马路26 次；孩子坚持要穿马路26次；我还要再过 这样的星期六0次”。
来自百度文库 主要方法
• 贝叶斯决策法 • 线性判别函数 • 邻近法分类（KNN) • 最小距离分类 • 聚类分析法
贝叶斯决策方法
• 运用统计决策理论设计的分类系统又称为 分类器。
• 贝叶斯决策是一种统计模式识别决策法， 它有如下基本假定： 1.各类别总体的概率分布是已知的 2.被决策的分类数是一定的 3.被识别的事物或对象有多个特征观测值
统计模式识别
统计模式识别方法就是用给定的有限 数量样本集，在已知研究对象统计模型 或已知判别函数类条件下根据一定的准 则通过学习算法把d 维特征空间划分为c 个区域,每一个区域与每一类别相对应。
• 属于同一类别的各个模式之间的差异，部分是 由环境噪声和传感器的性质所引起的，部分是 模式本身所具有的随机性质。前者如纸的质量、 墨水、污点对书写字符的影响；后者表现为同 一个人书写同一字符时，虽形状相似，但不可 能完全一样。因此当用特征向量来表示这些在 形状上稍有差异的字符时，同这些特征向量 对应的特征空间中的点便不同一，而是分布在 特征空间的某个区域中。这个区域就可以用来 表示该随机向量实现的集合。
• 统计模式识别的方法有： • 贝叶斯决策方法 • （1）最小错误概率贝叶斯判别准则 • （2）最小风险贝叶斯判别 • （3）聂曼－皮尔逊判别准则准则 • 判别函数法 • （1）线性可分的几何分类法 • （2）非线性可分的几何分类法
• 监督参数统计法 • （1）KNN法（K最近邻法） • （2）Fisher判别分析法 • 非监督参数统计法 • （1）基于概率密度函数估计的直接方法 • （2）与样本空间相似性度量的间接聚类方法 • 聚类分析法 • 近邻函数法 • （1）基于最邻近规范的试探法 • （2）最大最小距离法
• 假使在特征空间中规定某种距离度量，从直观 上看，两点之间的距离越小，它们所对应的模 式就越相似。在理想的情况下，不同类的两个 模式之间的距离要大于同一类的两个模式之间 的距离，同一类的两点间连接线上各点所对应 的模式应属于同一类。一个畸变不大的模式所 对应的点应紧邻没有畸变时该模式所对应的点。 在这些条件下，可以准确地把特征空间划分为 同各个类别相对应的区域。在不满足上述条件 时，可以对每个特征向量估计其属于某一类的 概率，而把有最大概率值的那一类作为该点所 属的类别。
设有R类样本，分别为w1,w2,…wR, 已知每类的先验概率为P(wi), 其中i=1,2, …,R。对于待识别的随机向量X,已知每类的条件概率密 度为P(X|wi),则根据贝叶斯公式有后验概率： P(wi|X)=(P(X| wi)*P(wi))/(∑P(X∣wi)*P(wi)) （1） 根据计算得出得后验概率，取最大得后验概率P(wi|X)所属的wi类， 判决X属于wi类。表示为： P(wi|X)>P(wj|X)则X属于wi 其中i,j=1,2, …,R,且存在j≠i，这就是贝叶斯判别准则。 若按统计理论定义“似然比”为： l(X) = P(X| wi)/ P(x| wi) 取判别阀值： θji= P(wj)/ P(wi) 则有贝叶斯判别准则的似然比表示形式： l(X) > P(wj)/ P(wi) 则X属于wi 对于两类模式集（w1,w2）的分类，贝叶斯判别准则简单表示为： 若 P(w1|X)>P(w2|X)则X属于w1 若 P(w2|X)>P(w1|X)则X属于w2 贝叶斯判别准则实质上是最小错误概率的贝叶斯判别准则。
• 当被识对象用n随机向量X表示，二我们已 知分类的先验概率的条件概率密度函数， 便可根据贝叶斯公式，求解后验概率，并 按后验概率的大小来判别分类，这就是贝 叶斯决策方法。下面介绍三种判别准则：
• （1）最小错误概率贝叶斯判别准则 （2）最小风险贝叶斯判别
• （3）聂曼－皮尔逊判别准则准则
（1）最小错误概率贝叶斯判别准则
统计模式识别模型
• 该模型主要包括两种操作模型:训练和分 类 ,其中训练主要利用已有样本完成对决 策边界的划分 ,并采取了一定的学习机制 以保证基于样本的划分是最优的;而分类主 要对输入的模式利用其特征和训练得来的 决策函数而把模式划分到相应模式类中。
基本原理
• 统计模式识别(statistic pattern recognition)的基本原理是：有相似性的 样本在模式空间中互相接近，并形成“集 团”，即“物以类聚”。其分析方法是根 据模式所测得的特征向量 Xi=(xi1,xi2,…,xid)T(i=1,2,…,N)，将 一个给定的模式归入C个类ω1,ω2,…, ωc中，然后根据模式之间的距离函数来判 别分类。其中，T表示转置；N为样本点数； d为样本特征数。