贝叶斯决策理论与统计判决方法

例：统计模式识别
• 待识别的模式：性别（男或女） • 测量的特征：身高和体重 • 训练样本：15名已知性别的样本特征 • 目标：希望借助于训练样本的特征建立判别函数（即数学模型）
由训练样本得到的特征空间分布图：
例：统计模式识别
• 从图中训练样本的分布情况，找出男、女两类特征各自的 聚类特点，从而求取一个判别函数（直线或曲线）。
(i=1,2,…,n)，则:
P(Bi | A)
P( A | Bi )P(Bi )
n
P( A | Bj )P(Bj )
P( A | Bi )P(Bi ) P( A)
j 1
P( A)P(Bi
A)
P(Bi
)P(
A
B i
)
“概率论”有关概念复习
S
P( A)P(Bi
A)
P(Bi
)P(
Байду номын сангаас
A
B i
)
B1
B4 B3
A
B2
划分示意图
例：考试有用吗？
老师出了一道5选题，5个选项中只有一个是正确的选择。
假定某学生知道正确答案的概率为1/2，如果他最后选对了，
第二章 贝叶斯决策理论 与统计判决方法
引言
• 在前一章中已提到，模式识别是一种分类问题，即根据识 别对象所呈现的观察值，将其分到某个类别中去。统计决 策理论是处理模式分类问题的基本理论之一，对模式分析 和分类器的设计起指导作用。贝叶斯决策理论是统计模式 识别中的一个基本方法，我们先讨论这一决策理论，然后 讨论涉及统计判别方法的一些基本问题。
几种常用的决策规则
这里将讨论几种常用的决策规则。不同的决策规则反映了分类器设计者 的不同考虑，对决策结果有不同的影响。其中最有代表性的是基于最小 错误率的贝叶斯决策与基于最小风险的贝叶斯决策，下面分别加以讨 论。
“概率论”有关概念复习
Bayes公式：设实验E的样本空间为S，A为E的事件，
B1,B2,…,Bn为S的一个划分，且P(A)>0，P(Bi)>0，
例：鱼的分类
设想有一个鱼类的加工厂，希望能将传送带上的鱼的品种的分类过程自 动进行。比如通过光学感知手段，架设一台摄像机，拍摄若干样品的图 像，来区分鲑鱼（salmon）和鲈鱼（sea bass）.
例：鱼的分类
• 识别过程：
– 数据获取：架设一个摄像机，采集一些样本图像，获取样本数据
– 预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之 间分开
核心问题是：样本为特征向量X时，它属于哪一类可能性有多大，如能确定属于 各个类别的百分比(概率)分类决策就有了依据。例如某个样本的特征向量为X， X属于第一类样本的可能性为60％，而第二类的可能性为40％。在没有任何样 本信息的情况下，则应将样本决策为第一类以使错分类可能性小(40％)，这就是 这一章考虑分类问题的出发点。
例：鱼的分类
两种鱼的光泽度特征和宽度特征的散布图，中间的斜线就 是分类判决的分界线。
例：鱼的分类
过度复杂的模型将使判决曲线复杂，虽然对训练样本可以 得到完美的结果，但缺乏泛化或推广的能力。
例：鱼的分类
以下是对训练样本分类性能和分界面复杂度的一个最优折 中：
例：统计模式识别
19名男女同学进行体检，测量了身高和体重，但事后发现 其中有4人忘记填写性别，试问（在最小错误的条件下） 这4人是男是女？体检数值如下：
length Lcrit Bass
length < Lcrit Salmon
Lcrit ? – 比如: 鲑鱼 < 15 ，鲈鱼 > 15
例：鱼的分类
两种鱼的长度特征直方图
例：鱼的分类
单凭长度特征很难将两类鱼很好地区分开，因此，我们 可以考虑别的特征，比如：平均光泽度。
例：鱼的分类
分别输入100组鲈鱼和鲑鱼的亮度、长度数据，作为训练集。输入400组数据作为测试 集，其中200组鲈鱼数据，100组鲑鱼数据。得到以下实验结果（设定鲈鱼先验概率为 0.5，鲑鱼先验概率为0.5）：
鲈鱼错误分类（鲑鱼判决为鲈鱼）：3 鲑鱼错误分类（鲈鱼判决为鲑鱼）：8 错误率：2.75%（3+8/400）
例：鱼的分类
分类判决的代价： • 错判的代价和具体应用有关。 • 究竟是鲈鱼混进鲑鱼罐头好，还是鲑鱼混进鲈鱼罐头好？
– 鲑鱼混入鲈鱼罐头：损失利润 – 鲈鱼混入鲑鱼罐头：丢掉客户 • 决策和“总体代价”相关联。做决策就是使得所付出的 代价最小。
• 只要给出待分类的模式特征的数值，看它在特征平面上落 在判别函数的哪一侧，就可以判别是男还是女了。
特征空间
对于待识别的物理对象的描述问题。假设一个待识别的物理对象用其d 个属性观察值描述，称之为d个特征，这组成一个d维的特征向量，而这 d维待征所有可能的取值范围则组成了一个d维的特征空间。
为了说明这句话，我们讨论一个具体的例子。假设苹果的直径尺寸限定 在7厘米到15厘米之间，它们的重量在3两到8两之间变化。如果直径长 度x用厘米为单位，重量y以两为单位。那么，由x值从7到15，y值从3 到8包围的二维空间就是对苹果进行度量的特征空间。
– 特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量 某些特征来减少信息量 • 长度 • 亮度 • 宽度 • 鱼翅的数量和形状 • 嘴的位置，等等 …
– 分类决策：把特征送入决策分类器
例：鱼的分类
• 例： – 模型: 鲈鱼通常较鲑鱼长（专家知识） 鲈鱼的典型长度是Lb 鲑鱼的典型长度是Ls Lb > Ls – 分类器:
贝叶斯决策理论
贝叶斯决策理论是统计模式识别中的一个基本方法。贝叶斯决策理论方法所讨论 的问题是：
已知总共有c类物体，也就是说待识别物体属于这c类中的一个类别，对这c类不 同的物理对象，以及各类在这d维特征空间的统计分布，具体说来是各类别 ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x|ωi)已知的条件下， 如何对某一样本按其特征向量分类的问题。由于属于不同类的待识别对象存在着 呈现相同观察值的可能，即所观察到的某一样本的特征向量为X，而在c类中又有 不止一类可能呈现这一X值，这种可能性可用P(ωi|X)表示。如何作出合理的判 决就是贝叶斯决策理论所要讨论的问题。本章中要讨论几种常用的决策规则，分 析正态分布时统计决策的问题以及错误概率等问题。由于这种决策理论基于已知 概率分布为前提，因此在本章中还要讨论概念密度函数的估计问题。