最小错误概率贝叶斯(2章)

合集下载

第2章 贝叶斯决策完整版.ppt

第2章 贝叶斯决策完整版.ppt
精选
最小风险准则
❖ 最小风险贝叶斯决策:考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险:
精选
最小风险准则
❖ 期望风险:对于x的不同观察值,采取决策αi时,
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样,决策α可以看成随机向 量x的函数,记为α(x)。可以定义期望风险Rexp为:
假言:如果鱼的长度 x 大于45cm,则该鱼为 鲈鱼 1,否则该鱼为鲑鱼 2
前提:现在某条鱼 x 38cm
结论:该鱼为鲑鱼 2
❖ 概率推理(不确定性推理)
P i x 精选
最小错误率准则
❖ 例子:
给定
P
y
1
P
y
2
1 2
,类条件概率密度如图。
现有一条鱼 x=38cm, 若采用最小错误率决策,该鱼应该为哪一类?
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定,a和b为常数
❖ 一旦 R1 和 R2 确定, R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ,期望风险与P(ω1) 无关!
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则: P1 x P2 x
等价于:
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1:

第2章 贝叶斯决策理论_正态分布

第2章 贝叶斯决策理论_正态分布

2) 观测数据白细胞浓度分别在两种情况 下的类条件分布: 下的类条件分布: P(x|ω1) ~ N(2000,1000) P(x|ω2) ~ N(7000,3000)
– P(3100|ω1) = 2.1785e-004 – P(3100|ω2) = 5.7123e-005 – P(ω1|3100)=1.9% – P(ω2|3100)=98.1%
– 观测值通常是很多种因素共同作用的结果,根据 观测值通常是很多种因素共同作用的结果,
中心极限定理,服从正态分布。 中心极限定理,服从正态分布。 – 计算、分析最为简单的模型。 计算、分析最为简单的模型。
一元正态分布
一元正态分布及其两个重要参数: 一元正态分布及其两个重要参数:
– 均值(中心) 均值(中心) – 方差(分散度) 方差(分散度)
医生的判断: 医生的判断:正常
作业
设有两类服从二维正态分布的样本如下(前两 设有两类服从二维正态分布的样本如下 前两 个一类,后两个一类): 个一类,后两个一类 : 1 2 2 4 x1 = x2 = x3 = x4 = 1 2 4 4 其协方差相同, 其协方差相同,可用两类样本的协方差的 均值来估计。 均值来估计。 设两类的先验概率之比为4:6。 设两类的先验概率之比为 。 求其判别边界,写出计算过程。 求其判别边界,写出计算过程。
判别边界是各种二次曲线。 判别边界是各种二次曲线。
例1:二次曲线边界
3 1/ 2 0 µ1 = ; Σ1 = 6 0 2 3 2 0 µ2 = ; Σ 2 = −2 0 2
g i ( x ) = x Wi x + w x + wi 0
[
]
判别边界仍是一条直线,但不垂直于均值的连线。 判别边界仍是一条直线,但不垂直于均值的连线。

最小风险的Bayes决策

最小风险的Bayes决策

0-1·损失函数
c
P(j X ) j1, ji
两种判决方式等价! 9
3.3 Bayes分类器和判别函数
分类器设计:利用决策规则对观察向量 X 进行分类
d 维特征空间
决策规则
c 个决策域
决策面:划分决策域的边界面 决策面方程:决策面的数学解析形式 判别函数:表达决策规则的函数
用正态分布模型描述训练样本集与测试样本集在数 学上实现起来也比较方便
23
物理上的合理性 如果同一类样本在特征空间 内的确较集中地分布在其类均值的附近,远离 均值处分布较少,那么一般情况下以正态分布 模型近似往往是比较合理的
人们也往往因数学分析复杂程度考虑而不得不 采用这种模型,当然使用时应注意结果是否合 理或关注其可接受的程度
A [1 ,. . . ,a ] T ,1 ,. . . ,a为 a 个 决 策 状 态
损失函数 (i ,j ) : 真 实 状 态 为 j 而 判 断 为 i 的 损 失 ( i j )
期望损失(条件风险)
c
R (i|X )E [(i,j)] (i,j)P (j|X ) j 1
分割它们的决策面方程应满足:
gi(x) gj(x)
11
最小错误概率决策
判别函数的不同形式:
gi(x)P(i |x)
gi(x)P(xi)P(i)
g i(x ) lo g P (xi) lo g P (i)
12
最小风险决策
判别函数
gi(x)R(i |x)
判别函数不唯一,更一般地,f ( gi ( x)) (其中 f ( x ) 为 单调增函数)均可作为判别函数
18
后验概率:

第二章 贝叶斯决策理论—第三次课

第二章 贝叶斯决策理论—第三次课
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响: 类条件概率密度函数p(x|ωi) ; 先验概率P(ωi) ; 损失(代价)函数λ(αj, ωi) 。 在实际应用中遇到的情况: – 各类先验概率不能精确知道; – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳,实际分类器的平均损 失要变大,甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件?
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件?
N-P准则在实施时既不需要知道风险函数,也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx

第二章 贝叶斯决策理论与统计判别方法

第二章 贝叶斯决策理论与统计判别方法

第二章贝叶斯决策理论与统计判别方法课前思考1、机器自动识别分类,能不能避免错分类,如汉字识别能不能做到百分之百正确?怎样才能减少错误?2、错分类往往难以避免,因此就要考虑减小因错分类造成的危害损失,譬如对病理切片进行分析,有可能将正确切片误判为癌症切片,反过来也可能将癌症病人误判为正常人,这两种错误造成的损失一样吗?看来后一种错误更可怕,那么有没有可能对后一种错误严格控制?3、概率论中讲的先验概率,后验概率与概率密度函数等概念还记得吗?什么是贝叶斯公式?4、什么叫正态分布?什么叫期望值?什么叫方差?为什么说正态分布是最重要的分布之一?学习目标这一章是模式识别的重要理论基础,它用概率论的概念分析造成错分类和识别错误的根源,并说明与哪些量有关系。

在这个基础上指出了什么条件下能使错误率最小。

有时不同的错误分类造成的损失会不相同,因此如果错分类不可避免,那么有没有可能对危害大的错分类实行控制。

对于这两方面的概念要求理解透彻。

这一章会将分类与计算某种函数联系起来,并在此基础上定义了一些术语,如判别函数、决策面(分界面),决策域等,要正确掌握其含义。

这一章会涉及设计一个分类器的最基本方法——设计准则函数,并使所设计的分类器达到准则函数的极值,即最优解,要理解这一最基本的做法。

这一章会开始涉及一些具体的计算,公式推导、证明等,应通过学习提高这方面的理解能力,并通过习题、思考题提高自己这方面的能力。

本章要点1、机器自动识别出现错分类的条件,错分类的可能性如何计算,如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论2、如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论3、模式识别的基本计算框架——制定准则函数,实现准则函数极值化的分类器设计方法4、正态分布条件下的分类器设计5、判别函数、决策面、决策方程等术语的概念6、 Bayes决策理论的理论意义与在实践中所遇到的困难知识点§2.1 引言在前一章中已提到,模式识别是一种分类问题,即根据识别对象所呈现的观察值,将其分到某个类别中去。

模式识别总结

模式识别总结
13
模式识别压轴总结
另外,使用欧氏距离度量时,还要注意模式样本测量值的选取,应该是有效 反映类别属性特征(各类属性的代表应均衡) 。但马氏距离可解决不均衡(一个 多,一个少)的问题。例如,取 5 个样本,其中有 4 个反映对分类有意义的特征 A,只有 1 个对分类有意义的特征 B,欧氏距离的计算结果,则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取, 预处理, 特征提取和选择, 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction):用映射(或变换)的方法把原始特征变换为较少 的新特征。 特征选择(selection) :从原始特征中挑选出一些最有代表性,分类性能最 好的特征 特征提取/选择的目的,就是要压缩模式的维数,使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则,所提取的特征使在 某种准则下的分类错误最小。为此,必须考虑特征之间的统计关系,选用 适当的变换,才能提取最有效的特征。 特征提取的分类准则:在该准则下,选择对分类贡献较大的特征,删除贡 献甚微的特征。 特征选择:从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 - 典型的组合优化问题 特征选择的方法大体可分两大类: Filter 方法:根据独立于分类器的指标 J 来评价所选择的特征子集 S,然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法:将特征选择和分类器结合在一起,即特征子集的好坏标准 是由分类器决定的,在学习过程中表现优异的的特征子集会被选中。

第2章贝叶斯决策理论[1]

第2章贝叶斯决策理论[1]
•决 策
•ω1
•ω2
•根据条件风险公式:
•α•1(正常) •0
•1
•α•(2 异常) •1
•0
•则两类决策的风险为
•(将 判决为第 类的风险 )
•(将 判决为第 类的错误率)
PPT文档演模板
•因此两种决策规则等价 (理论推导见教材P16)
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例:细胞识别
•类
•类
• 假设在某个局部地区细胞识别中, 正常( )和异常( )两类的先验概 率分别为
• 正常状态:
P ( ) =0.9;
• 异常状态:
P ( ) =0.1.
•现有一待识别的细胞,其观察值为 ,从类条件概率密度分布曲线上
• 正常状态:
P ( ) =0.9;
• 异常状态:
P ( ) =0.1.
•现有一待识别的细胞,其观察值为 ,从类条件概率密度分布曲线上
查得

P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解:利用贝叶斯公式,分别计算出 及 的后验概率。

P( | x)=

P( |x)=1- P( |x)=0.182
•(2)多元正态分布
•均值向量: •协方差矩阵:
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识(续)
•(3)多元正态分布的协方差矩阵
区域中心由均值决定,区域形状由协方差矩阵决定;且主轴方向是 协方差矩阵的特征向量方向;

第2章 贝叶斯决策理论PPT课件

第2章 贝叶斯决策理论PPT课件

令每一个x都取使P( P (e | x) p ( x)dx
P(e
|
x)
P P
(1 ( 2
| |
x) x)
P ( 2 | x) P (1 | x) P (1 | x) P ( 2 | x)
最小的值,则所有x产生
的平均错误率最小。
结论可推广至多类
t
P (e) P ( 2 | x) p ( x)dx t P (1 | x) p ( x)dx
t
p ( x | 2 ) P ( 2 )dx t p ( x | 1 ) P (1 )dx
P ( 2 ) P2 (e) P (1 ) P1 (e)
12
基于最小错误率的贝叶斯决策
使误判概率 P (最e ) 小,等价于使正确分类识别的概率 P ( c ) 最大。
贝叶斯决策理论研究了模式类的概率结构完全知道的 理想情况。这种情况实际中极少出现,但提供了一个对 比其它分类器的依据,即“最优”分类器。
5
2.1 引言
符号规定
分类类别数:c
类别状态: i,i1,2, ,c
特征空间维数:d
d维特征空间中的特征向量:x[x1,x2, ,xd]T
先验概率:P (表i ) 示 类出i 现的先验概率,简称为 类的 概i 率
P(1| x)
p(x|1)P(1)
2
p(x|j)P(j)
0.20.9 0.818 0.20.90.40.1
j1
P(2 | x)1P(1| x)0.182 P(1|x)0.818P(2| x)0.182 x1
11
基于最小错误率的贝叶斯决策
关于错误率最小的讨论(一维情况)
错误率是指平均错误率P(e)
2.1 引言

模式识别知识点

模式识别知识点

模式识别第一章1.模式识别的类型(1)确定模式(2)非确定模式(3)随机模式2.模式的统计特性a)相似性-先验概率:P (v i)b)类条件概率密度:p (x|v i)3.模式的主要过程a)数据处理b)模式类的模型假设c)选择最优的模型并分类4.模式识别的定义Def:依据一定的规则,将模式进行分类的过程。

5.模式识别的典型应用(掌握5个以上)1)语音识别(例如:IBM ViaV oice系统)2)表情分析、年龄、种族、性别分类3)OCR: 车牌照、集装箱号码…4)手写体识别:汉王5)手势识别:基于视觉的,基于数据手套6)人脸识别、指纹识别、虹膜识别…7)军事目标识别8)生物信息、医学图像6.统计模式识别的基本思想模式被描述为一组测量值组成的随机特征向量,用概率统计理论对其进行建模,用统计决策理论划分特征空间来进行分类。

7.统计模式识别的一般过程(主要掌握测试模式)考察会细化,如具体分析汽车牌照识别过程第二章一、基于最小错误率的贝叶斯决策Note:考查公式,主要考计算题Example1:假设在某地区切片细胞中正常(ω1)和异常(ω2)两类的先验概率分别为P(ω1)=0.9,P(ω2)=0.1。

现有一待识别细胞呈现出状态x,由其类条件概率密度分布曲线查得p(x|ω1)=0.2,p(x|ω2)=0.4,试对细胞x进行分类。

解:利用贝叶斯公式,分别计算出状态为x时ω1与ω2的后验概率而根据贝叶斯决策(2-2)则有P(ω1|x)=0.818>P(ω2|x)=0.0182因此判定该细胞为正常细胞比较合理。

请用公式(2-3)与(2-5)计算,检查一下结果是否一样?二、基于最小风险的贝叶斯决策Note:将X判为何类则应依据所有Ri,(i=1,…,c)中的最小值,即最小风险来定。

Example2:在Example1条件的基础上,并且已知λ11=0,(λ11表示λ(α1|ω的简写),λ12=6,λ21=1,λ22=0,按最小风险贝叶斯决策进行分类。

贝叶斯决策

贝叶斯决策

超曲面。相邻的两个类别在决策面上的判别函数
值是相等的。如果ωi和ωj是相邻的,则分割它们 的决策面就应为
– di(x)=dj(x) 或 di(x)-dj(x)=0 – 对于两类问题,决策面方程:
– P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=0
§2.2 基于贝叶斯公式的几种判别规则
一、基于最小风险的贝叶斯决策
ωi所受损失。因为这是错误判决,故损失最大。
表示:在决策论中,常以决策表表示各种 情况下的决策损失。
状态
ω
ω
…ω
…ω
损失
1
2
j
m
决策
α1


α2




αi




αα


2.风险R(期望损失):
对未知x采取判决行动α(x)所付出的代价(损耗)
➢行动αi:表示把模式x判决为ωi类的一次动作。
➢条件风险:
密度,考虑误判的损失代价。决策应是统计意义
上使由于误判而蒙受的损失最小。

如果在采取每一个决策或行动时,都使
其条件风险最小,则对所有的x作出决策时,其期
望风险也必然最小。(条件平均损失最小的判决
也必然使总的平均损失最小。)
–5.最小风险贝叶斯决策规则
–如果 :
–6.判决实施步骤:
–(1)在已知P(ωj),P(x|ωj),j=1,2,…m,并给出待 识别的x的情况下,根据贝叶斯公式计算出后验概
决策表很不容易,往往要根据所研究的具体问题, 分析错误决策造成损失的严重程度来确定。
–7.错误率最小的贝叶斯决策规则与风险最小的贝 叶斯决策规则的联系 – 在采用0-1损失函数时,最小风险贝叶斯决 策就等价于最小错误率贝叶斯决策。

实验一贝叶斯决策

实验一贝叶斯决策

实验一贝叶斯决策一、 实验原理1. 最小错误率贝叶斯决策规则:对于两类问题,最小错误率贝叶斯决策有如下判决规则:1212(|)(|),;P x P x x x ωωωω>∈∈则反之,则。

由于先验概率i (P ω)可以确定,与当前样本x 无关,所以决策规则也可整理成下面的形式:121212(|)()(),()(|)P x P l x x x P P x ωωωωωω=>∈∈若,则否则。

2. 平均错误率决策边界把x 轴分割成两个区域,分别称为第一类和第二类的决策区域.样本在中但属于第二类的错误概率和样本在中但属于第一类的错误概率就是出现错误的概率,再考虑到样本自身的分布后就是平均错误率:212211()(|)()(|)()(|)P()(|)P()ttt tP e P x p x dx P x p x dxp x dx p x dxωωωωωω∞-∞∞-∞=+=+⎰⎰⎰⎰3. 此实验中的判决门限和平均错误率 (1) 判决门限假设随机脉冲信号f 中0的概率为,高斯噪声信号n 服从,信号叠加时的放大倍数为a ,叠加后的信号为*s f a n =+。

由最小错误率贝叶斯决策可得:1122()(|)()(|)P p x P p x ωωωω→→>化简计算得:220022(ln(1)ln )2aa a p p t μσ+---=(2) 平均错误率 由上述积分式可计算。

二、 实验内容1、 已知均值和方差,产生高斯噪声信号,计算其统计特性 实验中利用MATLAB 产生均值为0,方差为1的高斯噪声信号,信号统计分布的程序和结果如下:%产生高斯噪声并统计其特性x=0;%均值为0 y=1;%方差为1n=normrnd(x,y,[1 1000000]);%产生均值为0,方差为1的高斯噪声 m1=mean(n);%高斯噪声的均值 v1=var(n); %高斯噪声的方差 figure(1)plot(n(1:400)); title('均值为0,方差为1的高斯噪声'); figure(2)hist(n,10000); title('高斯噪声的统计特性');得到m1=-4.6534e-005;v1= 0.9971。

《模式识别与机器学习》习题和参考答案

《模式识别与机器学习》习题和参考答案

(μ i , i ), i 1, 2 ,可得
r (x) ln p(x | w 1) ln p(x | w 2)
d
1
1

(x μ1 ) 1 (x μ1 ) ln 2 ln | |
2
2
2

d
1
1

(x μ 2 ) 1 (x μ 2 ) ln 2 ln | |
(2-15)可简化为
1
gi ( x) (x μi ) 1 (x μi ).
2
(2-17)
将上式展开,忽略与 i 无关的项 x 1x ,判别函数进一步简化为
1
gi (x) ( 1μi ) x μi 1μi .
2
(2-18)
此时判别函数是 x 的线性函数,决策面是一个超平面。当决策区域 Ri 与 R j 相邻时,
190%
(2-13)
最小风险贝叶斯决策会选择条件风险最小的类别,即 h( x) 1 。
3.
给出在两类类别先验概率相等情况下,类条件概率分布是相等对角协方差
矩阵的高斯分布的贝叶斯决策规则,并进行错误率分析。
答:
(1)首先给出决策面的表达式。根据类条件概率分布的高斯假设,可以
得到
p(x | w i )
2
2
2

1
1
1 ||
(x μ1 ) 1 (x μ1 ) (x μ 2 ) 1 (x μ 2 ) ln
2
2
2 ||
1
(μ 2 μ1 ) 1x (μ1 1μ1 μ 2 1μ 2 ).
2
(2-28)

模式识别_清华答案

模式识别_清华答案
j =1,...,c
先验概率和类条件概率相联系的形式,即 如果p(x|wi )P (wi ) = max p(x|wj )P (wj ),则x ∈ wi 。
j =1,...,c
• 2.6 对两类问题,证明最小风险贝叶斯决策规则可表示为,若 p(x|w1 ) (λ12 − λ22 )P (w2 ) > , p(x|w2 ) (λ21 − λ11 )P (w1 ) 则x ∈ w1 ,反之则属于w2 。 解 :计算条件风险
第二章 贝叶斯决策理论
• 2.11 xj (j = 1, 2, ..., n)为n个独立随机变量,有E [xj |wi ] = ijη ,var[xj |wi ] = i2 j 2 σ 2 ,计算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下,由贝叶斯决策引 起的错误率。(中心极限定理) 解 : 在0 − 1损失下,最小风险贝叶斯决策与最小错误率贝叶斯决策等 价。 • 2.12 写出离散形式的贝叶斯公式。 解: P (wi |x) = P (x|wi )P (x) P (x|wi )P (wi )
– II –
第一章 绪论
第一章

绪论
–1–
第二章 贝叶斯决策理论
第二章
示?
贝叶斯决策理论
• 2.1 如果只知道各类的先验概率,最小错误率贝叶斯决策规则应如何表 解 : 设一个有C 类,每一类的先验概率为P (wi ),i = 1, ..., C 。此时最小错 误率贝叶斯决策规则为:如果i∗ = max P (wi ),则x ∈ wi 。
2
R(α1 |x) =
j =1
λ1j P (wj |x)
= λ11 P (w1 |x) + λ12 P (w2 |x)

第二章 贝叶斯决策理论

第二章 贝叶斯决策理论

ωc } αa}

对x可能采取的决策: Α = {α1 α 2

决策表
损失 状态 决策
ω1
ω2

ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )

ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 : λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 :R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。


贝叶斯公式 设试验E的样本空间为S,A为E的事件, B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率,发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的,需要更有效的化验。
(2)最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x ),则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 ),则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ,则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2

PR部分习题解答

PR部分习题解答

第二章:贝叶斯决策理论 主要考点:1. 最小错误率贝叶斯分类器;2. 最小风险贝叶斯分类器;3. 多元正态分布时的最小错误率贝叶斯分类器。

典型例题:P45,2.23,2.24。

例题1:在一个一维模式两类分类问题中,设12()1/3,()2/3p p ωω==,两类的类概率密度分别为2212(/)(1)),(/)(1))p x x p x x ωω=-+=--1)求最小错误率贝叶斯分类器的阈值。

2)设损失为0310L ⎛⎫= ⎪⎝⎭,求最小风险贝叶斯分类器的阈值。

解:由于p(w1)=1/3, p(w2)=2/3,则最小错误率贝叶斯分类器的阈值θ=p(w2)/p(w1)=2其相应的决策规则为:,)1()2()2/()1/(w p w p w x p w x p >< 则21{w w x ∈22>< 即 12l n 24l n 24w x x w x ⎧<-⎪⎪∈⎨⎪>-⎪⎩(2) 当L=0310时,122221113,01,0λλλλ====从而最小风险贝叶斯决策规则的阈值为:1222221111()()(30)*1/3.3/2()()(10)*2/3p w p w λλλλλ--===-- 判决规则为:12(/)(/)p x w p x w λ><,则21{w w x ∈23/2==>exp(4)3/2x -= 12ln(3/2)4ln(3/2)4w x x w x ⎧<-⎪⎪∈⎨⎪>-⎪⎩例2p45,2.23解:这里两类协方差矩阵相等。

负对数似然比判别规则为111222(/)()lnln 0(/)()x p x p x p x p ωωωωωω∈<⎧--=⇒⎨∈>⎩ ()()()()11111/2112221/2111122112211exp(()())(/)2||2ln ln11(/)exp(()())2||2[()()(11())()]/21111exp ,222020T i i i i nT T T T ix x p x p x x x x x x x x x p x x x x x x μμωπωμμπωμμπμμμμ------⎡⎤=---⎢∑--∑-∑-=---∑-∑=-∑---∑-+⎛⎫=+-- ⎪-⎝⎭⎥⎣⎦∑∑ =I.故()1111202021x x x x -⎛⎫-- ⎪-⎝⎭=例32.24 解: ()()()112111211111/211122221/2221112/34/32/34/311exp(()())(11()exp ,22/)2||2ln ln11(/)exp(()())2||2[()(T T T i i i i nT ix x p x p x p x x x x x x x μμωπωμμπμωμμπ------⎛⎫⎛⎫∑∑ ⎪ ⎪-⎝⎭⎝⎭--∑-∑-=--⎡⎤=---⎢⎥-∑-∑=-⎣⎦∑-∑∑4/3-2/34/32/3=,=故()()1121221122)()()]/211111120112020202/34/32/34/381ln213/4ln234433/T x x x x x x x x x x x x x μμμ---∑-++-⎛⎫⎛⎫⎛⎫⎛⎫=+----+ ⎪ ⎪ ⎪ ⎪---⎝⎭⎝⎭⎝⎭⎝⎭=-∑∑4/3-2/34/32/3例4:假设两类二维正态分布参数如下,试给出负对数似然比判别规则。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

������ ������ =
0.07 0.06
������ ������=1
������ ������������ p(������|������������ )
0.05
0.04
������ ������ ������(������2 )p(������ |������2 )
0.03
0.02
������(������1 )p(������|������1 )
统计判别基本概念 统计决策的概念: 根据样本的统计特性将样本划分到其最有可能(先 验概率最大或者后验概率最大)属于的类别。 如果P(������1 )> P(������2 ),则������ ∈ ������1 ,反之������ ∈ ������2 。 如果P(������1 |������) > P(������2 |������) ,则������ ∈ ������1 ,反之������ ∈ ������2 。
统计判别基本概念ห้องสมุดไป่ตู้
基于统计判别的分类应用很广泛
类别: ������1 :垃圾邮件 ������2 :非垃圾邮件 邮件中的字符代码为: ������1 , ������2 , … , ������������
统计判别基本概念 分类e-mails {垃圾邮件,非垃圾邮件} 分类文章主题 {文章的主题是什么?} 分类网页 {学校网页, 个人网页, 公司网页, …} 输入的特征������是什么? 文本!
统计判别基本概念 后验概率常常作为决策的依据
P(������1 |������) P(������2 |������)
主要内容 1. 2. 3. 4. 5. 6. 统计判别基本概念 贝叶斯判别原则 正态分布模式的贝叶斯决策 Bayes最小风险判别准则 聂曼-皮尔逊判别准则 最小最大损失准则
最小错误概率贝叶斯 最小错误概率贝叶斯 问题:设样本集合 ������1 , … , ������������ 有C个类别,已知各个类 别的先验概率P(������������ )和似然函数p(������|������������ )。 当观测样本������出现时,如何将样本������划归为某一类别?
时,出现模式������的条件概率密度,即似然函数。
p(������ |������2 )
p(������ |������1 )
统计判别基本概念 例如:已知一个班级女生(������1 )和男生(������2 )的身 高数据,并且假设它们都符合正态分布: ������ 为女生身高的类条件概率密度为: p(������ |������1 )~������(156,25) ������为男生身高的类条件概率密度为: p(������|������2 )~������(170,25)
(2)如果������ ������ ������������ ������(������������ ) = ������������������������=1,2 ������ ������ ������������ ������(������������ ), ������ ∈ ������������ ������1 ������ ������|������1 > ������ ������2 (3)如果������ ������ = , ������ ∈ ������ ������ ������|������2 < ������ ������1 2 (4)如果h ������ = −������������������ ������ ������1 < ������ ������1 = −������������������ ������ ������1 + ������������������ ������ ������2 ������������ → ������ ∈ ������ ������ ������ > 2 2
统计判别基本概念
例:某学校男生和女生的先验概率 ������1 :女生 ������2 :男生 选取10000位同学,若2000位为女生,8000位为男 生,则: P(������1 )=2000/10000=0.2; P(������2 ) = 1 - P(������1 ) = 0.8
统计判别基本概念 p(������ |������������ )—类条件概率密度,即类别状态为������������ 类
统计判别基本概念 例: P(������������ )的估计 在垃圾邮件识别系统中,我们常常需要知道任意一 封邮件为垃圾邮件的先验概率P(������������ ),这常常可以通 过统计一定数量的以往样本计算得到。 ������1 :接受邮件为垃圾邮件 ������2 :接受邮件为非垃圾邮件 统计10000封邮件,若经过人工辨识得到其中1000封 为垃圾邮件,剩下9000封为非垃圾邮件,则我们可 以估计: P(������1 )=1000/10000=0.1; P(������2 ) = 1 - P(������1 ) = 0.9
统计判别 Statistic Discriminant
主要内容 1. 2. 3. 4. 5. 6. 统计判别基本概念 贝叶斯判别原则 正态分布模式的贝叶斯决策 Bayes最小风险判别准则 聂曼-皮尔逊判别准则 最小最大损失准则
统计判别基本概念 简单示例: 把一枚硬币记作������,把一角和五角这两类分别记作������1 和������2 ,用P(������1 )和P(������2 )分别表示两类出现的概率,当 出现新的一枚硬币时可以做决策 如果P(������1 )> P(������2 ),则������ ∈ ������1 ,反之������ ∈ ������2 。 只利用先验概率做出判断存在不合理,利用后验概率 P(������������ |������) 更合理
0.01 0 130 140 150 160 170 180 190 200
贝叶斯判别原则 P(������������ |������)—后验概率,即给定输入模式������时,该模式属 于������������ 的条件概率。 例如:������为某个同学的身高 ������1 :女生 ������2 :男生 P(������1 |������ ):已知一个同学的身高,该同学是女生(������1 ) 的概率。 P(������2 |������):已知一个同学的身高,该同学是男生(������2 ) 的概率。
最小错误概率贝叶斯 已知一个班级女生和男生的身高和体重数据都符合正 态分布,具体统计参数如下: 25 0 ������ 女生, 均值������1 : 156,48 ,协方差������1 : 0 25 25 0 ������ 男生, 均值������2 : 170,65 ,协方差������2 : 0 25 并且已知类别先验������ ������1 =0.2, ������ ������2 = 0.8,当给定一 个新的样本 180,75 ������ ,应该判别为男生还是女生?
最小错误概率贝叶斯 新样本������ = 180,75 ������ ������1 : 女生 ������ ������|������1 = ������ ������|������1 , ������1 = 9.63 × 10−16 ������2 : 男生 , ������ ������|������2 = ������ ������|������2 , ������2 = 1.16 × 10−4 已知类别先验������ ������1 =0.2, ������ ������2 = 0.8 判别规则: 如果������(������1 |������) > ������(������2 |������), ������ ∈ ������1 如果������ ������1 ������ < ������(������2 |������), ������ ∈ ������2
最小错误概率贝叶斯 后验概率:
������ ������1 |������ ������ ������2 |������
最小错误概率贝叶斯 最小错误概率贝叶斯决策的等价形式:
(1)如果������ ������������ ������ = ������������������������=1,2 ������ ������������ ������ , ������ ∈ ������������
0.08 0.07 0.06
p(������ |������1 )~������(156,25)
0.05 0.04 0.03
p(������|������2 )~������(170,25)
0.02
0.01
0 130
140
150
160
170
180
190
200
统计判别基本概念 p(������)—全概率密度。
统计判别基本概念 场景理解:
统计判别基本概念 场景理解:
统计判别基本概念 场景理解:
统计判别基本概念 物体识别:
统计判别基本概念 医学诊断:
统计判别基本概念 大脑活跃性分析
统计判别基本概念 P(������������ )—类别������������ 出现的先验概率
p(������|������������ )—类条件概率密度,即类别状态为������������ 类
时,出现模式������的条件概率密度,也称似然函数。
p(������)—全概率密度。
P(������������ | ������)—后验概率,即给定输入模式������时,该模式 属于������������ 的条件概率。
P(������������ , ������)—联合概率。
统计判别基本概念 P(������������ )—类别������������ 出现的先验概率 先验概率(prior probability)是指根据以往经验和 分析得到的概率。 先验概率P(������������ )的估计举例
相关文档
最新文档