关于贝叶斯决策理论1(韩宇畴14212816)
合集下载
贝叶斯决策理论
P(1 | x) if we decide 2 P(error | x) P( 2 | x) if we decide1
显然，对于某个给定的x，采用上述规则可以使错误概率最
小。 问题是，这一规则能够使得平均错误概率最小吗？
2最小错误率的贝叶斯决策
平均错误概率：
P(error) P(error, x)dx P(error | x) p( x)dx
1 引言
后验概率：一个具体事物属于某种类别的概率， 例如一个学生用特征向量x表示，它是男性或女 性的概率表示成P(男生|x)和P(女生|x)，这就是 后验概率。由于一个学生只可能为两个性别之一， 因此有P(男生|x)+P(女生|x)=1的约束，这一点是 与类分布密度函数不同的。后验概率与先验概率 也不同，后验概率涉及一个具体事物，而先验概 率是泛指一类事物，因此P(男生|x)和P(男生)是 两个不同的概念。
4贝叶斯决策的评价
局限性：
（1）它需要的数据多，分析计算比较复杂，特别在解决 复杂问题时，这个矛盾就更为突出。 （2）有些数据必须使用主观概率，有些人不太相信，这 也妨碍了贝叶斯决策方法的推广使用。
R R( (x) | x) p (x)dx
显然，如果对于每个x 我们都选择 小，则总风险将被最小化
(x) 使得
R(i | x)
最
3最小风险的贝叶斯决策
相关数学表达
3最小风险的贝叶斯决策
一般损失函数可由决策表给出：
3最小风险的贝叶斯决策
步骤
• 计算后验概率： P(i | x)
贝叶斯决策理论
2014年12月15日
1 引言
把x分到哪一类最合理？理论基础之一是统 计决策理论。 决策：是从样本空间S，到决策空间Θ的一 个映射 贝叶斯决策就是在不完全情报下，对部分 未知的状态用主观概率估计，然后用贝叶 斯公式对发生概率进行修Байду номын сангаас，最后再利用 期望值和修正概率做出最优决策。
第2章贝叶斯决策理论[1]
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s3/m/6575d6a814791711cd791720.png)
•决 策
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
贝叶斯决策理论
两类分类器的功能：计算判别函数，再根据计算 结果的符号将 x 分类
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
《贝叶斯决策理论》PPT课件
常表示为
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
贝叶斯决策论讲义(PPT 79页)
c
那么，特征x与行动i 相关联的损失为: R(i|x)(i|j)P(j|x) j1
因此，R(i | x) 称为条件风险。
借助 R(i | x) 可以提供一个总风险的优化过程，即遇到特征x， 我们可以选择最小化风险的行为来使预期的损失达到最小。 假设对于特征x，决策的行为是 (x) ，则总风险可表示为：
如果
P P((xx|| 1 2))((12,2 ,1 2 1,,12))P P(( 1 2))
则判为 1 ； 否则，判决为 2
（18）
注意公式(18)的右边是与x无关的常数，因此可以视为左边
的似然比超过某个阈值，则判为 1
16
左图说明，如果
b
引入一个0-1损失
或分类损失，那么
6
在先验概率 P (w 1 ) 2 /3 ,P (w 2 ) 1 /3及图2-1给出的后验概率图.此情况下,假定一
个模式具有特征值 x14 , 那么它属于 2 类的概率约为0.08, 属于 1 的概率
约为0.92.在每个x 处的后验概率之和为1.0
7
• 基于后验概率的决策准则
(x 表示观察值)
R 1,1P(1)p(x|1)1,2P(2)p(x|2))dx R1
2,1P(1)p(x|1)2,2P(2)p(x|2))dx R2
判为1 判为2
20
结合公式 P(2)1P(1)与 p(x|1)d x1p(x|1)dx
R1
R2
可以得到
概述
1. 允许利用多于一个的特征 2. 允许多于两种类别状态的情形 3. 允许有其它行为而不仅是判定类别。 4. 引入损失函数代替误差概率。
11
考察损失函数对判定准则的影响
那么，特征x与行动i 相关联的损失为: R(i|x)(i|j)P(j|x) j1
因此，R(i | x) 称为条件风险。
借助 R(i | x) 可以提供一个总风险的优化过程，即遇到特征x， 我们可以选择最小化风险的行为来使预期的损失达到最小。 假设对于特征x，决策的行为是 (x) ，则总风险可表示为：
如果
P P((xx|| 1 2))((12,2 ,1 2 1,,12))P P(( 1 2))
则判为 1 ； 否则，判决为 2
（18）
注意公式(18)的右边是与x无关的常数，因此可以视为左边
的似然比超过某个阈值，则判为 1
16
左图说明，如果
b
引入一个0-1损失
或分类损失，那么
6
在先验概率 P (w 1 ) 2 /3 ,P (w 2 ) 1 /3及图2-1给出的后验概率图.此情况下,假定一
个模式具有特征值 x14 , 那么它属于 2 类的概率约为0.08, 属于 1 的概率
约为0.92.在每个x 处的后验概率之和为1.0
7
• 基于后验概率的决策准则
(x 表示观察值)
R 1,1P(1)p(x|1)1,2P(2)p(x|2))dx R1
2,1P(1)p(x|1)2,2P(2)p(x|2))dx R2
判为1 判为2
20
结合公式 P(2)1P(1)与 p(x|1)d x1p(x|1)dx
R1
R2
可以得到
概述
1. 允许利用多于一个的特征 2. 允许多于两种类别状态的情形 3. 允许有其它行为而不仅是判定类别。 4. 引入损失函数代替误差概率。
11
考察损失函数对判定准则的影响
贝叶斯决策理论
P(x 2 ) P(1)
2、决策规则：
(1) P(1
x) P(2
x) x 1 2
(2)P( x
1)P(1) P( x
2 )P(2 )
x 1 2
(3) P(x
1 )
P(x
P(2 )
2 )
P(1 )
x 1 2
(4) ln
P(x
gi (x) g j (x)
1 [ 2
x j
1 j
x j
x i T
1 i
x
i
ln
二、最小错误率(Bayes)分类器：
j i
] ln
P(i ) P( j )
0
从最小错误率这个角度来分析Bayes 分类器
1.第一种情况：各个特征统计独立，且同方差情况。(最简单
ln P(i ) P( j )
2019/5/8
13
讨论：
(a二 ) :因类为情况i 下2iI , 协方1差, 为2零。所以等概率面是一个圆形。
(b) :因W与(x x0)点积为0，因此分界面H与W垂直
又因为W i j 1 2，所以W与1 2同相(同方向)
xn
n
x1 1 x1 1 ...x1 1 xn n
E ......
2019/5/8
xn
n x1
1 ...xn
n xn
n
9
Ex1 1 x1 1 ...Ex1 1 xn n
贝叶斯决策理论课件(PPT90页)
Some about Bayes(2)
一所学校里面有 60% 的男生，40% 的女生。男生总是穿长 裤，女生则一半穿长裤一半穿裙子。假设你走在校园中， 迎面走来一个穿长裤的学生（很不幸的是你高度近似，你 只看得见他（她）穿的是否长裤，而无法确定他（她）的 性别），你能够推断出他（她）是女生的概率是多大吗？
要决策分类的类别数是一定的
引言
在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围构 成了d维特征空间。
称向量 x x1, x2, , xd T x Rd 为d维特征向量。
假设要研究的分类问题有c个类别，类型空间表示
为：
1,2 , ,i ,c
P(B|LB)∝P(LB|B)P(B)∝0.75P(B) P(~B|LB)∝P(LB|~B)P(~B)∝0.25(1-P(B)) 而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于 是有 P(B|LB)∝0.75×0.1=0.075 P(~B|LB)∝0.25(1-P(B))=0.25×0.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(~B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。
Neyman-Pearson准则
问题：先验概率和损失未知
通常情况下，无法确定损失。 先验概率未知，是一个确定的值 某一种错误较另一种错误更为重要。
基本思想：
要求一类错误率控制在很小，在满足此条件的 前提下再使另一类错误率尽可能小。
用lagrange乘子法求条件极值
Neyman-Pearson准则
和绿色的区分的可靠度是75%； 假设随后你又了解到第3条信息：（3）西安的出租车10辆
关于贝叶斯决策理论课件.pptx
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
理学贝叶斯决策理论
i
即选择P(ω1|x)，P(ω2|x)中最大值对应的类作 为决策结果
该决策使得在观测值x下的条件错误率P(e|x) 最小。 Bayes决策理论是最优的
6
后验概率P (ωi| x)的计算
最小错误率 决策
Bayes公式： 假设已知先验概率P(ωi)和观测 值的类条件概率密度p(x|ωi)，i=1,2
i
x 2
决策结果
28
最小风险决策的一般性
最小风险 决策
基于最小错误率的Bayes决策可作为最 小风险Bayes决策的一种特殊情形。
只需要定义损失为：
i, j 1 (i, j) i, j 1, 2, , N
(i,
j)
1 0
i j i j
决策正确时，损失为0 决策错误时，损失为1
29
2.2.3 在限定一类错误率条件下使另一 类错误率为最小的两类别决策
模式识别与神经网络
内容目录
第二章 贝叶斯决策理论
2.1 引言
2.2 基于判别函数的分类器设计
2.3 基于最小错误率的Bayes决策
2.4 基于最小风险的Bayes决策
2.5 正态分布的最小错误率Bayes决策
2.6 讨论
2.1 引言
信号空间
数据获取
预处理
特征提取 与选择
特征空间
分类决策
分类器 设计
对数域中计算，变乘为加：
最小错误率 决策
ln p(x |i)P(i) ln p(x |i) ln P(i)
判别函数中与类别i无关的项，对
于类别的决策没有影响，可以忽略
9
Bayes最小错误率决策例解
最小错误率 决策
两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为：
即选择P(ω1|x)，P(ω2|x)中最大值对应的类作 为决策结果
该决策使得在观测值x下的条件错误率P(e|x) 最小。 Bayes决策理论是最优的
6
后验概率P (ωi| x)的计算
最小错误率 决策
Bayes公式： 假设已知先验概率P(ωi)和观测 值的类条件概率密度p(x|ωi)，i=1,2
i
x 2
决策结果
28
最小风险决策的一般性
最小风险 决策
基于最小错误率的Bayes决策可作为最 小风险Bayes决策的一种特殊情形。
只需要定义损失为：
i, j 1 (i, j) i, j 1, 2, , N
(i,
j)
1 0
i j i j
决策正确时，损失为0 决策错误时，损失为1
29
2.2.3 在限定一类错误率条件下使另一 类错误率为最小的两类别决策
模式识别与神经网络
内容目录
第二章 贝叶斯决策理论
2.1 引言
2.2 基于判别函数的分类器设计
2.3 基于最小错误率的Bayes决策
2.4 基于最小风险的Bayes决策
2.5 正态分布的最小错误率Bayes决策
2.6 讨论
2.1 引言
信号空间
数据获取
预处理
特征提取 与选择
特征空间
分类决策
分类器 设计
对数域中计算，变乘为加：
最小错误率 决策
ln p(x |i)P(i) ln p(x |i) ln P(i)
判别函数中与类别i无关的项，对
于类别的决策没有影响，可以忽略
9
Bayes最小错误率决策例解
最小错误率 决策
两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为：
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
贝叶斯决策理论与统计判别方法
i j i j
(2-13)
即做出正确判决时损失为 0 ，错误判决损失为 1 ，且判决数目与类型数目相等。再令
1, i j ，代入式(2-11)，有 L(i | j ) 1 ij ，其中 ij 0, i j
R( i | j ) L( i | j ) P( j | X )
P(c | X ) 1, j 1, 2,
c
且 P( j | X ,c ， ) 0 ，
对于每一种判决 i ，可求出随机变量 L( i | i ) 的条件平均风险，也叫“条件平均损失” ：
R( i | X ) E[ L( i | j )] L( i | j ) P( j | X ) i 1,2,, a
（2-3） （2-4）
由 (2-1) ，已知待识别样本 X 后，可以通过先验概率 P(i ) 和条件概率密度函数
p( X | i ) ，得到样本 X 分属各类别的后验概率，显然这个概率值可以作为 X 类别归属的依
据。该判别依据可以有以下几种等价形式： 观察 Bayes 公式（2-1），分母与 i 无关，即与分类无关，故分类规则又可表示为
则可表示为： 1.两类情况
, c 。将其
划归到后验概率最大的那一类中， 这种分类器称为最小错误率贝叶斯分类器， 其分类决策准
若P(1 X ) P(2 X ) , 则X 1类 若P(2 X ) P(1 X ) , 则X 2类
2.多类情况
若 P( i | X ) max P( j | X ) , j 1, 2, , c 则X i 类
公式（2-6）可改写为
l12 ( X )
p( X | 1 ) P(2 ) , p( X | 2 ) P(1 )
第二章贝叶斯决策理论
第⼆章贝叶斯决策理论第⼆章贝叶斯决策理论●引⾔统计模式识别⽅法以样本特征值的统计概率为基础：（1）先验概率()i P ω、类（条件）概率密度函数(/)i p ωx 和后验概率(/)i P ωx 。
（2） Bayes 公式体现这三者关系的公式。
本章讨论的内容在理论上有指导意义，代表了基于统计参数这⼀类的分类器设计⽅法，结合正态分布使分类器设计更加具体化。
模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。
是指对某⼀种设计原则讲的，这种原则称为准则。
使这些准则达到最优，如最⼩错误率准则，基于最⼩风险准则等,讨论⼏种常⽤的决策规则。
设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的⽅法。
●思考？机器⾃动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？错分类往往难以避免，因此就要考虑减⼩因错分类造成的危害损失，有没有可能对⼀种错分类严格控制？●贝叶斯决策理论与⽅法基本概念给定⼀个m 模式类(,,....,)m ωωω12的分类任务以及各类在这n 维特征空间的统计分布, 要区分出待识别样本x 属于这m 类样本中的哪⼀类问题。
假设⼀个待识别的样本⽤n 个属性观察值描述，称之为n 个特征，从⽽组成⼀个n 维的特征向量，⽽这n 维征向量所有可能的取值范围则组成了⼀个n 维的特征空间。
特征空间的统计分布 (1) i ω, i =1,2,…,m 的先验概率：()i P ω(2)类条件概率密度函数：(|)i p ωx （可解释为当类别i ω已知的情况下，样本x 的概率分布密度函数）(3)后验概率：⽣成m 个条件后验概率(|)i P ωx ，i =1，2，…，m 。
也就是对于⼀个特征向量x ，每⼀个条件后验概率(|)iP ωx 都代表未知样本属于某⼀特定类i ω的概率。
第⼀节基于最⼩错误率的贝叶斯判别⽅法 (⼀).两类情况两类情况是多类情况的基础，多类情况往往是⽤多个两类情况解决的。
第二章贝叶斯决策理论
P1(e) P2 (e)0
第2章 贝叶斯决策理论 24
2019年11月19日星期二
P1(e) P2 (e)0
p(x 1)dx p(x 1)dx 1 p(x 1)dx 1 p(x 1)dx
均风险
R R((x) x)p(x)dx
显然，我们对连续的随机模式向量按最小风险Bayes决策 规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达 到最小的Bayes决策规则，下面分析一下两种决策规则的 关系。
第2章 贝叶斯决策理论 17
2019年11月19日星期二
2019年11月19日星期二
在两类问题中，若有 21 11 12 22 ，决策规则变为 (21 11)P(1 x)(12 22 )P(2 x) 1 (21 11)P(1 x)(12 22 )P(2 x) 2 P(1 x) P(2 x) 1 P(1 x) P(2 x) 2
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4, 5 ——决策空间
(i , j ) i 1, 2, ,5 j 1, 2, ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
x ——螺丝背光源照射后反射光的亮度特征 求取后验概率：
P( j
x)
p( x j )P( j )
2
p( x j )P( j )
j1
第2章 贝叶斯决策理论 8
2019年11月19日星期二
对待分类模式的特征我们得到一个观察值 x ， 合理的决 策规则：
P(1 x) P(2 x) 1
第2章 贝叶斯决策理论 24
2019年11月19日星期二
P1(e) P2 (e)0
p(x 1)dx p(x 1)dx 1 p(x 1)dx 1 p(x 1)dx
均风险
R R((x) x)p(x)dx
显然，我们对连续的随机模式向量按最小风险Bayes决策 规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达 到最小的Bayes决策规则，下面分析一下两种决策规则的 关系。
第2章 贝叶斯决策理论 17
2019年11月19日星期二
2019年11月19日星期二
在两类问题中，若有 21 11 12 22 ，决策规则变为 (21 11)P(1 x)(12 22 )P(2 x) 1 (21 11)P(1 x)(12 22 )P(2 x) 2 P(1 x) P(2 x) 1 P(1 x) P(2 x) 2
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4, 5 ——决策空间
(i , j ) i 1, 2, ,5 j 1, 2, ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
x ——螺丝背光源照射后反射光的亮度特征 求取后验概率：
P( j
x)
p( x j )P( j )
2
p( x j )P( j )
j1
第2章 贝叶斯决策理论 8
2019年11月19日星期二
对待分类模式的特征我们得到一个观察值 x ， 合理的决 策规则：
P(1 x) P(2 x) 1
第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
后验概率: P(ω1|x)和P(ω２|x)
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω2)≠1 P(x|ω1)与P(x|ω2)两者没有联系
先验概率与类条件概率密度相联系的形 式
C类别情况下最小错误率 贝叶斯决策
多类别决策过程中的错误率
把特征空间分割成R1，R2，…，Rc个区域 统计将所有其它类错误划为该区域对应的i类
的概率 计算是很繁琐
计算平均正确分类概率P(c)即
2.2.2基于最小风险的贝叶斯决策
基本思想
使错误率最小并不一定是一个普遍适用的最 佳选择。
已知d维特征空间的统计分布，如何对某一样 本分类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某一类物体所特有， 即
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
癌细胞分类
两种错误:
癌细胞→正常细胞 正常细胞→癌细胞
两种错误的代价(损失)不同
基于最小风险的贝叶斯决策
基本思想
宁可扩大一些总的错误率，但也要使总的 损失减少。
引进一个与损失有关联的，更为广泛的概 念——风险。
在作出决策时，要考虑所承担的风险。 基于最小风险的贝叶斯决策规则正是为了
基于最小错误率的贝叶斯决策
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
引入一个期望风险R
基于最小风险的贝叶斯决策
最小风险贝叶斯决策步骤：
(1)计算出后验概率
已知P(ωi)和P(X|ωi)，i=1,…，c，获得观测到的 特征向量X
根据贝叶斯公式计算
j=1,…，x
基于最小风险的贝叶斯决策
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
P (ω1 |X )
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的后验 概率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
试对细胞x进行分类。
基于最小错误率的贝叶斯决策
例2.1 解：利用贝叶斯公式，分别计算出状态
为x时ω1与ω２的后验概率
基于最小错误率的贝叶斯决策
例2.1
根据贝叶斯决策有 P(ω1|x)＝0.818＞P(ω２|x)＝0.182
分析:错误概率是多少？
判断为正常细胞，错误率为0.182 判断为异常细胞，错误率为0.81国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
显然这个决策意味着，对观测值x有P(w1|x)概率 的错误率。
上例中所作的w1决策，实际上包含有 P(w2|x)=0.182的错误概率
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
在两类别的情况下，可以将p(e|x)表示成当
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可
搜集到大量样本 对某一特定事件(如x)要搜集大量样本是不
太容易 只能借助Bayes公式来计算得到
基于最小错误率的贝叶斯决策
问题
根据最小错误率，如何利用先验概率、类条 件概率密度函数和后验概率进行分类？
基于最小错误率的贝叶斯决策
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验 概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1) P(2 ), x 1
P(1 )
P(2
),
x
2
这种分类决策没有意义 表明由先验概率所提供的信息太少
如果我们把作出w1决策的所有观测值区域 称为R1，则在R1区内的每个x值，条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
基于最小风险的贝叶斯决策
(3)损失函数λ(αi|ωj)(或λ(αi,ωj))
这就是前面我们引用过的λj (i) 表示对自然状态ωj ，作出决策αj时所造成
的损失
(4)观测值X条件下的期望损失R(αi|X)
这就是前面引用的符号Ri，也称为条件风险。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则可写成：
两类情况:有没有癌细胞
另外为了使式子写的更方便，我们也可以定 义λ1 (1)和λ2 (2)
是指正确判断也可有损失
基于最小风险的贝叶斯决策
两类情况:有没有癌细胞
X判作ω1引进的损失应该为
将X判为ω2的风险就成为
作出哪一种决策就要看是R1(X)小还是R2(X)小
这就是基于最小风险的贝叶斯决策的基本出发点
如果
则x归为ω1 ， 否则x归为ω2
基于最小错误率的贝叶斯决策
几种等价形式：
对数形式 若
则x归为ω1 ， 否则x归为ω2
基于最小错误率的贝叶斯决策
例2.1
假设在某地区切片细胞中正常(ω1)和异常(ω ２)两类的先验概率分别为P(ω1)=0.9， P(ω2)=0.1。
现有一待识别细胞呈现出状态x，由其类条 件概率密度分布曲线查得p(x|ω1)=0.2， p(x|ω２)=0.4，
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
因此判定该细胞为正常细胞比较合理。
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
从平均的意义上的错误率 在连续条件下，平均错误率，以P(e)表示，应
有:
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
分析两类别问题
按贝叶斯决策规则，当P(w2|x)＞p(w1|x)时决策 为w2。
两类情况:有没有癌细胞
ω1表示正常，ω2表示异常 P(ω1|X)与P(ω2|X)分别表示了两种可能性的
大小 X是癌细胞(ω2)，但被判作正常(ω1)，则会
有损失，这种损失表示为:λ2 (1) X确实是正常(ω1)，却被判定为异常(ω2)，
则损失表示成: λ1 (2)
基于最小风险的贝叶斯决策
体现这一点而产生的。
基于最小风险的贝叶斯决策
最小错误率贝叶斯决策规则：
最小错误率目标函数: P (ωj|X) 为了考虑不同决策的不同损失，构造如
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω2)≠1 P(x|ω1)与P(x|ω2)两者没有联系
先验概率与类条件概率密度相联系的形 式
C类别情况下最小错误率 贝叶斯决策
多类别决策过程中的错误率
把特征空间分割成R1，R2，…，Rc个区域 统计将所有其它类错误划为该区域对应的i类
的概率 计算是很繁琐
计算平均正确分类概率P(c)即
2.2.2基于最小风险的贝叶斯决策
基本思想
使错误率最小并不一定是一个普遍适用的最 佳选择。
已知d维特征空间的统计分布，如何对某一样 本分类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某一类物体所特有， 即
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
癌细胞分类
两种错误:
癌细胞→正常细胞 正常细胞→癌细胞
两种错误的代价(损失)不同
基于最小风险的贝叶斯决策
基本思想
宁可扩大一些总的错误率，但也要使总的 损失减少。
引进一个与损失有关联的，更为广泛的概 念——风险。
在作出决策时，要考虑所承担的风险。 基于最小风险的贝叶斯决策规则正是为了
基于最小错误率的贝叶斯决策
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
引入一个期望风险R
基于最小风险的贝叶斯决策
最小风险贝叶斯决策步骤：
(1)计算出后验概率
已知P(ωi)和P(X|ωi)，i=1,…，c，获得观测到的 特征向量X
根据贝叶斯公式计算
j=1,…，x
基于最小风险的贝叶斯决策
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
P (ω1 |X )
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的后验 概率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
试对细胞x进行分类。
基于最小错误率的贝叶斯决策
例2.1 解：利用贝叶斯公式，分别计算出状态
为x时ω1与ω２的后验概率
基于最小错误率的贝叶斯决策
例2.1
根据贝叶斯决策有 P(ω1|x)＝0.818＞P(ω２|x)＝0.182
分析:错误概率是多少？
判断为正常细胞，错误率为0.182 判断为异常细胞，错误率为0.81国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
显然这个决策意味着，对观测值x有P(w1|x)概率 的错误率。
上例中所作的w1决策，实际上包含有 P(w2|x)=0.182的错误概率
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
在两类别的情况下，可以将p(e|x)表示成当
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可
搜集到大量样本 对某一特定事件(如x)要搜集大量样本是不
太容易 只能借助Bayes公式来计算得到
基于最小错误率的贝叶斯决策
问题
根据最小错误率，如何利用先验概率、类条 件概率密度函数和后验概率进行分类？
基于最小错误率的贝叶斯决策
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验 概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1) P(2 ), x 1
P(1 )
P(2
),
x
2
这种分类决策没有意义 表明由先验概率所提供的信息太少
如果我们把作出w1决策的所有观测值区域 称为R1，则在R1区内的每个x值，条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
基于最小风险的贝叶斯决策
(3)损失函数λ(αi|ωj)(或λ(αi,ωj))
这就是前面我们引用过的λj (i) 表示对自然状态ωj ，作出决策αj时所造成
的损失
(4)观测值X条件下的期望损失R(αi|X)
这就是前面引用的符号Ri，也称为条件风险。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则可写成：
两类情况:有没有癌细胞
另外为了使式子写的更方便，我们也可以定 义λ1 (1)和λ2 (2)
是指正确判断也可有损失
基于最小风险的贝叶斯决策
两类情况:有没有癌细胞
X判作ω1引进的损失应该为
将X判为ω2的风险就成为
作出哪一种决策就要看是R1(X)小还是R2(X)小
这就是基于最小风险的贝叶斯决策的基本出发点
如果
则x归为ω1 ， 否则x归为ω2
基于最小错误率的贝叶斯决策
几种等价形式：
对数形式 若
则x归为ω1 ， 否则x归为ω2
基于最小错误率的贝叶斯决策
例2.1
假设在某地区切片细胞中正常(ω1)和异常(ω ２)两类的先验概率分别为P(ω1)=0.9， P(ω2)=0.1。
现有一待识别细胞呈现出状态x，由其类条 件概率密度分布曲线查得p(x|ω1)=0.2， p(x|ω２)=0.4，
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
因此判定该细胞为正常细胞比较合理。
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
从平均的意义上的错误率 在连续条件下，平均错误率，以P(e)表示，应
有:
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
分析两类别问题
按贝叶斯决策规则，当P(w2|x)＞p(w1|x)时决策 为w2。
两类情况:有没有癌细胞
ω1表示正常，ω2表示异常 P(ω1|X)与P(ω2|X)分别表示了两种可能性的
大小 X是癌细胞(ω2)，但被判作正常(ω1)，则会
有损失，这种损失表示为:λ2 (1) X确实是正常(ω1)，却被判定为异常(ω2)，
则损失表示成: λ1 (2)
基于最小风险的贝叶斯决策
体现这一点而产生的。
基于最小风险的贝叶斯决策
最小错误率贝叶斯决策规则：
最小错误率目标函数: P (ωj|X) 为了考虑不同决策的不同损失，构造如