02第二章 贝叶斯决策理论2122PPT课件
合集下载
第2章 贝叶斯决策完整版.ppt
精选
最小风险准则
❖ 最小风险贝叶斯决策：考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险：
精选
最小风险准则
❖ 期望风险：对于x的不同观察值，采取决策αi时，
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样，决策α可以看成随机向 量x的函数，记为α(x)。可以定义期望风险Rexp为：
假言：如果鱼的长度 x 大于45cm，则该鱼为 鲈鱼 1，否则该鱼为鲑鱼 2
前提：现在某条鱼 x 38cm
结论：该鱼为鲑鱼 2
❖ 概率推理（不确定性推理）
P i x 精选
最小错误率准则
❖ 例子：
给定
P
y
1
P
y
2
1 2
，类条件概率密度如图。
现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定，a和b为常数
❖ 一旦 R1 和 R2 确定， R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ，期望风险与P(ω1) 无关！
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则： P1 x P2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1：
最小风险准则
❖ 最小风险贝叶斯决策：考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险：
精选
最小风险准则
❖ 期望风险：对于x的不同观察值，采取决策αi时，
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样，决策α可以看成随机向 量x的函数，记为α(x)。可以定义期望风险Rexp为：
假言：如果鱼的长度 x 大于45cm，则该鱼为 鲈鱼 1，否则该鱼为鲑鱼 2
前提：现在某条鱼 x 38cm
结论：该鱼为鲑鱼 2
❖ 概率推理（不确定性推理）
P i x 精选
最小错误率准则
❖ 例子：
给定
P
y
1
P
y
2
1 2
，类条件概率密度如图。
现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定，a和b为常数
❖ 一旦 R1 和 R2 确定， R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ，期望风险与P(ω1) 无关！
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则： P1 x P2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1：
贝叶斯决策理论课件
R R x | xpxdx
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
第2章贝叶斯决策理论[1]
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s3/m/6575d6a814791711cd791720.png)
•决 策
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
第2章 贝叶斯决策理论PPT课件
令每一个x都取使P( P (e | x) p ( x)dx
P(e
|
x)
P P
(1 ( 2
| |
x) x)
P ( 2 | x) P (1 | x) P (1 | x) P ( 2 | x)
最小的值，则所有x产生
的平均错误率最小。
结论可推广至多类
t
P (e) P ( 2 | x) p ( x)dx t P (1 | x) p ( x)dx
t
p ( x | 2 ) P ( 2 )dx t p ( x | 1 ) P (1 )dx
P ( 2 ) P2 (e) P (1 ) P1 (e)
12
基于最小错误率的贝叶斯决策
使误判概率 P (最e ) 小，等价于使正确分类识别的概率 P ( c ) 最大。
贝叶斯决策理论研究了模式类的概率结构完全知道的 理想情况。这种情况实际中极少出现，但提供了一个对 比其它分类器的依据，即“最优”分类器。
5
2.1 引言
符号规定
分类类别数：c
类别状态： i,i1,2, ,c
特征空间维数：d
d维特征空间中的特征向量：x[x1,x2, ,xd]T
先验概率：P (表i ) 示 类出i 现的先验概率,简称为 类的 概i 率
P(1| x)
p(x|1)P(1)
2
p(x|j)P(j)
0.20.9 0.818 0.20.90.40.1
j1
P(2 | x)1P(1| x)0.182 P(1|x)0.818P(2| x)0.182 x1
11
基于最小错误率的贝叶斯决策
关于错误率最小的讨论（一维情况）
错误率是指平均错误率P(e)
2.1 引言
第二章2 1 211 优质课件
损失
决策
1
2
1 (1,1) (1,2 )
2 (2 ,1) (2,2 )
i (i ,1) (i ,2 )
a (a ,1) (a ,2 )
j
(1, j )
p(x | 1) 是正常状态下细胞特征x的类条件概率密度。 p(x | 2 ) 是异常状态下细胞特征x的类条件概率密度。
p(x | 1)
p(x |2)
p(1 | x)
p(2 | x)
图2.1 类条件概率密度
图2.2后验概率
4
贝叶斯公式
P(i | x)
p(x | i )P(i )
（1）在已知P( j ),
根据贝叶斯公式
p(x | j ) , j =1,…,c
计算出后验概率：
及给出待识别的x 的情况下，
p( j | ，x) j=1,…,c
（2）利用计算出的后验概率及决策表，按下式
c
R(i | x) E (i, j ) (i , j )P( j | x)
2
p(x | j )P( j )
j 1
利用贝叶斯公式 可求出状态的后验概率。 基于最小错误率的贝叶斯决策规则为：
如果 P(1 | x)> P(2 | x) ，x 归类于正常状 1，
如果P(1 | x)< P(2 | x) ，x 归类于异常状态 2。
上面规面规则可简写
如果P(i
P ( x / 2 ) P (2 )
贝叶斯决策理论课件(PPT90页)
Some about Bayes(2)
一所学校里面有 60% 的男生，40% 的女生。男生总是穿长 裤，女生则一半穿长裤一半穿裙子。假设你走在校园中， 迎面走来一个穿长裤的学生（很不幸的是你高度近似，你 只看得见他（她）穿的是否长裤，而无法确定他（她）的 性别），你能够推断出他（她）是女生的概率是多大吗？
要决策分类的类别数是一定的
引言
在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围构 成了d维特征空间。
称向量 x x1, x2, , xd T x Rd 为d维特征向量。
假设要研究的分类问题有c个类别，类型空间表示
为：
1,2 , ,i ,c
P(B|LB)∝P(LB|B)P(B)∝0.75P(B) P(~B|LB)∝P(LB|~B)P(~B)∝0.25(1-P(B)) 而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于 是有 P(B|LB)∝0.75×0.1=0.075 P(~B|LB)∝0.25(1-P(B))=0.25×0.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(~B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。
Neyman-Pearson准则
问题：先验概率和损失未知
通常情况下，无法确定损失。 先验概率未知，是一个确定的值 某一种错误较另一种错误更为重要。
基本思想：
要求一类错误率控制在很小，在满足此条件的 前提下再使另一类错误率尽可能小。
用lagrange乘子法求条件极值
Neyman-Pearson准则
和绿色的区分的可靠度是75%； 假设随后你又了解到第3条信息：（3）西安的出租车10辆
关于贝叶斯决策理论课件.pptx
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
模式识别课件-第二章 贝叶斯决策理论
如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
02 贝叶斯决策理论精品资料PPT课件
n 那么当 R (1|x)R (2|x)n 时，采取第1个行动。即：
1 P ( 1 1 |x ) 1 P ( 2 2 | x ) 2 P ( 1 1 |x ) 2 P ( 2 2 |x )
( 1 1 2 ) P ( 1 1 |x ) ( 2 2 1 ) P 2 (2 |x )
( 1 1 2 ) P ( 1 x |1 ) P ( 1 ) ( 2 2 1 ) P ( 2 x |2 ) P ( 2 )
加上相同的树，或取自然对数。那么不等式的关系是不变的。因 此不考虑损失时的贝叶斯判别函数：
gi(x)p(i|x)p(x|p (ix ))p(i)
n 可以写成：
gi(x)p(x|i)p(i)
g i(x ) ln p (x| i) ln p (i)
n
比鱼的时如ω罐候1对头分的于里类罐上装后头面入采里的了取装例 鲈 的入子 鱼 行了动λω鲑111就鱼，=λ要ω那222偏么=，0向客那。于户么鲈便很客鱼宜难户ω的感1会比鲑到很鲑鱼有生鱼。损气ω因失；2贵此。如。设那果如当么鲑果真这鱼鲈正个ω2
类装将λ21别入x=归0是了类.2鲑鲑。为鱼鱼可鲑ωω以鱼22的)看的ω时2到损(造候，失成，上λ鲑1将2面=鱼x的2归， ω公类2设的式为当罐变鲈真头成鱼正里了ω类装1：(别入造是了成鲈鲈鲈鱼鱼鱼ωωω111的的)的时罐损候头失，里
P(y|x)P(x| y)P(y) P(x)
n 换一种写法：
P(j |x)P(x| P(jx)P )(j)
P(j |x)P(x| P(jx)P )(j)
n 这就是著名的贝叶斯公式。其中P(ωj)叫做先验概率，就是类别出现 的可能性；p(x|ωj)叫条件概率，就是在ωj时x出现的可能性；p(ωj|x) 叫后验概率；p(x)是该样例出现的可能性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 几种常用的决策规则。
• 正态分布时统计决策的问题以及错误概率等问题。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)10
第二章 贝叶斯决策理论
上一章提到机器实现自动分类有两大类方法： 一种是模板匹配方法， 而另一种就是对特征空间划分为子空间(每类的势力范围)的方法。
本章是针对第二种方法的。核心问题是：样本为特征向量X时，它属于 哪一类可能性有多大，如能确定属于各个类别的百分比(概率)分类决策 就有了依据。例如某个样本的特征向量为X，X属于第一类样本的可能 性为60％，而第二类的可能性为40％。在没有任何样本信息的情况下， 则应将样本决策为第一类以使错分类可能性小(40％)，这就是这一章考 虑分类问题的出发点。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)8
第二章 贝叶斯决策理论
特征向量与特征空间
在描述本章所要讨论的问题之前，再提一下对于待识别的 物理对象的描述问题。假设一个待识别的物理对象用其d 个属性观察值描述，称之为d个特征，这组成一个d维的特 征向量，而这d维待征所有可能的取值范围则组成了一个d 维的特征空间。
贝叶斯决策理论方法所讨论的问题
已知总共有c类物体，即：待识别物体属于这c类中的一个类别，对这c 类不同的物理对象，以及各类在这d维特征空间的统计分布
• 各知类的别条ω件i下=1，,2如,…何,c对的某先一验样概本率按P(其ωi特)及征类向条量件分概类率的密问度题函。数由p于(x属|ω于i)已 不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的 某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一X 值，这种可能性可用P(ωi|X)表示。如何作出合理的判决就是贝叶斯 决策理论所要讨论的问题。
3、模式识别的基本计算框架——制定准则函数，实现准则 函数极值化的分类器设计方法。
4、正态分布条件下的分类器设计。
5、判别函数、决策面、决策方程等术语的概念。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)6
第二章 贝叶斯决策理论
• 难点
1、三种概率：先验概率、类会将分类与计算某种函数联系起来，并在此基础上定义了一些术 语，如判别函数、决策面(分界面)，决策域等，要正确掌握其含义。
这一章会涉及设计一个分类器的最基本方法——设计准则函数，并使所 设计的分类器达到准则函数的极值，即最优解，要理解这一最基本的做 法。这一章会开始涉及一些具体的计算，公式推导、证明等，应通过学 习提高这方面的理解能力，并通过习题、思考题提高自己这方面的能力。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)4
第二章 贝叶斯决策理论
学习目标
这一章是模式识别的重要理论基础，它用概率论的概念分析造成错分类 和识别错误的根源，并说明与哪些量有关系。在这个基础上指出了什么 条件下能使错误率最小。有时不同的错误分类造成的损失会不相同，因 此如果错分类不可避免，那么有没有可能对危害大的错分类实行控制。 对于这两方面的概念要求理解透彻。
• 例：假设苹果的直径尺寸限定在7厘米到15厘米之间，它们 的重量在3两到8两之间变化。如果直径长度x用厘米为单位， 重量y以两为单位。那么，由x值从7到15，y值从3到8包围 的二维空间就是对苹果进行度量的特征空间。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)9
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论
学习指南
• 主要内容是说明分类识别中为什么会有错分类，在 何种情况下会出现错分类？错分类的可能性会有多 大？在理论上指明了怎样才能使错分类最少？
• 不同的错分类造成的危害是不同的，有的错分类种类 造成的危害更大，因此控制这种错分类则是更重要的。 为此引入了一种“风险”与“损失”概念，希望做到 使风险最小。要着重理解“风险”与“损失”的概念， 以及在引入“风险”概念后的处理方法。
11.08.2020
(48)1
第二章 贝叶斯决策理论
整体概况
+ 概况1
您的内容打在这里，或者通过复制您的文本后。
概况2
+ 您的内容打在这里，或者通过复制您的文本后。
概况3
+ 您的内容打在这里，或者通过复制您的文本后。
第二章 贝叶斯决策理论
• 重点理解这一章的关键是要正确理解先验概率，类 概率密度函数，后验概率这三种概率，对这三种概 率的定义，相互关系要搞得清清楚楚。Bayes公式 正是体现这三者关系的式子，要透彻掌握。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)3
第二章 贝叶斯决策理论
课前思考
1、 机器自动识别分类，能不能避免错分类，如汉字识别能不能做 到百分之百正确？怎样才能减少错误？ 2、 错分类往往难以避免，因此就要考虑减小因错分类造成的危害 损失，譬如对病理切片进行分析，有可能将正确切片误判为癌症 切片，反过来也可能将癌症病人误判为正常人，这两种错误造成 的损失一样吗？看来后一种错误更可怕，那么有没有可能对后一 种错误严格控制？ 3、 概率论中讲的先验概率，后验概率与概率密度函数等概念还记 得吗？什么是贝叶斯公式？ 4、 什么叫正态分布？什么叫期望值？什么叫方差？为什么说正态 分布是最重要的分布之一？
2、 三种概率之间的关系——贝叶斯公式。
3、 描述随机变量分布的一些定义，如期望值、方差、 尤其是协方差、协方差矩阵，其定义、计算方法 及内在含义，透彻掌握其含义才会做到灵活运用。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)7
第二章 贝叶斯决策理论
§2.1 引言
• 模式识别是一种分类问题，即根据识别对象所呈 现的观察值，将其分到某个类别中去。统计决策 理论是处理模式分类问题的基本理论之一，对模 式分析和分类器的设计起指导作用。贝叶斯决策 理论是统计模式识别中的一个基本方法，我们先 讨论这一决策理论，然后讨论涉及统计判别方法 的一些基本问题。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)5
第二章 贝叶斯决策理论
本章重点、难点
• 重点
1、机器自动识别出现错分类的条件，错分类的可能性如何 计算，如何实现使错分类出现可能性最小——基于最 小错误率的贝叶斯决策理论。
2、如何减小危害大的错分类情况——基于最小错误风险的 Bayes决策理论。
• 正态分布时统计决策的问题以及错误概率等问题。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)10
第二章 贝叶斯决策理论
上一章提到机器实现自动分类有两大类方法： 一种是模板匹配方法， 而另一种就是对特征空间划分为子空间(每类的势力范围)的方法。
本章是针对第二种方法的。核心问题是：样本为特征向量X时，它属于 哪一类可能性有多大，如能确定属于各个类别的百分比(概率)分类决策 就有了依据。例如某个样本的特征向量为X，X属于第一类样本的可能 性为60％，而第二类的可能性为40％。在没有任何样本信息的情况下， 则应将样本决策为第一类以使错分类可能性小(40％)，这就是这一章考 虑分类问题的出发点。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)8
第二章 贝叶斯决策理论
特征向量与特征空间
在描述本章所要讨论的问题之前，再提一下对于待识别的 物理对象的描述问题。假设一个待识别的物理对象用其d 个属性观察值描述，称之为d个特征，这组成一个d维的特 征向量，而这d维待征所有可能的取值范围则组成了一个d 维的特征空间。
贝叶斯决策理论方法所讨论的问题
已知总共有c类物体，即：待识别物体属于这c类中的一个类别，对这c 类不同的物理对象，以及各类在这d维特征空间的统计分布
• 各知类的别条ω件i下=1，,2如,…何,c对的某先一验样概本率按P(其ωi特)及征类向条量件分概类率的密问度题函。数由p于(x属|ω于i)已 不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的 某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一X 值，这种可能性可用P(ωi|X)表示。如何作出合理的判决就是贝叶斯 决策理论所要讨论的问题。
3、模式识别的基本计算框架——制定准则函数，实现准则 函数极值化的分类器设计方法。
4、正态分布条件下的分类器设计。
5、判别函数、决策面、决策方程等术语的概念。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)6
第二章 贝叶斯决策理论
• 难点
1、三种概率：先验概率、类会将分类与计算某种函数联系起来，并在此基础上定义了一些术 语，如判别函数、决策面(分界面)，决策域等，要正确掌握其含义。
这一章会涉及设计一个分类器的最基本方法——设计准则函数，并使所 设计的分类器达到准则函数的极值，即最优解，要理解这一最基本的做 法。这一章会开始涉及一些具体的计算，公式推导、证明等，应通过学 习提高这方面的理解能力，并通过习题、思考题提高自己这方面的能力。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)4
第二章 贝叶斯决策理论
学习目标
这一章是模式识别的重要理论基础，它用概率论的概念分析造成错分类 和识别错误的根源，并说明与哪些量有关系。在这个基础上指出了什么 条件下能使错误率最小。有时不同的错误分类造成的损失会不相同，因 此如果错分类不可避免，那么有没有可能对危害大的错分类实行控制。 对于这两方面的概念要求理解透彻。
• 例：假设苹果的直径尺寸限定在7厘米到15厘米之间，它们 的重量在3两到8两之间变化。如果直径长度x用厘米为单位， 重量y以两为单位。那么，由x值从7到15，y值从3到8包围 的二维空间就是对苹果进行度量的特征空间。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)9
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论
学习指南
• 主要内容是说明分类识别中为什么会有错分类，在 何种情况下会出现错分类？错分类的可能性会有多 大？在理论上指明了怎样才能使错分类最少？
• 不同的错分类造成的危害是不同的，有的错分类种类 造成的危害更大，因此控制这种错分类则是更重要的。 为此引入了一种“风险”与“损失”概念，希望做到 使风险最小。要着重理解“风险”与“损失”的概念， 以及在引入“风险”概念后的处理方法。
11.08.2020
(48)1
第二章 贝叶斯决策理论
整体概况
+ 概况1
您的内容打在这里，或者通过复制您的文本后。
概况2
+ 您的内容打在这里，或者通过复制您的文本后。
概况3
+ 您的内容打在这里，或者通过复制您的文本后。
第二章 贝叶斯决策理论
• 重点理解这一章的关键是要正确理解先验概率，类 概率密度函数，后验概率这三种概率，对这三种概 率的定义，相互关系要搞得清清楚楚。Bayes公式 正是体现这三者关系的式子，要透彻掌握。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)3
第二章 贝叶斯决策理论
课前思考
1、 机器自动识别分类，能不能避免错分类，如汉字识别能不能做 到百分之百正确？怎样才能减少错误？ 2、 错分类往往难以避免，因此就要考虑减小因错分类造成的危害 损失，譬如对病理切片进行分析，有可能将正确切片误判为癌症 切片，反过来也可能将癌症病人误判为正常人，这两种错误造成 的损失一样吗？看来后一种错误更可怕，那么有没有可能对后一 种错误严格控制？ 3、 概率论中讲的先验概率，后验概率与概率密度函数等概念还记 得吗？什么是贝叶斯公式？ 4、 什么叫正态分布？什么叫期望值？什么叫方差？为什么说正态 分布是最重要的分布之一？
2、 三种概率之间的关系——贝叶斯公式。
3、 描述随机变量分布的一些定义，如期望值、方差、 尤其是协方差、协方差矩阵，其定义、计算方法 及内在含义，透彻掌握其含义才会做到灵活运用。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)7
第二章 贝叶斯决策理论
§2.1 引言
• 模式识别是一种分类问题，即根据识别对象所呈 现的观察值，将其分到某个类别中去。统计决策 理论是处理模式分类问题的基本理论之一，对模 式分析和分类器的设计起指导作用。贝叶斯决策 理论是统计模式识别中的一个基本方法，我们先 讨论这一决策理论，然后讨论涉及统计判别方法 的一些基本问题。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)5
第二章 贝叶斯决策理论
本章重点、难点
• 重点
1、机器自动识别出现错分类的条件，错分类的可能性如何 计算，如何实现使错分类出现可能性最小——基于最 小错误率的贝叶斯决策理论。
2、如何减小危害大的错分类情况——基于最小错误风险的 Bayes决策理论。