第2章-贝叶斯决策理论(MABO--csu-mabo--2015-04-01-21,22,00)
合集下载
第2章 贝叶斯决策理论
P e
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
第2章_贝叶斯决策
R1
R1
21 p 1 p x 1 dx 22 p 2 p x 2 dx
R2
R2
11 p 1 (1 p x 1 dx) 21 p 1 p x 1 dx 12 (1 p 1 ) p x 2 dx
R2
R2
R1
22(1 p 1 )(1 p x 2 dx)
R1
最小最大决策准则
Neyman-Pearson准则
❖ 对两分类问题，错误率可以写为：
Pe p x R1, x 2 p x R2, x 1
p x | 2 p2 dx p x | 1 p1 dx
R1
R2
p x | 2 dx p2 p x | 1 dx p1
R1
R2
p2 e p2 p1 e p1
策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
❖ 对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i wj
0, 1,
for i j ; i, j 1,
for i j
,c
那么，条件风险为：
c
R i x i j P j x P j x 1 P i x
❖ 贝叶斯决策的两个要求
各个类别的总体概率分布 (先验概率和类条件概 率密度) 是已知的
要决策分类的类别数是一定的
引言
❖ 在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围 构成了d维特征空间。
❖ 称向量 x x1, x2, , xd T x Rd 为d维特征向量。
p 2 p 1
似然比公式
最小错误率准则
❖ 特例1：
最小错误率准则
第2章贝叶斯决策理论[1]
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s3/m/6575d6a814791711cd791720.png)
•决 策
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
第2章_贝叶斯决策理论
px
1
2
exp
1 2
x
2
模式识别 – 贝叶斯分类器
多元正态分布函数
p x i
1
2 d 2
Σi
12
exp
1 2
x
μi
t
Σi1 x μi
模式识别 – 贝叶斯分类器
正态分布的判别函数
• 贝叶斯判别函数可以写成对数形式：
gi x ln px i ln Pi
• 类条件概率密度函数为正态分布时：
P x 阳性 1 0.95,P x 阳性 2 0.01
现有一人化验结果为阳性，问此人是否患癌症？
模式识别 – 贝叶斯分类器
2.2 最小平均风险准则贝叶斯分 类器
•问题的提出: 有c个类别ω1, ω2 ,... , ωc, 将ωi类的样本
判别为ωj类的代价为λij。
•将未知模式x判别为ωj类的平均风险：
gi
x
1 2
xt
Σi1x
μit
Σi1x
1 2
μit
Σi1μiຫໍສະໝຸດ 1 ln 2Σiln
P
i
• 判别函数为二次判别函数，分类界面为2次 曲线（面）。
模式识别 – 贝叶斯分类器
二次分类曲线
模式识别 – 贝叶斯分类器
二次分类曲面
模式识别 – 贝叶斯分类器 •
每 一 次 的 加 油，每 一次的 努力都 是为了 下一次 更好的 自己。 21.1.1221.1.12Tuesday, January 12, 2021
•
每 天 都 是 美 好的一 天，新 的一天 开启。 21.1.1221.1.1221:5021:50:2321:50:23Jan-21
第二章贝叶斯决策理论
利用贝叶斯公式(1)还可以得到几种最小错 误率贝叶斯决策规则的等价形式：
⑵如果 p(x|ωi) P(ωi )= mj1a,2xp(x|ωj) P(ωj)，
则
x∈ωi
⑶若
l(x) p(x | 1) P(2 )
p(x | 2 ) < P(1)
，则x∈
ω1 ω2
⑷对上式的l(x)取自然对数的负值，可写为
2
p(x | i )P(i )
i 1
2.2.1基于最小错误率的贝叶斯决策
❖ 条件概率P(ωi|x)称为状态的后验概率 ❖ 贝叶斯公式实质上是通过观察x把状态的先验
概率P(ωi) 转化为状态的后验概率P(ωi|x)，如图 2.2所示。
图2.2 P(ω1) =2/3和P(ω2)=1/3 及图2.1下的后验 概率图
若h(x)=－ln[l(x)]=－lnp(x|ω1)+ lnp(x|ω2) <>
则 x∈ ω1
ln P(2 ) P(1 )
ω2
2.2.1基于最小错误率的贝叶斯决策
举例
❖ 假设在某个局部地区细胞识别中正常(ω1) 和异常(ω2)两类先验概率分别为正常状态： P(ω1)=0.9；异常状态：P(ω2)=0.1。现有 一待识的细胞，其观察值为x，从类条件 概率密度分布曲线上查得p(x|ω1)=0.2， p(x|ω2)=0.4。试对该细胞x进行分类。
一次判别，这种分类可能是合理的；如果多次 判别，则根本未达到要把鲈鱼与鲑鱼区分开的 目的。
2.2.1基于最小错误率的贝叶斯决策
解决方法
❖ 利用对鱼观察到的光泽度提高分类器的性 能。不同的鱼产生不同的光泽度，将其表 示为概率形式的变量，设x是连续的随机变 量，其分布取决于类别状态，表示为p(x|ω)， 即类条件概率分布(class-conditional probability density)函数，则 p(x|ω1)与p(x|ω2) 之间的区别就表示为鲈鱼与鲑鱼间光泽度 的区别，如图2.1所示：
第2章 贝叶斯决策
1）根据先验概率和类条件概率计算出后验概率； 2）利用后验概率和损失矩阵计算采取每种决策
的条件风险； 3）比较各个条件风险的值，条件风险最小的决 策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i w j
似然比公式
P i x P x i P i P x
则： P 1 x P 2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 2
p x 1
p 2 p 1
似然比公式
带入上式：
最小最大决策准则
期望风险可写成：
R1
R 22 12 22 p x 2 dx p 1 11 22 21 11 p x 1 dx 12 22 p x 2 dx R2 R1 a p 1 b
i 1
c
最小错误率准则
例：医生要根据病人血液中白细胞的浓度来判断病 人是否患血液病。 两类识别问题：患病，未患病 根据医学知识和以往的经验，医生知道：
患病的人，白细胞的浓度服从均值2000方差1000的正
态分布；未患病的人，白细胞的浓度服从均值7000， 方差3000的正态分布；（类条件概率） 一般人群中，患病的人数比例为0.5%；（先验概率） 一个人的白细胞浓度时3100，医生应该做出怎样的判 断？（后验概率？）
期望风险反映对整个空间上所有x的取值采取相应的 决策α(x)所带来的平均风险。
最小风险准则
两分类问题的例子：
似然比公式
的条件风险； 3）比较各个条件风险的值，条件风险最小的决 策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i w j
似然比公式
P i x P x i P i P x
则： P 1 x P 2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 2
p x 1
p 2 p 1
似然比公式
带入上式：
最小最大决策准则
期望风险可写成：
R1
R 22 12 22 p x 2 dx p 1 11 22 21 11 p x 1 dx 12 22 p x 2 dx R2 R1 a p 1 b
i 1
c
最小错误率准则
例：医生要根据病人血液中白细胞的浓度来判断病 人是否患血液病。 两类识别问题：患病，未患病 根据医学知识和以往的经验，医生知道：
患病的人，白细胞的浓度服从均值2000方差1000的正
态分布；未患病的人，白细胞的浓度服从均值7000， 方差3000的正态分布；（类条件概率） 一般人群中，患病的人数比例为0.5%；（先验概率） 一个人的白细胞浓度时3100，医生应该做出怎样的判 断？（后验概率？）
期望风险反映对整个空间上所有x的取值采取相应的 决策α(x)所带来的平均风险。
最小风险准则
两分类问题的例子：
似然比公式
模式识别课件-第二章 贝叶斯决策理论
如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
第二章 贝叶斯决策理论
ωc } αa}
对x可能采取的决策： Α = {α1 α 2
决策表
损失 状态 决策
ω1
ω2
…
ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )
…
ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 ： λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 ：R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。
贝叶斯公式 设试验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率，发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的，需要更有效的化验。
（2）最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x )，则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 )，则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ，则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2
第二章_贝叶斯决策论
对于二分分类器，可以定义一个简单判别函数
g(x) g1(x) g2 (x)
则如果 g(x) 0 ，则将x判给1，否则给 2 。
• 最小误差概率情况下
g(x) P(1 | x) P(2 | x)
或： g(x) ln p(x | 1) ln P(1) p(x | 2 ) P(2 )
4
注 : 假定的类条件概率密度函数图,显示了模式处于类别 i 时观察某
个特定特征值 x 的概率密度.如果 x 代表了鱼的长度,那么这两条曲线可 描述两种鱼的长度区别.概率函数已归一化,因此每条曲线下的面积为1
5
贝叶斯公式:
处于类别 i 并具有特征值 x的模式的联合概率密度可写成两种形式：
p(i , x) P(i | x) p(x) p(x | i )P(i )
b
引入一个0-1损失
或分类损失，那么
判别边界将由阈值
损失a 决函定数；将而模如式果2
判为1 的惩罚大于 反过来情况，将得
到较大的阈值b 使
得R1变小
17
• 2.3 最小误差率分类
• 当损失函数简化到所谓的“对称损失”或“0-1损失”
函数
(i
|
j
)
0 1
i j i j
i, j 1,2,c
9
根据贝叶斯公式，由于p(x)为标量，则可以采用等价判定准则：
若 p(x | 1)P(1) p(x | 2 )P(2 ) ,则判定类别为 1 ; 反之，判为 2 。
P(i
| x)
p(x | i )P(i )
p(x)
10
• 2.2 贝叶斯决策论-连续性特征
第二章贝叶斯决策理论
第⼆章贝叶斯决策理论第⼆章贝叶斯决策理论●引⾔统计模式识别⽅法以样本特征值的统计概率为基础：（1）先验概率()i P ω、类（条件）概率密度函数(/)i p ωx 和后验概率(/)i P ωx 。
（2） Bayes 公式体现这三者关系的公式。
本章讨论的内容在理论上有指导意义，代表了基于统计参数这⼀类的分类器设计⽅法，结合正态分布使分类器设计更加具体化。
模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。
是指对某⼀种设计原则讲的，这种原则称为准则。
使这些准则达到最优，如最⼩错误率准则，基于最⼩风险准则等,讨论⼏种常⽤的决策规则。
设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的⽅法。
●思考？机器⾃动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？错分类往往难以避免，因此就要考虑减⼩因错分类造成的危害损失，有没有可能对⼀种错分类严格控制？●贝叶斯决策理论与⽅法基本概念给定⼀个m 模式类(,,....,)m ωωω12的分类任务以及各类在这n 维特征空间的统计分布, 要区分出待识别样本x 属于这m 类样本中的哪⼀类问题。
假设⼀个待识别的样本⽤n 个属性观察值描述，称之为n 个特征，从⽽组成⼀个n 维的特征向量，⽽这n 维征向量所有可能的取值范围则组成了⼀个n 维的特征空间。
特征空间的统计分布 (1) i ω, i =1,2,…,m 的先验概率：()i P ω(2)类条件概率密度函数：(|)i p ωx （可解释为当类别i ω已知的情况下，样本x 的概率分布密度函数）(3)后验概率：⽣成m 个条件后验概率(|)i P ωx ，i =1，2，…，m 。
也就是对于⼀个特征向量x ，每⼀个条件后验概率(|)iP ωx 都代表未知样本属于某⼀特定类i ω的概率。
第⼀节基于最⼩错误率的贝叶斯判别⽅法 (⼀).两类情况两类情况是多类情况的基础，多类情况往往是⽤多个两类情况解决的。
第2章 贝叶斯决策理论
j =1 c
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
针对所有x的期望风险定义为 R = ∫ R (α | x ) p ( x)dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R(α k | x) = min R(α i | x)
i =1,L, a
α = αk
步骤： （1）计算后验概率 （2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
∞ ∞
P (e | x ) = P (ω 2 | x ) P (e) = =
P (ω 1 | x ) > P (ω 2 | x )
结论可推广至多类
∫
t
t −∞
P (ω 2 | x ) p ( x ) dx +
∫ ∫
∞ t ∞
P (ω 1 | x ) p ( x ) d x p ( x | ω 1 ) P (ω 1 ) d x
i , j = 1, 2, L , c
0-1损失下，最小 风险决策等价于最 小错误率决策
Q R (α k | x ) = min R (α i | x )
i =1,L, c
∴ ∑ P (ω j | x ) = min
j =1 j≠k
c
i =1,L, c
∑ P (ω
j =1 j ≠i
c
j
| x ) ⇔ P (ω k | x ) = max P (ω j | x )
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) d x
P (ω 2 ) =
∫
t −∞
p ( x | ω 2 ) P (ω 2 ) dx +
∫
∞ t
p ( x | ω 2 ) P (ω 2 ) dx
第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模式识别
Pattern Recognition
第二章 贝叶斯决策理论
Table of Contents
2.1 引言 2.2 基于判别函数的分类器设计 2.3 基于最小错误率的Bayes决策 2.4 基于最小风险的Bayes决策 2.5 正态分布的最小错误率Bayes决策 2.6 Bayes分类器的算法
第二章 贝叶斯决策理论
13
2.3Bayes最小错误率决策例解
两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为：
➢正常(ω1)： P(ω1)=0.9 ➢异常(ω2)： P(ω2)=0.1 ➢对某一样本观察值x，通过计算或查表得到：
p(x|ω1)=0.2， p(x|ω2)=0.4
以两类问题为例，当获得观测值x后，
有两种决策可能：判定 x∈ω1 ，或者 x∈ω2。
条件错误率为：
P(e
|
x)
P(2 P(1
| |
x) x)
1 1
P(1 P(2
| |
x) x)
若决定x 1 若决定x 2
1
max i
P(i
|
x)
第二章 贝叶斯决策理论
20
决策的错误率（4）
设t为两类的分界面，则在特征向量x是一维 时，t为x轴上的一点。两个决策区域: R1~(-∞，t)和R2~(t，+∞)
第二章 贝叶斯决策理论
4
决策
把x分到哪一类最合理？理论基础 之一是统计决策理论
决策：是从样本空间S，到决策空 间Θ的一个映射，表示为
D: S --> Θ
y g x, Rd 1,L ,c
第二章 贝叶斯决策理论
决策准则
评价决策有多种标准，对于同一个问题，采 用不同的标准（准则）会得到不同意义下 “最优”的决策。
E (x μ)(x μ)T
(
2 ij
)n*n
2 ij
E
( xi
i )( x j
j )
第二章 贝叶斯决策理论
42
多元正态分布的性质
参数μ和Σ完全决定分布： p(x) ~ N(, ) 等概率密度轨迹为一超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
2.4 基于最小风险的Bayes决策
决策的风险：
➢做决策要考虑决策可能引起的损失。 ➢以医生根据白细胞浓度判断一个人是
否患血液病为例：
没病(ω1)被判为有病(ω2) ，还可以做 进一步检查，损失不大；
有病(ω2)被判为无病(ω1) ，损失严重。
第二章 贝叶斯决策理论
23
损失矩阵
损失的定义：(N类问题) 做出决策D (x)=ωi，但实际上 x ∈ωj，受到的损失定义为：
Bayes决策是一致最优决策。
第二章 贝叶斯决策理论
18
决策的错误率
条件错误率： P(e | x) （平均）错误率：
P(e) E(P(e | x)) P(e | x) p(x)dx
（平均）错误率是条件错误率的数学期望
第二章 贝叶斯决策理论
19
决策的错误率（2）
条件错误率P(e|x)的计算:
2
P( j ) p(x | j
)
0.2
0.4 0.9
0.1 0.4
0.1
0.182
j 1
j argmax P(i | x) 1
i
x 1
决策结果
第二章 贝叶斯决策理论
16
c
Perror 1 pi xdx
i1 Ri
第二章 贝叶斯决策理论
17
决策的错误率（3）
Bayes最小错误率决策使得每个观 测值下的条件错误率最小因而保 证了（平均）错误率最小。
i, j (D(x) i | j ) i, j 1, 2,L , N
( ) 损失矩阵
或决策表：
i, j N *N
第二章 贝叶斯决策理论
24
期望条件风险与期望风险
期望条件风险：获得观测值x后，决策D(x) 造成的损失对x实际所属类别的各种可能的 平均，称为条件风险R(D(x)|x)
R(D(x) | x)
用Bayes公式展开，最小风险Bayes决 策得到：
D(
x)
1
if
p( x | 1) (12 22 )P(2 ) p( x | 2 ) (21 11)P(1)
D( x) 2
otherwise
第二章 贝叶斯决策理论
28
Bayes最小风险决策例解
两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为：
计算出每个决策的条件风险 R(αi|x) (3) 按最小的条件风险进行决策。
损失矩阵在某些特殊问题，存在简单的 解析表达式。
实际问题中得到合适的损失矩阵不容易。
第二章 贝叶斯决策理论
27
两类问题最小风险Bayes决策
R(D( x) 1 | x) 11P(1 | x) 12P(2 | x) R(D( x) 2 | x) 21P(1 | x) 22P(2 | x)
Bayes决策的三个前提：
➢ 类别数确定 ➢ 各类的先验概率P(ωi)已知 ➢ 各类的条件概率密度函数p(x|ωi)已知
Bayes决策中，类条件概率密度的选择要求：
➢ 模型合理性 ➢ 计算可行性
最常用的概率密度模型：正态分布
➢ 观测值通常是很多种因素共同作用的结果，根据中心极 限定理，它们（近似）服从正态分布。
第二章 贝叶斯决策理论
41
多元正态分布
观测向量x：实际应用中，可以同时观测多 个值，用向量表示。多元正态分布：
p(x)
1
(2 )n / 2
1/2
exp(
1 2
(x
μ)T 1(x
μ))
x ( x1, x2,..., xn )T
μ E(x) (1, 2,..., n )T , i E( xi )
a(x)
.
.
.
.
.
.
xn
gc
第二章 贝叶斯决策理论
33
第二章 贝叶斯决策理论
34
2.4两类错误率,Neyman-Pearson决策与ROC曲线
第二章 贝叶斯决策理论
35
第二章 贝叶斯决策理论
36
第二章 贝叶斯决策理论
37
第二章 贝叶斯决策理论
38
第二章 贝叶斯决策理论
39
2.6 正态分布的最小错误率Bayes决策
第二章 贝叶斯决策理论
43
参数μ和Σ完全决定分布
协方差矩阵是对称矩阵 多元正态分布由n+n(n+1)/2个参数所完全决
定:
p(x) ~ N(μ, Σ)
第二章 贝叶斯决策理论
44
等概率密度轨迹为一超椭球面
p(x) c (x μ)T 1(x μ) 2
后验概率： P(ω1|x) =0.818， P(ω2|x) =0.182
2
R(1 | x) 1 jP( j | x) 12(2 | x) 1.092
j 1
2
R(2 | x) 2 jP( j | x) 21(1 | x) 0.818
j 1
j argmin R(i | x) 2
i
x 2
P(e) P(x R1,2 ) P(x R2,1) P(2 )P(x R1 | 2 ) P(1)P(x R2 | 1)
P(2 ) R1 p( x | 2 )dx P(1) R2 p(x | 1)dx
P(2 )P2 (e) P(1)P1(e)
第二章 贝叶斯决策理论
21
错误率
第二章 贝叶斯决策理论
7
图解
P(x|w1)+P(x|w2)≠1
p(x|ω1) p(x|ω2)
P(w1|x)+P(w2|x)=1
p(ω1|x)
p(ω2|x)
类条件概率密度函数
后验概率
第二章 贝叶斯决策理论
8
后验概率P (ωi| x)的计算
Bayes公式： 假设已知先验概率P(ωi)和观测 值的类条件分布p(x|ωi)，i=1,2
2.3 Bayes最小错误率决策
以后验概率为判决函数：
P
j
x
p x j P j
px
g j x p x j P j
决策规则：
i
arg
max
1 jc
g
j
x
x i
该决策使得在观测值x，下则的条件错误率P(e|x) 最小。 Bayes决策理论是最优的。
2.3 Bayes最小错误率决策
类条件概率密度函数：同一类事物的各个属性都有一定的变化范围， 在这些变化范围内的分布概率用一种函数形式表示，则称为类条件概 率密度函数。这种分布密度只对同一类事物而言，与其它类事物没有 关系。为了强调是同一类事物内部，因此这种分布密度函数往往表示 成条件概率的形式。可为从[0,1]之间的任意值。
后验概率：一个具体事物属于某种类别的概率，例如:一个学生用特征 向量x表示，它是男性或女性的概率表示成P(男生|x)和P(女生|x)， 这就是后验概率。
2.1 引言
信号空间
数据获取
预处理
特征空间
特征提取 与选择
分类决策
分类器 设计
模式识别系统的基本构成
第二章 贝叶斯决策理论
3
基本概念
模式分类：根据识别对象的观测值确定其类别 样本与样本空间表示：
x x1, x2,L , xn T x Rn
类别与类别空间：c个类别（类别数已知）
1,2,L ,i L ,c
Bayes最小风险决策通过保证每个观测值下 的条件风险最小，使得它的期望风险最小， 是一致最优决策。
Pattern Recognition
第二章 贝叶斯决策理论
Table of Contents
2.1 引言 2.2 基于判别函数的分类器设计 2.3 基于最小错误率的Bayes决策 2.4 基于最小风险的Bayes决策 2.5 正态分布的最小错误率Bayes决策 2.6 Bayes分类器的算法
第二章 贝叶斯决策理论
13
2.3Bayes最小错误率决策例解
两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为：
➢正常(ω1)： P(ω1)=0.9 ➢异常(ω2)： P(ω2)=0.1 ➢对某一样本观察值x，通过计算或查表得到：
p(x|ω1)=0.2， p(x|ω2)=0.4
以两类问题为例，当获得观测值x后，
有两种决策可能：判定 x∈ω1 ，或者 x∈ω2。
条件错误率为：
P(e
|
x)
P(2 P(1
| |
x) x)
1 1
P(1 P(2
| |
x) x)
若决定x 1 若决定x 2
1
max i
P(i
|
x)
第二章 贝叶斯决策理论
20
决策的错误率（4）
设t为两类的分界面，则在特征向量x是一维 时，t为x轴上的一点。两个决策区域: R1~(-∞，t)和R2~(t，+∞)
第二章 贝叶斯决策理论
4
决策
把x分到哪一类最合理？理论基础 之一是统计决策理论
决策：是从样本空间S，到决策空 间Θ的一个映射，表示为
D: S --> Θ
y g x, Rd 1,L ,c
第二章 贝叶斯决策理论
决策准则
评价决策有多种标准，对于同一个问题，采 用不同的标准（准则）会得到不同意义下 “最优”的决策。
E (x μ)(x μ)T
(
2 ij
)n*n
2 ij
E
( xi
i )( x j
j )
第二章 贝叶斯决策理论
42
多元正态分布的性质
参数μ和Σ完全决定分布： p(x) ~ N(, ) 等概率密度轨迹为一超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
2.4 基于最小风险的Bayes决策
决策的风险：
➢做决策要考虑决策可能引起的损失。 ➢以医生根据白细胞浓度判断一个人是
否患血液病为例：
没病(ω1)被判为有病(ω2) ，还可以做 进一步检查，损失不大；
有病(ω2)被判为无病(ω1) ，损失严重。
第二章 贝叶斯决策理论
23
损失矩阵
损失的定义：(N类问题) 做出决策D (x)=ωi，但实际上 x ∈ωj，受到的损失定义为：
Bayes决策是一致最优决策。
第二章 贝叶斯决策理论
18
决策的错误率
条件错误率： P(e | x) （平均）错误率：
P(e) E(P(e | x)) P(e | x) p(x)dx
（平均）错误率是条件错误率的数学期望
第二章 贝叶斯决策理论
19
决策的错误率（2）
条件错误率P(e|x)的计算:
2
P( j ) p(x | j
)
0.2
0.4 0.9
0.1 0.4
0.1
0.182
j 1
j argmax P(i | x) 1
i
x 1
决策结果
第二章 贝叶斯决策理论
16
c
Perror 1 pi xdx
i1 Ri
第二章 贝叶斯决策理论
17
决策的错误率（3）
Bayes最小错误率决策使得每个观 测值下的条件错误率最小因而保 证了（平均）错误率最小。
i, j (D(x) i | j ) i, j 1, 2,L , N
( ) 损失矩阵
或决策表：
i, j N *N
第二章 贝叶斯决策理论
24
期望条件风险与期望风险
期望条件风险：获得观测值x后，决策D(x) 造成的损失对x实际所属类别的各种可能的 平均，称为条件风险R(D(x)|x)
R(D(x) | x)
用Bayes公式展开，最小风险Bayes决 策得到：
D(
x)
1
if
p( x | 1) (12 22 )P(2 ) p( x | 2 ) (21 11)P(1)
D( x) 2
otherwise
第二章 贝叶斯决策理论
28
Bayes最小风险决策例解
两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为：
计算出每个决策的条件风险 R(αi|x) (3) 按最小的条件风险进行决策。
损失矩阵在某些特殊问题，存在简单的 解析表达式。
实际问题中得到合适的损失矩阵不容易。
第二章 贝叶斯决策理论
27
两类问题最小风险Bayes决策
R(D( x) 1 | x) 11P(1 | x) 12P(2 | x) R(D( x) 2 | x) 21P(1 | x) 22P(2 | x)
Bayes决策的三个前提：
➢ 类别数确定 ➢ 各类的先验概率P(ωi)已知 ➢ 各类的条件概率密度函数p(x|ωi)已知
Bayes决策中，类条件概率密度的选择要求：
➢ 模型合理性 ➢ 计算可行性
最常用的概率密度模型：正态分布
➢ 观测值通常是很多种因素共同作用的结果，根据中心极 限定理，它们（近似）服从正态分布。
第二章 贝叶斯决策理论
41
多元正态分布
观测向量x：实际应用中，可以同时观测多 个值，用向量表示。多元正态分布：
p(x)
1
(2 )n / 2
1/2
exp(
1 2
(x
μ)T 1(x
μ))
x ( x1, x2,..., xn )T
μ E(x) (1, 2,..., n )T , i E( xi )
a(x)
.
.
.
.
.
.
xn
gc
第二章 贝叶斯决策理论
33
第二章 贝叶斯决策理论
34
2.4两类错误率,Neyman-Pearson决策与ROC曲线
第二章 贝叶斯决策理论
35
第二章 贝叶斯决策理论
36
第二章 贝叶斯决策理论
37
第二章 贝叶斯决策理论
38
第二章 贝叶斯决策理论
39
2.6 正态分布的最小错误率Bayes决策
第二章 贝叶斯决策理论
43
参数μ和Σ完全决定分布
协方差矩阵是对称矩阵 多元正态分布由n+n(n+1)/2个参数所完全决
定:
p(x) ~ N(μ, Σ)
第二章 贝叶斯决策理论
44
等概率密度轨迹为一超椭球面
p(x) c (x μ)T 1(x μ) 2
后验概率： P(ω1|x) =0.818， P(ω2|x) =0.182
2
R(1 | x) 1 jP( j | x) 12(2 | x) 1.092
j 1
2
R(2 | x) 2 jP( j | x) 21(1 | x) 0.818
j 1
j argmin R(i | x) 2
i
x 2
P(e) P(x R1,2 ) P(x R2,1) P(2 )P(x R1 | 2 ) P(1)P(x R2 | 1)
P(2 ) R1 p( x | 2 )dx P(1) R2 p(x | 1)dx
P(2 )P2 (e) P(1)P1(e)
第二章 贝叶斯决策理论
21
错误率
第二章 贝叶斯决策理论
7
图解
P(x|w1)+P(x|w2)≠1
p(x|ω1) p(x|ω2)
P(w1|x)+P(w2|x)=1
p(ω1|x)
p(ω2|x)
类条件概率密度函数
后验概率
第二章 贝叶斯决策理论
8
后验概率P (ωi| x)的计算
Bayes公式： 假设已知先验概率P(ωi)和观测 值的类条件分布p(x|ωi)，i=1,2
2.3 Bayes最小错误率决策
以后验概率为判决函数：
P
j
x
p x j P j
px
g j x p x j P j
决策规则：
i
arg
max
1 jc
g
j
x
x i
该决策使得在观测值x，下则的条件错误率P(e|x) 最小。 Bayes决策理论是最优的。
2.3 Bayes最小错误率决策
类条件概率密度函数：同一类事物的各个属性都有一定的变化范围， 在这些变化范围内的分布概率用一种函数形式表示，则称为类条件概 率密度函数。这种分布密度只对同一类事物而言，与其它类事物没有 关系。为了强调是同一类事物内部，因此这种分布密度函数往往表示 成条件概率的形式。可为从[0,1]之间的任意值。
后验概率：一个具体事物属于某种类别的概率，例如:一个学生用特征 向量x表示，它是男性或女性的概率表示成P(男生|x)和P(女生|x)， 这就是后验概率。
2.1 引言
信号空间
数据获取
预处理
特征空间
特征提取 与选择
分类决策
分类器 设计
模式识别系统的基本构成
第二章 贝叶斯决策理论
3
基本概念
模式分类：根据识别对象的观测值确定其类别 样本与样本空间表示：
x x1, x2,L , xn T x Rn
类别与类别空间：c个类别（类别数已知）
1,2,L ,i L ,c
Bayes最小风险决策通过保证每个观测值下 的条件风险最小，使得它的期望风险最小， 是一致最优决策。