模式识别-Bayes决策方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模式识别，第三章
28
最小风险（损失）的Bayes决策
• 风险函数（损失函数）
R ( a / X ) ( a / ) P ( / X )
i j 1 i j j c
• 上式称为作出决策ai 的风险函数，简记为：
R ( X ) P ( / X )
i j 1 i j j c
j 1, 2 ,......, c
模式识别，第三章
29
最小风险（损失）的Bayes决策
• 决策过程
• 当待识样本 X 到来时，将其判为各类所带来的风险分别
为R1(X)， R2(X) ， ﹒﹒﹒， Rc(X)
• 则基于最小风险的Bayes决策准则为：
若 : R ( X ) min{ R ( X )}
1 1 2 2
模式识别，第三章
9
最小错误概率的Bayes决策
• 一维二类情况
合理的决策为：对待识样本x 若P( 1 / x ) > P( 2 / x ) ，则判x∈1类 若P( 2 / x ) > P( 1 / x ) ，则判x∈２类
模式识别，第三章
10
最小错误概率的Bayes决策
• 一维二类情况
P ( x / 1 ) P (1 ) P ( x / 2 ) P (2 )
R1
R2
x
无论判别从哪个方向调整，均导致错误概率的增加！
模式识别，第三章
19
最小错误概率的Bayes决策
• 多类多维情况
设Ω={ 1， 2， ﹒﹒﹒ ， ωc } 是 C 个类别状态的有限集 合，X = [ x1， x2， ﹒﹒﹒ ， xd ]T 是 d 维特征向量，
2
模式识别，第三章
16
最小错误概率的Bayes决策
•
1 ) =2/3，P( ２ )=1/3，则其后验概率 P( 1 / x ) 和 P( 2 / x )如下图所示
若先验概率P(
0.92
特征值x=14 的模式如何分 类？
0.08
模式识别，第三章
17
最小错误概率的Bayes决策
• 错误概率最小？
31
最小风险（损失）的Bayes决策
• 特殊情况：两类问题
R ( X ) P ( X / ) P ( ) P ( X / ) P ( )
1 11 1 1 12 2 2
R ( X ) P ( X / ) P ( ) P ( X / ) P ( )
12 22 2
( ) P ( )
21 11 1
a
，则判 x∈1 类
似然比
模式识别，第三章
33
最小风险（损失）的Bayes决策
模式识别，第三章
34
最小风险（损失）的Bayes决策
特殊情况：两类问题
若：
12 -22 = 21 -11，即对称损失，则最小风险Bayes
决策与最小错误概率Bayes决策是等价的。
模式识别
Pattern Classification
第三章: Bayes决策方法
3
Bayes决策方法
• 原理
• 根据Bayes决策理论，由先验知识来推断后验概率 • 保证错误概率最小或风险最小
模式识别，第三章
4
Bayes决策方法
• 先验知识
• 先验概率P(ωi )
P ( ) 1
i 1 i c
i j
或 : R ( X ) min{ P ( X / ) P ( )}
i ij j j
其中 , j 1, 2 , , C 则判 ：Ｘ 类
i
模式识别，第三章
30
最小风险（损失）的Bayes决策
• 问题：如何合理、科学、准确地定义ij ? • 带有主观因素
模式识别，第三章
• 多类多维情况
Bayes决策准则为：
若 : P ( / X ) max{ P ( / X )}
i j
或 : P ( X / ) P ( ) max{ P ( X / ) P ( )}
i i j j
其中 , j 1, 2 , , C 则判 ：Ｘ 类
i
2 21 1 1 22 2 2
则基于最小风险（损失）的Bayes决策为： 若R1(X) < R2(X)，则 判 X ∈1 类
模式识别，第三章
32
最小风险（损失）的Bayes决策
• 特殊情况：两类问题
• 上述决策等价于：对待识样本x
若：
P(X / )
1
P(X / )
2
( ) P ( )
1 .9
模式识别，第三章
38
最小风险（损失）的Bayes决策
• 解：最小风险Bayes决策
可见：
P(X / )
1
P(X / )
2
( ) P ( )
12 22 2
( ) P ( )
21 11 1
根据最小风险（损失）的Bayes决策准则： x ∈1 类，为乙肝
模式识别，第三章
P ( x / 1 ) P (1 ) P ( x / 2 ) P (2 )
R1
R2
x
错误概率
P P ( x / ) P ( ) dx P ( x / ) P ( ) dx
e R1 2 2 R2 1 1
模式识别，第三章
18
最小错误概率的Bayes决策
• 错误概率最小？
模式识别，第三章
14
最小错误概率的Bayes决策
鲑鱼 鲈鱼
类概率密度来源来统计直方图
模式识别，第三章
15
最小错误概率的Bayes决策
• •
两条曲线描述了两类鱼的长度区别
概率密度函数已归一化，因此每条曲线下的面积为１，即：
P ( x / ) dx 1
1
P ( x / ) dx 1
37
最小风险（损失）的Bayes决策
• 解：最小风险Bayes决策
似然比：
P(X / )
1
P(X / )
2
0 .5 0 .2
2 .5
( ) P ( )
12 22 2
( ) P ( )
21 11 1
0 . 95 (1 0 ) 0 . 05 (10 0 )
P( x / i ) 为第 i 类的类概率密度函数，P( i ) 为第 i 类的先 验概率，则有：
P ( / X )
i
P ( X / ) P ( )
i i
P(X )
C
其中
P ( X ) P ( X / ) P ( )
i 1 i i
模式识别，第三章
20
最小错误概率的Bayes决策
39
（0-1）损失条件下的最小风险Bayes决策
•
损失的概念
•
例如，对于细胞正常或异常的分类问题，可得如下损失表
自然状态 损失 决策
1（正常） 2（异常）
a1（正常） a2 （异常）
11 = 0 21 = 2
12 = 10 22 = 0
模式识别，第三章
26
最小风险（损失）的Bayes决策
•
风险函数（损失函数）
• 设P(j)是自然状态为j的先验概率， X为d维特征向量，则
若P( x / 1) > P( x / 2 ) ， 则判x∈1类 若P( x / 2) > P( x / 1 ) ， 则判x∈２类
模式识别，第三章
13
最小错误概率的Bayes决策 • 以鱼自动分类为例，假设仅选取鱼的长度作为特征，则两类
鱼的类概率密度函数P(x / 1) 和 P( x / 2 ) 如下：
• 假定我们观测某个特定模式 X 并且采取行为 ai ，如果真实
的类别状态为j ，通过定义我们将有损失 (ai /j)
• 显然，与行为 ai 相关的总的损失为
R (ai / X )
(a
j 1
c
i
/ j ) P ( j / X )
(a
j 1
c
i
/ j ) P ( X / j ) P ( j )
模式识别，第三章
23
最小风险（损失）的Bayes决策
• 损失的概念
• 基于最小错误概率的Bayes决策，仅考虑如何保证错误概率
最小，而未考虑决策所带来的损失。
• 例如：
自动灭火系统，乙肝诊断，鱼的分类等，则应考虑错判造 成的损失。 可利用决策论的理论和方法来解决上述问题。
模式识别，第三章
24
最小风险（损失）的Bayes决策
36
最小风险（损失）的Bayes决策
• 解：最小错误概率Bayes决策
P(x/1) P(1)=0.05×0.5=0.025 P(x/2) P(2)=0.2×0.95=0.19 可见： P(x/1) P(1）< P(x/2) P(2)
由Bayes决策准则得：x ∈2 类，为健康
模式识别，第三章
试用Bayes决策准则对待识样本进行分类。
模式识别，第三章
22
最小错误概率的Bayes决策
• 解：
P(x/1) P(1)=0.2×0.9=0.18 P(x/2) P(2)=0.1×0.4=0.04
可见： P(x/1) P(1> P(x/2) P(2) 由Bayes决策准则得：
x ∈1 类，为正常细胞
•
损失的概念
• 设Ω={1， 2， ﹒﹒﹒ ， ωc }表示 c 个有限的类别状态
的集合， A={a1， a2， ﹒﹒﹒ ， ak }表示 k 个有限的决
策（行为）的集合
• 则定义
(ai / j )
为模式自然状态为ωj 时，采取决策 ai 所造成的损失
模式识别，第三章
25
最小风险（损失）的Bayes决策
• 一维二类情况
或： P ( x / ) P ( )
1 2
P(x / )
2
P ( )
1
，则判 x∈1 类
似然比
上述分类准则称为Bayes决策准则
模式识别，第三章
12
最小错误概率的Bayes决策
• 特殊情况下，若P( 1 ) = P( ２ ) ，则分类决策完全由
类概率密度函数决定。 即：
模式识别，第三章
35
最小风险（损失）的Bayes决策
• 例： (乙肝)
1
2(健康)
P(2)=0.95 P(x/2) =0.2
P(1)=0.05 P(x/1) =0.5
11 = 22 =0， 12 = 1，21 =10
试分别用最小风险和最小错误概率Bayes决策对模式X分类
模式识别，第三章
由Bayes决策理论知，后验概率：
P ( X / j ) P ( j ) P(X )
P ( j / X )
P ( X / j ) P ( j )
• 由于每一类后验概率P( X )均相同，可将其视为一标量因子
模式识别，第三章
27
最小风险（损失）的Bayes决策
•
风险函数（损失函数）
P ( x / 1 ) P ( x / 2 )
x
模式识别，第三章
7
最小错误概率的Bayes决策
• 一维二类情况
显然： P ( x / ) dx 1
1
P ( x / ) dx 1
2
由Bayes公式（联合概率密度知）：
P ( x , ) P ( x / ) P ( ) P ( / x ) P ( x )
上述决策等价于：对待识样本x 若P(x / 1) P( 1 ) > P( x / 2 ) P( ２ ) ，则判x∈1类
若P(x / 2) P( 2 ) > P( x / 1 ) P( 1 ) ，则判x∈２类
即由先验知识推断后验概率
模式识别，第三章
11
最小错误概率的Bayes决策
模式识别，第三章
21
最小错误概率的Bayes决策
•Biblioteka Baidu举例
设某地区细胞识别中正常(1)和异常(2) 两类的先验概率分 别为： P(1)=0.9 P(2)=0.1 且知1和2 两类的类概率密度函数为P(x/1)和P(x/2) 现有一待识细胞其特征值为x，从概率密度函数曲线查得：
P(x/1)=0.2 P(x/2)=0.4
1 1 1 1
模式识别，第三章
8
最小错误概率的Bayes决策
• 一维二类情况
则后验概率
P ( / x )
1
P ( x / ) P ( )
1 1
P (x)
同理可得
P ( / x )
2
P ( x / ) P ( )
2 2
P (x)
其中
P ( x ) P ( x / ) P ( ) P ( x / ) P ( )
• 类概率密度P( X / ωi )
P ( X / )dx 1
i
模式识别，第三章
5
Bayes决策方法
• 根据考虑问题的角度
最小错误概率的 Bayes决策法 Bayes决策法 最小风险的 Bayes决策法
模式识别，第三章
6
最小错误概率的Bayes决策
• 一维二类情况
设两类模式分别1 和2，其类概率密度分别为P(x / 1)和 P(x / 2), 先验概率为P(1)和 P(2)
28
最小风险（损失）的Bayes决策
• 风险函数（损失函数）
R ( a / X ) ( a / ) P ( / X )
i j 1 i j j c
• 上式称为作出决策ai 的风险函数，简记为：
R ( X ) P ( / X )
i j 1 i j j c
j 1, 2 ,......, c
模式识别，第三章
29
最小风险（损失）的Bayes决策
• 决策过程
• 当待识样本 X 到来时，将其判为各类所带来的风险分别
为R1(X)， R2(X) ， ﹒﹒﹒， Rc(X)
• 则基于最小风险的Bayes决策准则为：
若 : R ( X ) min{ R ( X )}
1 1 2 2
模式识别，第三章
9
最小错误概率的Bayes决策
• 一维二类情况
合理的决策为：对待识样本x 若P( 1 / x ) > P( 2 / x ) ，则判x∈1类 若P( 2 / x ) > P( 1 / x ) ，则判x∈２类
模式识别，第三章
10
最小错误概率的Bayes决策
• 一维二类情况
P ( x / 1 ) P (1 ) P ( x / 2 ) P (2 )
R1
R2
x
无论判别从哪个方向调整，均导致错误概率的增加！
模式识别，第三章
19
最小错误概率的Bayes决策
• 多类多维情况
设Ω={ 1， 2， ﹒﹒﹒ ， ωc } 是 C 个类别状态的有限集 合，X = [ x1， x2， ﹒﹒﹒ ， xd ]T 是 d 维特征向量，
2
模式识别，第三章
16
最小错误概率的Bayes决策
•
1 ) =2/3，P( ２ )=1/3，则其后验概率 P( 1 / x ) 和 P( 2 / x )如下图所示
若先验概率P(
0.92
特征值x=14 的模式如何分 类？
0.08
模式识别，第三章
17
最小错误概率的Bayes决策
• 错误概率最小？
31
最小风险（损失）的Bayes决策
• 特殊情况：两类问题
R ( X ) P ( X / ) P ( ) P ( X / ) P ( )
1 11 1 1 12 2 2
R ( X ) P ( X / ) P ( ) P ( X / ) P ( )
12 22 2
( ) P ( )
21 11 1
a
，则判 x∈1 类
似然比
模式识别，第三章
33
最小风险（损失）的Bayes决策
模式识别，第三章
34
最小风险（损失）的Bayes决策
特殊情况：两类问题
若：
12 -22 = 21 -11，即对称损失，则最小风险Bayes
决策与最小错误概率Bayes决策是等价的。
模式识别
Pattern Classification
第三章: Bayes决策方法
3
Bayes决策方法
• 原理
• 根据Bayes决策理论，由先验知识来推断后验概率 • 保证错误概率最小或风险最小
模式识别，第三章
4
Bayes决策方法
• 先验知识
• 先验概率P(ωi )
P ( ) 1
i 1 i c
i j
或 : R ( X ) min{ P ( X / ) P ( )}
i ij j j
其中 , j 1, 2 , , C 则判 ：Ｘ 类
i
模式识别，第三章
30
最小风险（损失）的Bayes决策
• 问题：如何合理、科学、准确地定义ij ? • 带有主观因素
模式识别，第三章
• 多类多维情况
Bayes决策准则为：
若 : P ( / X ) max{ P ( / X )}
i j
或 : P ( X / ) P ( ) max{ P ( X / ) P ( )}
i i j j
其中 , j 1, 2 , , C 则判 ：Ｘ 类
i
2 21 1 1 22 2 2
则基于最小风险（损失）的Bayes决策为： 若R1(X) < R2(X)，则 判 X ∈1 类
模式识别，第三章
32
最小风险（损失）的Bayes决策
• 特殊情况：两类问题
• 上述决策等价于：对待识样本x
若：
P(X / )
1
P(X / )
2
( ) P ( )
1 .9
模式识别，第三章
38
最小风险（损失）的Bayes决策
• 解：最小风险Bayes决策
可见：
P(X / )
1
P(X / )
2
( ) P ( )
12 22 2
( ) P ( )
21 11 1
根据最小风险（损失）的Bayes决策准则： x ∈1 类，为乙肝
模式识别，第三章
P ( x / 1 ) P (1 ) P ( x / 2 ) P (2 )
R1
R2
x
错误概率
P P ( x / ) P ( ) dx P ( x / ) P ( ) dx
e R1 2 2 R2 1 1
模式识别，第三章
18
最小错误概率的Bayes决策
• 错误概率最小？
模式识别，第三章
14
最小错误概率的Bayes决策
鲑鱼 鲈鱼
类概率密度来源来统计直方图
模式识别，第三章
15
最小错误概率的Bayes决策
• •
两条曲线描述了两类鱼的长度区别
概率密度函数已归一化，因此每条曲线下的面积为１，即：
P ( x / ) dx 1
1
P ( x / ) dx 1
37
最小风险（损失）的Bayes决策
• 解：最小风险Bayes决策
似然比：
P(X / )
1
P(X / )
2
0 .5 0 .2
2 .5
( ) P ( )
12 22 2
( ) P ( )
21 11 1
0 . 95 (1 0 ) 0 . 05 (10 0 )
P( x / i ) 为第 i 类的类概率密度函数，P( i ) 为第 i 类的先 验概率，则有：
P ( / X )
i
P ( X / ) P ( )
i i
P(X )
C
其中
P ( X ) P ( X / ) P ( )
i 1 i i
模式识别，第三章
20
最小错误概率的Bayes决策
39
（0-1）损失条件下的最小风险Bayes决策
•
损失的概念
•
例如，对于细胞正常或异常的分类问题，可得如下损失表
自然状态 损失 决策
1（正常） 2（异常）
a1（正常） a2 （异常）
11 = 0 21 = 2
12 = 10 22 = 0
模式识别，第三章
26
最小风险（损失）的Bayes决策
•
风险函数（损失函数）
• 设P(j)是自然状态为j的先验概率， X为d维特征向量，则
若P( x / 1) > P( x / 2 ) ， 则判x∈1类 若P( x / 2) > P( x / 1 ) ， 则判x∈２类
模式识别，第三章
13
最小错误概率的Bayes决策 • 以鱼自动分类为例，假设仅选取鱼的长度作为特征，则两类
鱼的类概率密度函数P(x / 1) 和 P( x / 2 ) 如下：
• 假定我们观测某个特定模式 X 并且采取行为 ai ，如果真实
的类别状态为j ，通过定义我们将有损失 (ai /j)
• 显然，与行为 ai 相关的总的损失为
R (ai / X )
(a
j 1
c
i
/ j ) P ( j / X )
(a
j 1
c
i
/ j ) P ( X / j ) P ( j )
模式识别，第三章
23
最小风险（损失）的Bayes决策
• 损失的概念
• 基于最小错误概率的Bayes决策，仅考虑如何保证错误概率
最小，而未考虑决策所带来的损失。
• 例如：
自动灭火系统，乙肝诊断，鱼的分类等，则应考虑错判造 成的损失。 可利用决策论的理论和方法来解决上述问题。
模式识别，第三章
24
最小风险（损失）的Bayes决策
36
最小风险（损失）的Bayes决策
• 解：最小错误概率Bayes决策
P(x/1) P(1)=0.05×0.5=0.025 P(x/2) P(2)=0.2×0.95=0.19 可见： P(x/1) P(1）< P(x/2) P(2)
由Bayes决策准则得：x ∈2 类，为健康
模式识别，第三章
试用Bayes决策准则对待识样本进行分类。
模式识别，第三章
22
最小错误概率的Bayes决策
• 解：
P(x/1) P(1)=0.2×0.9=0.18 P(x/2) P(2)=0.1×0.4=0.04
可见： P(x/1) P(1> P(x/2) P(2) 由Bayes决策准则得：
x ∈1 类，为正常细胞
•
损失的概念
• 设Ω={1， 2， ﹒﹒﹒ ， ωc }表示 c 个有限的类别状态
的集合， A={a1， a2， ﹒﹒﹒ ， ak }表示 k 个有限的决
策（行为）的集合
• 则定义
(ai / j )
为模式自然状态为ωj 时，采取决策 ai 所造成的损失
模式识别，第三章
25
最小风险（损失）的Bayes决策
• 一维二类情况
或： P ( x / ) P ( )
1 2
P(x / )
2
P ( )
1
，则判 x∈1 类
似然比
上述分类准则称为Bayes决策准则
模式识别，第三章
12
最小错误概率的Bayes决策
• 特殊情况下，若P( 1 ) = P( ２ ) ，则分类决策完全由
类概率密度函数决定。 即：
模式识别，第三章
35
最小风险（损失）的Bayes决策
• 例： (乙肝)
1
2(健康)
P(2)=0.95 P(x/2) =0.2
P(1)=0.05 P(x/1) =0.5
11 = 22 =0， 12 = 1，21 =10
试分别用最小风险和最小错误概率Bayes决策对模式X分类
模式识别，第三章
由Bayes决策理论知，后验概率：
P ( X / j ) P ( j ) P(X )
P ( j / X )
P ( X / j ) P ( j )
• 由于每一类后验概率P( X )均相同，可将其视为一标量因子
模式识别，第三章
27
最小风险（损失）的Bayes决策
•
风险函数（损失函数）
P ( x / 1 ) P ( x / 2 )
x
模式识别，第三章
7
最小错误概率的Bayes决策
• 一维二类情况
显然： P ( x / ) dx 1
1
P ( x / ) dx 1
2
由Bayes公式（联合概率密度知）：
P ( x , ) P ( x / ) P ( ) P ( / x ) P ( x )
上述决策等价于：对待识样本x 若P(x / 1) P( 1 ) > P( x / 2 ) P( ２ ) ，则判x∈1类
若P(x / 2) P( 2 ) > P( x / 1 ) P( 1 ) ，则判x∈２类
即由先验知识推断后验概率
模式识别，第三章
11
最小错误概率的Bayes决策
模式识别，第三章
21
最小错误概率的Bayes决策
•Biblioteka Baidu举例
设某地区细胞识别中正常(1)和异常(2) 两类的先验概率分 别为： P(1)=0.9 P(2)=0.1 且知1和2 两类的类概率密度函数为P(x/1)和P(x/2) 现有一待识细胞其特征值为x，从概率密度函数曲线查得：
P(x/1)=0.2 P(x/2)=0.4
1 1 1 1
模式识别，第三章
8
最小错误概率的Bayes决策
• 一维二类情况
则后验概率
P ( / x )
1
P ( x / ) P ( )
1 1
P (x)
同理可得
P ( / x )
2
P ( x / ) P ( )
2 2
P (x)
其中
P ( x ) P ( x / ) P ( ) P ( x / ) P ( )
• 类概率密度P( X / ωi )
P ( X / )dx 1
i
模式识别，第三章
5
Bayes决策方法
• 根据考虑问题的角度
最小错误概率的 Bayes决策法 Bayes决策法 最小风险的 Bayes决策法
模式识别，第三章
6
最小错误概率的Bayes决策
• 一维二类情况
设两类模式分别1 和2，其类概率密度分别为P(x / 1)和 P(x / 2), 先验概率为P(1)和 P(2)