第3章Bayes决策理论_2
合集下载
贝叶斯决策理论5456525
第二章 贝叶内斯决容策纲理要论
指出了机器自动识别出现错分类的条件； 错分类的可能性如何计算； 如何实现使错分类出现可能性最小。
15
2.研1 究Ba目yes的决和策意的基义本概念 2）基于最小错误风险的Bayes决策
第二章 贝叶内斯决容策纲理要论
引入了“风险”与“损失”概念，希望做到使 风险最小，减小危害大的错分类情况。
P(1
|
X
) P( 2
|
X
)
X
12
39
2.研2 究基目于最的小和错意误义率的Bayes决策
第二章 贝叶内斯决容策纲理要论
判别函数还有另外两种形式，即似然比形式：
由统计资料表明总药品数为n， 其中正常药品数为 n1 ，异常药品数为 n2
则
P(1 )
n1 n
先验概率!
P(2 )
n2 n
显然在一般情况下正常药品占比例大，即 P(1) P(2)
由先验概率所提供的信息太少！！！
22
2.研1 究Ba目yes的决和策意的基义本概念 2、类条件概率密度函数 P(X | i )
第二章 贝叶内斯决容策纲理要论
类条件概率密度函数 P(X | i ) 是指在已知某类别的特征空间中，出现特征值X的 概率密度，
即第 i 类样品它的属性X是如何分布的。
23
2.研1 究Ba目yes的决和策意的基义本概念
第二章 贝叶内斯决容策纲理要论
假定只用某一个特征进行分类，即d＝1。 并已知这两类的类条件概率函数分布，如图4－3所示。
i
)]
1 (X 2
i )T
Si 1 ( X
2Bayes决策理论
第九页，共66页。
前往(qiánwǎng)
第十页，共66页。
结 束放映 前往(qiánwǎng)本
3.2 最小风险(fēngxiǎn)的Bayes 决策
在上一节我们引见了最小错误率的Bayes决策，并 且证明了运用这种决策法那么时，平均错误概率是
最小的。但实际上有时需求思索一个比错误率更为 普遍的概念——风险(fēngxiǎn)，举例说明。无须置 疑，任何风险(fēngxiǎn)都会带来一定损失。看一个 普通的决策表。
前往(qiánwǎng)本
普通的多类效果(xiàoguǒ)中，设损失函数为0-1损失函
数
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
勇于开始，才能找到成功的路
i j
c
R(k x) min R(i x) P( j x)
0 p(t 1)
t
p(t 2 )
0
p(x 2 )dx 0
R1
勇于开始，才能找到成功的路
R1 ( t) R2 (t )
与最小错误率的Bayes决策(juécè)的比拟
P(1 x) P(2 x) P(1 x) P(2 x)
1 2
p(x p(x
1 ) 2 )
p(x p(x
1 ) 2 )
x2 x1
1 p(x 1)dx p(x 2 )dx0
R1
R1
10 p(x 2 )dx p(x 1)dx
R1
R1
10 p(x 2 ) p(x 1)dx
R1
统计决策理论-bayes定理
于是由先验概率 P( j ) 转化为后验概率 P(ωj|x) 。
如果对待分类模式的特征我们得到一个观察值x，经上式计
算出结果 P(1 x)>P(2 x)，则判决X属于 1，反之，属 于 2 。
13
2.2 Bayes决策
14
2.2 Bayes决策
例1：在细胞的化验中，要区分正常和异常的两 种类型，分别用w1和w2表示，已知p(w1)=0.85, p(w2)=0.15,现有一待测细胞，其观测值为X，从 类条件概率密度分析曲线上查得p(x/w1)=0.15, p(x/w2)=0.45,试对该细胞进行分类。
2
• 统计学以数据为研究内容，但仅仅收集数据， 决不构成统计学研究的全部。
• 下面介绍几种最常用、也是最基本的统计决策 方法。这些方法是以后各种模式识别方法的基 础。
3
2.1 Bayes定理
贝叶斯决策理论方法是统计模式识别中的一个基本方 法，用这种方法进行分类时要求满足以下两个条件：
（1）各类别总体的概率分布是已知的； （2）要决策的类别数是一定的。
15
所以这次化验的细胞被判断为正常类型细胞。 16
2.2 Bayes决策
2.2.2 最小风险Bayes决策
最小风险Bayes决策是考虑各种错误造成损失不同 而提出的一种决策规则。
例如，通过化验判断细胞是不是癌细胞，可能做 出两种错误判决：一是把癌细胞错判为正常细胞； 一种是把正常细胞错判为癌细胞。这两种错误判 决带来的风险显然是不同的。
5
先验概率 预先已知的或者可以估计的模式识别系统位于某
种类型的概率，即根据大量统计确定某类事物出 现的比例。 如我国理工科大学男女生比例大约为8:2，则在这 类学校一个学生是男生的先验概率为0.8，而为女 生的概率是0.2，两个概率之和为1。
统计学中的贝叶斯统计和决策理论
统计学中的贝叶斯统计和决策理论统计学是研究数据收集、分析和解释的学科，而贝叶斯统计和决策理论是统计学中的两个重要分支。
贝叶斯统计理论是一种基于贝叶斯定理的统计推断方法，而决策理论则关注如何在面对风险或不确定性时做出最佳决策。
一、贝叶斯统计1. 贝叶斯理论的基本思想贝叶斯统计理论是以英国数学家Thomas Bayes的名字命名的，其基本思想是通过先验知识和新收集的数据来进行参数估计。
与传统频率统计不同，贝叶斯统计将概率看作是描述人们对不确定性的信念，通过更新这些信念来进行推理。
2. 先验概率和后验概率在贝叶斯统计中，先验概率是在考虑新数据之前已经拥有的关于参数的概率分布。
随着新数据的不断积累，我们可以更新先验概率，得到后验概率，从而更加准确地估计参数的值。
3. 贝叶斯公式贝叶斯公式是贝叶斯统计的核心公式。
根据贝叶斯公式，我们可以计算参数的后验概率，从而基于数据来更新我们对参数的估计。
4. 贝叶斯推断的优点和应用贝叶斯统计有一些独特的优点。
首先，它允许我们将先验知识与数据结合，从而得到更加准确的推断。
此外，贝叶斯统计还可以通过使用先验概率来处理缺乏数据的情况。
贝叶斯统计在各个领域中都有广泛的应用，包括医学诊断、金融风险评估和机器学习等。
二、决策理论1. 决策理论的基本概念决策理论是研究在面对不确定性和风险时如何做出最佳决策的学科。
决策问题涉及到选择行动和评估不同行动的后果。
决策理论包括概率理论、效用理论和风险管理等概念。
2. 概率理论在决策中的应用概率理论是决策理论中的一项重要概念，它用于描述事件发生的可能性。
决策者可以使用概率理论来估计不同决策的结果，并在不确定性下做出合理的决策。
3. 效用理论和决策权衡效用理论是决策理论中的另一个关键概念，它描述了个体对不同结果的偏好程度。
根据效用理论，决策者可以根据结果的效用来评估不同决策的价值，并选择效用最大化的决策。
4. 风险管理和决策优化决策理论还涉及到风险管理和决策优化。
贝叶斯决策理论课件
R R x | xpxdx
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
正态分布中的Bayes决策
贝叶斯定理的公式为：P(A|B) = (P(B|A) * P(A)) / P(B)，其中P(A|B)是在B发生的条件下P(A)是A发生的概率，P(B)是B发生的概率。
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
正态分布中的Bayes决策
如果取0－1损失函数，最小风险判决规则和最 大似然比判决规则均与最小错误判决规则等价。
下面以最小错误判决规则为例来研究Bayes分 类方法在正态分布中的应用。
由最小错误率判决规则抽象出来的判决函数如下：
g i ( x ) ( x |w i ) P ( w i )i 1 , 2 , , c
如果类概率密度是正态分布的，
由 于 gi(x)w iTxwi0为线性函数，
其决策面由线性方程 gi(x)gj(x)0构 成
决策面是一个超平面。
在 i 2 I 的 特 殊 情 况 下 ， 决 策 面 方 程 可 改 写 成
wT(xx0)0
wi j x01 2(ij)i 2 j 2lnP P ((w wij))(ij)
满足 wT(xx0)0 的x的轨迹是wi 与x )d x x i (x i)dix
其中xi为边缘分布，
(x i) (x ) d x 1 d x 2 d x i 1 d x i 1 d x d
i2jE[x(ii)x(jj)]
(x ii)(x jj) (x i,x j)d x id x j
协方差矩阵：
2 11
2 12
2 12
2 22
2 1d
2 2d
是一个对称矩阵，只 1考2d 虑S22为d
2 dd
正定矩阵的情况，也就是:
|S|所有的子式都大于0
同单变量正态分布一样，多元 正态分布x可以由和S完全确定， 常记为N(,S)。
(2) 多元正态分布的性质
参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
⑤.线性变换的正态性 对于多元随机向量的线性变换，仍为多元正态
下面以最小错误判决规则为例来研究Bayes分 类方法在正态分布中的应用。
由最小错误率判决规则抽象出来的判决函数如下：
g i ( x ) ( x |w i ) P ( w i )i 1 , 2 , , c
如果类概率密度是正态分布的，
由 于 gi(x)w iTxwi0为线性函数，
其决策面由线性方程 gi(x)gj(x)0构 成
决策面是一个超平面。
在 i 2 I 的 特 殊 情 况 下 ， 决 策 面 方 程 可 改 写 成
wT(xx0)0
wi j x01 2(ij)i 2 j 2lnP P ((w wij))(ij)
满足 wT(xx0)0 的x的轨迹是wi 与x )d x x i (x i)dix
其中xi为边缘分布，
(x i) (x ) d x 1 d x 2 d x i 1 d x i 1 d x d
i2jE[x(ii)x(jj)]
(x ii)(x jj) (x i,x j)d x id x j
协方差矩阵：
2 11
2 12
2 12
2 22
2 1d
2 2d
是一个对称矩阵，只 1考2d 虑S22为d
2 dd
正定矩阵的情况，也就是:
|S|所有的子式都大于0
同单变量正态分布一样，多元 正态分布x可以由和S完全确定， 常记为N(,S)。
(2) 多元正态分布的性质
参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
⑤.线性变换的正态性 对于多元随机向量的线性变换，仍为多元正态
贝叶斯决策理论
两类分类器的功能：计算判别函数，再根据计算 结果的符号将 x 分类
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
第3章 Bayes决策理论
第3章 Bayes决策理论
“概率论”有关概念复习
Bayes公式：设实验E的样本空间为S，A为E的事件，
第3章 Bayes决策理论
B1,B2,…,Bn为S的一个划分，且P(A)>0，P(Bi)>0，
(i=1,2,…,n)，则:
P( Bi | A) P( A | Bi ) P( Bi )
n
P( A | B
返回本章首页
第3章 Bayes决策理论
平均错误概率
P(e)
P (e x ) p ( x ) d x
从式可知，如果对每次观察到的特征值 x ， P(e x) 是 尽可能小的话，则上式的积分必定是尽可能小的。这就 证实了最小错误率的Bayes决策法则。下面从理论上给 予证明。以两类模式为例。
解法1：
利用Bayes公式
第3章 Bayes决策理论
p ( x 10 | 1 ) P(1 ) P(1 | x 10) p ( x 10) p ( x 10 | 1 ) P(1 ) p ( x 10 | 1 ) P(1 ) p( x 10 | 2 ) P(2 ) 0.05 1/ 3 0.048 0.05 1/ 3 0.50 2 / 3
解法2：
写成似然比形式
第3章 Bayes决策理论
p ( x 10 | 1 ) 0.05 l12 （x 10） 0.1 p ( x 10 | 2 ) 0.50 P (2 ) 2 / 3 判决阀值12 2 P (1 ) 1/ 3 l12 （x 10） 12 , x 2 , 即是鲑鱼。
若 P(i x) P( j x) ， j i ，则判
若 P(i x) 若 若
《贝叶斯决策理论》PPT课件
常表示为
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
第3章Bayes决策理论
s
Ri|Xi|jPj|X j1
Ri | X是一个平均损失，称为条件风险。每
当观察到一个X时，我们总可以选取使条件风 险极小的决策。如果选取的决策使得平均损失 对每一个具体的X都能尽可能小，则总风险也 会达到极小。
最小风险的Bayes决策规则： 为了使风险最小，应对于i 1,2,...,a 计算条件风险
p(X | 2)
p(X | 3)
X
P ( j ) 是自然状态为 j 的先验概率，则由Bayes公
式可求得后验概率 P( j | X )
由Bayes公式，后验概率是：
Pj |XpX|pjX P j
c
式中 pXpX|igPi i1 假定观察到一个X ，同时决定采取决策 i ，如 果真正的状态为 j ，就会导致产生损失 i |j 。 因为 Pj | X是自然状态为 j 的概率，所以与 采取的决策 i 有关的损失的数学期望就是：
证明：
假设R1是 1 类的决策域，R2是 2 类的决策域， 对X分类，这时有两种可能发生的分类错误：
X的真实状态是 2 ，却分到 R1 ，
X的真实状态是 1 ，却分到 R2 ，
错误率： P ( e ) P ( x R 2 ,1 ) P (x R 1 ,2 )
R 2p (x | 1 ) P (1 ) d x R 1p (x | 2 )P (2 ) d x
如果对于每次观察到的特征值x, P(e| x) 尽可能小 的话,则上式的积分也必定是尽可能小的.
假设H为两类的分界面,相应于 1 和 2 , 将x轴分 为两个区域 R 1 , R 2
在发生分类错误时,总的错误概率为：
PePxR2,1PxR1,2
PePxR2,1PxR1,2
R 2p (x | 1 ) P (1 ) d x R 1p (x | 2 )P (2 ) d x P (1 )R 2p (x | 1 ) d x P (2 )R 1p (x | 2 ) d x
Ri|Xi|jPj|X j1
Ri | X是一个平均损失，称为条件风险。每
当观察到一个X时，我们总可以选取使条件风 险极小的决策。如果选取的决策使得平均损失 对每一个具体的X都能尽可能小，则总风险也 会达到极小。
最小风险的Bayes决策规则： 为了使风险最小，应对于i 1,2,...,a 计算条件风险
p(X | 2)
p(X | 3)
X
P ( j ) 是自然状态为 j 的先验概率，则由Bayes公
式可求得后验概率 P( j | X )
由Bayes公式，后验概率是：
Pj |XpX|pjX P j
c
式中 pXpX|igPi i1 假定观察到一个X ，同时决定采取决策 i ，如 果真正的状态为 j ，就会导致产生损失 i |j 。 因为 Pj | X是自然状态为 j 的概率，所以与 采取的决策 i 有关的损失的数学期望就是：
证明：
假设R1是 1 类的决策域，R2是 2 类的决策域， 对X分类，这时有两种可能发生的分类错误：
X的真实状态是 2 ，却分到 R1 ，
X的真实状态是 1 ，却分到 R2 ，
错误率： P ( e ) P ( x R 2 ,1 ) P (x R 1 ,2 )
R 2p (x | 1 ) P (1 ) d x R 1p (x | 2 )P (2 ) d x
如果对于每次观察到的特征值x, P(e| x) 尽可能小 的话,则上式的积分也必定是尽可能小的.
假设H为两类的分界面,相应于 1 和 2 , 将x轴分 为两个区域 R 1 , R 2
在发生分类错误时,总的错误概率为：
PePxR2,1PxR1,2
PePxR2,1PxR1,2
R 2p (x | 1 ) P (1 ) d x R 1p (x | 2 )P (2 ) d x P (1 )R 2p (x | 1 ) d x P (2 )R 1p (x | 2 ) d x
二、Bayes决策理论
《模式识别》习题
二、Bayes 决策理论
1. 医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。
根据医学知识和以往的经验，医生知道：一般人群中，患病的人数比例为0.5%。
患者白细胞的浓度服从均值2000，标准差1000的正态分布；健康人白细胞的浓度服从均值7000，标准差3000的正态分布。
如果一个人的白细胞浓度是3100，请问：
(1) 医生该做出怎样的判断？
(2) 假设没病被判为有病，可能引起的损失为1；有病被判为无病，
可能引起的损失为100，医生又该做出怎样的判断？最小风险Bayes 的决策阈值为多少？
2．设一个一维的两类问题，条件密度为以下柯西分布：
()211|,1,21i i p x i b x a b ωπ=⋅=-⎛⎫+ ⎪⎝⎭
（1）设()()12P P ωω=，证明如果()12/2x a a =+，则()()12||P x P x ωω=，也就是说，不管b 为多少，最小误差判决边界是两个分布的峰值之间的中点。
（2）解释当x →-∞及x →+∞时()1|P x ω和()2|P x ω将如何。
（3）如设类别的先验概率相等，证明最小误差概率为：
()12111tan ||22a a P e b π--=-
（4）上述()
P e的最大值是多少？在什么条件下可以达到此值？试说明原因。
贝叶斯决策理论
• 如果 p(x | 1)P(1) > p(x | 2 ) P(2) ，则决 策为1 ，否则决策为2 。
– 如果p(x | 1)=p(x | 2 ) ，则x不提供任何信息， 决策结果完全取决于先验概率
– 如果P(1) =P(2) ，两种类别等概率出现，决策 规则取决于似然度p(x | j)。
贝叶斯决策规则及等价形式
Neyman-Pearson决策
• 在某些应用中，我们希望保证某个错误率不超过 平，在此前提下再考虑另一类错误率尽可能低。
– 比如，在鲈鱼和鲑鱼的例子中，可能政府会强制性规 为鲈鱼的比例不得超过1%
– 对某些重要疾病的诊断，我们希望确保漏诊率低于一 如0.1%).
• 这种限定一类错误率而使另一类错误率最小的决 Neyman-Pearson决策规则。
P(error | x) = min [P(1 | x), P(2 | x)]。
思考：相比于直接利用先验概率的决策，贝 叶斯决策的错误率是否减小了？
分类器，判别函数和决策面
• 特征分类器有多种表示形式，最常用的是判别函 数。给定一个判别函数集合 gi (x),i 1, , c. 如果特征x满足 gi (x) g j (x),j i
• 贝叶斯公式表明通过观测x的值可以将先验 概率转变成后验概率，也就是当观测值x给 定后样本属于各个类别的概率
• p(x|ωj)也称为似然度，也就是在其他条件都 相同的情况下，使p(x|ωj)越大的ωj越可能是 样本所在的真实类别
后验概率
贝叶斯决策规则
• 如果对于观测到的x满足 P(1 | x) P(2 | x), 则我 们自然地决策为ω1，否则决策为ω2 。
t
= P(2 | x) p(x)dx t P(1 | x) p(x)dx
– 如果p(x | 1)=p(x | 2 ) ，则x不提供任何信息， 决策结果完全取决于先验概率
– 如果P(1) =P(2) ，两种类别等概率出现，决策 规则取决于似然度p(x | j)。
贝叶斯决策规则及等价形式
Neyman-Pearson决策
• 在某些应用中，我们希望保证某个错误率不超过 平，在此前提下再考虑另一类错误率尽可能低。
– 比如，在鲈鱼和鲑鱼的例子中，可能政府会强制性规 为鲈鱼的比例不得超过1%
– 对某些重要疾病的诊断，我们希望确保漏诊率低于一 如0.1%).
• 这种限定一类错误率而使另一类错误率最小的决 Neyman-Pearson决策规则。
P(error | x) = min [P(1 | x), P(2 | x)]。
思考：相比于直接利用先验概率的决策，贝 叶斯决策的错误率是否减小了？
分类器，判别函数和决策面
• 特征分类器有多种表示形式，最常用的是判别函 数。给定一个判别函数集合 gi (x),i 1, , c. 如果特征x满足 gi (x) g j (x),j i
• 贝叶斯公式表明通过观测x的值可以将先验 概率转变成后验概率，也就是当观测值x给 定后样本属于各个类别的概率
• p(x|ωj)也称为似然度，也就是在其他条件都 相同的情况下，使p(x|ωj)越大的ωj越可能是 样本所在的真实类别
后验概率
贝叶斯决策规则
• 如果对于观测到的x满足 P(1 | x) P(2 | x), 则我 们自然地决策为ω1，否则决策为ω2 。
t
= P(2 | x) p(x)dx t P(1 | x) p(x)dx
关于贝叶斯决策理论课件.pptx
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
管理决策分析第二版第三章贝叶斯决策分析
第五章 贝叶斯决策分析
引言
决策是需要信息的，信息包括两个方面：１、 结果值；２、自然状态的概率。
贝叶斯决策是分析有关自然状态概率的信息对 决策的影响。
面临的问题是：一方面信息越准确对决策越有 利；一方面获得信息是有成本的。这两者之间会有 一个平衡，因此需要知道信息的价值。
要想知道信息的价值，必须了解贝叶斯分析的 原理。
贝叶斯公式：
p / H p(H /i ) p(i )
i
p(H )
p(H / j ) p( j )
n
p(H / j ) p( j )
j1
(i 1,2, , n; p(H ) 0)
§5.1 贝叶斯决策的基本方法
5.1.2 贝叶斯决策的基本方法 补充信息（信息值）
贝叶斯决策的基本步骤
1.验前分析 依据数据和资料以及经验和判断，去测算和
估计状态变量θ的先验分布p(θ) ；
❖ 计算各可行方案在不同θ下的条件结果值； ❖ 根据某种决策准则评价选择，找出最满意方
案。 2.预验分析
比较分析补充信息的价值和成本的过程。 目的：判断是否值得去补充信息？
贝叶斯决策的基本步骤
P(Hi/θj) H1 H2
θ1 0.95 0.05
θ2 0.10 0.90
例5.1
解：
1、验前分析
记方案a1 为生产该新产品，方案a2 为不生产。
则：
E (a1)=1.1（万元），E (a2)=0
记验前分析的最大期望收益值为E1，有：
为在事件 A 发生的条件下事件 B 发生的条件概率.
全概率公式 贝叶斯公式
PH
m
PH
|
i
Pi
,
Pi
0
引言
决策是需要信息的，信息包括两个方面：１、 结果值；２、自然状态的概率。
贝叶斯决策是分析有关自然状态概率的信息对 决策的影响。
面临的问题是：一方面信息越准确对决策越有 利；一方面获得信息是有成本的。这两者之间会有 一个平衡，因此需要知道信息的价值。
要想知道信息的价值，必须了解贝叶斯分析的 原理。
贝叶斯公式：
p / H p(H /i ) p(i )
i
p(H )
p(H / j ) p( j )
n
p(H / j ) p( j )
j1
(i 1,2, , n; p(H ) 0)
§5.1 贝叶斯决策的基本方法
5.1.2 贝叶斯决策的基本方法 补充信息（信息值）
贝叶斯决策的基本步骤
1.验前分析 依据数据和资料以及经验和判断，去测算和
估计状态变量θ的先验分布p(θ) ；
❖ 计算各可行方案在不同θ下的条件结果值； ❖ 根据某种决策准则评价选择，找出最满意方
案。 2.预验分析
比较分析补充信息的价值和成本的过程。 目的：判断是否值得去补充信息？
贝叶斯决策的基本步骤
P(Hi/θj) H1 H2
θ1 0.95 0.05
θ2 0.10 0.90
例5.1
解：
1、验前分析
记方案a1 为生产该新产品，方案a2 为不生产。
则：
E (a1)=1.1（万元），E (a2)=0
记验前分析的最大期望收益值为E1，有：
为在事件 A 发生的条件下事件 B 发生的条件概率.
全概率公式 贝叶斯公式
PH
m
PH
|
i
Pi
,
Pi
0
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
取值而定，引入函数 (x) ，表示对 x 的决策。对整个特
征空间上所有 x的取值采取相应的决策 (x) 所带来的平
均风险
R R((x) x)p(x)dx
显然，我们对连续的随机模式向量按最小风险Bayes决策 规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达 到最小的Bayes决策规则，下面分析一下两种决策规则的 关系。
第3章 Bayes决策理论
第3章 Bayes决策理论
3.1 最小错误概率的Bayes决策 3.2 最小风险的Bayes决策 3.3 Neyman-Pearson决策 3.4 最小最大决策 3.5 Bayes分类器和判别函数 3.6 正态分布时的Bayes决策法则 3.7 离散情况的Bayes决策
第3章 Bayes决策理论
p(x p(x
1 ) 0 1 ) 0
xR2 xR1
p( p(
x x
2 2
) )
p( p(
x x
1 1
) )
0 0
x2 x1
p(x p(x p(x p(x
1 ) 2 ) 1 ) 2 )
x2 x1
返回本章首页
第3章 Bayes决策理论
取得极小值的边界条件
0 p(t 1)
t
p(t 2 )
Neyman—Pearson决策即限定一类错误率条件下使另一 类错误率为最小的两类别决策。
返回本章首页
第3章 Bayes决策理论
p(x 1)P(1)dx P(1)P1(e)
R2
p(x 2 )P(2 )dx P(2 )P2 (e)
R1
P1(e) p(x 1)dx
R2
P2 (e) p(x 2 )dx 0
0
p(x 2 )dx 0
R1
R1 ( t) R2 (t )
与最小错误率的Bayes决策的比较
P(1 x) P(2 x) 1
P(1 x) P(2 x)
2
p(x p(x
1 ) 2 )
p(x p(x
1 ) 2 )
x2 x1
返回本章首页
第3章 Bayes决策理论
3.4 最小最大决策
有时我们必须设计在整个先验概率范围上都能很 好的进行操作的分类器。比如，在我们的有些分 类问题中可能设想尽管模式的有些物理属性恒定 不变，然而先验概率可能变化范围很大，并且以 一种不确定的 方式出现。或者，我们希望在先 验概率不知道的情况下使用此分类器，那么一种 合理的设计分类器的方法就是使先验概率取任何 一种值时所引起的总风险的最坏的情况尽可能小， 也就是说，最小化最大可能的总风险。以二类模 式识别问题为例，进行讨论。
损失。 根据Bayes公式，后验概率为：
P( j
x)
p( x j )P( j )
5
p( x i )P(i )
i1
j 1, 2, ,5
返回本章首页
第3章 Bayes决策理论
对于刚才的决策表考虑如下的一个条件期望损失，即给
定x ，我们采取决策 i 情况下的条件期望损失（条件风
险） ：
5
R(i x) (i , j )P( j x) E (i , j ) i1,2, ,5
观察到一个模式时，得到特征 x ，就可利用后验概率作
出分类的决策，同时也会带来一定的错误概率。若观察
到大量的模式，对它们作出决策的平均错误概率 P(e) 应 是 P(e x) 的数学期望。
返回本章首页
第3章 Bayes决策理论
平均错误概率
P(e) P(e x)p( x)dx
从式可知，如果对每次观察到的特征值 x ， P(e 1) 是
返回本章首页
第3章 Bayes决策理论
对模式 识别的主要统计方法是Bayes决策理论， 它是用概率论的方法研究决策问题，要求 （1）各类别先验概率以及条件概率密度均为已 知 ，即各类别总体的概率分布是已知的； （2） 要决策分类的类别是一定的；
返回本章首页
第3章 Bayes决策理论
3.1 最小错误概率的Bayes决策
返回本章首页
第3章 Bayes决策理论
返回本章首页
第3章 Bayes决策理论
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4 , 5 ——决策空间
(i , j ) i 1, 2, ,5 j 1, 2, ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
c
x
p(x i )P(i )
i1
（2）利用计算出的后验概率及决策表（专家根据经验确
定），计算条件风险
c
R(i x) (i , j )P( j x) i 1, 2, , a
j1
（3）最小风险决策
R(k x) min R(i x)
i1,2, ,a
返回本章首页
第3章 Bayes决策理论
这样按最小风险的Bayes决策规则，采取的决策将随 x 的
在上一章，我们介绍了线性判别函数，作了一个 假设——抽取到的模式样本的边界是“整齐”而 不混杂的，而且 以后遇到的待分类模式基本上 不超过学习样本的分布范围，从而利用这些样本 得到的分类边界是无误差的。但是实际上因为试 验的样本是从总体中随机抽取的，不能保证用过 去的抽取的样本训练得到的分类边界对新的模式 样本也能较好地分类。因此，考虑样本不确定性 的模式识别方法是非常重要 的。另外，还有特 征选择不完善所引起的不确定性，模式数据采集 和预处理和特征抽取过程中干扰和噪声引起的不 确定性。综上，我们引出统计决策的方法。
x) x)
1 2
R(2 x)R(1 x)(21 11)P(1 x)(22 12 )P(2 x)
(21 (21
11 11
)P(1 )P(1
x)(12 22 )P(2 x)(12 22 )P(2
x) x)
1 2
返回本章首页
第3章 Bayes决策理论
在两类问题中，若有 21 11 12 22 ，决策规则变为
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
c
R(k x) min R(i x) P( j x)
i1,2, ,c
j1
i j
返回本章首页
第3章 Bayes决策理论
c
c
P( j
p( x j )P( j )
R2
R1
P(1)P1(e) P(2 )P2 (e)
返回本章首页
第3章 Bayes决策理论
结 束放映 返回本章首页
第3章 Bayes决策理论
3.2 最小风险的Bayes决策
在上一节我们介绍了最小错误率的Bayes决策， 并且证明了应用这种决策法则时，平均错误概率 是最小的。但实际上有时需要考虑一个比错误率 更为广泛的概念——风险，举例说明。毋庸置疑， 任何风险都会带来一定损失。看一个一般的决策 表。
尽可能小的话，则上式的积分必定是尽可能小的这就证 实了最小错误率的Bayes决策法则。下面从理论上给予 证明。以两类模式为例。
返回本章首页
第3章 Bayes决策理论
P(e) P(xR2 ,1) P(xR1,2 ) P(xR2 1)P(1) P(xR1 2 )P(2 )
p(x 1)P(1)dx p(x 2 )P(2 )dx
x)
j1 c
1
j1
p( x i )P(i )
i1
R(k x) min R(i x) i1,2, ,c
c
min P( j x) i1,2, ,c j1
ji
min
i1,2, ,c
1
P(i
x
)
max
i1,2, ,c
P(i
x)
返回本章首页
第3章 Bayes决策理论
3.3 Neyman—Pearson决策
x) x)
1 2
总风险公式
R R( (x) x)p( x)dx
返回本章首页
第3章 Bayes决策理论
假定决策域已经确定，我们以R1 表示分类器判为1 时的特征空间 中的区域，同样有R2和2 ，于是总风险用条件风险的形式表示为
R R(1 x)p( x)dx R(2 x)p( x)dx
R1
R2
j1
采取那种决策呢？ 1,2,3,4,5
最小风险Bayes决策规则：
R(k x) min R(i x)
i1,2, ,a
k
返回本章首页
第3章 Bayes决策理论
综上，可知该规则的进行步骤为： （1）根据已知，计算出后验概率；
P( j ) p(x j )P( j
x)
p(x j )P( j )
R2
R1
1 p(x 1)dx p(x 2 )dx0
R1
R1
10 p(x 2 )dx p(x 1)dx
R1
R1
10 p(x 2 ) p(x 1)dx
R1
返回本章首页
第3章 Bayes决策理论
10 p(x 2 ) p(x 1)dx
R1
min
p(x p(x
2 2
) )
返回本章首页
第3章 Bayes决策理论
先验概率已知
铁螺丝出现的概率—— P(1) 铜螺丝出现的概率—— P(2 )
它们反映了我们在下一个样品出现前对它的类别可能性 的先验知识，称这种先于事件的概率为先验概率。
合理的决策规则：
P(1 P(1
征空间上所有 x的取值采取相应的决策 (x) 所带来的平
均风险
R R((x) x)p(x)dx
显然，我们对连续的随机模式向量按最小风险Bayes决策 规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达 到最小的Bayes决策规则，下面分析一下两种决策规则的 关系。
第3章 Bayes决策理论
第3章 Bayes决策理论
3.1 最小错误概率的Bayes决策 3.2 最小风险的Bayes决策 3.3 Neyman-Pearson决策 3.4 最小最大决策 3.5 Bayes分类器和判别函数 3.6 正态分布时的Bayes决策法则 3.7 离散情况的Bayes决策
第3章 Bayes决策理论
p(x p(x
1 ) 0 1 ) 0
xR2 xR1
p( p(
x x
2 2
) )
p( p(
x x
1 1
) )
0 0
x2 x1
p(x p(x p(x p(x
1 ) 2 ) 1 ) 2 )
x2 x1
返回本章首页
第3章 Bayes决策理论
取得极小值的边界条件
0 p(t 1)
t
p(t 2 )
Neyman—Pearson决策即限定一类错误率条件下使另一 类错误率为最小的两类别决策。
返回本章首页
第3章 Bayes决策理论
p(x 1)P(1)dx P(1)P1(e)
R2
p(x 2 )P(2 )dx P(2 )P2 (e)
R1
P1(e) p(x 1)dx
R2
P2 (e) p(x 2 )dx 0
0
p(x 2 )dx 0
R1
R1 ( t) R2 (t )
与最小错误率的Bayes决策的比较
P(1 x) P(2 x) 1
P(1 x) P(2 x)
2
p(x p(x
1 ) 2 )
p(x p(x
1 ) 2 )
x2 x1
返回本章首页
第3章 Bayes决策理论
3.4 最小最大决策
有时我们必须设计在整个先验概率范围上都能很 好的进行操作的分类器。比如，在我们的有些分 类问题中可能设想尽管模式的有些物理属性恒定 不变，然而先验概率可能变化范围很大，并且以 一种不确定的 方式出现。或者，我们希望在先 验概率不知道的情况下使用此分类器，那么一种 合理的设计分类器的方法就是使先验概率取任何 一种值时所引起的总风险的最坏的情况尽可能小， 也就是说，最小化最大可能的总风险。以二类模 式识别问题为例，进行讨论。
损失。 根据Bayes公式，后验概率为：
P( j
x)
p( x j )P( j )
5
p( x i )P(i )
i1
j 1, 2, ,5
返回本章首页
第3章 Bayes决策理论
对于刚才的决策表考虑如下的一个条件期望损失，即给
定x ，我们采取决策 i 情况下的条件期望损失（条件风
险） ：
5
R(i x) (i , j )P( j x) E (i , j ) i1,2, ,5
观察到一个模式时，得到特征 x ，就可利用后验概率作
出分类的决策，同时也会带来一定的错误概率。若观察
到大量的模式，对它们作出决策的平均错误概率 P(e) 应 是 P(e x) 的数学期望。
返回本章首页
第3章 Bayes决策理论
平均错误概率
P(e) P(e x)p( x)dx
从式可知，如果对每次观察到的特征值 x ， P(e 1) 是
返回本章首页
第3章 Bayes决策理论
对模式 识别的主要统计方法是Bayes决策理论， 它是用概率论的方法研究决策问题，要求 （1）各类别先验概率以及条件概率密度均为已 知 ，即各类别总体的概率分布是已知的； （2） 要决策分类的类别是一定的；
返回本章首页
第3章 Bayes决策理论
3.1 最小错误概率的Bayes决策
返回本章首页
第3章 Bayes决策理论
返回本章首页
第3章 Bayes决策理论
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4 , 5 ——决策空间
(i , j ) i 1, 2, ,5 j 1, 2, ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
c
x
p(x i )P(i )
i1
（2）利用计算出的后验概率及决策表（专家根据经验确
定），计算条件风险
c
R(i x) (i , j )P( j x) i 1, 2, , a
j1
（3）最小风险决策
R(k x) min R(i x)
i1,2, ,a
返回本章首页
第3章 Bayes决策理论
这样按最小风险的Bayes决策规则，采取的决策将随 x 的
在上一章，我们介绍了线性判别函数，作了一个 假设——抽取到的模式样本的边界是“整齐”而 不混杂的，而且 以后遇到的待分类模式基本上 不超过学习样本的分布范围，从而利用这些样本 得到的分类边界是无误差的。但是实际上因为试 验的样本是从总体中随机抽取的，不能保证用过 去的抽取的样本训练得到的分类边界对新的模式 样本也能较好地分类。因此，考虑样本不确定性 的模式识别方法是非常重要 的。另外，还有特 征选择不完善所引起的不确定性，模式数据采集 和预处理和特征抽取过程中干扰和噪声引起的不 确定性。综上，我们引出统计决策的方法。
x) x)
1 2
R(2 x)R(1 x)(21 11)P(1 x)(22 12 )P(2 x)
(21 (21
11 11
)P(1 )P(1
x)(12 22 )P(2 x)(12 22 )P(2
x) x)
1 2
返回本章首页
第3章 Bayes决策理论
在两类问题中，若有 21 11 12 22 ，决策规则变为
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
c
R(k x) min R(i x) P( j x)
i1,2, ,c
j1
i j
返回本章首页
第3章 Bayes决策理论
c
c
P( j
p( x j )P( j )
R2
R1
P(1)P1(e) P(2 )P2 (e)
返回本章首页
第3章 Bayes决策理论
结 束放映 返回本章首页
第3章 Bayes决策理论
3.2 最小风险的Bayes决策
在上一节我们介绍了最小错误率的Bayes决策， 并且证明了应用这种决策法则时，平均错误概率 是最小的。但实际上有时需要考虑一个比错误率 更为广泛的概念——风险，举例说明。毋庸置疑， 任何风险都会带来一定损失。看一个一般的决策 表。
尽可能小的话，则上式的积分必定是尽可能小的这就证 实了最小错误率的Bayes决策法则。下面从理论上给予 证明。以两类模式为例。
返回本章首页
第3章 Bayes决策理论
P(e) P(xR2 ,1) P(xR1,2 ) P(xR2 1)P(1) P(xR1 2 )P(2 )
p(x 1)P(1)dx p(x 2 )P(2 )dx
x)
j1 c
1
j1
p( x i )P(i )
i1
R(k x) min R(i x) i1,2, ,c
c
min P( j x) i1,2, ,c j1
ji
min
i1,2, ,c
1
P(i
x
)
max
i1,2, ,c
P(i
x)
返回本章首页
第3章 Bayes决策理论
3.3 Neyman—Pearson决策
x) x)
1 2
总风险公式
R R( (x) x)p( x)dx
返回本章首页
第3章 Bayes决策理论
假定决策域已经确定，我们以R1 表示分类器判为1 时的特征空间 中的区域，同样有R2和2 ，于是总风险用条件风险的形式表示为
R R(1 x)p( x)dx R(2 x)p( x)dx
R1
R2
j1
采取那种决策呢？ 1,2,3,4,5
最小风险Bayes决策规则：
R(k x) min R(i x)
i1,2, ,a
k
返回本章首页
第3章 Bayes决策理论
综上，可知该规则的进行步骤为： （1）根据已知，计算出后验概率；
P( j ) p(x j )P( j
x)
p(x j )P( j )
R2
R1
1 p(x 1)dx p(x 2 )dx0
R1
R1
10 p(x 2 )dx p(x 1)dx
R1
R1
10 p(x 2 ) p(x 1)dx
R1
返回本章首页
第3章 Bayes决策理论
10 p(x 2 ) p(x 1)dx
R1
min
p(x p(x
2 2
) )
返回本章首页
第3章 Bayes决策理论
先验概率已知
铁螺丝出现的概率—— P(1) 铜螺丝出现的概率—— P(2 )
它们反映了我们在下一个样品出现前对它的类别可能性 的先验知识，称这种先于事件的概率为先验概率。
合理的决策规则：
P(1 P(1