(2)Bayes决策规则
合集下载
bayes法则
bayes法则Bayes法则是一种重要的概率统计方法，它可以用来计算在已知一些先验条件下，某个事件发生的概率。
Bayes法则的应用范围非常广泛，包括机器学习、自然语言处理、医学诊断、金融分析等领域。
在本文中，我们将介绍Bayes法则的基本概念、公式推导及其应用实例。
一、Bayes法则的基本概念Bayes法则是由英国数学家Thomas Bayes在18世纪提出的，它是一种基于条件概率的方法。
条件概率是指在一个事件发生的前提下，另一个事件发生的概率。
例如，假设有两个袋子，一个袋子里有3个红球和2个蓝球，另一个袋子里有2个红球和4个蓝球。
现在从第一个袋子里随机取出一个球，如果是红球，则从第二个袋子里取出一个球的概率是多少？这个问题可以用条件概率来解决，即在已知第一个球是红球的前提下，第二个球是红球的概率是多少。
假设事件A表示第一个球是红球，事件B表示第二个球是红球，则事件A发生的概率P(A)为：P(A) = 3/5事件B在事件A发生的前提下发生的概率P(B|A)为：P(B|A) = 2/5则事件B的概率可以用条件概率公式计算：P(B) = P(B|A) * P(A) + P(B|A') * P(A')其中，P(A')表示事件A不发生的概率，即第一个球是蓝球的概率，可以计算得出：P(A') = 2/5而在第一个球是蓝球的情况下，从第二个袋子里取出一个红球的概率为：P(B|A') = 2/4将上述值代入条件概率公式，可以计算出事件B的概率为：P(B) = (2/5) * (3/5) + (2/4) * (2/5) = 14/25因此，从第一个袋子里取出一个红球后，从第二个袋子里取出一个红球的概率为14/25。
二、Bayes法则的公式推导Bayes法则是一种通过已知的先验概率来计算后验概率的方法。
先验概率是指在没有任何新信息的情况下，某个事件发生的概率。
而后验概率是指在已知一些新信息的情况下，某个事件发生的概率。
2Bayes决策理论
第九页，共66页。
前往(qiánwǎng)
第十页，共66页。
结 束放映 前往(qiánwǎng)本
3.2 最小风险(fēngxiǎn)的Bayes 决策
在上一节我们引见了最小错误率的Bayes决策，并 且证明了运用这种决策法那么时，平均错误概率是
最小的。但实际上有时需求思索一个比错误率更为 普遍的概念——风险(fēngxiǎn)，举例说明。无须置 疑，任何风险(fēngxiǎn)都会带来一定损失。看一个 普通的决策表。
前往(qiánwǎng)本
普通的多类效果(xiàoguǒ)中，设损失函数为0-1损失函
数
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
勇于开始，才能找到成功的路
i j
c
R(k x) min R(i x) P( j x)
0 p(t 1)
t
p(t 2 )
0
p(x 2 )dx 0
R1
勇于开始，才能找到成功的路
R1 ( t) R2 (t )
与最小错误率的Bayes决策(juécè)的比拟
P(1 x) P(2 x) P(1 x) P(2 x)
1 2
p(x p(x
1 ) 2 )
p(x p(x
1 ) 2 )
x2 x1
1 p(x 1)dx p(x 2 )dx0
R1
R1
10 p(x 2 )dx p(x 1)dx
R1
R1
10 p(x 2 ) p(x 1)dx
R1
第3章Bayes决策理论2
第3章Bayes决策•返理论回2 本章首页
•（2）各类的协方差矩阵不相等
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.7 离散情况的Bayes决策
•前面我们我们介绍都是连续情况的Bayes决策理论，这 里我们看一下的离散情况。设 是离散型随机变量，从 而Bayes决策法则就是：
•（1）先验概率
；
•（2）条件概率密度函数
。
•先验概率的估计并不困难，关键是条件概率密度函数。
•这里我们以正态分布概率密度函数为主进行讨论，因为
•Ⅰ 在实际问题中，大量的随机变量都服从或近似地服 从正态分布；
•Ⅱ 即使统计总体不服从正态分布，但是它的许多重要 的样本特征可能是渐进正态分布的；
•Ⅲ 正态分布分析起来比较方便。
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.3 Neyman—Pearson决策
Neyman—Pearson决策即限定一类错误率条件下使另一 类错误率为最小的两类别决策。
第3章Bayes决策•返理论回2 本章首页
•用Lagrange乘子法建立其数学模型
• ，它对应于下式
•然后确定
第3章Bayes决策•返理论回2 本章首页
3.5 Bayes分类器和判别函数
•前面我们介绍了四种决策规则，这里结合第二章中介绍 的判别函数和决策面的概念来设计分类器。
•对于n 维空间中的 c 个模式类别各给出一个由 n 个特征组成的单 值函数，这叫做判别函数。在 c 类的情况下，我们共有 c个判别函 数，记为
第3章Bayes决策理论2
2020/11/26
第3章Bayes决策理论2
•（2）各类的协方差矩阵不相等
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.7 离散情况的Bayes决策
•前面我们我们介绍都是连续情况的Bayes决策理论，这 里我们看一下的离散情况。设 是离散型随机变量，从 而Bayes决策法则就是：
•（1）先验概率
；
•（2）条件概率密度函数
。
•先验概率的估计并不困难，关键是条件概率密度函数。
•这里我们以正态分布概率密度函数为主进行讨论，因为
•Ⅰ 在实际问题中，大量的随机变量都服从或近似地服 从正态分布；
•Ⅱ 即使统计总体不服从正态分布，但是它的许多重要 的样本特征可能是渐进正态分布的；
•Ⅲ 正态分布分析起来比较方便。
第3章Bayes决策•返理论回2 本章首页
第3章Bayes决策•返理论回2 本章首页
3.3 Neyman—Pearson决策
Neyman—Pearson决策即限定一类错误率条件下使另一 类错误率为最小的两类别决策。
第3章Bayes决策•返理论回2 本章首页
•用Lagrange乘子法建立其数学模型
• ，它对应于下式
•然后确定
第3章Bayes决策•返理论回2 本章首页
3.5 Bayes分类器和判别函数
•前面我们介绍了四种决策规则，这里结合第二章中介绍 的判别函数和决策面的概念来设计分类器。
•对于n 维空间中的 c 个模式类别各给出一个由 n 个特征组成的单 值函数，这叫做判别函数。在 c 类的情况下，我们共有 c个判别函 数，记为
第3章Bayes决策理论2
2020/11/26
第3章Bayes决策理论2
Bayes决策理论
i
2.2 基于最小错误率的Bayes决策
决策D的错误率
P(e) = 1 − P(correct ) = 1 − ∑ P(x ∈ Si , ωi ) = 1 − ∑ ∫ p (x, ωi )dx
i =1 K i =1 S i K K
= 1 − ∑ ∫ P(ωi | x) p (x)dx Si = {x D(x) = ωi }
S2
∫ p(x, ω )dx + ∫ p(x, ω
1 S1
2
)dx
p (x, ω1 )
p (x, ω 2 )
P2 (e)
P1 (e)
S1
S2
P(e) = P1 (e) + P2 (e) =
S2
∫ p(x, ω )dx + ∫ p(x, ω
1 S1
2
)dx
2.2 基于最小错误率的Bayes决策
Bayes决策使得分类的错误率最小。
K
2.3 基于最小风险的Bayes决策
最小风险Bayes决策：
DBayes (x) = arg min ∑ λij P(ω j | x)
i j =1
K
2.3 基于最小风险的Bayes决策
期望风险最小
R = ∑ ∫ ∑ λik p (x | ωk ) P (ωk )dx
i =1 S i k =1 K K
最小错误率 最小风险
2.2 基于最小错误率的Bayes决策
2.2 基于最小错误率的Bayes决策
我们已知
P(ω i ) 先验概率：
类条件概率密度： p (x | ω i )
2.2 基于最小错误率的Bayes决策
2.2 基于最小错误率的Bayes决策
决策D的错误率
P(e) = 1 − P(correct ) = 1 − ∑ P(x ∈ Si , ωi ) = 1 − ∑ ∫ p (x, ωi )dx
i =1 K i =1 S i K K
= 1 − ∑ ∫ P(ωi | x) p (x)dx Si = {x D(x) = ωi }
S2
∫ p(x, ω )dx + ∫ p(x, ω
1 S1
2
)dx
p (x, ω1 )
p (x, ω 2 )
P2 (e)
P1 (e)
S1
S2
P(e) = P1 (e) + P2 (e) =
S2
∫ p(x, ω )dx + ∫ p(x, ω
1 S1
2
)dx
2.2 基于最小错误率的Bayes决策
Bayes决策使得分类的错误率最小。
K
2.3 基于最小风险的Bayes决策
最小风险Bayes决策：
DBayes (x) = arg min ∑ λij P(ω j | x)
i j =1
K
2.3 基于最小风险的Bayes决策
期望风险最小
R = ∑ ∫ ∑ λik p (x | ωk ) P (ωk )dx
i =1 S i k =1 K K
最小错误率 最小风险
2.2 基于最小错误率的Bayes决策
2.2 基于最小错误率的Bayes决策
我们已知
P(ω i ) 先验概率：
类条件概率密度： p (x | ω i )
2.2 基于最小错误率的Bayes决策
正态分布中的Bayes决策
贝叶斯定理的公式为：P(A|B) = (P(B|A) * P(A)) / P(B)，其中P(A|B)是在B发生的条件下P(A)是A发生的概率，P(B)是B发生的概率。
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
贝叶斯决策规则
贝叶斯决策规则贝叶斯决策规则（Bayesian Decision Rule）是一种统计学方法，用于处理决策问题。
在这个规则中，我们考虑不同的随机变量和由它们生成的概率分布，进而对不同的决策进行评估。
这种方法被广泛应用于多个学科领域，包括医疗、金融和工程等。
贝叶斯决策规则的核心思想是将决策过程转化为概率论问题。
它将不同的决策视为可能性函数，然后将相关的观察结果作为输入，从而推导出每个决策的后验概率。
具体来说，这个规则包含三个核心组成部分：先验概率、条件概率和似然函数。
先验概率指的是在考虑任何新信息之前已知的概率信息。
条件概率指的是在特定的条件下，某些事件发生的概率。
似然函数指的是给定某些数据的条件下，某一假设成立的概率。
这些概率信息可以通过数据收集和分析来获取。
在实际应用中，贝叶斯决策规则通常用于分类问题。
假设我们有一个输入变量 X，它具有不同的取值，表示每个输入的特征。
我们还有一个类别变量 Y，它可能取值为 A 或者 B 两种。
我们需要根据输入变量的取值对类别变量进行预测。
首先，我们需要估计每个类别的先验概率，即假设输入变量 X 不存在时，每个类别的出现概率。
接着，我们需要为每个输入值估计一个条件概率，即在已知 X 的取值的情况下，每个类别出现的概率。
这个概率可以通过计算训练数据集中每个类别的频率来获得。
最后，我们需要计算出每个类别的后验概率，即在已知 X 的取值的情况下，每个类别出现的概率。
这个概率可以通过将先验概率和条件概率相乘，然后除以规范化常数来获得。
贝叶斯决策规则的优点是它提供了一种基于统计学的方法来处理决策问题。
它可以适应数据的变化，因为它不需要事先指定任何假说或模型。
此外，贝叶斯决策规则可以有效地进行处理和解释，因为它提供了可视化结果，并且结果可解释性高。
与其他决策方法相比，贝叶斯决策规则对数据的要求较少，可以在小数据集上产生令人满意的结果。
总之，贝叶斯决策规则是一种强大的工具，可以应用于各种领域，用于解决决策问题。
贝叶斯决策规则 PPT
• 解答
• 已知
• 计算
• 由于 得癌症
，根据贝叶斯决策规则，该病人没有
如何确定概率？
• 应用贝叶斯决策规则，需已知如下概率
p(x | i ) P(i )
• 对于某个具体问题，常常需要通过实验统计相对 频率，或者利用概率密度估计技术来确定如上概 率
例子
• 问题：
• 在某大学校园内，根据轿车车身高度判断其价格是否超 过5万美元？
• 对任意给定的特征x，如果判决规则 选择的的行动
能够最小化条件风险
，那么总风险将最小化
• 贝叶斯决策规则：对所有i=1,2,…,a，计算条件风险
，选择行动 使得条件风险
最小化
贝叶斯决策得到的最小总风险被称为贝叶斯风险，表示为R*
两类分类问题
• 行动
• ：判决为类别 • ：判决为类别
• 损失
•
• 条件风险
• 先来看两类情况
• 条件误差概率
• 平均误差概率
• 在贝叶斯决策中，对每一个x，P(error | x)都能被最小 化，因此P(error)被最小化。
贝叶斯决策的最优性
• 对问题作如下泛化：
• 允许多类情况； • 允许其他行为而不仅仅是判定类别； • 引入更一般的损失函数来替代误差概率。
• 损失函数
贝叶斯决策的特例
• 特例1
• 均匀先验概率：
• 决策仅仅依赖于 p(x | i )
从样本中观察到 x的情况下，
如果 P(x | j ) P(x | i ),i j， 则预测该模式为 j
贝叶斯决策的特例
• 特例2
• 相同的类条件概率密度函数：
• 决策仅仅依赖于先验概率
如果 P( j ) P(i ),i j ，则预测模式为 j
• 已知
• 计算
• 由于 得癌症
，根据贝叶斯决策规则，该病人没有
如何确定概率？
• 应用贝叶斯决策规则，需已知如下概率
p(x | i ) P(i )
• 对于某个具体问题，常常需要通过实验统计相对 频率，或者利用概率密度估计技术来确定如上概 率
例子
• 问题：
• 在某大学校园内，根据轿车车身高度判断其价格是否超 过5万美元？
• 对任意给定的特征x，如果判决规则 选择的的行动
能够最小化条件风险
，那么总风险将最小化
• 贝叶斯决策规则：对所有i=1,2,…,a，计算条件风险
，选择行动 使得条件风险
最小化
贝叶斯决策得到的最小总风险被称为贝叶斯风险，表示为R*
两类分类问题
• 行动
• ：判决为类别 • ：判决为类别
• 损失
•
• 条件风险
• 先来看两类情况
• 条件误差概率
• 平均误差概率
• 在贝叶斯决策中，对每一个x，P(error | x)都能被最小 化，因此P(error)被最小化。
贝叶斯决策的最优性
• 对问题作如下泛化：
• 允许多类情况； • 允许其他行为而不仅仅是判定类别； • 引入更一般的损失函数来替代误差概率。
• 损失函数
贝叶斯决策的特例
• 特例1
• 均匀先验概率：
• 决策仅仅依赖于 p(x | i )
从样本中观察到 x的情况下，
如果 P(x | j ) P(x | i ),i j， 则预测该模式为 j
贝叶斯决策的特例
• 特例2
• 相同的类条件概率密度函数：
• 决策仅仅依赖于先验概率
如果 P( j ) P(i ),i j ，则预测模式为 j
Ch2 Bayes 决策理论( Bayes 分类器
最小错误率Bayes决策规则
基本假设：
假设要研究的分类问题有c个类别，各类别 状态用ωi表示，i=1,2,…,c; 假设待识别对象 的特征向量x所对应的后验概率用P(ωi/x) 是 已知的；或者，对应于各个类别的先验概率 P(ωi)和类条件给率密度函数p(ωi/x)是已知 的。
最小错误率Bayes决策规则
ω1 ，则 x ∈ ω 2
最小错误率Bayes决策规则
还可以得到下面的后验概率形式的规则：
P(ω1 / x) > or < P (ω 2 / x)
则
ω1 x∈ ω 2
请同学们思考下面的问题：对于多类分 类问题，最小错误率Bayes决策规则的形 式如何？
最小错误率Bayes决策规则
例题2.1
P(ω1 ) = 0.995; P(ω 2 ) = 0.005; p(阳 / ω1 ) = 0.01 p(阴 / ω1 ) = 0.99; p(阳 / ω 2 ) = 0.95; p(阴 / ω 2 ) = 0.05
问题：王某，测试结果为阳性，诊断结果是什么？
最小错误率Bayes决策规则
例题2.1 由于
思考题：如何将最小风险Bayes决策规则推广至多类分类 问题？
最小风险Bayes决策规则
例题2.2 在例题2.1的基础上，令L11=0, L21=3, L12=1, L22=0，按照最小风险Bayes决策规则为王某诊 断。 计算条件风险：
r1(x)=0.01325; r2(x)=0.00995 由于r1(x)> r2(x),所以x∈ω2 ，即王某属于癌症病人。
注意：若仅由先验概率进行决策，就会 把所有的细胞都判属正常类。 先验概率：由先验知识在识别前就得到 的概率P(ω1)称为状态的先验概率。
(2)Bayes决策规则
P( x 1 ) P(1 ) P( x 2 ) P(2 )
1
P ( 2 x )P ( x )dx P (1 x ) P ( x )dx
1 1 2
t
2
x
P ( x 2 )P ( 2 )dx P ( x 1 )P (1 )dx
2
p(2 ) p2 (e) p(1 ) p1 (e)
P ( 2 ) P ( x 2 )dx P (1 ) P ( x 1 )dx
1 2
其中 : P ( x 1 )dx P1 (e ) P ( x 2 1 ) : 第一类判错率
2
1
其中: P1(e)和P2(e) P ( x 2 )dx P2 (e ) P ( x 1 2 ) : 第二类判错率 叫两类错误率.
1 1 1 T P (e )min e xp u 2 du, k 1 2 1 1 2 (错 误 率 最 小 ) k 2 2 2 若 已 知 1 , 2 , ， 就 可 计 算 .因 此 可 计 算 出 最 小 错 率 。 k 误
如果：p( i | x ) max p( j | x )，则：x i
j 1 , j i
c
结论:
决策规则(2-2)保证了无论如何 p(e | x ) 总是取小 者,从而保证了平均误识率
p(e ) p(e | x ) p( x )dx E[ p(e | x )]
6
贝叶斯判别原则
例子
设有一种诊断癌症的试验，其结果为“阳
性”和“阴性”两种反应。 若用这种试验来对一个病人进行诊断，提 供的化验结果以模式x代表，这里x为一维 特征，且只有x=“阳”和x=“阴”两种结果。
贝叶斯决策
策行为为i时所带来的损失(风险) 。
引入损失概念，考虑错判所造成损失，不 能只由后验概率的大小来决策，而应考虑所 采取决策是否使损失最小。
22
对于i = 1,…,a，条件风险R(i|x) 定义为： R(i /x)E[(i j)]
c
(i j)P(j x),i1,2,....,C j1
它是在c个类别状态中任取某个状态j时，采
❖ 实际中，有时要求限制其中某一类错误率不得大于 某个常数而使另一类错误率尽可能小。
34
假设P2（e）很小，使P2（e）=ε0， ε0是一个很小的
常数，在这种条件下再要求尽可能小。 如图所示：
p( x 1)P(1)
A
p( x 2 )P(2 )
R1
H
p(x 2 )P(2 ) dx
R1
R2
p( x 1)P(1) dx
j1
j1
ij
表示对x采取决策i的条件错误概率
32
所以在0-1损失函数时，使
R |x m R i|x n
k
i 1 ,c . . .
i
的最小风险贝叶斯决策就等价于
c P |xm ciP n |x
j 1
j
i 1, .c. .j 1
j
j k
j i
的最小错误率贝叶斯决策。
因此，在0-1损失函数条件下最小错误率贝叶斯决 策就是的最小风险贝叶斯决策。
p(x1)P(1)dx p(x2)P(2)dx
R2
R1
P(1)P1(e)P(2)P2(e)
对应图中黄色和 橘红色区域面积
px|d 1
x
px|d 2
x
R2
R1
18
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
引入损失概念，考虑错判所造成损失，不 能只由后验概率的大小来决策，而应考虑所 采取决策是否使损失最小。
22
对于i = 1,…,a，条件风险R(i|x) 定义为： R(i /x)E[(i j)]
c
(i j)P(j x),i1,2,....,C j1
它是在c个类别状态中任取某个状态j时，采
❖ 实际中，有时要求限制其中某一类错误率不得大于 某个常数而使另一类错误率尽可能小。
34
假设P2（e）很小，使P2（e）=ε0， ε0是一个很小的
常数，在这种条件下再要求尽可能小。 如图所示：
p( x 1)P(1)
A
p( x 2 )P(2 )
R1
H
p(x 2 )P(2 ) dx
R1
R2
p( x 1)P(1) dx
j1
j1
ij
表示对x采取决策i的条件错误概率
32
所以在0-1损失函数时，使
R |x m R i|x n
k
i 1 ,c . . .
i
的最小风险贝叶斯决策就等价于
c P |xm ciP n |x
j 1
j
i 1, .c. .j 1
j
j k
j i
的最小错误率贝叶斯决策。
因此，在0-1损失函数条件下最小错误率贝叶斯决 策就是的最小风险贝叶斯决策。
p(x1)P(1)dx p(x2)P(2)dx
R2
R1
P(1)P1(e)P(2)P2(e)
对应图中黄色和 橘红色区域面积
px|d 1
x
px|d 2
x
R2
R1
18
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
最小风险的Bayes决策
决策面方程 g(x)= 0 199 p(x | 1) p(x | 2 ) 0
• 2.
g(x) R(2 | x) R(1 | x) 21P(1 | x) 12 P(2 | x) 21P(x | 1)P(1) 12 P(x | 2 )P(2 ) 199P(x | 1) 3P(x | 2 ) 0
布。它的一些特殊情况揭示了统计判别方法中许多 重要的性质
在模式识别技术的研究中，需要用训练样本集来设 计分类器，还需用测试样本集来检验分类器的分类 效果，并对不同的分类器的性能进行比较
用正态分布模型描述训练样本集与测试样本集在数 学上实现起来也比较方便
23
物理上的合理性 如果同一类样本在特征空间 内的确较集中地分布在其类均值的附近，远离 均值处分布较少，那么一般情况下以正态分布 模型近似往往是比较合理的
最小风险的Bayes决策
• 让错误率最小的Bayes决策是重要的 • 但，错误率最小的Bayes决策是否最佳？
– 正常细胞误判为癌细胞 – 癌细胞误判为正常细胞 不同性质的错误会引起不同程度的损失（后果） 评价决策的优劣：总损失比总错误率更恰当
最小风险的Bayes决策就是把各种 分类错误而引起的损失考虑进去 的Bayes决策法则
定义期望风险：R(X ) R( (X ) | X ) p( X )dX
期望风险R反映对整个特征 空间上所有的X的取值采用 相应的决策α(x)所带来的 平均风险
最小风险的Bayes决 策使平均风险最小！
4
最小风险的Bayes决策规则步骤
（1）在已知P(ωj)，P(X|ωj)，j=1,…，c及给出待识别的X的情况下，根据贝 叶斯公式计算出后验概率：
P(X | j )
1
2
exp
• 2.
g(x) R(2 | x) R(1 | x) 21P(1 | x) 12 P(2 | x) 21P(x | 1)P(1) 12 P(x | 2 )P(2 ) 199P(x | 1) 3P(x | 2 ) 0
布。它的一些特殊情况揭示了统计判别方法中许多 重要的性质
在模式识别技术的研究中，需要用训练样本集来设 计分类器，还需用测试样本集来检验分类器的分类 效果，并对不同的分类器的性能进行比较
用正态分布模型描述训练样本集与测试样本集在数 学上实现起来也比较方便
23
物理上的合理性 如果同一类样本在特征空间 内的确较集中地分布在其类均值的附近，远离 均值处分布较少，那么一般情况下以正态分布 模型近似往往是比较合理的
最小风险的Bayes决策
• 让错误率最小的Bayes决策是重要的 • 但，错误率最小的Bayes决策是否最佳？
– 正常细胞误判为癌细胞 – 癌细胞误判为正常细胞 不同性质的错误会引起不同程度的损失（后果） 评价决策的优劣：总损失比总错误率更恰当
最小风险的Bayes决策就是把各种 分类错误而引起的损失考虑进去 的Bayes决策法则
定义期望风险：R(X ) R( (X ) | X ) p( X )dX
期望风险R反映对整个特征 空间上所有的X的取值采用 相应的决策α(x)所带来的 平均风险
最小风险的Bayes决 策使平均风险最小！
4
最小风险的Bayes决策规则步骤
（1）在已知P(ωj)，P(X|ωj)，j=1,…，c及给出待识别的X的情况下，根据贝 叶斯公式计算出后验概率：
P(X | j )
1
2
exp
决策管理-模式识别之贝叶斯决策
②变型1（消去相同的分母）
如果
P(i
| x)
max j 1,2
P
(
j
| x),
则
x i
P(i | x)
p(x | i )P(i )
c
p(x | j )P( j )
j 1
如果
p(x | i )P(i )
max j 1,2
p(x | j )P( j ),
①已知决策分类的类别数为c，各类别的状态为：
i , i 1, ..., c
②已知各类别总体的概率分布（各个类别出现 的先验概率和类条件概率密度函数）
P(i ), p(x | i ), i 1, ..., c
Bayes决策理论欲解决的问题
如果在特征空间中观察到某一个（随机） 向量 x = ( x1 , x2 ,…, xd )T
2
p( x | j )P( j
)
0.2
0.2 0.9 0.9 0.4
0.1
0.818
j1
P(2 | x) 1 P(1 | x) 0.182
属于正常细胞，注意：先验概率起主导作用
如果先验概率相等，则属于异常细胞
正确分类与错误分类
• 正确分类：将样本归属到样本本身所属的 类别
红＋黄
绿
只有当 t 取两类后验概率相等的点时，错误率才是最 小的（黄颜色区域变成零）
P(e) P(2 ) 1 p( x | 2 )dx P(1 ) 2 p( x | 1 )dx
P(2 )P2 (e) P(1 )P1 (e)
2.2.2 基于最小风险的Bayes决策
• 错误分类：将样本归属到非样本本身所属
第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
21
Neyman-Pearson(聂曼-皮尔逊)决策规则
(例:限定P2(e)=ε0 )
1为1判为 2的错误率 , 2为 2 判为 1的错误率 , 如图所示：
1
2
P x 1 dx p1 (e )， 2
1
P x 2 dx p2 (e )
总 错 误 率 (e ) P ( x 2 1 ) P ( x 3 1 ) ... P ( x M 1 )P (1 ) P P ( x 1 2 ) P ( x 3 2 ) ... P ( x M 2 )P ( 2 ) ... P ( x j j ) P ( i )(计 算 量 很 大 ）
决策规则
信息 获取 预处 理 特征 提取
训练过程
分类器 设计 分类决 策
识别过程
模式识别系统
1
决策规则之一
Bayes决策规则
2
2．1 引言 2．2几种Bayes决策规则 2．2．1最小错误率决策规则 2．2．2最小风险决策规则 2．2. 3约束条件下的决策规则 2．2．4最小最大决策规则 2．2．5 序贯分类法 2．2．6分类器的设计 ①判别函数和决策面 ②分类器的设计 2．3正态分布的统计决策的计算 2．3．1正态分布概率密度函数的定义及性质 2．3．2多元正态概率型下的最小错误率的Bayes决策
已知条件: p(i ) ，p( x | i ) ，i 1,2,3,..., c
利用概率论中的Bayes公式:
p(i | x) p( x | i ) p(i )
p( x | ) p( )
j 1 j j
c
(2 1)
决策规则:
如果：p( i | x ) max p( j | x )，则：x i
最小.
20
在两类的情况下,还有一种特殊情况,即在限定一类的误 识率的条件下(例:限定P1(e)=ε0或P2(e)=ε0),要求另一类 的误识率为最小.这可以看作是:
在P1(e)=ε0的条件下求P2(e)的极小值的条件极值问题.该 决策问题又叫:
Neyman-Pearson(聂曼-皮尔逊) 决策规则
2
p(2 ) p2 (e) p(1 ) p1 (e)
P ( 2 ) P ( x 2 )dx P (1 ) P ( x 1 )dx
1 2
其中 : P ( x 1 )dx P1 (e ) P ( x 2 1 ) : 第一类判错率
2
1
其中: P1(e)和P2(e) P ( x 2 )dx P2 (e ) P ( x 1 2 ) : 第二类判错率 叫两类错误率.
对该决策规则的品质的度量(以两类别为例)：
平均误识率:
p ( e)
其中:
p(e, x)dx
2 j 1
p(e | x) p( x)dx E[ p(e | x)] (2 6)
p( x ) p( x | j ) p( j )
对于两类别有：
p(1 | x) p(2 | x) 1
P( x 1 ) P(1 ) P( x 2 ) P(2 )
1
P ( 2 x )P ( x )dx P (1 x ) P ( x )dx
1 1 2
t
2
x
P ( x 2 )P ( 2 )dx P ( x 1 )P (1 )dx
1 x 1 2 1 e xp ( A) 2 2 1 x 2 2 1 e xp ( B) 2 2
把 上 式 代 入 最 小 错 误条 件 ： 率 P ( 1 ) P ( x 1 ) P ( 2 ) P ( x 2 )， 可 解 出 值 就 是 值. x t 把t代 入P (e )可 得P (e )min 。 P (e )min P ( 1 ) P ( x 1 )dx P ( 2 ) P ( x 2 )dx
令t为特征空间中两类的分界面, t将特征空 间分为两个区域1R1 和1R2
16
二类问题：若 P (1 x ) P ( 2 x ), 则x 1 , 这时错误率为 P ( 2 x ).
关于错误率分析
P ( 2 x ), 当x 1 P (e x ) 这时错误率最小。 P (1 x ), 当x 2 平均错误率： P (e ) P (e , x )dx P (e x ) P ( x )dx
1 1 1 T P (e )min e xp u 2 du, k 1 2 1 1 2 (错 误 率 最 小 ) k 2 2 2 若 已 知 1 , 2 , ， 就 可 计 算 .因 此 可 计 算 出 最 小 错 率 。 k 误
p(x=阳| ω2)=0.95 患有癌症的人试验反应为阴性的概率=0.05，即 p(x=阴| ω2)=0.05 正常人试验反应为阳性的概率=0.01，即 p(x=阳| ω1)=0.01 正常人试验反应为阴性的概率=0.99，即 p(x=阴| ω1)=0.99
8
贝叶斯判别原则
问题
若被化( j | x )，则：x i
j 1 , j i
c
结论:
决策规则(2-2)保证了无论如何 p(e | x ) 总是取小 者,从而保证了平均误识率
p(e ) p(e | x ) p( x )dx E[ p(e | x )]
3
4
第二章 Bayes决策理论
贝叶斯判别原则 两类模式集的分类
目的：要确定x是属于ω1类还是ω2类，要
看x是来自于ω1类的概率大还是来自ω2类 的概率大。
[贝叶斯判别]
5
贝叶斯判别原则
例子
对一大批人进行癌症普查，正常人以ω1类代表，
患癌者以ω2类代表。 设被试验的人中患有癌症的概率为0.005，即 P(ω2)=0.005，当然P(ω1)=1-0.005=0.995 现任意抽取一人，要判断他是否患有癌症。显 然，因为P(ω1)> P(ω2)，只能说是正常的可能 性大。如要进行判断，只能通过化验来实现。
P ( x 1 ) x 2 (在 2区域）根据两个不等式 P( x 2 )
同理：由 P x 2 dx 1 P x 2 dx可推出 :
1 2
，我们得到判决准则
1 P ( x 1 ) l ( x ) x ( 2 28) 2 P( x 2 )
聂曼－皮尔逊准则是 r 1 2
2为常数时 ( 2 0 ), 使 1最小，
要满足以上条件 , 先定义一个辅助常数：
2
P x 1 dx P x 2 dx
1
其中： 为待定常数
因为 P x 1 dx 1 P x 1 dx，
j 1 , j i
c
(2-2)
以细胞的自动识别为例
12
1
2
13
14
几种等价的决策规则:
c j 1 , j i
1、如果：p( x | i ) p( i ) max p( x | j ) p( j )， 则：x i
p( x | 1 ) p( 2 ) 2、定义l ( x ) ，则，如果l ( x ) ，则x 1 p( x | 2 ) p( 1 ) 反之，x 2。l ( x )叫做似然比。
t t
1 2
k
1 2 e xp u du 2
其中： u
1 1 2 2 2 2 若 已 知 1 , 2 , 可 以 计 算 , 可 计 算 (e )min k P ，k
x 1
对 多 维 问 题 ： ( x 1 ) N 1 , 1 , P ( x 2 ) N 2 , 2 P
c
几个约定:
类别数 i 类别 i=1,2,…C p( i ) 类别 i 出现的先验概率 T x x=[x1,x2,…,xd] d维特征空间中的某一向量 p( x | i ) 类条件概率密度函数.即在类别 i 出现的概率已 知的条件下x 出现的概率.
10
2.2.1基于最小平均误识率的Bayes决策规则 品质度量:平均误识率misclassification rate
2 1
x2
P ( x 1 ) P( x 2 )
r 1
1
P x 2 P x 1 dx
1 x1
问 现 变 题 在 为 :求 个 佳 一 最 的 1使r最 . 小
1
2
在r 1 P x 2 P x 1 dx式中 1为变量，要使 r最小, 应使积分部分为负 . 1 P x 1 在 1区域内应使 P x 2 P x 1 1区域内 成立 P x 2 推出 P x 1 反之亦然 .即由 x 1 (在 1区域 , x属于 1类) P x 2
i 1 j 1
j i
对于多类问题：
P ( x 1 M ) P ( x 2 M ) ... P ( x M 1 M )P ( M )
M M
用 平 均 正 确 分 类 概 率 P ( M ) P ( x i i ) P ( i ) ：
i 1 M
M
P ( x i )P ( i )dx
i 1 i
错误率：P (e ) 1 P ( M )，计算相对简单。
2、正态分布最小错误率(在正态分布情况下求最小错误率)