第3章Bayes决策理论
合集下载
贝叶斯决策理论
P(1 | x) if we decide 2 P(error | x) P( 2 | x) if we decide1
显然，对于某个给定的x，采用上述规则可以使错误概率最
小。 问题是，这一规则能够使得平均错误概率最小吗？
2最小错误率的贝叶斯决策
平均错误概率：
P(error) P(error, x)dx P(error | x) p( x)dx
1 引言
后验概率：一个具体事物属于某种类别的概率， 例如一个学生用特征向量x表示，它是男性或女 性的概率表示成P(男生|x)和P(女生|x)，这就是 后验概率。由于一个学生只可能为两个性别之一， 因此有P(男生|x)+P(女生|x)=1的约束，这一点是 与类分布密度函数不同的。后验概率与先验概率 也不同，后验概率涉及一个具体事物，而先验概 率是泛指一类事物，因此P(男生|x)和P(男生)是 两个不同的概念。
4贝叶斯决策的评价
局限性：
（1）它需要的数据多，分析计算比较复杂，特别在解决 复杂问题时，这个矛盾就更为突出。 （2）有些数据必须使用主观概率，有些人不太相信，这 也妨碍了贝叶斯决策方法的推广使用。
R R( (x) | x) p (x)dx
显然，如果对于每个x 我们都选择 小，则总风险将被最小化
(x) 使得
R(i | x)
最
3最小风险的贝叶斯决策
相关数学表达
3最小风险的贝叶斯决策
一般损失函数可由决策表给出：
3最小风险的贝叶斯决策
步骤
• 计算后验概率： P(i | x)
贝叶斯决策理论
2014年12月15日
1 引言
把x分到哪一类最合理？理论基础之一是统 计决策理论。 决策：是从样本空间S，到决策空间Θ的一 个映射 贝叶斯决策就是在不完全情报下，对部分 未知的状态用主观概率估计，然后用贝叶 斯公式对发生概率进行修Байду номын сангаас，最后再利用 期望值和修正概率做出最优决策。
正态分布中的Bayes决策
贝叶斯定理的公式为：P(A|B) = (P(B|A) * P(A)) / P(B)，其中P(A|B)是在B发生的条件下P(A)是A发生的概率，P(B)是B发生的概率。
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
贝叶斯决策的优势
01
贝叶斯决策方法能够考虑不确定性和主观性，使得决策更加科 学和合理。
先验概率
在Bayes决策中，先验概率是指在做出决策之前，对各个可能结果发生概率的 估计。在正态分布中，先验概率可以通过已知的数据和概率密度函数计算得出。
计算方法
根据正态分布的性质，先验概率可以通过以下公式计算：P(μ) = 1 / (σ√(2π))， 其中μ是正态分布的均值，σ是标准差，π是圆周率。
理论依据坚实
Bayes决策理论基于贝叶斯定理和最大期望效用原则，通 过计算后验概率和期望效用来做出最优决策。在正态分布 中，这一理论能够为决策者提供坚实的理论依据，帮助其 做出更加科学和准确的决策。
灵活性强
Bayes决策理论可以根据不同的先验信息和数据分布，灵 活地调整模型参数和决策规则，从而更好地适应各种复杂 情况。在正态分布中，这一优点能够使得Bayes决策更加 灵活和实用。
利用正态分布计算最优决策
最优决策
在Bayes决策中，最优决策是指根据先验概率和后验概率做出的最优选择。在正态分布中，最优决策可以通过最 大化后验概率或最小化损失函数得出。
计算方法
根据最大后验概率准则，最优决策可以通过以下步骤得出：首先计算各个可能结果的损失函数值，然后选择损失 函数值最小的那个结果作为最优决策。如果需要更严谨的决策准则，可以考虑最小化期望损失函数或最大化期望 效用函数。
在贝叶斯决策中，决策者通常会根据 历史数据和经验对事件发生的概率进 行先验估计，并在获得新的信息后， 利用贝叶斯定理更新这些估计。
正态分布中的Bayes决策
如果取0－1损失函数，最小风险判决规则和最 大似然比判决规则均与最小错误判决规则等价。
下面以最小错误判决规则为例来研究Bayes分 类方法在正态分布中的应用。
由最小错误率判决规则抽象出来的判决函数如下：
g i ( x ) ( x |w i ) P ( w i )i 1 , 2 , , c
如果类概率密度是正态分布的，
由 于 gi(x)w iTxwi0为线性函数，
其决策面由线性方程 gi(x)gj(x)0构 成
决策面是一个超平面。
在 i 2 I 的 特 殊 情 况 下 ， 决 策 面 方 程 可 改 写 成
wT(xx0)0
wi j x01 2(ij)i 2 j 2lnP P ((w wij))(ij)
满足 wT(xx0)0 的x的轨迹是wi 与x )d x x i (x i)dix
其中xi为边缘分布，
(x i) (x ) d x 1 d x 2 d x i 1 d x i 1 d x d
i2jE[x(ii)x(jj)]
(x ii)(x jj) (x i,x j)d x id x j
协方差矩阵：
2 11
2 12
2 12
2 22
2 1d
2 2d
是一个对称矩阵，只 1考2d 虑S22为d
2 dd
正定矩阵的情况，也就是:
|S|所有的子式都大于0
同单变量正态分布一样，多元 正态分布x可以由和S完全确定， 常记为N(,S)。
(2) 多元正态分布的性质
参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
⑤.线性变换的正态性 对于多元随机向量的线性变换，仍为多元正态
下面以最小错误判决规则为例来研究Bayes分 类方法在正态分布中的应用。
由最小错误率判决规则抽象出来的判决函数如下：
g i ( x ) ( x |w i ) P ( w i )i 1 , 2 , , c
如果类概率密度是正态分布的，
由 于 gi(x)w iTxwi0为线性函数，
其决策面由线性方程 gi(x)gj(x)0构 成
决策面是一个超平面。
在 i 2 I 的 特 殊 情 况 下 ， 决 策 面 方 程 可 改 写 成
wT(xx0)0
wi j x01 2(ij)i 2 j 2lnP P ((w wij))(ij)
满足 wT(xx0)0 的x的轨迹是wi 与x )d x x i (x i)dix
其中xi为边缘分布，
(x i) (x ) d x 1 d x 2 d x i 1 d x i 1 d x d
i2jE[x(ii)x(jj)]
(x ii)(x jj) (x i,x j)d x id x j
协方差矩阵：
2 11
2 12
2 12
2 22
2 1d
2 2d
是一个对称矩阵，只 1考2d 虑S22为d
2 dd
正定矩阵的情况，也就是:
|S|所有的子式都大于0
同单变量正态分布一样，多元 正态分布x可以由和S完全确定， 常记为N(,S)。
(2) 多元正态分布的性质
参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性
⑤.线性变换的正态性 对于多元随机向量的线性变换，仍为多元正态
贝叶斯决策理论
两类分类器的功能：计算判别函数，再根据计算 结果的符号将 x 分类
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
关于贝叶斯决策理论课件
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
如果我们把作出w1决策的所有观测值区域 称为R1，则在R1区内的每个x值，条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
如果我们把作出w1决策的所有观测值区域 称为R1，则在R1区内的每个x值，条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
模式识别-3-贝叶斯决策理论
通过对细胞的再观察，就可以把先验概率转化为后验概率， 利用后验概率可对未知细胞x进行识别 。
若P(1 x) P(2 x), 则x 1 若P(1 x) P(2 x), 则x 2
P( i x)
1.0 0.8 0.6 0.4 0.2
P(1 x) P(2 x)
设N个样本分为两类ω1，ω2。每个样本抽出n 个特征， x =（x1， x2， x3，…， xn）T 判别函数： g ( x) g1 ( x) g 2 ( x)
x
对x再观察：有细胞光密度特征 ,有类条件概率密度: P(x/ωi) i=1,2,…，如右上图所示。 利用贝叶斯公式 ：
P(i x) P( x i ) P(i )
P( x ) P( )，（也称为后验概率）
j 1 j j
2
通过 对细胞的再观察，就可以把先验概率转化为后验概 率，利用后验概率可对未知细胞x进行识别。
随机特征向量 在现实世界中，对于许多客观现象的发生，就 每一次观察和测量来说，即使在基本条件保持 不变的情况下也具有不确定性。 只有在大量重复的观察下，其结果才能呈现出 某种规律性，即对它们观察到的特征具有统计 特性。 此时，特征向量不再是一个确定的向量，而是 一个随机向量。 因此，只能利用模式集的统计特性来分类，以 使分类器发生错误的概率最小。
P(x 1) P(2) (4)g(x) ln ln , (取对数方法) P(x 2) P(1)
1 2.决策规则：(1)P(1 x) P(2 x) x 2
1 (2)P(x 1)P(1) P(x 2)P(2) x 2 1 P(2) P(x 1) (3) x P(x 2) P(1) 2 1 P(x 1) P(2) (4)g(x) ln ln x 2 P(x 2) P(1)
第3章 Bayes决策理论
第3章 Bayes决策理论
“概率论”有关概念复习
Bayes公式：设实验E的样本空间为S，A为E的事件，
第3章 Bayes决策理论
B1,B2,…,Bn为S的一个划分，且P(A)>0，P(Bi)>0，
(i=1,2,…,n)，则:
P( Bi | A) P( A | Bi ) P( Bi )
n
P( A | B
返回本章首页
第3章 Bayes决策理论
平均错误概率
P(e)
P (e x ) p ( x ) d x
从式可知，如果对每次观察到的特征值 x ， P(e x) 是 尽可能小的话，则上式的积分必定是尽可能小的。这就 证实了最小错误率的Bayes决策法则。下面从理论上给 予证明。以两类模式为例。
解法1：
利用Bayes公式
第3章 Bayes决策理论
p ( x 10 | 1 ) P(1 ) P(1 | x 10) p ( x 10) p ( x 10 | 1 ) P(1 ) p ( x 10 | 1 ) P(1 ) p( x 10 | 2 ) P(2 ) 0.05 1/ 3 0.048 0.05 1/ 3 0.50 2 / 3
解法2：
写成似然比形式
第3章 Bayes决策理论
p ( x 10 | 1 ) 0.05 l12 （x 10） 0.1 p ( x 10 | 2 ) 0.50 P (2 ) 2 / 3 判决阀值12 2 P (1 ) 1/ 3 l12 （x 10） 12 , x 2 , 即是鲑鱼。
若 P(i x) P( j x) ， j i ，则判
若 P(i x) 若 若
贝叶斯决策分析课件
02 先验概率与似然函数
先验概率
先验概率
在贝叶斯决策分析中，先验概率是指根据历史数据或其他 信息，对某个事件或状态发生的可能性进行的估计。
确定先验概率的方法
确定先验概率的方法包括主观概率法、历史数据法、专家 评估法等。这些方法根据不同的情况和数据来源，对事件 或状态的可能性进行评估。
先验概率的特点
降维与特征选择
通过贝叶斯方法进行特征选择和降维，提高机器 学习模型的性能。
贝叶斯决策分析在金融风险管理中的应用
风险评估
利用贝叶斯方法评估金融风险，如市场风险、信用风险等。
信贷风险评估
通过构建贝叶斯网络模型，对信贷申请人的风险进行评估。
投资组合优化
利用贝叶斯方法优化投资组合，实现风险与收益的平衡。
贝叶斯决策分析在医疗诊断中的应用
率。
后验概率的应用场景
01
02
03
04
后验概率在决策分析中有着广 泛的应用，尤其是在处理不确 定性和主观概率的情况下。
在预测模型中，后验概率可以 用于预测未来的事件或结果。
在分类问题中，后验概率可以 用于确定某个样本属于某个类
别的概率。
在机器学习中，后验概率可以 用于确定某个模型或算法的准
确性和可靠性。
赖关系。
贝叶斯网络构建
根据领域知识和数据，构建贝叶 斯网络结构，确定节点和有向边
。
贝叶斯网络推理
利用贝叶斯网络进行概率推理， 计算特定条件下某变量的概率值
。
贝叶斯决策分析在机器学习中的应用
分类问题
利用贝叶斯分类器对数据进行分类，如朴素贝叶 斯分类器。
聚类问题
将贝叶斯方法应用于聚类分析，如高斯混合模型 。
《贝叶斯决策理论》PPT课件
常表示为
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
第3章Bayes决策理论
s
Ri|Xi|jPj|X j1
Ri | X是一个平均损失，称为条件风险。每
当观察到一个X时，我们总可以选取使条件风 险极小的决策。如果选取的决策使得平均损失 对每一个具体的X都能尽可能小，则总风险也 会达到极小。
最小风险的Bayes决策规则： 为了使风险最小，应对于i 1,2,...,a 计算条件风险
p(X | 2)
p(X | 3)
X
P ( j ) 是自然状态为 j 的先验概率，则由Bayes公
式可求得后验概率 P( j | X )
由Bayes公式，后验概率是：
Pj |XpX|pjX P j
c
式中 pXpX|igPi i1 假定观察到一个X ，同时决定采取决策 i ，如 果真正的状态为 j ，就会导致产生损失 i |j 。 因为 Pj | X是自然状态为 j 的概率，所以与 采取的决策 i 有关的损失的数学期望就是：
证明：
假设R1是 1 类的决策域，R2是 2 类的决策域， 对X分类，这时有两种可能发生的分类错误：
X的真实状态是 2 ，却分到 R1 ，
X的真实状态是 1 ，却分到 R2 ，
错误率： P ( e ) P ( x R 2 ,1 ) P (x R 1 ,2 )
R 2p (x | 1 ) P (1 ) d x R 1p (x | 2 )P (2 ) d x
如果对于每次观察到的特征值x, P(e| x) 尽可能小 的话,则上式的积分也必定是尽可能小的.
假设H为两类的分界面,相应于 1 和 2 , 将x轴分 为两个区域 R 1 , R 2
在发生分类错误时,总的错误概率为：
PePxR2,1PxR1,2
PePxR2,1PxR1,2
R 2p (x | 1 ) P (1 ) d x R 1p (x | 2 )P (2 ) d x P (1 )R 2p (x | 1 ) d x P (2 )R 1p (x | 2 ) d x
Ri|Xi|jPj|X j1
Ri | X是一个平均损失，称为条件风险。每
当观察到一个X时，我们总可以选取使条件风 险极小的决策。如果选取的决策使得平均损失 对每一个具体的X都能尽可能小，则总风险也 会达到极小。
最小风险的Bayes决策规则： 为了使风险最小，应对于i 1,2,...,a 计算条件风险
p(X | 2)
p(X | 3)
X
P ( j ) 是自然状态为 j 的先验概率，则由Bayes公
式可求得后验概率 P( j | X )
由Bayes公式，后验概率是：
Pj |XpX|pjX P j
c
式中 pXpX|igPi i1 假定观察到一个X ，同时决定采取决策 i ，如 果真正的状态为 j ，就会导致产生损失 i |j 。 因为 Pj | X是自然状态为 j 的概率，所以与 采取的决策 i 有关的损失的数学期望就是：
证明：
假设R1是 1 类的决策域，R2是 2 类的决策域， 对X分类，这时有两种可能发生的分类错误：
X的真实状态是 2 ，却分到 R1 ，
X的真实状态是 1 ，却分到 R2 ，
错误率： P ( e ) P ( x R 2 ,1 ) P (x R 1 ,2 )
R 2p (x | 1 ) P (1 ) d x R 1p (x | 2 )P (2 ) d x
如果对于每次观察到的特征值x, P(e| x) 尽可能小 的话,则上式的积分也必定是尽可能小的.
假设H为两类的分界面,相应于 1 和 2 , 将x轴分 为两个区域 R 1 , R 2
在发生分类错误时,总的错误概率为：
PePxR2,1PxR1,2
PePxR2,1PxR1,2
R 2p (x | 1 ) P (1 ) d x R 1p (x | 2 )P (2 ) d x P (1 )R 2p (x | 1 ) d x P (2 )R 1p (x | 2 ) d x
贝叶斯决策分析
概率P(θi)
0.8
利润（万元） 1.5
0.2 －0.5
为了进一步摸清市场对这种产品的需求情况，拟聘请某咨询 公司进行市场调查和分析，该公司对销售情况预测也有畅销 (H1)和滞销 (H2)两种，对畅销预测的准确率为0.95，对滞销
预测的准确率为0.9：
P(Hi/θj)
θ1
θ2
H1
0.95 0.10
j
E Y / X xi yjP Y yj / X xi
同样地，
j
其中 fY ( y / X x)
E Y /对X于 二x元 连续y型fY (随y 机/ X变量x)，dy定义及fX (x / Y y)
E X / Y y
p(H / j ) p( j )
j 1
(i 1, 2, , n; p(H ) 0)
（公式2）
②连续情况
设随机变量 的概率密度为 p( ) ，则对任一随机变量 ，有
h( ) p( ) ( / )d
（公式3）
k( / ) p( ) ( / ) h( )
P(H1/θ1)=0.95，
P(H2/θ1)=0.05
P(H1/θ2)=0.10，
P(H2/θ2)=0.90 P(Hi / 1) P(Hi / 2 )
市场预测的准确H率1可以 0表.9示5 为矩阵0.10
H2
0.05
0.90
由全概率P公(H式1) （ 12 ）p(， j )咨 p询(H公1 /司 j )预测0.9该5产0.品8 畅0.1销0和0.滞2 销0.的78概
率分别为
j 1
2
P(H2 ) p( j ) p(H2 / j ) 0.05 0.8 0.90 0.2 0.22 j 1
bayes准则
bayes准则
Bayes准则，也称为Bayes定理或Bayes公式，是概率论中的一个重要定理。
该定理提供了一种计算条件概率的方法，特别是在已知一些相关事件的概率时。
Bayes定理的公式如下：
P(H|E) = [P(E|H) * P(H)] / P(E)
其中：
P(H) 是先验概率，即在无其他信息的情况下，事件H 发生的概率。
P(H|E) 是后验概率，即在已知证据E的情况下，事件H发生的概率。
P(E|H) 是条件似然，描述了在事件H发生的情况下，证据E出现的概率。
P(E) 是在所有情况下证据E发生的概率，不管事件H 发生还是不发生，称为整体似然。
Bayes定理的应用非常广泛，包括统计推断、机器学习、自然语言处理等领域。
通过Bayes定理，我们可以利用已有的信息和数据来更新和修正我们对未知事件的信念或预测。
贝叶斯决策理论
• 如果 p(x | 1)P(1) > p(x | 2 ) P(2) ，则决 策为1 ，否则决策为2 。
– 如果p(x | 1)=p(x | 2 ) ，则x不提供任何信息， 决策结果完全取决于先验概率
– 如果P(1) =P(2) ，两种类别等概率出现，决策 规则取决于似然度p(x | j)。
贝叶斯决策规则及等价形式
Neyman-Pearson决策
• 在某些应用中，我们希望保证某个错误率不超过 平，在此前提下再考虑另一类错误率尽可能低。
– 比如，在鲈鱼和鲑鱼的例子中，可能政府会强制性规 为鲈鱼的比例不得超过1%
– 对某些重要疾病的诊断，我们希望确保漏诊率低于一 如0.1%).
• 这种限定一类错误率而使另一类错误率最小的决 Neyman-Pearson决策规则。
P(error | x) = min [P(1 | x), P(2 | x)]。
思考：相比于直接利用先验概率的决策，贝 叶斯决策的错误率是否减小了？
分类器，判别函数和决策面
• 特征分类器有多种表示形式，最常用的是判别函 数。给定一个判别函数集合 gi (x),i 1, , c. 如果特征x满足 gi (x) g j (x),j i
• 贝叶斯公式表明通过观测x的值可以将先验 概率转变成后验概率，也就是当观测值x给 定后样本属于各个类别的概率
• p(x|ωj)也称为似然度，也就是在其他条件都 相同的情况下，使p(x|ωj)越大的ωj越可能是 样本所在的真实类别
后验概率
贝叶斯决策规则
• 如果对于观测到的x满足 P(1 | x) P(2 | x), 则我 们自然地决策为ω1，否则决策为ω2 。
t
= P(2 | x) p(x)dx t P(1 | x) p(x)dx
– 如果p(x | 1)=p(x | 2 ) ，则x不提供任何信息， 决策结果完全取决于先验概率
– 如果P(1) =P(2) ，两种类别等概率出现，决策 规则取决于似然度p(x | j)。
贝叶斯决策规则及等价形式
Neyman-Pearson决策
• 在某些应用中，我们希望保证某个错误率不超过 平，在此前提下再考虑另一类错误率尽可能低。
– 比如，在鲈鱼和鲑鱼的例子中，可能政府会强制性规 为鲈鱼的比例不得超过1%
– 对某些重要疾病的诊断，我们希望确保漏诊率低于一 如0.1%).
• 这种限定一类错误率而使另一类错误率最小的决 Neyman-Pearson决策规则。
P(error | x) = min [P(1 | x), P(2 | x)]。
思考：相比于直接利用先验概率的决策，贝 叶斯决策的错误率是否减小了？
分类器，判别函数和决策面
• 特征分类器有多种表示形式，最常用的是判别函 数。给定一个判别函数集合 gi (x),i 1, , c. 如果特征x满足 gi (x) g j (x),j i
• 贝叶斯公式表明通过观测x的值可以将先验 概率转变成后验概率，也就是当观测值x给 定后样本属于各个类别的概率
• p(x|ωj)也称为似然度，也就是在其他条件都 相同的情况下，使p(x|ωj)越大的ωj越可能是 样本所在的真实类别
后验概率
贝叶斯决策规则
• 如果对于观测到的x满足 P(1 | x) P(2 | x), 则我 们自然地决策为ω1，否则决策为ω2 。
t
= P(2 | x) p(x)dx t P(1 | x) p(x)dx
管理决策分析第二版第三章贝叶斯决策分析
第五章 贝叶斯决策分析
引言
决策是需要信息的，信息包括两个方面：１、 结果值；２、自然状态的概率。
贝叶斯决策是分析有关自然状态概率的信息对 决策的影响。
面临的问题是：一方面信息越准确对决策越有 利；一方面获得信息是有成本的。这两者之间会有 一个平衡，因此需要知道信息的价值。
要想知道信息的价值，必须了解贝叶斯分析的 原理。
贝叶斯公式：
p / H p(H /i ) p(i )
i
p(H )
p(H / j ) p( j )
n
p(H / j ) p( j )
j1
(i 1,2, , n; p(H ) 0)
§5.1 贝叶斯决策的基本方法
5.1.2 贝叶斯决策的基本方法 补充信息（信息值）
贝叶斯决策的基本步骤
1.验前分析 依据数据和资料以及经验和判断，去测算和
估计状态变量θ的先验分布p(θ) ；
❖ 计算各可行方案在不同θ下的条件结果值； ❖ 根据某种决策准则评价选择，找出最满意方
案。 2.预验分析
比较分析补充信息的价值和成本的过程。 目的：判断是否值得去补充信息？
贝叶斯决策的基本步骤
P(Hi/θj) H1 H2
θ1 0.95 0.05
θ2 0.10 0.90
例5.1
解：
1、验前分析
记方案a1 为生产该新产品，方案a2 为不生产。
则：
E (a1)=1.1（万元），E (a2)=0
记验前分析的最大期望收益值为E1，有：
为在事件 A 发生的条件下事件 B 发生的条件概率.
全概率公式 贝叶斯公式
PH
m
PH
|
i
Pi
,
Pi
0
引言
决策是需要信息的，信息包括两个方面：１、 结果值；２、自然状态的概率。
贝叶斯决策是分析有关自然状态概率的信息对 决策的影响。
面临的问题是：一方面信息越准确对决策越有 利；一方面获得信息是有成本的。这两者之间会有 一个平衡，因此需要知道信息的价值。
要想知道信息的价值，必须了解贝叶斯分析的 原理。
贝叶斯公式：
p / H p(H /i ) p(i )
i
p(H )
p(H / j ) p( j )
n
p(H / j ) p( j )
j1
(i 1,2, , n; p(H ) 0)
§5.1 贝叶斯决策的基本方法
5.1.2 贝叶斯决策的基本方法 补充信息（信息值）
贝叶斯决策的基本步骤
1.验前分析 依据数据和资料以及经验和判断，去测算和
估计状态变量θ的先验分布p(θ) ；
❖ 计算各可行方案在不同θ下的条件结果值； ❖ 根据某种决策准则评价选择，找出最满意方
案。 2.预验分析
比较分析补充信息的价值和成本的过程。 目的：判断是否值得去补充信息？
贝叶斯决策的基本步骤
P(Hi/θj) H1 H2
θ1 0.95 0.05
θ2 0.10 0.90
例5.1
解：
1、验前分析
记方案a1 为生产该新产品，方案a2 为不生产。
则：
E (a1)=1.1（万元），E (a2)=0
记验前分析的最大期望收益值为E1，有：
为在事件 A 发生的条件下事件 B 发生的条件概率.
全概率公式 贝叶斯公式
PH
m
PH
|
i
Pi
,
Pi
0
Bayes决策及其应用
Ｐ｛ （ ＝０ Ｙ一１ Ｉ ｇ Ｘ） ， Ｘ＝ｚ ＝ ｝ Ｐ｛ ｙ一０ ｌ —ｚ｝ ｇ ｇ ） Ｘ Ｓ ｎ｛ （ 一１ ＋ ｝
Ｐ｛ 一 １ Ｉ — ｚ Ｓ ｎ｛ （ ） Ｙ Ｘ ｝ ｇ ｇ ｚ 一０ ＝ ｝＝ ＝
（ １一 叩 ｚ ） ｇ ｇ ｚ）一 ｌ ＋ （ ） Ｓ ｎ｛ （ ｝
一 Ｔ ｘ） Ｔ ｘ） ／ ，（ ｝ （ ／
收 稿 日期 ：０ ００ —６ ２ １—３１
Ｅ ± ２ 二 １ 』二翌 二！
２
第 ３期
１
一
游
Ｉ
，
煦等 ． ａ ｅ 决 策及 其应 用 Ｂ ｙｓ
一
５ ９
Ｅ（ １ ２ （ ）Ｉ 。 Ｉ — ｚ ）
些不 合理 的地方 。
Ｅ｛ １ 叩 ） Ｓ ｛ （ 一 （ ） 窖 ｇ＊（ ） １ ＋ ｚ 一 ）
叩 ｚ） ｇ ｇ （ ）＝ ０） （ ３ ｎ｛ １ ｚ ｝＝
Ｅ １７）ｇ＇） ｝ ｛－（） （ ≥ ＋ （ ｚＳ｛ ７
叩ｚ Ｓ （ ）ｇ
，＜
呀 ｚ Ｓ ｎ｛ （ ） （ ） ｇ ｇ ｚ 一ｏ ， ｝
Ｂ ｙｓ 策 函 数 是 一 种 最 优 决 策 ， 出 了 Ｂ ｙｓ 策 的 错 误 概 率 以及 回归 函数 的一 条 简 单 的 性 质 。其 次 ａｅ 决 给 ａｅ 决
在 预 测 学 生 通 过 考 试 的概 率 模 型 中 ， 影 响学 生 成 绩 的每 周 电脑 游 戏 时 间数 Ｔ、 外 活 动 时 间 数 Ｅ及 一 从 课
则
Ｐ｛ （ ｇ Ｘ）≠ Ｙ Ｉ — 一 Ｘ ｝
Ｐ｛ （ ｇ Ｘ）≠ ｙ Ｉ —ｚ｝ Ｘ 一
（ １一 刁 ） ３ （ ）（ ｇｎ｛ ）一 １ 一 ｇ（ ｝
Ｐ｛ 一 １ Ｉ — ｚ Ｓ ｎ｛ （ ） Ｙ Ｘ ｝ ｇ ｇ ｚ 一０ ＝ ｝＝ ＝
（ １一 叩 ｚ ） ｇ ｇ ｚ）一 ｌ ＋ （ ） Ｓ ｎ｛ （ ｝
一 Ｔ ｘ） Ｔ ｘ） ／ ，（ ｝ （ ／
收 稿 日期 ：０ ００ —６ ２ １—３１
Ｅ ± ２ 二 １ 』二翌 二！
２
第 ３期
１
一
游
Ｉ
，
煦等 ． ａ ｅ 决 策及 其应 用 Ｂ ｙｓ
一
５ ９
Ｅ（ １ ２ （ ）Ｉ 。 Ｉ — ｚ ）
些不 合理 的地方 。
Ｅ｛ １ 叩 ） Ｓ ｛ （ 一 （ ） 窖 ｇ＊（ ） １ ＋ ｚ 一 ）
叩 ｚ） ｇ ｇ （ ）＝ ０） （ ３ ｎ｛ １ ｚ ｝＝
Ｅ １７）ｇ＇） ｝ ｛－（） （ ≥ ＋ （ ｚＳ｛ ７
叩ｚ Ｓ （ ）ｇ
，＜
呀 ｚ Ｓ ｎ｛ （ ） （ ） ｇ ｇ ｚ 一ｏ ， ｝
Ｂ ｙｓ 策 函 数 是 一 种 最 优 决 策 ， 出 了 Ｂ ｙｓ 策 的 错 误 概 率 以及 回归 函数 的一 条 简 单 的 性 质 。其 次 ａｅ 决 给 ａｅ 决
在 预 测 学 生 通 过 考 试 的概 率 模 型 中 ， 影 响学 生 成 绩 的每 周 电脑 游 戏 时 间数 Ｔ、 外 活 动 时 间 数 Ｅ及 一 从 课
则
Ｐ｛ （ ｇ Ｘ）≠ Ｙ Ｉ — 一 Ｘ ｝
Ｐ｛ （ ｇ Ｘ）≠ ｙ Ｉ —ｚ｝ Ｘ 一
（ １一 刁 ） ３ （ ）（ ｇｎ｛ ）一 １ 一 ｇ（ ｝
模式识别-Bayes决策方法
i
j
或 : P( X / )P( ) max{P( X / )P( )}
i
i
j
j
其中, j 1,2,,C
则判：Ｘ 类 i
Applied Pattern Recognition CSE616
21
最小错误概率的Bayes决策
• 举例
设某地区细胞识别中正常(1)和异常(2) 两类的先验概率分
别为： P(1)=0.9 P(2)=0.1 且知1和2 两类的类概率密度函数为P(x/1)和P(x/2)
若P( 1 / x ) > P( 2 / x ) ，则判x∈1类 若P( 2 / x ) > P( 1 / x ) ，则判x∈２类
Applied Pattern Recognition CSE616
10
最小错误概率的Bayes决策
• 一维二类情况
上述决策等价于：对待识样本x
若P(x / 1) P( 1 ) > P( x / 2 ) P( ２ ) ，则判x∈1类 若P(x / 2) P( 2 ) > P( x / 1 ) P( 1 ) ，则判x∈２类
32
最小风险（损失）的Bayes决策
• 特殊情况：两类问题
• 上述决策等价于：对待识样本x
若： P( X
/ ) 1
( 12
)P( )
22
2
，则判 x∈1 类
பைடு நூலகம்
P( X / ) ( )P( ) a
2
21
11
1
似然比
Applied Pattern Recognition CSE616
33
最小风险（损失）的Bayes决策
• 决策过程
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这个决策规则被称为最小错误概率的Bayes决策。
为什么说这个决策规则具有最小错误概率呢？
3. 最小错误概率的解释 在用上述规则决策时,有两种可能发生的错误分类
P(e
|
x)
P(1 P(2
| |
x) x)
将真实属于1 分到 2 将真实属于2 分到 1
观察到的x值不同,那么后验概率就不同,从而分
类错误概率也不同,所以分类错误概率 P(e | x) 是
若选取决策面H使得：px |1 P1 px |2 P2
则可消除面积A，从而得到最小的分类错误概 率。 这正是上述决策规则得到的结果。
如果对于某个x ，有 p(x | 2 )P(2 ) p(x | 1)P(1)
个螺钉的亮度在亮度计上可以在一定范围内连续
取值。由于每个螺钉的亮度可能是不同的，所以x
是一个连续的随机变量。
概率密度
P（ x|w1)
X有对属于铜螺钉的分布， 也有对属于铁螺钉的分布
P（ x|w2)
x1
亮度
x 对 1 的概率分布记为 p x | 1
x 对 2 的概率分布记为 px |2
那么 p x | 1 和 p x | 2 的差别
第三章 Bayes决策理论
➢ 最小错误概率的Bayes决策 ➢ 最小风险的Bayes决策 ➢ Neyman-Pearson决策 ➢ Bayes分类器和判别函数 ➢ 正态分布时的Bayes决策法则
引言
模式特征的不确定性
进行模式识别，首先要提取和选择模式特征， 使这些特征组成的特征向量能很好地代表这个 事物。但是，在实际问题中，由于技术或经济 上的原因，使得提取和选择的特征不一定能准 确地描述这个模式。
那现么的铁 概螺 率钉P 出2现 的13概0 率P0.31
7 10
0.7
，铜螺钉出
如果用概率 P1 和 P2 来决策，规则为： 如果 P1 P2 则螺钉1
如果 P1 P2 则螺钉2
因为 P1 0.7 P2 0.3 ，所以 螺钉1 。
所有螺钉都分到铁螺钉这一类，决策错误概率为 0.3。
3. Bayes公式
P( Ai | B)
P( Ai )P(B | Ai )
n
P(Aj )P(B | Aj )
j 1
i 1,2,, n
含义：假设 Ai , i 1,2,, n 是某个过程的n个事件，P( Ai )
是各事件出现的概率，称为先验概率。如果这个过程得到
一个结果B，由于B的出现，而对各事件 P( Ai ) 的概率 要做出重新认识。
比如， 特征选择的不合适，特征的数量不当， 特征测量的不准确，等等，使模式具有不确定 性。
因此，我们应当把模式向量看成随机变量。
处理随机变量用什么方法呢？
概率论与数理统计
1.概率
频率：如果在 n次重复试验中，事件A发生了
次，则称比值 / n 是事件A在这n次试验中发生
的频率。记作
fn ( A) n
反映了 1 和 2
的类别状态的差别 反映了两类模式的差别。
假设已经知道了 P1 ，P2 ，p x | 1 ，p x | 2
如何求
P(1 | x)
P(2 | x)
利用Bayes公式：
P j
| x
px |j Pj
px
式中
c
p x p x | i P i i 1
Bayes公式表明,可以通过特征的观察值 p x | j ， 把先验概率 Pj 转化为后验概率 Pj | x 。
如果对于每次观察到的特征值x, P(e | x) 尽可能小 的话,则上式的积分也必定是尽可能小的.
假设H为两类的分界面,相应于 1和2 , 将x轴分
为两个区域 R1 , R2 在发生分类错误时,总的错误概率为：
P e P x R2,1 P x R1,2
P e P x R2,1 P x R1,2 R2 p(x | 1)P(1)dx R1 p(x | 2 )P(2 )dx
P(1) R2 p(x | 1)dx P(2 ) R1 p(x | 2 )dx
P(1)1 P(2 )2
所以总的错误概率是两种分类错误概率的加权和。
由于 R1 和 R2 是任意取的，所以错误概率 不一定是最小的。当把决策面 H 左移时，我 们可以减小代表误分类的三角形区域A 的面 积，从而减小分类错误概率。
3.1 最小错误概率的Bayes决策
1.用先验概率决策
假设某个工厂生产两种尺寸和外形都相同的螺钉, 一种是铁的,一种是铜的,两种产品混在一起,要求 对它们进行自动分类。
设 铁的类别状态用 1 表示；
铜的类别状态用 2 表示；
因为事先类别状态是不确定的，所以 1,2是随
机变量。假设铁螺钉有7万个，铜螺钉有3万个，
随机变量x的函数. P(e | x) 也是随机变量.
对于观察到的大量x,对它们作出分类决策的平均错 误率 P(e) 应当是 P(e | x) 的数学期望.
由概率论可知,若已知连续随机变量x的概率密度 函数 p(x) , 可以计算出 P(e | x) 的数学期望 P(e)
P(e) P(e | x) p(x)dx
用先验概率决策存在的问题？
与待识别对象的特征没有建立联系，没有利用待 识别对象本身的信息
2.用后验概率决策
先用一个模式特征 x 来分类，如果这个特征 对分类是有效的，那么 x 的概率分布就与类别状
态 i ,i 1, 2 是有联系的。 例如：铜螺钉和铁螺钉的表面亮度是不同的，以
亮度作为特征 x ，亮度用“亮度计”来测量，每
概率：在相同条件下重复进行同一试验，如果随
着试验次数n的增加，事件A的频率
fn ( A) n
仅在某个数 p 附近有微小变化，则称 p 是事件A
的概论，
实际上，p 是不容易得到的，常用n较大时的频率作
为A的概率 P(A) p
2. 条件概率 设A，B是试验E的两个事件，则称 P(A | B) 为在事件B发生条件下事件A的条件概率。
图3.1表示了当(a)所示时，后验概率 Pj | x 随
亮度的变化情况。
概率密度
P（ x|w1)
P（ x|w2)
Bayes公 式
概率 P(w1|x)
P(w2|x)
亮度
w1
因此，可以用后验概率进行决策。
w2
x
决策规则：
如果 P1 | x P2 | x
如果 P2 | x P1 | x
，则决策 1 ； ，则决策 2 ；