贝叶斯决策理论
合集下载
统计学中的贝叶斯统计和决策理论
统计学中的贝叶斯统计和决策理论统计学是研究数据收集、分析和解释的学科，而贝叶斯统计和决策理论是统计学中的两个重要分支。
贝叶斯统计理论是一种基于贝叶斯定理的统计推断方法，而决策理论则关注如何在面对风险或不确定性时做出最佳决策。
一、贝叶斯统计1. 贝叶斯理论的基本思想贝叶斯统计理论是以英国数学家Thomas Bayes的名字命名的，其基本思想是通过先验知识和新收集的数据来进行参数估计。
与传统频率统计不同，贝叶斯统计将概率看作是描述人们对不确定性的信念，通过更新这些信念来进行推理。
2. 先验概率和后验概率在贝叶斯统计中，先验概率是在考虑新数据之前已经拥有的关于参数的概率分布。
随着新数据的不断积累，我们可以更新先验概率，得到后验概率，从而更加准确地估计参数的值。
3. 贝叶斯公式贝叶斯公式是贝叶斯统计的核心公式。
根据贝叶斯公式，我们可以计算参数的后验概率，从而基于数据来更新我们对参数的估计。
4. 贝叶斯推断的优点和应用贝叶斯统计有一些独特的优点。
首先，它允许我们将先验知识与数据结合，从而得到更加准确的推断。
此外，贝叶斯统计还可以通过使用先验概率来处理缺乏数据的情况。
贝叶斯统计在各个领域中都有广泛的应用，包括医学诊断、金融风险评估和机器学习等。
二、决策理论1. 决策理论的基本概念决策理论是研究在面对不确定性和风险时如何做出最佳决策的学科。
决策问题涉及到选择行动和评估不同行动的后果。
决策理论包括概率理论、效用理论和风险管理等概念。
2. 概率理论在决策中的应用概率理论是决策理论中的一项重要概念，它用于描述事件发生的可能性。
决策者可以使用概率理论来估计不同决策的结果，并在不确定性下做出合理的决策。
3. 效用理论和决策权衡效用理论是决策理论中的另一个关键概念，它描述了个体对不同结果的偏好程度。
根据效用理论，决策者可以根据结果的效用来评估不同决策的价值，并选择效用最大化的决策。
4. 风险管理和决策优化决策理论还涉及到风险管理和决策优化。
统计学中的贝叶斯统计与决策理论
统计学中的贝叶斯统计与决策理论统计学中的贝叶斯统计学是一种基于贝叶斯公式和概率论原理的统计推断方法。
它与传统的频率主义统计学方法相比，具有许多独特的优势。
本文将介绍贝叶斯统计学的基本原理、应用领域以及与决策理论的关系。
一、贝叶斯统计学的基本原理贝叶斯统计学是由英国数学家托马斯·贝叶斯提出的，它基于概率论的贝叶斯公式：P(A|B) = P(B|A) * P(A) / P(B)，其中P(A|B)表示在给定B发生的条件下A发生的概率，P(B|A)表示在给定A发生的条件下B 发生的概率，P(A)和P(B)分别表示A和B分别发生的概率。
贝叶斯统计学的基本原理是根据已有的先验知识和新的观测数据，通过不断更新概率分布来得出对未知参数的后验概率分布。
通过贝叶斯公式，可以将观测数据与已有知识相结合，得出对未知参数的概率分布，从而进行推断和预测。
二、贝叶斯统计学的应用领域贝叶斯统计学广泛应用于各个领域，包括医学、金融、生物学、工程学等。
其应用主要体现在以下几个方面：1. 参数估计：贝叶斯统计学通过考虑先验信息，对参数进行估计。
与传统的频率主义统计学方法相比，贝叶斯统计学能够更好地利用已有的知识，提供更准确的参数估计。
2. 假设检验：贝叶斯统计学提供了一种新的方法来进行假设检验。
通过计算后验概率与先验概率的比值，可以得到对不同假设的相对支持程度，从而在决策时提供更全面的信息。
3. 预测分析：贝叶斯统计学通过更新概率分布，可以对未来的事件进行预测。
这使得贝叶斯统计学在金融风险预测、天气预报等领域有着广泛的应用。
三、贝叶斯统计学与决策理论的关系贝叶斯统计学与决策理论密切相关。
决策理论主要研究如何在不确定情况下做出最优决策。
而贝叶斯统计学可以为决策提供一个统一的框架，通过计算不同决策的后验概率，从而选择概率最大的决策。
在贝叶斯决策理论中，需要考虑多个可能的决策结果以及每个决策结果的概率。
通过使用贝叶斯统计学中的贝叶斯公式，可以将观测数据与已有知识相结合，计算每个决策结果的后验概率，从而选择概率最大的决策。
第2章_贝叶斯决策
R1
R1
21 p 1 p x 1 dx 22 p 2 p x 2 dx
R2
R2
11 p 1 (1 p x 1 dx) 21 p 1 p x 1 dx 12 (1 p 1 ) p x 2 dx
R2
R2
R1
22(1 p 1 )(1 p x 2 dx)
R1
最小最大决策准则
Neyman-Pearson准则
❖ 对两分类问题，错误率可以写为：
Pe p x R1, x 2 p x R2, x 1
p x | 2 p2 dx p x | 1 p1 dx
R1
R2
p x | 2 dx p2 p x | 1 dx p1
R1
R2
p2 e p2 p1 e p1
策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
❖ 对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i wj
0, 1,
for i j ; i, j 1,
for i j
,c
那么，条件风险为：
c
R i x i j P j x P j x 1 P i x
❖ 贝叶斯决策的两个要求
各个类别的总体概率分布 (先验概率和类条件概 率密度) 是已知的
要决策分类的类别数是一定的
引言
❖ 在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围 构成了d维特征空间。
❖ 称向量 x x1, x2, , xd T x Rd 为d维特征向量。
p 2 p 1
似然比公式
最小错误率准则
❖ 特例1：
最小错误率准则
第二章 贝叶斯决策理论—第三次课
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
第2章贝叶斯决策理论[1]
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s3/m/6575d6a814791711cd791720.png)
•决 策
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
贝叶斯决策理论
两类分类器的功能：计算判别函数，再根据计算 结果的符号将 x 分类
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
贝叶斯决策理论
• 如果 p(x | 1)P(1) > p(x | 2 ) P(2) ，则决 策为1 ，否则决策为2 。
– 如果p(x | 1)=p(x | 2 ) ，则x不提供任何信息， 决策结果完全取决于先验概率
– 如果P(1) =P(2) ，两种类别等概率出现，决策 规则取决于似然度p(x | j)。
贝叶斯决策规则及等价形式
Neyman-Pearson决策
• 在某些应用中，我们希望保证某个错误率不超过 平，在此前提下再考虑另一类错误率尽可能低。
– 比如，在鲈鱼和鲑鱼的例子中，可能政府会强制性规 为鲈鱼的比例不得超过1%
– 对某些重要疾病的诊断，我们希望确保漏诊率低于一 如0.1%).
• 这种限定一类错误率而使另一类错误率最小的决 Neyman-Pearson决策规则。
P(error | x) = min [P(1 | x), P(2 | x)]。
思考：相比于直接利用先验概率的决策，贝 叶斯决策的错误率是否减小了？
分类器，判别函数和决策面
• 特征分类器有多种表示形式，最常用的是判别函 数。给定一个判别函数集合 gi (x),i 1, , c. 如果特征x满足 gi (x) g j (x),j i
• 贝叶斯公式表明通过观测x的值可以将先验 概率转变成后验概率，也就是当观测值x给 定后样本属于各个类别的概率
• p(x|ωj)也称为似然度，也就是在其他条件都 相同的情况下，使p(x|ωj)越大的ωj越可能是 样本所在的真实类别
后验概率
贝叶斯决策规则
• 如果对于观测到的x满足 P(1 | x) P(2 | x), 则我 们自然地决策为ω1，否则决策为ω2 。
t
= P(2 | x) p(x)dx t P(1 | x) p(x)dx
– 如果p(x | 1)=p(x | 2 ) ，则x不提供任何信息， 决策结果完全取决于先验概率
– 如果P(1) =P(2) ，两种类别等概率出现，决策 规则取决于似然度p(x | j)。
贝叶斯决策规则及等价形式
Neyman-Pearson决策
• 在某些应用中，我们希望保证某个错误率不超过 平，在此前提下再考虑另一类错误率尽可能低。
– 比如，在鲈鱼和鲑鱼的例子中，可能政府会强制性规 为鲈鱼的比例不得超过1%
– 对某些重要疾病的诊断，我们希望确保漏诊率低于一 如0.1%).
• 这种限定一类错误率而使另一类错误率最小的决 Neyman-Pearson决策规则。
P(error | x) = min [P(1 | x), P(2 | x)]。
思考：相比于直接利用先验概率的决策，贝 叶斯决策的错误率是否减小了？
分类器，判别函数和决策面
• 特征分类器有多种表示形式，最常用的是判别函 数。给定一个判别函数集合 gi (x),i 1, , c. 如果特征x满足 gi (x) g j (x),j i
• 贝叶斯公式表明通过观测x的值可以将先验 概率转变成后验概率，也就是当观测值x给 定后样本属于各个类别的概率
• p(x|ωj)也称为似然度，也就是在其他条件都 相同的情况下，使p(x|ωj)越大的ωj越可能是 样本所在的真实类别
后验概率
贝叶斯决策规则
• 如果对于观测到的x满足 P(1 | x) P(2 | x), 则我 们自然地决策为ω1，否则决策为ω2 。
t
= P(2 | x) p(x)dx t P(1 | x) p(x)dx
模式识别课件-第二章 贝叶斯决策理论
如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
模式识别-3-贝叶斯决策理论
(
)
确定性特征向量与随机特征向量
确定性特征向量 在获取模式的观测值时，有些事物具有确定的 因果关系，即在一定条件下，存在必然会发生 或必然不发生的确定性，这样获得的特征向量 称为确定性特征向量。 例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形。 这种现象是确定性的现象，比如上一讲的线 性模式判别就是基于这种现象进行的。
x1 x X = 2 ... xn
特征向量
g1(x) g2(x)
...
Max(g(x))
最大值选择器
x ∈ ωi
gn(x)
判别计算
决策
§3-3 正态分布决策理论
一、正态分布判别函数
1、为什么采用正态分布：
a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(µ, σ ²) 只有均值和方差两个参数。
)
2
=
∫ (x − µ )
−∞
∞
2
P ( x)
P ( x ) d x，方 差 ) (
1
概率密度函数应满足下 列关系： P ( x ) ≥ 0, ( −∞ < x < ∞ ) ∞ ∫−∞ P ( x )dx = 1
0 . 95
µ − 2σ
µ
X
µ + 2σ
3、（多变量）多维正态分布 （1）函数形式：
µ i = E ( xi ) =
∑
= E
= E = E
(x 1 − ...... (x n − µ
[(x
第二章 贝叶斯决策理论
ωc } αa}
对x可能采取的决策： Α = {α1 α 2
决策表
损失 状态 决策
ω1
ω2
…
ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )
…
ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 ： λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 ：R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。
贝叶斯公式 设试验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率，发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的，需要更有效的化验。
（2）最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x )，则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 )，则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ，则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2
第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P(1 | x) if we decide 2 P(error | x) P( 2 | x) if we decide1
显然，对于某个给定的x，采用上述规则可以使错误概率最
小。 问题是，这一规则能够使得平均错误概率最小吗？
2最小错误率的贝叶斯决策
平均错误概率：
P(error) P(error, x)dx P(error | x) p( x)dx
1 引言
后验概率：一个具体事物属于某种类别的概率， 例如一个学生用特征向量x表示，它是男性或女 性的概率表示成P(男生|x)和P(女生|x)，这就是 后验概率。由于一个学生只可能为两个性别之一， 因此有P(男生|x)+P(女生|x)=1的约束，这一点是 与类分布密度函数不同的。后验概率与先验概率 也不同，后验概率涉及一个具体事物，而先验概 率是泛指一类事物，因此P(男生|x)和P(男生)是 两个不同的概念。
4贝叶斯决策的评价
局限性：
（1）它需要的数据多，分析计算比较复杂，特别在解决 复杂问题时，这个矛盾就更为突出。 （2）有些数据必须使用主观概率，有些人不太相信，这 也妨碍了贝叶斯决策方法的推广使用。
R R( (x) | x) p (x)dx
显然，如果对于每个x 我们都选择 小，则总风险将被最小化
(x) 使得
R(i | x)
最
3最小风险的贝叶斯决策
相关数学表达
3最小风险的贝叶斯决策
一般损失函数可由决策表给出：
3最小风险的贝叶斯决策
步骤
• 计算后验概率： P(i | x)
贝叶斯决策理论
2014年12月15日
1 引言
把x分到哪一类最合理？理论基础之一是统 计决策理论。 决策：是从样本空间S，到决策空间Θ的一 个映射 贝叶斯决策就是在不完全情报下，对部分 未知的状态用主观概率估计，然后用贝叶 斯公式对发生概率进行修Байду номын сангаас，最后再利用 期望值和修正概率做出最优决策。
1 引言
“宁可错杀一千，也不放走一个”
3最小风险的贝叶斯决策
假定我们观测到某个特定的模式 x 并将采取行动 i ，如果真
实的类别为 j , 则由定义知我们将有损失 (i | j).
由于 P(j | x) 代表类别是 j 的概率，因此与行动i相关联的
损失为：
R(i | x) (i | j ) P( j | x)
贝叶斯决策的广泛应用 1、医学方面：医疗诊断 2、经济方面：产品规划 3、工业方面：探矿工程 4、军事方面：情报分析 5、其他：人脸识别问题、图像标注问题、 垃圾邮件的过滤问题等等
4贝叶斯决策的评价
优点：
（1）贝叶斯决策能对信息的价值或是否需要采集新的信 息做出科学的判断。 （2）它能对调查结果的可能性加以数量化的评价，而不 是像一般的决策方法那样，对调查结果或者是完全相信，或 者是完全不相信。 （3）如果说任何调查结果都不可能完全准确，先验知识 或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙 地将这两种信息有机地结合起来了。 （4）它可以在决策过程中根据具体情况下不断地使用， 使决策逐步完善和更加科学。
1 引言
而贝叶斯公式就是将三者联系在了一起 贝叶斯公式
P( j | x)
p( x | j ) P( j ) p ( x)
其中，在两类情况下：
p( x) p( x | j ) P( j )
j 1
2
2最小错误率的贝叶斯决策
以两类分类问题为例：已知先验分布P(ωi)和观测
1
1 2
0 1
2
6 0
保守态度（延误病情损失严重）
3最小风险的贝叶斯决策
解：先根据贝叶斯公式计算出后验概率
P(w1 | x) 0.818 P(w2 | x) 0.192
再计算出条件风险
R(1 / x) 12 P(2 / x) 0.182 R( 2 / x) 21 P(1 / x) 5 0.818 4.09 R( 2 / x) R(1 / x) 采取行动1， 即判断x为1类。
值的类条件分布p(x|ωi)，i=1,2 问题：对某个样本x，x∈ ω1? x∈ ω2？
在识别分类问题中，人们往往希望尽量减少分类的
错误，从这样的要求出发，利用概率论中的贝叶斯 公式，就能得出使错误率最小的分类规则。
2最小错误率的贝叶斯决策
根据贝叶斯决策理论 若 x使得 P(1|x) > P(2|x) ，则我们自然会做出真实类 别1的判决 若 x使 P(2|x) > P(1|x) ，则我们更倾向于选择2 据此规则进行一次判决的错误概率：
j 1
c
3最小风险的贝叶斯决策
用决策论的术语来表达，一个预期的损失称为风险 R(i | x) 称为条件风险 (conditional risk) 我们可以选择使条件风险最小化的行动来使预期的损失最小 化 下面来说明贝叶斯决策是一种最优的决策方式
3最小风险的贝叶斯决策
一般的判决规则是一个函数 (x) ，它告诉我们对于每次观 测应该采取哪个行动 总风险可以表示为
基本假设：
问题可以用概率的形式来描述 所有相关概率值已知
1 引言
先验概率：根据大量统计确定某类事物出现的比例。 比如在学校中，一个学生是男生的先验概率为0.9， 而为女生的概率是0.1，这两类概率是互相制约的， 它们的总和为1。 类条件概率密度函数：同一类事物的各个属性都有 一定的变化范围，在其变化范围内的分布概率用一 种函数形式表示，则称为类条件概率密度函数。这 种分布密度只对同一类事物而言，与其它类事物没 有关系。为了强调是同一类事物内部，因此这种分 布密度函数表示成条件概率的形式。例如x表示某一 个学生的身高，则男生身高的概率密度表示成P(x| 男生)，女生身高表示成P(x|女生)，这两者之间没 有任何关系。
如果对于每个 x 我们都能保证P(error|x)尽量小，则上述积分 值也必然最小 这种规则强调了后验 概率的重要性
3最小风险的贝叶斯决策
问题的提出：风险的概念 风险与损失紧密相连，如病情诊断、商品销售 等问题 日常生活中的风险选择，所谓是否去冒险 最小风险贝叶斯决策考虑各种错误造成损失不同而 提出的一种决策规则
“最优” 即希望所设计的系统在性能
上最优。是指对某一种设计原则讲的，这种 原则称为准则。使这些准则达到最优，如最 小错误率准则，基于最小风险准则等。
1 引言
基本思想：
基于概率和决策代价进行分类决策 一般已知类条件概率密度参数表达式和先验 概率，再利用贝叶斯公式转换成后验概率， 最后根据后验概率大小进行决策分类。
3最小风险的贝叶斯决策
例题：
假设在某个局部地区细胞识别中正常和异常两类的先验概
率分别为0.9和0.1，现有一待识别的细胞，其观察值为x，从
类条件概率密度分布曲线上查得
p( x / 1 ) 0.2
p( x / 2 ) 0.4
3最小风险的贝叶斯决策
在上述条件的基础上，利用下面的决策表，按最小风险贝 叶斯决策进行分类。
c
p(x | i ) P(i )
p(x | ) P( )
j 1 j j
c
i 1,
,c
R(i | x) (i | j ) P( j | x) ， i = 1,…,a • 计算风险： j 1
• 决策：
R(k | x) min R(i | x)
i 1, , a
3最小风险的贝叶斯决策
除了知道最小错误贝叶斯决策也需要的先验概率 和类条件概率外，损失函数的确定往往也是一个 难题
与最小错误贝叶斯决策的关系
差别在于是否考虑风险，即错误损失 最小风险决策可看作加权形式的最小错误决 策，加权值即损失函数取特定形式时二者可 能等价，如损失函数取0-1形式
3最小风险的贝叶斯决策