贝叶斯决策论
统计学中的贝叶斯统计和决策理论
统计学中的贝叶斯统计和决策理论统计学是研究数据收集、分析和解释的学科，而贝叶斯统计和决策理论是统计学中的两个重要分支。
贝叶斯统计理论是一种基于贝叶斯定理的统计推断方法，而决策理论则关注如何在面对风险或不确定性时做出最佳决策。
一、贝叶斯统计1. 贝叶斯理论的基本思想贝叶斯统计理论是以英国数学家Thomas Bayes的名字命名的，其基本思想是通过先验知识和新收集的数据来进行参数估计。
与传统频率统计不同，贝叶斯统计将概率看作是描述人们对不确定性的信念，通过更新这些信念来进行推理。
2. 先验概率和后验概率在贝叶斯统计中，先验概率是在考虑新数据之前已经拥有的关于参数的概率分布。
随着新数据的不断积累，我们可以更新先验概率，得到后验概率，从而更加准确地估计参数的值。
3. 贝叶斯公式贝叶斯公式是贝叶斯统计的核心公式。
根据贝叶斯公式，我们可以计算参数的后验概率，从而基于数据来更新我们对参数的估计。
4. 贝叶斯推断的优点和应用贝叶斯统计有一些独特的优点。
首先，它允许我们将先验知识与数据结合，从而得到更加准确的推断。
此外，贝叶斯统计还可以通过使用先验概率来处理缺乏数据的情况。
贝叶斯统计在各个领域中都有广泛的应用，包括医学诊断、金融风险评估和机器学习等。
二、决策理论1. 决策理论的基本概念决策理论是研究在面对不确定性和风险时如何做出最佳决策的学科。
决策问题涉及到选择行动和评估不同行动的后果。
决策理论包括概率理论、效用理论和风险管理等概念。
2. 概率理论在决策中的应用概率理论是决策理论中的一项重要概念，它用于描述事件发生的可能性。
决策者可以使用概率理论来估计不同决策的结果，并在不确定性下做出合理的决策。
3. 效用理论和决策权衡效用理论是决策理论中的另一个关键概念，它描述了个体对不同结果的偏好程度。
根据效用理论，决策者可以根据结果的效用来评估不同决策的价值，并选择效用最大化的决策。
4. 风险管理和决策优化决策理论还涉及到风险管理和决策优化。
统计学中的贝叶斯统计与决策理论
统计学中的贝叶斯统计与决策理论统计学中的贝叶斯统计学是一种基于贝叶斯公式和概率论原理的统计推断方法。
它与传统的频率主义统计学方法相比，具有许多独特的优势。
本文将介绍贝叶斯统计学的基本原理、应用领域以及与决策理论的关系。
一、贝叶斯统计学的基本原理贝叶斯统计学是由英国数学家托马斯·贝叶斯提出的，它基于概率论的贝叶斯公式：P(A|B) = P(B|A) * P(A) / P(B)，其中P(A|B)表示在给定B发生的条件下A发生的概率，P(B|A)表示在给定A发生的条件下B 发生的概率，P(A)和P(B)分别表示A和B分别发生的概率。
贝叶斯统计学的基本原理是根据已有的先验知识和新的观测数据，通过不断更新概率分布来得出对未知参数的后验概率分布。
通过贝叶斯公式，可以将观测数据与已有知识相结合，得出对未知参数的概率分布，从而进行推断和预测。
二、贝叶斯统计学的应用领域贝叶斯统计学广泛应用于各个领域，包括医学、金融、生物学、工程学等。
其应用主要体现在以下几个方面：1. 参数估计：贝叶斯统计学通过考虑先验信息，对参数进行估计。
与传统的频率主义统计学方法相比，贝叶斯统计学能够更好地利用已有的知识，提供更准确的参数估计。
2. 假设检验：贝叶斯统计学提供了一种新的方法来进行假设检验。
通过计算后验概率与先验概率的比值，可以得到对不同假设的相对支持程度，从而在决策时提供更全面的信息。
3. 预测分析：贝叶斯统计学通过更新概率分布，可以对未来的事件进行预测。
这使得贝叶斯统计学在金融风险预测、天气预报等领域有着广泛的应用。
三、贝叶斯统计学与决策理论的关系贝叶斯统计学与决策理论密切相关。
决策理论主要研究如何在不确定情况下做出最优决策。
而贝叶斯统计学可以为决策提供一个统一的框架，通过计算不同决策的后验概率，从而选择概率最大的决策。
在贝叶斯决策理论中，需要考虑多个可能的决策结果以及每个决策结果的概率。
通过使用贝叶斯统计学中的贝叶斯公式，可以将观测数据与已有知识相结合，计算每个决策结果的后验概率，从而选择概率最大的决策。
贝叶斯估计与贝叶斯决策的概念
贝叶斯估计与贝叶斯决策的概念贝叶斯估计和贝叶斯决策是概率论中重要的两个概念，它们在处理不确定性问题和统计推断中扮演着重要角色。
本文将介绍贝叶斯估计和贝叶斯决策的概念、原理以及应用。
一、贝叶斯估计贝叶斯估计是指在给定观测数据的条件下，利用贝叶斯定理来估计未知参数的方法。
在贝叶斯估计中，我们引入了先验概率和似然函数，并通过贝叶斯定理来更新我们对参数的估计。
贝叶斯估计的基本原理可以用以下公式表示：P(θ|X) = P(X|θ) * P(θ) / P(X)其中，P(θ|X) 表示在给定观测数据 X 的条件下，参数θ 的后验概率；P(X|θ) 是参数θ 给定观测数据 X 的似然函数；P(θ) 是参数θ 的先验概率；P(X) 是观测数据的边缘概率。
在贝叶斯估计中，先验概率可以通过领域知识或历史数据来确定，而似然函数则可以通过对观测数据的建模来获得。
通过不断地更新先验概率，我们可以得到后验概率，并将其作为参数的估计值。
贝叶斯估计在许多领域都有广泛的应用，例如机器学习、统计推断、信号处理等。
它能够有效地利用已知信息和数据，对未知参数进行准确的估计。
二、贝叶斯决策贝叶斯决策是一种基于贝叶斯准则的决策方法，它在已知观测数据的条件下，寻找一个决策规则来使得期望损失最小化。
贝叶斯决策的目标是选择一个最优的决策，使得在给定观测数据的条件下，使得期望损失最小。
贝叶斯决策的基本原理可以用以下公式表示：d* = argminΣL(d, a) * P(a|X)其中，d* 是最优决策，ΣL(d, a) 是决策 d 对于观测数据 X 情况下的期望损失，P(a|X) 是在观测数据 X 条件下决策 a 的后验概率。
贝叶斯决策需要利用先验概率和条件概率来对可能的决策进行评估，并选择最优的决策。
它能够充分考虑不确定性和风险，从而在决策问题中展现出优越性。
贝叶斯决策在许多实际问题中都有广泛的应用，例如医学诊断、金融风险评估、无人驾驶等。
通过考虑不确定性和风险，贝叶斯决策可以帮助我们做出最优的决策，提高决策的准确性和效果。
第2章_贝叶斯决策
R1
R1
21 p 1 p x 1 dx 22 p 2 p x 2 dx
R2
R2
11 p 1 (1 p x 1 dx) 21 p 1 p x 1 dx 12 (1 p 1 ) p x 2 dx
R2
R2
R1
22(1 p 1 )(1 p x 2 dx)
R1
最小最大决策准则
Neyman-Pearson准则
❖ 对两分类问题，错误率可以写为：
Pe p x R1, x 2 p x R2, x 1
p x | 2 p2 dx p x | 1 p1 dx
R1
R2
p x | 2 dx p2 p x | 1 dx p1
R1
R2
p2 e p2 p1 e p1
策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
❖ 对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i wj
0, 1,
for i j ; i, j 1,
for i j
,c
那么，条件风险为：
c
R i x i j P j x P j x 1 P i x
❖ 贝叶斯决策的两个要求
各个类别的总体概率分布 (先验概率和类条件概 率密度) 是已知的
要决策分类的类别数是一定的
引言
❖ 在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围 构成了d维特征空间。
❖ 称向量 x x1, x2, , xd T x Rd 为d维特征向量。
p 2 p 1
似然比公式
最小错误率准则
❖ 特例1：
最小错误率准则
第二章 贝叶斯决策理论—第三次课
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
贝叶斯决策理论在金融风险控制中的应用
贝叶斯决策理论在金融风险控制中的应用I. 引言随着金融市场的不断发展和日益复杂化，风险控制问题变得越来越重要。
如何在金融交易中合理评估风险，并采取有效的风险控制手段已成为金融业各个领域所关注的重要问题。
而贝叶斯决策理论作为一种有效的风险评估与判断工具，逐渐在金融领域得到应用。
II. 贝叶斯决策理论概述贝叶斯决策理论是在给定先验概率的条件下，根据实验结果来更新后验概率的理论。
换句话说，它是一种对不确定性进行量化的方法。
贝叶斯决策理论最早主要应用于统计学领域，但随着信息技术和计算能力的不断提升，它也逐渐运用到了金融领域。
III. 贝叶斯决策理论在金融风险评估中的应用在金融领域，贝叶斯决策理论可以用来估计资产收益率、评估信用风险、预测市场波动性等。
下面就以金融风险评估为例，介绍贝叶斯决策理论在金融领域的应用。
1. 贝叶斯网络模型贝叶斯网络模型是利用变量之间的依赖关系构建的一种概率性图。
在金融风险评估中，这种模型可以帮助分析家和其他投资者了解资产关联以及特定事件对这些资产的影响。
例如，在利用贝叶斯网络模型分析股票市场时，将价格乘以基本面变量（例如企业数据）之后，在使用模型之前，可以设定一个先验概率分布。
此时，可以使用历史数据训练模型，以优化先验分布并得到更准确的分析结果。
在股票市场风险评估中，贝叶斯网络模型可以帮助投资者根据不同的信息和事件来预测未来的风险。
2. 贝叶斯风险度量贝叶斯风险度量是另一种利用贝叶斯理论进行风险评估的方法。
它可以评估交易的风险、资产定价模型以及对波动性进行预测等。
例如，在股票市场中，如果一个交易员想要买进或卖出股票，他可以使用贝叶斯风险度量来预测这个决策的结果及其风险。
贝叶斯风险度量还可以去除市场噪音因素，形成更准确的市场风险评估。
3. 在投资组合中的应用通过将贝叶斯决策理论应用于投资组合中，可以计算不同的资产组合的期望收益和风险。
这种方法可以帮助投资者提高投资组合的效率和有效性。
机器学习——基础整理（一）贝叶斯决策论；二次判别函数；贝叶斯错误率；生成式模型的参数方法
机器学习——基础整理（⼀）贝叶斯决策论；⼆次判别函数；贝叶斯错误率；⽣成式模型的参数⽅法本⽂简单整理了以下内容：（⼀）贝叶斯决策论：最⼩错误率决策、最⼩风险决策；经验风险与结构风险（⼆）判别函数；⽣成式模型；多元⾼斯密度下的判别函数：线性判别函数LDF、⼆次判别函数QDF（三）贝叶斯错误率（四）⽣成式模型的参数估计：贝叶斯学派与频率学派；极⼤似然估计、最⼤后验概率估计、贝叶斯估计；多元⾼斯密度下的参数估计（五）朴素贝叶斯与⽂本分类（挪到了下⼀篇博客）（⼀）贝叶斯决策论：最⼩风险决策（Minimum risk decision）贝叶斯决策论（Bayesian decision theory）假设模式分类的决策可由概率形式描述，并假设问题的概率结构已知。
规定以下记号：类别有c个，为\omega_1,\omega_2,...,\omega_c；样本的特征⽮量\textbf x\in\mathbb R^d；类别\omega_i的先验概率为P(\omega_i)（prior），且\sum_{i=1}^cP(\omega_i)=1；类别\omega_i对样本的类条件概率密度为p(\textbf x|\omega_i)，称为似然（likelihood）；那么，已知样本\textbf x，其属于类别\omega_i的后验概率P(\omega_i|\textbf x)（posterior）就可以⽤贝叶斯公式来描述（假设为连续特征）：P(\omega_i|\textbf x)=\frac{p(\textbf x|\omega_i)P(\omega_i)}{p(\textbf x)}=\frac{p(\textbf x|\omega_i)P(\omega_i)}{\sum_{j=1}^cp(\textbfx|\omega_j)P(\omega_j)}分母被称为证据因⼦（evidence）。
后验概率当然也满⾜和为1，\sum_{j=1}^cP(\omega_j|\textbf x)=1。
贝叶斯决策理论
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
贝叶斯决策理论
– 如果p(x | 1)=p(x | 2 ) ，则x不提供任何信息， 决策结果完全取决于先验概率
– 如果P(1) =P(2) ，两种类别等概率出现，决策 规则取决于似然度p(x | j)。
贝叶斯决策规则及等价形式
Neyman-Pearson决策
• 在某些应用中，我们希望保证某个错误率不超过 平，在此前提下再考虑另一类错误率尽可能低。
– 比如，在鲈鱼和鲑鱼的例子中，可能政府会强制性规 为鲈鱼的比例不得超过1%
– 对某些重要疾病的诊断，我们希望确保漏诊率低于一 如0.1%).
• 这种限定一类错误率而使另一类错误率最小的决 Neyman-Pearson决策规则。
P(error | x) = min [P(1 | x), P(2 | x)]。
思考：相比于直接利用先验概率的决策，贝 叶斯决策的错误率是否减小了？
分类器，判别函数和决策面
• 特征分类器有多种表示形式，最常用的是判别函 数。给定一个判别函数集合 gi (x),i 1, , c. 如果特征x满足 gi (x) g j (x),j i
• 贝叶斯公式表明通过观测x的值可以将先验 概率转变成后验概率，也就是当观测值x给 定后样本属于各个类别的概率
• p(x|ωj)也称为似然度，也就是在其他条件都 相同的情况下，使p(x|ωj)越大的ωj越可能是 样本所在的真实类别
后验概率
贝叶斯决策规则
• 如果对于观测到的x满足 P(1 | x) P(2 | x), 则我 们自然地决策为ω1，否则决策为ω2 。
t
= P(2 | x) p(x)dx t P(1 | x) p(x)dx
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
模式识别-3-贝叶斯决策理论
(
)
确定性特征向量与随机特征向量
确定性特征向量 在获取模式的观测值时，有些事物具有确定的 因果关系，即在一定条件下，存在必然会发生 或必然不发生的确定性，这样获得的特征向量 称为确定性特征向量。 例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形。 这种现象是确定性的现象，比如上一讲的线 性模式判别就是基于这种现象进行的。
x1 x X = 2 ... xn
特征向量
g1(x) g2(x)
...
Max(g(x))
最大值选择器
x ∈ ωi
gn(x)
判别计算
决策
§3-3 正态分布决策理论
一、正态分布判别函数
1、为什么采用正态分布：
a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(µ, σ ²) 只有均值和方差两个参数。
)
2
=
∫ (x − µ )
−∞
∞
2
P ( x)
P ( x ) d x，方 差 ) (
1
概率密度函数应满足下 列关系： P ( x ) ≥ 0, ( −∞ < x < ∞ ) ∞ ∫−∞ P ( x )dx = 1
0 . 95
µ − 2σ
µ
X
µ + 2σ
3、（多变量）多维正态分布 （1）函数形式：
µ i = E ( xi ) =
∑
= E
= E = E
(x 1 − ...... (x n − µ
[(x
第二章 贝叶斯决策理论
ωc } αa}
对x可能采取的决策： Α = {α1 α 2
决策表
损失 状态 决策
ω1
ω2
…
ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )
…
ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 ： λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 ：R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。
贝叶斯公式 设试验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率，发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的，需要更有效的化验。
（2）最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x )，则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 )，则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ，则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2
第二章贝叶斯决策理论
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4
注 : 假定的类条件概率密度函数图,显示了模式处于类别 i 时观察某 个特定特征值 x 的概率密度.如果 x 代表了鱼的长度,那么这两条曲线可 描述两种鱼的长度区别.概率函数已归一化,因此每条曲线下的面积为1
5
贝叶斯公式: 处于类别 i 并具有特征值 x的模式的联合概率密度可写成两种形式：
结合贝叶斯公式，用先验概率与条件密度来表示 后验概率，等价规则为
如果 (2,1 1,1 )P( x | 1 )P(1 ) (1,2 2,2 )P( x | 2 )P(2 )
则判为
1
否则，判决为
2
15
决策
等价规则为
如果
P( x | 1 ) (1, 2 2, 2 ) P(2 ) P( x | 2 ) (2,1 1,1 ) P(1 )
令{1, 2,„, a}表示一系列可能采取的行动（或决策）。
令 (i | j)表示当实际状态为 j 时,采取i 的行为会带来的风险。 那么，特征x与行动i 相关联的损失为: R( i | x) ( i | j ) P( j | x)
j 1 c
R 因此， ( i | x) 称为条件风险。
ji
都有
gi ( x) g j ( x)
则分类器将这个特征向量x判给 i
23
上图为包含d个输入c个判别函数的系统。确定哪个判别函数值 最大，并相应地对输入作分类。
24
• 不同情况下的分类器的表示方式 • 一般风险的情况下为 • 最小误差概率情况下
gi ( x) R(i | x)
则如果 g ( x) 0 ，则将x判给 1，否则给 2 。 • 最小误差概率情况下 或：
g ( x) P(1 | x) P(2 | x)
p( x | 1 ) P(1 ) g ( x) ln ln p( x | 2 ) P(2 )
28
• 2.5 正态密度
• 单变量密度函数
17
• 2.3 最小误差率分类
• 当损失函数简化到所谓的“对称损失”或“0-1损失” 函数
0 ( i | j ) 1 i, j 1,2,c
i j i j
• 这个损失函数将0损失赋给一个正确的判决，而将一
个单位损失赋给任何一种错误判决，因此所有误判都是 等价的。与这个损失函数对应的风险就是平均误差概率。
等式表明一旦判别边界确定后，总风险与 P(1 ) 成 线形关系。如果能找到一个边界使比例为0，那么风险
将与先验概率独立。这就是极小极大化求解。 风险
Rmm 2,2 (1,2 2,2 ) p( x | 2 )dx
R1
1,1 (2,1 1,1 ) p( x | 1 )dx
p(i , x) P(i | x) p( x) p( x | i ) P(i )
于是，可以导出贝叶斯公式:
P(i | x)
p( x | i ) P(i ) p( x)
（1）
其中 P(i | x) 称为状态的后验概率. 2 混合概率密度函数: p( x) p( x | j ) P( j )
p ( x) 1 1 x 2 exp ( ) 2 2
单变量正态分布
借助 R( i | x) 可以提供一个总风险的优化过程，即遇到特征x， 我们可以选择最小化风险的行为来使预期的损失达到最小。 假设对于特征x，决策的行为是 (x) ，则总风险可表示为：
R R( ( x) | x) p ( x)dx
12
为了最小化总风险，对所有 i 1 2， a 计算条件风险 ，
先验概率反映了在鱼没有出现之前，我们拥有可能出现鱼的类别的先 验知识。
3
仅根据先验信息的判定准则 若 P(1 ) P(2 ),则事件 1 成立; 反之,则 2 成立。 错误的概率是它们之中较小的那个. 但通常不这样做！ 利用类条件概率密度:P( x | 1 ) 及 P( x | 2 ) 描述了两种鱼类外观上光泽度的差异。 其中，x为光泽度指标。 类条件概率密度为类别状态为ω时的x的概率密度函数
26
在这个二维的两类问题的分类器中，概率密度为高斯分布。判别边界由两 个双曲面构成，因此判决区域R2并非是简单连通的。椭圆轮廓线标记出1/e 乘以概率密度的峰值。
27
2.4.2 两类情况（二分分类器-dichotomizer）
对于二分分类器，可以定义一个简单判别函数
g ( x) g1 ( x) g2 ( x)
j 1
似然函数p( x | i ) 先验概率P(i ) 后验概率P(i | x) 证据因子p( x)
6
在先验概率 P(w1 ) 2 / 3, P(w2 ) 1/ 3 及图2-1给出的后验概率图.此情况下,假定一 个模式具有特征值 x 14 , 那么它属于 2 类的概率约为0.08, 属于 1 的概率 约为0.92.在每个x 处的后验概率之和为1.0
i ;
19
2.3.1 极小极大化准则（先验概率未知情形） • 有时我们需要设计在整个先验概率范围内都能很好操作的 分类器。一种合理的设计方法就是使先验概率取任何一种 值时所引起的总风险的最坏情况尽可能小，也就是说最小 化最大可能的风险。 • 我们以R1表示分类器判为1时的特征空间的区域，同样的 有R2和 2，总风险的形式可表示为
R 1,1 P(1 ) p( x | 1 ) 1,2 P(2 ) p( x | 2 ))dx
R1
判为1 判为2
2,1 P (1 ) p( x | 1 ) 2,2 P(2 ) p ( x | 2 ))dx
R2
20
结合公式 P(2 ) 1 P(1 ) 与 可以得到
我们称该准则为“贝叶斯决策准则”。 平均错误率:
P(error) P(error, x)dx P(error | x) p( x)dx
9
根据贝叶斯公式，由于p(x)为标量，则可以采用等价判定准则： 若 p( x | 1 ) P(1 ) p( x | 2 ) P(2 ) ,则判定类别为 1 ; 反之，判为
i, j (i | j )
那么可得两种行为的损失函数
R(1 | x) 1,1 P(1 | x) 1, 2 P(2 | x) R( 2 | x) 2,1 P(1 | x) 2, 2 P(2 | x)
14
决策
按照贝叶斯决策规则，为了使得条件风险最小, 如果
（18）
则判为
1
； 否则，判决为
2
注意公式(18)的右边是与x无关的常数，因此可以视为左边 的似然比超过某个阈值，则判为 1
16
b
左图说明，如果 引入一个0-1损失 或分类损失，那么 判别边界将由阈值 a 决定；而如果 损失函数将模式 2 1 判为 的惩罚大于 反过来情况，将得 到较大的阈值 使 b 得R1变小
Chapter 2
Bayesian Decision Theory– 贝叶斯决策论
要点：
• 重点掌握贝叶斯决策论、最小误差率分类规则、分类器与判别 函数、正态密度、正态分布的判别函数 • 了解贝叶斯决策论(离散性特征)
2
• 2.1 引 言
贝叶斯决策是统计模式识别的基本方法, 采用概率的形式来描述，它 的前提是: (1). 各类别的总体概率分布是已知的. (2). 要决策分类的类别数是一定的. 例如：对于鲑鱼与鲈鱼的2类问题，如果用ω 表示类别状态，那么当 1 时是鲈鱼，当 2 时是鲑鱼。由于每次出现的类别不确定， 可以假设ω是一个用概率来描述的随机变量。 在不知道更多信息的情况下，每次出现鲈鱼的先验概率为P(1 ) ，而 鲑鱼的先验概率为 P(2 ) ，其中 P(1 ) P(2 ) 1
gi ( x) P(i | x)
• 其它一些较常见的形式
gi ( x) p(i | x) P(i )
p( x | i ) P(i ) g i ( x) P(i | x) p( x | j ) P( j )
j
gi ( x) ln p( x | i ) ln P(i )
R(1 | x) R( 2 | x)
则判为
1
相反，则判为
2
用后验概率来表示，等价规则为
ห้องสมุดไป่ตู้
如果
则判为
(2,1 1,1 )P(1 | x) (1,2 2,2 )P(2 | x)
1
否则，判决为
2
？
通常： (2,1 1,1 ) 0 (1,2 2,2 ) 0
7
• 基于后验概率的决策准则
(x 表示观察值)
若
P(1 | x) P(2 | x)
类别判定 1 类别判定 2
若 P(1 | x) P(2 | x) • 决策后所导致的错误率
P(error | x) P(1 | x)
若判定 2
P(error | x) P(2 | x)
2 。
P(i | x)
p( x | i ) P(i ) p( x)
10
• 2.2 贝叶斯决策论-连续性特征
概述
1. 允许利用多于一个的特征
2. 允许多于两种类别状态的情形
3. 允许有其它行为而不仅是判定类别。 4. 引入损失函数代替误差概率。
11
考察损失函数对判定准则的影响
令{1, 2,„, c}表示一系列类别状态。
R( i | x) ( i| j ) P( j | x)
j 1 c
(12)
选择行为i ，使得 R( i | x) 最小化。最小化后的总风险值称为 贝叶斯风险，记为 R * ，它是可获得的最优结果。
13
两类分类问题