关于贝叶斯决策理论
合集下载
统计学中的贝叶斯统计和决策理论
统计学中的贝叶斯统计和决策理论统计学是研究数据收集、分析和解释的学科，而贝叶斯统计和决策理论是统计学中的两个重要分支。
贝叶斯统计理论是一种基于贝叶斯定理的统计推断方法，而决策理论则关注如何在面对风险或不确定性时做出最佳决策。
一、贝叶斯统计1. 贝叶斯理论的基本思想贝叶斯统计理论是以英国数学家Thomas Bayes的名字命名的，其基本思想是通过先验知识和新收集的数据来进行参数估计。
与传统频率统计不同，贝叶斯统计将概率看作是描述人们对不确定性的信念，通过更新这些信念来进行推理。
2. 先验概率和后验概率在贝叶斯统计中，先验概率是在考虑新数据之前已经拥有的关于参数的概率分布。
随着新数据的不断积累，我们可以更新先验概率，得到后验概率，从而更加准确地估计参数的值。
3. 贝叶斯公式贝叶斯公式是贝叶斯统计的核心公式。
根据贝叶斯公式，我们可以计算参数的后验概率，从而基于数据来更新我们对参数的估计。
4. 贝叶斯推断的优点和应用贝叶斯统计有一些独特的优点。
首先，它允许我们将先验知识与数据结合，从而得到更加准确的推断。
此外，贝叶斯统计还可以通过使用先验概率来处理缺乏数据的情况。
贝叶斯统计在各个领域中都有广泛的应用，包括医学诊断、金融风险评估和机器学习等。
二、决策理论1. 决策理论的基本概念决策理论是研究在面对不确定性和风险时如何做出最佳决策的学科。
决策问题涉及到选择行动和评估不同行动的后果。
决策理论包括概率理论、效用理论和风险管理等概念。
2. 概率理论在决策中的应用概率理论是决策理论中的一项重要概念，它用于描述事件发生的可能性。
决策者可以使用概率理论来估计不同决策的结果，并在不确定性下做出合理的决策。
3. 效用理论和决策权衡效用理论是决策理论中的另一个关键概念，它描述了个体对不同结果的偏好程度。
根据效用理论，决策者可以根据结果的效用来评估不同决策的价值，并选择效用最大化的决策。
4. 风险管理和决策优化决策理论还涉及到风险管理和决策优化。
第2章 贝叶斯决策理论_正态分布
2) 观测数据白细胞浓度分别在两种情况 下的类条件分布： 下的类条件分布： P(x|ω1) ~ N(2000,1000) P(x|ω2) ~ N(7000,3000)
– P(3100|ω1) = 2.1785e-004 – P(3100|ω2) = 5.7123e-005 – P(ω1|3100)=1.9% – P(ω2|3100)=98.1%
– 观测值通常是很多种因素共同作用的结果，根据 观测值通常是很多种因素共同作用的结果，
中心极限定理，服从正态分布。 中心极限定理，服从正态分布。 – 计算、分析最为简单的模型。 计算、分析最为简单的模型。
一元正态分布
一元正态分布及其两个重要参数： 一元正态分布及其两个重要参数：
– 均值（中心） 均值（中心） – 方差（分散度） 方差（分散度）
医生的判断： 医生的判断：正常
作业
设有两类服从二维正态分布的样本如下(前两 设有两类服从二维正态分布的样本如下 前两 个一类，后两个一类)： 个一类，后两个一类 ： 1 2 2 4 x1 = x2 = x3 = x4 = 1 2 4 4 其协方差相同， 其协方差相同，可用两类样本的协方差的 均值来估计。 均值来估计。 设两类的先验概率之比为4:6。 设两类的先验概率之比为 。 求其判别边界，写出计算过程。 求其判别边界，写出计算过程。
判别边界是各种二次曲线。 判别边界是各种二次曲线。
例1：二次曲线边界
3 1/ 2 0 µ1 = ; Σ1 = 6 0 2 3 2 0 µ2 = ; Σ 2 = −2 0 2
g i ( x ) = x Wi x + w x + wi 0
[
]
判别边界仍是一条直线，但不垂直于均值的连线。 判别边界仍是一条直线，但不垂直于均值的连线。
统计学中的贝叶斯统计与决策理论
统计学中的贝叶斯统计与决策理论统计学中的贝叶斯统计学是一种基于贝叶斯公式和概率论原理的统计推断方法。
它与传统的频率主义统计学方法相比，具有许多独特的优势。
本文将介绍贝叶斯统计学的基本原理、应用领域以及与决策理论的关系。
一、贝叶斯统计学的基本原理贝叶斯统计学是由英国数学家托马斯·贝叶斯提出的，它基于概率论的贝叶斯公式：P(A|B) = P(B|A) * P(A) / P(B)，其中P(A|B)表示在给定B发生的条件下A发生的概率，P(B|A)表示在给定A发生的条件下B 发生的概率，P(A)和P(B)分别表示A和B分别发生的概率。
贝叶斯统计学的基本原理是根据已有的先验知识和新的观测数据，通过不断更新概率分布来得出对未知参数的后验概率分布。
通过贝叶斯公式，可以将观测数据与已有知识相结合，得出对未知参数的概率分布，从而进行推断和预测。
二、贝叶斯统计学的应用领域贝叶斯统计学广泛应用于各个领域，包括医学、金融、生物学、工程学等。
其应用主要体现在以下几个方面：1. 参数估计：贝叶斯统计学通过考虑先验信息，对参数进行估计。
与传统的频率主义统计学方法相比，贝叶斯统计学能够更好地利用已有的知识，提供更准确的参数估计。
2. 假设检验：贝叶斯统计学提供了一种新的方法来进行假设检验。
通过计算后验概率与先验概率的比值，可以得到对不同假设的相对支持程度，从而在决策时提供更全面的信息。
3. 预测分析：贝叶斯统计学通过更新概率分布，可以对未来的事件进行预测。
这使得贝叶斯统计学在金融风险预测、天气预报等领域有着广泛的应用。
三、贝叶斯统计学与决策理论的关系贝叶斯统计学与决策理论密切相关。
决策理论主要研究如何在不确定情况下做出最优决策。
而贝叶斯统计学可以为决策提供一个统一的框架，通过计算不同决策的后验概率，从而选择概率最大的决策。
在贝叶斯决策理论中，需要考虑多个可能的决策结果以及每个决策结果的概率。
通过使用贝叶斯统计学中的贝叶斯公式，可以将观测数据与已有知识相结合，计算每个决策结果的后验概率，从而选择概率最大的决策。
贝叶斯决策理论
P(1 | x) if we decide 2 P(error | x) P( 2 | x) if we decide1
显然，对于某个给定的x，采用上述规则可以使错误概率最
小。 问题是，这一规则能够使得平均错误概率最小吗？
2最小错误率的贝叶斯决策
平均错误概率：
P(error) P(error, x)dx P(error | x) p( x)dx
1 引言
后验概率：一个具体事物属于某种类别的概率， 例如一个学生用特征向量x表示，它是男性或女 性的概率表示成P(男生|x)和P(女生|x)，这就是 后验概率。由于一个学生只可能为两个性别之一， 因此有P(男生|x)+P(女生|x)=1的约束，这一点是 与类分布密度函数不同的。后验概率与先验概率 也不同，后验概率涉及一个具体事物，而先验概 率是泛指一类事物，因此P(男生|x)和P(男生)是 两个不同的概念。
4贝叶斯决策的评价
局限性：
（1）它需要的数据多，分析计算比较复杂，特别在解决 复杂问题时，这个矛盾就更为突出。 （2）有些数据必须使用主观概率，有些人不太相信，这 也妨碍了贝叶斯决策方法的推广使用。
R R( (x) | x) p (x)dx
显然，如果对于每个x 我们都选择 小，则总风险将被最小化
(x) 使得
R(i | x)
最
3最小风险的贝叶斯决策
相关数学表达
3最小风险的贝叶斯决策
一般损失函数可由决策表给出：
3最小风险的贝叶斯决策
步骤
• 计算后验概率： P(i | x)
贝叶斯决策理论
2014年12月15日
1 引言
把x分到哪一类最合理？理论基础之一是统 计决策理论。 决策：是从样本空间S，到决策空间Θ的一 个映射 贝叶斯决策就是在不完全情报下，对部分 未知的状态用主观概率估计，然后用贝叶 斯公式对发生概率进行修Байду номын сангаас，最后再利用 期望值和修正概率做出最优决策。
贝叶斯决策理论课件(PPT 88页)
[计算]0.323
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
第二章 贝叶斯决策理论—第三次课
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
贝叶斯决策理论课件
R R x | xpxdx
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
基于贝叶斯理论的金融决策分析
基于贝叶斯理论的金融决策分析一、引言随着金融市场的不断发展，投资者们面临越来越多的信息和决策。
在这个多变的大环境下，如何做出正确的决策成为了投资者们必须要关注的问题。
本文将从贝叶斯理论出发，探讨如何基于贝叶斯理论进行金融决策分析。
二、贝叶斯理论简介贝叶斯理论是一种基于概率的统计学方法，可用于哲学、科学、工业以及金融等领域。
该理论追溯至18世纪，以英国数学家托马斯·贝叶斯命名。
该理论的核心概念是先验概率和后验概率。
先验概率指在进行实验或观察前，为结果发生概率估计的概率分布。
而后验概率是在已经观察到实验结果后，重新计算该结果出现概率的概率分布。
贝叶斯理论将先验概率与数据结合起来，再重新估计后验概率，从而不断更新我们对结果出现的概率的认识。
三、基于贝叶斯理论的金融决策分析贝叶斯理论在金融决策分析中的应用较为广泛，可以对投资组合、股票价格、货币政策等方面进行有效的分析。
1. 投资组合分析投资组合分析是指根据风险和收益评估投资组合。
使用贝叶斯理论进行投资组合分析时，可以从历史数据中获得股票风险指数的先验概率，并结合当前市场数据计算后验概率。
通过不断更新先验概率可以使投资者更加准确地了解投资组合的可能表现，同时确定最佳购买时机和卖出时机。
2. 股票价格分析股票价格分析是指根据历史价格、市场趋势、基本面等信息对股票价格进行预测。
使用贝叶斯理论进行股票价格预测时，可以将股票价格的上涨或下跌视为事件，建立贝叶斯网络。
通过数据的更新和概率的重新计算，可以得出影响股票价格变化的因素，从而进行更准确的价格预测。
3. 货币政策分析货币政策分析是指对央行的货币政策进行评估和预测。
使用贝叶斯理论进行货币政策分析时，可以将货币政策的变化作为事件，建立贝叶斯网络。
通过数据的更新和概率的重新计算，可以得出央行货币政策变化的概率，从而预测未来货币政策的方向。
四、案例分析为了更好地理解基于贝叶斯理论的金融决策分析，在这里我们来看一下一个真实的案例——股票涨停板分析。
第2章贝叶斯决策理论[1]
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s3/m/6575d6a814791711cd791720.png)
•决 策
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
贝叶斯决策理论
两类分类器的功能：计算判别函数，再根据计算 结果的符号将 x 分类
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
模式识别-3-贝叶斯决策理论
(
)
确定性特征向量与随机特征向量
确定性特征向量 在获取模式的观测值时，有些事物具有确定的 因果关系，即在一定条件下，存在必然会发生 或必然不发生的确定性，这样获得的特征向量 称为确定性特征向量。 例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形。 这种现象是确定性的现象，比如上一讲的线 性模式判别就是基于这种现象进行的。
x1 x X = 2 ... xn
特征向量
g1(x) g2(x)
...
Max(g(x))
最大值选择器
x ∈ ωi
gn(x)
判别计算
决策
§3-3 正态分布决策理论
一、正态分布判别函数
1、为什么采用正态分布：
a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(µ, σ ²) 只有均值和方差两个参数。
)
2
=
∫ (x − µ )
−∞
∞
2
P ( x)
P ( x ) d x，方 差 ) (
1
概率密度函数应满足下 列关系： P ( x ) ≥ 0, ( −∞ < x < ∞ ) ∞ ∫−∞ P ( x )dx = 1
0 . 95
µ − 2σ
µ
X
µ + 2σ
3、（多变量）多维正态分布 （1）函数形式：
µ i = E ( xi ) =
∑
= E
= E = E
(x 1 − ...... (x n − µ
[(x
第二章 贝叶斯决策理论
ωc } αa}
对x可能采取的决策： Α = {α1 α 2
决策表
损失 状态 决策
ω1
ω2
…
ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )
…
ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 ： λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 ：R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。
贝叶斯公式 设试验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率，发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的，需要更有效的化验。
（2）最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x )，则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 )，则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ，则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2
第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
贝叶斯决策理论
图 1 贝叶斯决策过程示意框图。 用贝叶斯推理求解问题，就是假设决策问题可以用概率形式来描述，问题的概率描述均
已知，然后基于贝叶斯推理求取风险最小的决策。用随机变量x ∈ ℝ、������ ∈ {������*, ������ = 1, … ������}、
a ∈ {������4, ������ = 1, … ������}分别表示特征、状态和动作，状态先验、似然分别用p(w)、p(w|x)表示且 已知，用风险函数λ(α|w)表示状态为 w 时采取行动 α 的代价。利用贝叶斯公式综合先验和 似然，得到状态的后验分布p(w|x)。采取行动������*的期望风险可以按下式计算。贝叶斯最小风 险决策就是采取风险最小的行动，即������∗ = ������������������������������������ R(αC|x)。
(3.2)
这里，状态 w 的取值为ωC，������ = 1, … , … , ������. ������4为行为，j = 1, … , … , k，p(������*)是先验概率， p(x|������*)是似然概率（likelihood），在分类问题中称为类条件概率，p(x)被称为证据（evidence）， p(������*|x)是后验概率。类条件概率是指该类所有特征的概率分布。类条件概率和先验一般可
在二分类问题中，用������*4 表示当实际类别为������4 而误判为������* 时所引起的代价。用贝叶斯最 小风险决策可以得到三种等价的决策规则。
决策规则-1： 若R ������L x < R ������M x 则采取决策������L：“decide ������L”
R ������L x = ������LL������ ������L ������ + ������LM������ ������M ������ R ������M x = ������ML������ ������L ������ + ������MM������ ������M ������ 对于决策规则-1，因为不等号两边都有 p(x)证据（evidence）这一项，可以约去，就得到 决策规则-2： 若有(������ML − ������LL)������(������|������L)������ ������L > (������LM − ������MM)������(������|������M)�
已知，然后基于贝叶斯推理求取风险最小的决策。用随机变量x ∈ ℝ、������ ∈ {������*, ������ = 1, … ������}、
a ∈ {������4, ������ = 1, … ������}分别表示特征、状态和动作，状态先验、似然分别用p(w)、p(w|x)表示且 已知，用风险函数λ(α|w)表示状态为 w 时采取行动 α 的代价。利用贝叶斯公式综合先验和 似然，得到状态的后验分布p(w|x)。采取行动������*的期望风险可以按下式计算。贝叶斯最小风 险决策就是采取风险最小的行动，即������∗ = ������������������������������������ R(αC|x)。
(3.2)
这里，状态 w 的取值为ωC，������ = 1, … , … , ������. ������4为行为，j = 1, … , … , k，p(������*)是先验概率， p(x|������*)是似然概率（likelihood），在分类问题中称为类条件概率，p(x)被称为证据（evidence）， p(������*|x)是后验概率。类条件概率是指该类所有特征的概率分布。类条件概率和先验一般可
在二分类问题中，用������*4 表示当实际类别为������4 而误判为������* 时所引起的代价。用贝叶斯最 小风险决策可以得到三种等价的决策规则。
决策规则-1： 若R ������L x < R ������M x 则采取决策������L：“decide ������L”
R ������L x = ������LL������ ������L ������ + ������LM������ ������M ������ R ������M x = ������ML������ ������L ������ + ������MM������ ������M ������ 对于决策规则-1，因为不等号两边都有 p(x)证据（evidence）这一项，可以约去，就得到 决策规则-2： 若有(������ML − ������LL)������(������|������L)������ ������L > (������LM − ������MM)������(������|������M)�
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
已知d维特征空间的统计分布，如何对某一样 本分类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某一类物体所特有， 即
类条件概率密度函数
概率密度函数性质
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的类条 件概率密度函数
基于最小错误率的贝叶斯决策
具有一定的合理性
类条件概率密度函数没有直考接虑先用验来概率分类
是否合小错误率的贝叶斯决策
后验概率含义
P (ω1 |X )
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可
搜集到大量样本 对某一特定事件(如x)要搜集大量样本是不
太容易 只能借助Bayes公式来计算得到
基于最小错误率的贝叶斯决策
问题
根据最小错误率，如何利用先验概率、类条 件概率密度函数和后验概率进行分类？
基于最小错误率的贝叶斯决策
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
基于最小错误率的贝叶斯决策
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
后验概率: P(ω1|x)和P(ω２|x)
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1 P(x|ω1)与P(x|ω2)两者没有联系
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
每个类别，x = [x1, x2, …, xd]T，是d维特征
空间上的某一点，则 P(ωi )是先验概率 p(x| ωi )是ωi类发生时的条件概率密度函数 P(ωi|x)表示后验概率
基于最小错误率的贝叶斯决策
例：癌细胞的识别
假设每个要识别的细胞已作过预处理，并抽 取出了d个特征描述量，用一个d维的特征向 量X表示，
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的后验 概率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验 概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1) P(2 ), x 1
P(1 )
P(2
),
x
2
这种分类决策没有意义 表明由先验概率所提供的信息太少
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
已知d维特征空间的统计分布，如何对某一样 本分类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某一类物体所特有， 即
类条件概率密度函数
概率密度函数性质
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的类条 件概率密度函数
基于最小错误率的贝叶斯决策
具有一定的合理性
类条件概率密度函数没有直考接虑先用验来概率分类
是否合小错误率的贝叶斯决策
后验概率含义
P (ω1 |X )
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可
搜集到大量样本 对某一特定事件(如x)要搜集大量样本是不
太容易 只能借助Bayes公式来计算得到
基于最小错误率的贝叶斯决策
问题
根据最小错误率，如何利用先验概率、类条 件概率密度函数和后验概率进行分类？
基于最小错误率的贝叶斯决策
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
基于最小错误率的贝叶斯决策
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
后验概率: P(ω1|x)和P(ω２|x)
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1 P(x|ω1)与P(x|ω2)两者没有联系
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
每个类别，x = [x1, x2, …, xd]T，是d维特征
空间上的某一点，则 P(ωi )是先验概率 p(x| ωi )是ωi类发生时的条件概率密度函数 P(ωi|x)表示后验概率
基于最小错误率的贝叶斯决策
例：癌细胞的识别
假设每个要识别的细胞已作过预处理，并抽 取出了d个特征描述量，用一个d维的特征向 量X表示，
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的后验 概率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验 概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1) P(2 ), x 1
P(1 )
P(2
),
x
2
这种分类决策没有意义 表明由先验概率所提供的信息太少
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T