贝叶斯统计与决策讲座
合集下载
第五章贝叶斯决策PPT资料44页
个样本，参数 的先验分布为共轭先验分
布 N(0, 2)，其中 2 已知，损失函数为
L(,x)10,,
求参数 的贝叶斯估计
例5.6 在新的止痛剂的市场占有率 的估计问题中
已给出损失函数 L(,x) 2( ,) 0, 1
药厂厂长对市场占有率 无任何先验信息。在市场
调查中，在n个购买止痛剂的顾客中有x个人买了新
我们约定，若已知
(1)有一个可观察的随机变量X，其密度函数 p(x )依赖于未知
参数 ，且 。
(2)在参数空间 上有一个先验分布
(3)有一个行动集 {a}。
在对 做点估计时，一般取；在对 做区间估计
时，行动a就是一个区间，的一切可能的区间构成行动 集 ；在对 作假设检验时，只有两个行动：接受和拒
一.平方损失函数下的贝叶斯估计
定理5.1 在平方损失函数L (,x) ( )下2 ，的贝叶 斯估计为后验均值，即 BxE(x)
定理5.2在加权平方损失函数 L ( ,x ) ( )2下，
的贝叶斯估计为
Bx
Ex Ex
定理5.3 在参数向量 (1,2,,k) 的场合下，对
多元二次损失函数 L(,)()Q()Q ,为正定矩
的止痛剂，试在后验风险准则下对 作出贝叶斯估
计。
例5.7 设样本x只能来自密度函数 p0 (x)或 p1(x)
中的一个，为了研究该样本到底来自哪个分布，
我们来考虑如下简单假设的检验问题：
H 0:x来 p 0(自 x)， H 1:x来 p 1(自 x)
损失函数用矩阵表示如下：
L
0 1
1 0
5.3 常用损失函数下的贝叶斯估计
个样本，其中 已知。
试在平方损失函数下寻求 1 的贝叶斯估计。
布 N(0, 2)，其中 2 已知，损失函数为
L(,x)10,,
求参数 的贝叶斯估计
例5.6 在新的止痛剂的市场占有率 的估计问题中
已给出损失函数 L(,x) 2( ,) 0, 1
药厂厂长对市场占有率 无任何先验信息。在市场
调查中，在n个购买止痛剂的顾客中有x个人买了新
我们约定，若已知
(1)有一个可观察的随机变量X，其密度函数 p(x )依赖于未知
参数 ，且 。
(2)在参数空间 上有一个先验分布
(3)有一个行动集 {a}。
在对 做点估计时，一般取；在对 做区间估计
时，行动a就是一个区间，的一切可能的区间构成行动 集 ；在对 作假设检验时，只有两个行动：接受和拒
一.平方损失函数下的贝叶斯估计
定理5.1 在平方损失函数L (,x) ( )下2 ，的贝叶 斯估计为后验均值，即 BxE(x)
定理5.2在加权平方损失函数 L ( ,x ) ( )2下，
的贝叶斯估计为
Bx
Ex Ex
定理5.3 在参数向量 (1,2,,k) 的场合下，对
多元二次损失函数 L(,)()Q()Q ,为正定矩
的止痛剂，试在后验风险准则下对 作出贝叶斯估
计。
例5.7 设样本x只能来自密度函数 p0 (x)或 p1(x)
中的一个，为了研究该样本到底来自哪个分布，
我们来考虑如下简单假设的检验问题：
H 0:x来 p 0(自 x)， H 1:x来 p 1(自 x)
损失函数用矩阵表示如下：
L
0 1
1 0
5.3 常用损失函数下的贝叶斯估计
个样本，其中 已知。
试在平方损失函数下寻求 1 的贝叶斯估计。
统计学中的贝叶斯统计和决策理论
统计学中的贝叶斯统计和决策理论统计学是研究数据收集、分析和解释的学科，而贝叶斯统计和决策理论是统计学中的两个重要分支。
贝叶斯统计理论是一种基于贝叶斯定理的统计推断方法，而决策理论则关注如何在面对风险或不确定性时做出最佳决策。
一、贝叶斯统计1. 贝叶斯理论的基本思想贝叶斯统计理论是以英国数学家Thomas Bayes的名字命名的，其基本思想是通过先验知识和新收集的数据来进行参数估计。
与传统频率统计不同，贝叶斯统计将概率看作是描述人们对不确定性的信念，通过更新这些信念来进行推理。
2. 先验概率和后验概率在贝叶斯统计中，先验概率是在考虑新数据之前已经拥有的关于参数的概率分布。
随着新数据的不断积累，我们可以更新先验概率，得到后验概率，从而更加准确地估计参数的值。
3. 贝叶斯公式贝叶斯公式是贝叶斯统计的核心公式。
根据贝叶斯公式，我们可以计算参数的后验概率，从而基于数据来更新我们对参数的估计。
4. 贝叶斯推断的优点和应用贝叶斯统计有一些独特的优点。
首先，它允许我们将先验知识与数据结合，从而得到更加准确的推断。
此外，贝叶斯统计还可以通过使用先验概率来处理缺乏数据的情况。
贝叶斯统计在各个领域中都有广泛的应用，包括医学诊断、金融风险评估和机器学习等。
二、决策理论1. 决策理论的基本概念决策理论是研究在面对不确定性和风险时如何做出最佳决策的学科。
决策问题涉及到选择行动和评估不同行动的后果。
决策理论包括概率理论、效用理论和风险管理等概念。
2. 概率理论在决策中的应用概率理论是决策理论中的一项重要概念，它用于描述事件发生的可能性。
决策者可以使用概率理论来估计不同决策的结果，并在不确定性下做出合理的决策。
3. 效用理论和决策权衡效用理论是决策理论中的另一个关键概念，它描述了个体对不同结果的偏好程度。
根据效用理论，决策者可以根据结果的效用来评估不同决策的价值，并选择效用最大化的决策。
4. 风险管理和决策优化决策理论还涉及到风险管理和决策优化。
第2章 贝叶斯决策完整版.ppt
精选
最小风险准则
❖ 最小风险贝叶斯决策：考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险：
精选
最小风险准则
❖ 期望风险：对于x的不同观察值，采取决策αi时，
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样，决策α可以看成随机向 量x的函数，记为α(x)。可以定义期望风险Rexp为：
假言：如果鱼的长度 x 大于45cm，则该鱼为 鲈鱼 1，否则该鱼为鲑鱼 2
前提：现在某条鱼 x 38cm
结论：该鱼为鲑鱼 2
❖ 概率推理（不确定性推理）
P i x 精选
最小错误率准则
❖ 例子：
给定
P
y
1
P
y
2
1 2
，类条件概率密度如图。
现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定，a和b为常数
❖ 一旦 R1 和 R2 确定， R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ，期望风险与P(ω1) 无关！
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则： P1 x P2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1：
最小风险准则
❖ 最小风险贝叶斯决策：考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险：
精选
最小风险准则
❖ 期望风险：对于x的不同观察值，采取决策αi时，
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样，决策α可以看成随机向 量x的函数，记为α(x)。可以定义期望风险Rexp为：
假言：如果鱼的长度 x 大于45cm，则该鱼为 鲈鱼 1，否则该鱼为鲑鱼 2
前提：现在某条鱼 x 38cm
结论：该鱼为鲑鱼 2
❖ 概率推理（不确定性推理）
P i x 精选
最小错误率准则
❖ 例子：
给定
P
y
1
P
y
2
1 2
，类条件概率密度如图。
现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定，a和b为常数
❖ 一旦 R1 和 R2 确定， R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ，期望风险与P(ω1) 无关！
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则： P1 x P2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1：
统计学中的贝叶斯统计与决策理论
统计学中的贝叶斯统计与决策理论统计学中的贝叶斯统计学是一种基于贝叶斯公式和概率论原理的统计推断方法。
它与传统的频率主义统计学方法相比，具有许多独特的优势。
本文将介绍贝叶斯统计学的基本原理、应用领域以及与决策理论的关系。
一、贝叶斯统计学的基本原理贝叶斯统计学是由英国数学家托马斯·贝叶斯提出的，它基于概率论的贝叶斯公式：P(A|B) = P(B|A) * P(A) / P(B)，其中P(A|B)表示在给定B发生的条件下A发生的概率，P(B|A)表示在给定A发生的条件下B 发生的概率，P(A)和P(B)分别表示A和B分别发生的概率。
贝叶斯统计学的基本原理是根据已有的先验知识和新的观测数据，通过不断更新概率分布来得出对未知参数的后验概率分布。
通过贝叶斯公式，可以将观测数据与已有知识相结合，得出对未知参数的概率分布，从而进行推断和预测。
二、贝叶斯统计学的应用领域贝叶斯统计学广泛应用于各个领域，包括医学、金融、生物学、工程学等。
其应用主要体现在以下几个方面：1. 参数估计：贝叶斯统计学通过考虑先验信息，对参数进行估计。
与传统的频率主义统计学方法相比，贝叶斯统计学能够更好地利用已有的知识，提供更准确的参数估计。
2. 假设检验：贝叶斯统计学提供了一种新的方法来进行假设检验。
通过计算后验概率与先验概率的比值，可以得到对不同假设的相对支持程度，从而在决策时提供更全面的信息。
3. 预测分析：贝叶斯统计学通过更新概率分布，可以对未来的事件进行预测。
这使得贝叶斯统计学在金融风险预测、天气预报等领域有着广泛的应用。
三、贝叶斯统计学与决策理论的关系贝叶斯统计学与决策理论密切相关。
决策理论主要研究如何在不确定情况下做出最优决策。
而贝叶斯统计学可以为决策提供一个统一的框架，通过计算不同决策的后验概率，从而选择概率最大的决策。
在贝叶斯决策理论中，需要考虑多个可能的决策结果以及每个决策结果的概率。
通过使用贝叶斯统计学中的贝叶斯公式，可以将观测数据与已有知识相结合，计算每个决策结果的后验概率，从而选择概率最大的决策。
6统计决策与贝叶斯估计
定义3.2 设样本空间，分布族分别为X，F*，决策空间为A，
损失函数为 L(, d), d(X)为决策函数,
R( , d ) E [L( , d (X ))]
为决策函数d(X)的风险函数， R(, d),表示采取决策d(X)所 蒙受的平均损失（ L(, d)的数学期望）
13 November 2019
的其它值发生的可能性也要加以考虑，故要
用( 参数
)进行综合。这样一来，样本x1 的联合分布为:
,
…,
xn和
f (x1, x2 , …, xn, ) = q(x1, x2 , …, xn )( )，
简记为 f (x, ) = q(x )( )
这个联合分布把总体信息、样本信息和先验 信息三种可用信息都综合进去了；
13 November 2019
参数估计
第18页
在有了样本观察值 x1, x2 , …, xn 之后，则应依
据 f (x, )对 作出推断。由于
f (x, ) =h( x1,x2 ,…,xn )m(x1,x2 ,…,xn)，
其中m(x1,x2 ,…,xn) 是x1, x2 , …, xn 的边际概率函
13 November 2019
参数估计
第4页
二、统计决策函数及风险函数
1 统计决策函数 定义3.1 ：定义在样本空间上X，取值于决策空 间A 内的函数d(x)，称为统计决策函数，简称 决策函数
决策函数就是一个行动方案，如果用表达 式处理， d(x)= d(x1,x2,…xn)本质上就是一个统 计量
参数估计
第8页
例1:设总体X ~ N(,1), (,), 估计未知参数 ,
解 : 选取损失函数为 : L(, d ) (d )2 则对的任一估计 d ( X ), 风险函数为
损失函数为 L(, d), d(X)为决策函数,
R( , d ) E [L( , d (X ))]
为决策函数d(X)的风险函数， R(, d),表示采取决策d(X)所 蒙受的平均损失（ L(, d)的数学期望）
13 November 2019
的其它值发生的可能性也要加以考虑，故要
用( 参数
)进行综合。这样一来，样本x1 的联合分布为:
,
…,
xn和
f (x1, x2 , …, xn, ) = q(x1, x2 , …, xn )( )，
简记为 f (x, ) = q(x )( )
这个联合分布把总体信息、样本信息和先验 信息三种可用信息都综合进去了；
13 November 2019
参数估计
第18页
在有了样本观察值 x1, x2 , …, xn 之后，则应依
据 f (x, )对 作出推断。由于
f (x, ) =h( x1,x2 ,…,xn )m(x1,x2 ,…,xn)，
其中m(x1,x2 ,…,xn) 是x1, x2 , …, xn 的边际概率函
13 November 2019
参数估计
第4页
二、统计决策函数及风险函数
1 统计决策函数 定义3.1 ：定义在样本空间上X，取值于决策空 间A 内的函数d(x)，称为统计决策函数，简称 决策函数
决策函数就是一个行动方案，如果用表达 式处理， d(x)= d(x1,x2,…xn)本质上就是一个统 计量
参数估计
第8页
例1:设总体X ~ N(,1), (,), 估计未知参数 ,
解 : 选取损失函数为 : L(, d ) (d )2 则对的任一估计 d ( X ), 风险函数为
贝叶斯决策理论课件
R R x | xpxdx
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
第2章 贝叶斯决策理论PPT课件
令每一个x都取使P( P (e | x) p ( x)dx
P(e
|
x)
P P
(1 ( 2
| |
x) x)
P ( 2 | x) P (1 | x) P (1 | x) P ( 2 | x)
最小的值，则所有x产生
的平均错误率最小。
结论可推广至多类
t
P (e) P ( 2 | x) p ( x)dx t P (1 | x) p ( x)dx
t
p ( x | 2 ) P ( 2 )dx t p ( x | 1 ) P (1 )dx
P ( 2 ) P2 (e) P (1 ) P1 (e)
12
基于最小错误率的贝叶斯决策
使误判概率 P (最e ) 小，等价于使正确分类识别的概率 P ( c ) 最大。
贝叶斯决策理论研究了模式类的概率结构完全知道的 理想情况。这种情况实际中极少出现，但提供了一个对 比其它分类器的依据，即“最优”分类器。
5
2.1 引言
符号规定
分类类别数：c
类别状态： i,i1,2, ,c
特征空间维数：d
d维特征空间中的特征向量：x[x1,x2, ,xd]T
先验概率：P (表i ) 示 类出i 现的先验概率,简称为 类的 概i 率
P(1| x)
p(x|1)P(1)
2
p(x|j)P(j)
0.20.9 0.818 0.20.90.40.1
j1
P(2 | x)1P(1| x)0.182 P(1|x)0.818P(2| x)0.182 x1
11
基于最小错误率的贝叶斯决策
关于错误率最小的讨论（一维情况）
错误率是指平均错误率P(e)
2.1 引言
《贝叶斯决策理论》PPT课件
常表示为
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
关于贝叶斯决策理论课件.pptx
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
02 贝叶斯决策理论精品资料PPT课件
n 那么当 R (1|x)R (2|x)n 时，采取第1个行动。即：
1 P ( 1 1 |x ) 1 P ( 2 2 | x ) 2 P ( 1 1 |x ) 2 P ( 2 2 |x )
( 1 1 2 ) P ( 1 1 |x ) ( 2 2 1 ) P 2 (2 |x )
( 1 1 2 ) P ( 1 x |1 ) P ( 1 ) ( 2 2 1 ) P ( 2 x |2 ) P ( 2 )
加上相同的树，或取自然对数。那么不等式的关系是不变的。因 此不考虑损失时的贝叶斯判别函数：
gi(x)p(i|x)p(x|p (ix ))p(i)
n 可以写成：
gi(x)p(x|i)p(i)
g i(x ) ln p (x| i) ln p (i)
n
比鱼的时如ω罐候1对头分的于里类罐上装后头面入采里的了取装例 鲈 的入子 鱼 行了动λω鲑111就鱼，=λ要ω那222偏么=，0向客那。于户么鲈便很客鱼宜难户ω的感1会比鲑到很鲑鱼有生鱼。损气ω因失；2贵此。如。设那果如当么鲑果真这鱼鲈正个ω2
类装将λ21别入x=归0是了类.2鲑鲑。为鱼鱼可鲑ωω以鱼22的)看的ω时2到损(造候，失成，上λ鲑1将2面=鱼x的2归， ω公类2设的式为当罐变鲈真头成鱼正里了ω类装1：(别入造是了成鲈鲈鲈鱼鱼鱼ωωω111的的)的时罐损候头失，里
P(y|x)P(x| y)P(y) P(x)
n 换一种写法：
P(j |x)P(x| P(jx)P )(j)
P(j |x)P(x| P(jx)P )(j)
n 这就是著名的贝叶斯公式。其中P(ωj)叫做先验概率，就是类别出现 的可能性；p(x|ωj)叫条件概率，就是在ωj时x出现的可能性；p(ωj|x) 叫后验概率；p(x)是该样例出现的可能性。
工程硕士 决策方法 第9讲 贝叶斯决策
6
9.3 应用举例
1)例9.1 某公司关于新、老产品生产的损益值如 下表所示。问：生产新产品还是老产品？
自然状态及概率
损益值 行动方案
1 (畅销) 0.6
8 -4
2 (销路差) 0.4
-3 10
a1：生产新产品 a2：生产老产品
7
例9.1的决策树图
3.6 生产新产品
销路好,0.6 销路差,0.4
3
2) 几个注记符号 • 设自然状态有n种，第i种自然状态i 的 先验概率为P(i)( i=1,2,…,n)； • 假设x表示调查的结果； • P(x|i)表示自然状态为i的条件下结果 刚好为x的概率；（条件概率） • P(i |x)表示结果为x的条件下自然状态 为i的概率。
4
3)贝叶斯公式
生产新产品
7.153
8
-3 -4 10 8 -3 -4 10 8 -3 -4 10 -4 10 -4
9
-2.922
4
调查结果好(Z1),0.52 6.82 Z2,0.36 7.62
生产老产品
10
销路差,0.077
销路好,0.17 销路差,0.83 销路好,0.17
2
调查 Z3,0.12
5
3
生产老产品 11
第9讲 贝叶斯决策
张玉林 博士/教授
Email: zhangyL@
东南大学经济管理学院
第9讲 *贝叶斯决策
9.1 方法提出与注记符号
9.2 贝叶斯决策步骤
9.3 应用举例
9.1 方法提出与注记符号
1）方法提出 • 18世纪，由英国学者(牧师)贝叶斯(Bayes) 提出； • 应用非常广泛。
0.52
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
贝叶斯统计与决策讲座
PPT文档演模板
2020/12/10
贝叶斯统计与决策讲座
引言
统计学中有二个主要学派：频率学派和 贝叶斯学派。贝叶斯学派的起点是贝叶斯的 两项工作：贝叶斯定理和贝叶斯假设，贝叶 斯定理（或贝叶斯公式）在通常的概率论教 科书中都有叙述，而贝叶斯假设几乎都不提 及。在统计推断的基本理论和方法方面，贝 叶斯学派与频率学派之间存在着重大差异。
•(1) 解：记 Bi ={ 球取自 i 号箱 }, i=1, 2, 3;
•
A ={取得红球}
•B1A, B2A, B3A 两两互斥
PPT文档演模板
贝叶斯统计与决策讲座
•依题意， •P(A|B1)=1/5, P(A|B2)=2/5, • P(A|B3)=3/3
• 将此例中所用的方法推广到一般的情形，就得 到在概率计算中常用的全概率公式。
这个基础上去理解一切统计推断的结论； 与此相反，贝叶斯学派赞成主观概率，概 率是认识主体对事件出现可能性大小的相 信程度，它不依赖事件能否重复；
PPT文档演模板
贝叶斯统计与决策讲座
3) 两个学派统计推断理念之间存在着根本差异
• 统计学奠基人费歇尔把统计学的任务概括为
三个问题：选定模型、确定统计量和决定统计量
贝叶斯统计与决策讲座
1.2 贝叶斯统计
•
贝叶斯统计学的基础是著名的贝叶斯公式，它
是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后
二年发表的一篇论文《论有关机遇问题的求解》中
提出的。经过二百年的研究与应用，贝叶斯的统计
思想得到很大的发展，目前已形成一个统计学派—
贝叶斯学派。为了纪念他，英国历史最悠久的统计
例1.3 投资决策问题 为了提高某产品的质量，公司经理考虑增加投
资来改进生产设备，预计需投资100万元，但从投 资效果看，下属部门有两种意见：
θ1 ：改进生产设备后，高质量产品可占90% θ2 ：改进生产设备后，高质量产品可占70% 问：公司经理怎样决策？ 根据过去的经验知：
θ1的可信度为40%，θ2的可信度为60%
贝叶斯统计与决策讲座
1.2.2 贝叶斯学派与频率学派之间存在重大差异
1)频率统计学派与贝叶斯学派在进行统计推 断时的依据不同；
2)对概率的概念的理解不同；
3)两个学派的具体统计推断理念之间存在根 本差异。
PPT文档演模板
贝叶斯统计与决策讲座
1) 统计推断时的依据不同
• 频率统计学派在进行统计推断时，依据两类信息： 总体信息（或模型信息）和样本信息（数据信 息），而贝叶斯学派则除了以上两种信息外，还 利用另外一种信息即先验信息。
贝叶斯统计与决策讲座
• 例 1.1 用Bayes公式分析伊索寓言《孩子与狼》中 村民对小孩的信赖程度是如何下降的。
•解: •A ：小孩说谎； •B ：小孩可信；
• 不妨设： P(B)= 0.8； •小孩第说一次谎后的可信度为：
PPT文档演模板
贝叶斯统计与决策讲座
•小孩第说二次谎后的可信度为：
PPT文档演模板
• 在概率论与数理统计中讨论的点估计只使 用前两种信息，没有使用先验信息。假如能把收 集到的先验信息也利用起来，那对我们进行统计 推断是有好处的。只用前两种信息的统计学称为 经典统计学，三种信息都用的统计学称为贝叶斯 统计学。
PPT文档演模板
贝叶斯统计与决策讲座
2) 对概率的概念的理解不同 • 频率学派坚持概率的频率解释，并在
•1.3. 2 后验分布是三种信息的综合
• 前面的分析总结如下：人们根据先验信息对
参数θ已有一个认识，这个认识就是先验分布
π(θ)。通过试验，获得样本。从而对θ的先验分
布进行调整，调整的方法就是使用上面的贝叶斯公
式，调整的结果就是后验分布
。后验
分布是三种信息的综合。获得后验分布使人们对θ
的认识又前进一步，可看出，获得样本的的效果是
把我们对θ的认识由π(θ)调整到
。所以
对θ的统计推断就应建立在后验分布
的
基础上。
PPT文档演模板
贝叶斯统计与决策讲座
•例1.2 设事件A的概率为 ，即
。为了估计 而
作n次独立观察，其中事件A出现次数为X，则有X服从二项
分布
即
如何求出后验分布？
•解题步骤：1.作贝叶斯假设。如果此时我们对事件A的发 生没有任何了解，对 的大小也没有任何信息。在这种情况 下，贝叶斯建议用区间（0，1）上的均匀分布作为θ的先验 分布。因为它在（0，1）上每一点都是机会均等的。因此：
贝叶斯统计与决策讲座
• 这类问题，是“已知结果求原因”是已知 某结果发生条件下，求各原因发生可能性大小。
•Bayes公式
• 设B1,B2,…,Bn是两两互斥的事件，且P(Bi)>0 ，i=1,2,…,n, 另有一事件A，它总是与B1,B2,…,Bn 之一同时发生，则
PPT文档演模板
贝叶斯统计与决策讲座
PPT文档演模板
贝叶斯统计与决策讲座
• 引例 有三个箱子，分别编号为1, 2, 3。1号箱装 有1个红球4个白球，2号箱装有2红3白球，3号箱 装有3红球. 某人从三箱中任取一箱，从中任意 摸出一球，（1）求取得红球的概率。（2）已知 取出的是红球，求此球来自1号箱的概率。
•( 2 ) 解：
PPT文档演模板
它的积分区域就是参数θ的取值范围，随具体情况而定。PPT文源自演模板贝叶斯统计与决策讲座
3.贝叶斯公式的离散形式：
当 是离散随机变量时，先验分布可用先 验分布列π(θi)，这时后验分布也是离散形 式：
假如总体X也是离散的，则只须将p(x|θ)换 成P(X=x|θ)即可。
PPT文档演模板
贝叶斯统计与决策讲座
PPT文档演模板
贝叶斯统计与决策讲座
•假设Ⅲ 从贝叶斯观点来看，未知参数θ是一个随机变量。而描 述这个随机变量的分布可从先验信息中归纳出来，这个分布称 为先验分布，其密度函数用π(θ)表示。
•（1） 先验分布 •定义1 将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量， •它有一概率分布，记为π(θ)，称为参数θ的先验分布。 •（2） 后验分布 • 在贝叶斯统计学中，把以上的三种信息归纳起来的最 好形式是在总体分布基础上获得的样本X1，…，Xn，和参 数的联合密度函数：
PPT文档演模板
贝叶斯统计与决策讲座
讲座内容
1 贝叶斯统计概述 2 先验分布的确定 3 贝叶斯统计推断 4 贝叶斯决策
PPT文档演模板
贝叶斯统计与决策讲座
•1 贝叶斯统计概述
•1.1 全概率公式与贝叶斯公式
• 引例 有三个箱子，分别编号为1, 2, 3。1号箱装 有1个红球4个白球，2号箱装有2红3白球，3号 箱装有3红球. 某人从三箱中任取一箱，从中任 意摸出一球，（1）求取得红球的概率。（2） 已知取出的是红球，求此球来自1号箱的概率。
的分布。根据费歇尔的观点，信息量包含在样本
中，但样本为数众多，因此须用少数几个统计量
把信息集中起来，而抽样分布则决定了统计量的
全部性质；目前，频率统计学派基本上是按照这
种思路来处理统计推断问题的。
PPT文档演模板
贝叶斯统计与决策讲座
贝叶斯学派认为：先验分布反映了试验前对 总体参数分布的认识，在获得样本信息后，对这 个认识有了改变，其结果就反映在后验分布中， 即后验分布综合了先验分布和样本的信息。由此 可以看出，频率学派统计推断是“从无到有”的 过程——在试验前，关于位置参数的情况是一无所 知，而试验后则有些了解，但了解多少？并无普 遍的表述方法，在实践中有赖于所使用的统计量 的针对性；贝叶斯统计推断则不然，它是一个 “从有到有”的过程，且结果清楚自然，符合人 们的思维习惯——根据所获得的信息修正以前的看 法，不一定从零开始，从本质上说，贝叶斯推断 理论概括了多数成年人的学习过程。
称 P( Bi ) 为先验概率，它是由以往的经 验得到的，它是事件 A 的原因。
•称
为后验概率，它是得到了信
息 — A 发生，再对导致 A 发生的原因Bi发生 的可能性大小重新加以修正。
• 后来的学者依据贝叶斯公式的思想发展了 一整套统计推断方法，叫作“贝叶斯统计”。 可见贝叶斯公式的影响 。
PPT文档演模板
•故他断言男婴诞生的概率大于0.5。
PPT文档演模板
贝叶斯统计与决策讲座
•注：伽玛函数与贝塔分布简介：
•定义：定义在[0，1]上，且用密度函数：
•表示的概率分布称为贝塔分布，记为Be(p,q)。
PPT文档演模板
贝叶斯统计与决策讲座
特例：当p=q=1时，Be(1,1)分布即为区间
[0，1]上的均匀分布； 当p=q=1/2， Be (1/2,1/2)分布称为反正弦分布，
PPT文档演模板
贝叶斯统计与决策讲座
• 在这个联合密度函数中。当样本
给定之后，未
知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函
数，依据密度的计算公式，容易获得这个条件密度函数：
•这就是贝叶斯公式的密度函数形式，其中 •称为θ的后验密度函数，或后验分布。而 ：
•是样本的边际分布，或称样本
的无条件分布，
• •(3)分样布本，X的因分此布这为种二分项布分的布适应b(n面,θ较)时大，。假如θ的先验分布为β 分布，则用贝叶斯估计算得的后验分布仍然是β分布，只是 其中的参数不同。这样的先验分布(β分布)称为参数θ的共轭 先验分布。选择共轭先验分布在处理数学问题上带来不少方 便。
PPT文档演模板
贝叶斯统计与决策讲座
密度函数为：
设
，则 的密度函数为：
即：
PPT文档演模板
贝叶斯统计与决策讲座
•为什么将贝塔分布作为θ的先验分布族是恰当的？
• (1)参数θ是废品率，它仅在（0，1）上取值。因此，必需 用 • 区间（0，1）上的一个分布去拟合先验信息。β分布正是 • 这样一个分布。 • (2)β分布含有两个参数p与q，不同的p与q就对应不同的先 验
PPT文档演模板
2020/12/10
贝叶斯统计与决策讲座
引言
统计学中有二个主要学派：频率学派和 贝叶斯学派。贝叶斯学派的起点是贝叶斯的 两项工作：贝叶斯定理和贝叶斯假设，贝叶 斯定理（或贝叶斯公式）在通常的概率论教 科书中都有叙述，而贝叶斯假设几乎都不提 及。在统计推断的基本理论和方法方面，贝 叶斯学派与频率学派之间存在着重大差异。
•(1) 解：记 Bi ={ 球取自 i 号箱 }, i=1, 2, 3;
•
A ={取得红球}
•B1A, B2A, B3A 两两互斥
PPT文档演模板
贝叶斯统计与决策讲座
•依题意， •P(A|B1)=1/5, P(A|B2)=2/5, • P(A|B3)=3/3
• 将此例中所用的方法推广到一般的情形，就得 到在概率计算中常用的全概率公式。
这个基础上去理解一切统计推断的结论； 与此相反，贝叶斯学派赞成主观概率，概 率是认识主体对事件出现可能性大小的相 信程度，它不依赖事件能否重复；
PPT文档演模板
贝叶斯统计与决策讲座
3) 两个学派统计推断理念之间存在着根本差异
• 统计学奠基人费歇尔把统计学的任务概括为
三个问题：选定模型、确定统计量和决定统计量
贝叶斯统计与决策讲座
1.2 贝叶斯统计
•
贝叶斯统计学的基础是著名的贝叶斯公式，它
是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后
二年发表的一篇论文《论有关机遇问题的求解》中
提出的。经过二百年的研究与应用，贝叶斯的统计
思想得到很大的发展，目前已形成一个统计学派—
贝叶斯学派。为了纪念他，英国历史最悠久的统计
例1.3 投资决策问题 为了提高某产品的质量，公司经理考虑增加投
资来改进生产设备，预计需投资100万元，但从投 资效果看，下属部门有两种意见：
θ1 ：改进生产设备后，高质量产品可占90% θ2 ：改进生产设备后，高质量产品可占70% 问：公司经理怎样决策？ 根据过去的经验知：
θ1的可信度为40%，θ2的可信度为60%
贝叶斯统计与决策讲座
1.2.2 贝叶斯学派与频率学派之间存在重大差异
1)频率统计学派与贝叶斯学派在进行统计推 断时的依据不同；
2)对概率的概念的理解不同；
3)两个学派的具体统计推断理念之间存在根 本差异。
PPT文档演模板
贝叶斯统计与决策讲座
1) 统计推断时的依据不同
• 频率统计学派在进行统计推断时，依据两类信息： 总体信息（或模型信息）和样本信息（数据信 息），而贝叶斯学派则除了以上两种信息外，还 利用另外一种信息即先验信息。
贝叶斯统计与决策讲座
• 例 1.1 用Bayes公式分析伊索寓言《孩子与狼》中 村民对小孩的信赖程度是如何下降的。
•解: •A ：小孩说谎； •B ：小孩可信；
• 不妨设： P(B)= 0.8； •小孩第说一次谎后的可信度为：
PPT文档演模板
贝叶斯统计与决策讲座
•小孩第说二次谎后的可信度为：
PPT文档演模板
• 在概率论与数理统计中讨论的点估计只使 用前两种信息，没有使用先验信息。假如能把收 集到的先验信息也利用起来，那对我们进行统计 推断是有好处的。只用前两种信息的统计学称为 经典统计学，三种信息都用的统计学称为贝叶斯 统计学。
PPT文档演模板
贝叶斯统计与决策讲座
2) 对概率的概念的理解不同 • 频率学派坚持概率的频率解释，并在
•1.3. 2 后验分布是三种信息的综合
• 前面的分析总结如下：人们根据先验信息对
参数θ已有一个认识，这个认识就是先验分布
π(θ)。通过试验，获得样本。从而对θ的先验分
布进行调整，调整的方法就是使用上面的贝叶斯公
式，调整的结果就是后验分布
。后验
分布是三种信息的综合。获得后验分布使人们对θ
的认识又前进一步，可看出，获得样本的的效果是
把我们对θ的认识由π(θ)调整到
。所以
对θ的统计推断就应建立在后验分布
的
基础上。
PPT文档演模板
贝叶斯统计与决策讲座
•例1.2 设事件A的概率为 ，即
。为了估计 而
作n次独立观察，其中事件A出现次数为X，则有X服从二项
分布
即
如何求出后验分布？
•解题步骤：1.作贝叶斯假设。如果此时我们对事件A的发 生没有任何了解，对 的大小也没有任何信息。在这种情况 下，贝叶斯建议用区间（0，1）上的均匀分布作为θ的先验 分布。因为它在（0，1）上每一点都是机会均等的。因此：
贝叶斯统计与决策讲座
• 这类问题，是“已知结果求原因”是已知 某结果发生条件下，求各原因发生可能性大小。
•Bayes公式
• 设B1,B2,…,Bn是两两互斥的事件，且P(Bi)>0 ，i=1,2,…,n, 另有一事件A，它总是与B1,B2,…,Bn 之一同时发生，则
PPT文档演模板
贝叶斯统计与决策讲座
PPT文档演模板
贝叶斯统计与决策讲座
• 引例 有三个箱子，分别编号为1, 2, 3。1号箱装 有1个红球4个白球，2号箱装有2红3白球，3号箱 装有3红球. 某人从三箱中任取一箱，从中任意 摸出一球，（1）求取得红球的概率。（2）已知 取出的是红球，求此球来自1号箱的概率。
•( 2 ) 解：
PPT文档演模板
它的积分区域就是参数θ的取值范围，随具体情况而定。PPT文源自演模板贝叶斯统计与决策讲座
3.贝叶斯公式的离散形式：
当 是离散随机变量时，先验分布可用先 验分布列π(θi)，这时后验分布也是离散形 式：
假如总体X也是离散的，则只须将p(x|θ)换 成P(X=x|θ)即可。
PPT文档演模板
贝叶斯统计与决策讲座
PPT文档演模板
贝叶斯统计与决策讲座
•假设Ⅲ 从贝叶斯观点来看，未知参数θ是一个随机变量。而描 述这个随机变量的分布可从先验信息中归纳出来，这个分布称 为先验分布，其密度函数用π(θ)表示。
•（1） 先验分布 •定义1 将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量， •它有一概率分布，记为π(θ)，称为参数θ的先验分布。 •（2） 后验分布 • 在贝叶斯统计学中，把以上的三种信息归纳起来的最 好形式是在总体分布基础上获得的样本X1，…，Xn，和参 数的联合密度函数：
PPT文档演模板
贝叶斯统计与决策讲座
讲座内容
1 贝叶斯统计概述 2 先验分布的确定 3 贝叶斯统计推断 4 贝叶斯决策
PPT文档演模板
贝叶斯统计与决策讲座
•1 贝叶斯统计概述
•1.1 全概率公式与贝叶斯公式
• 引例 有三个箱子，分别编号为1, 2, 3。1号箱装 有1个红球4个白球，2号箱装有2红3白球，3号 箱装有3红球. 某人从三箱中任取一箱，从中任 意摸出一球，（1）求取得红球的概率。（2） 已知取出的是红球，求此球来自1号箱的概率。
的分布。根据费歇尔的观点，信息量包含在样本
中，但样本为数众多，因此须用少数几个统计量
把信息集中起来，而抽样分布则决定了统计量的
全部性质；目前，频率统计学派基本上是按照这
种思路来处理统计推断问题的。
PPT文档演模板
贝叶斯统计与决策讲座
贝叶斯学派认为：先验分布反映了试验前对 总体参数分布的认识，在获得样本信息后，对这 个认识有了改变，其结果就反映在后验分布中， 即后验分布综合了先验分布和样本的信息。由此 可以看出，频率学派统计推断是“从无到有”的 过程——在试验前，关于位置参数的情况是一无所 知，而试验后则有些了解，但了解多少？并无普 遍的表述方法，在实践中有赖于所使用的统计量 的针对性；贝叶斯统计推断则不然，它是一个 “从有到有”的过程，且结果清楚自然，符合人 们的思维习惯——根据所获得的信息修正以前的看 法，不一定从零开始，从本质上说，贝叶斯推断 理论概括了多数成年人的学习过程。
称 P( Bi ) 为先验概率，它是由以往的经 验得到的，它是事件 A 的原因。
•称
为后验概率，它是得到了信
息 — A 发生，再对导致 A 发生的原因Bi发生 的可能性大小重新加以修正。
• 后来的学者依据贝叶斯公式的思想发展了 一整套统计推断方法，叫作“贝叶斯统计”。 可见贝叶斯公式的影响 。
PPT文档演模板
•故他断言男婴诞生的概率大于0.5。
PPT文档演模板
贝叶斯统计与决策讲座
•注：伽玛函数与贝塔分布简介：
•定义：定义在[0，1]上，且用密度函数：
•表示的概率分布称为贝塔分布，记为Be(p,q)。
PPT文档演模板
贝叶斯统计与决策讲座
特例：当p=q=1时，Be(1,1)分布即为区间
[0，1]上的均匀分布； 当p=q=1/2， Be (1/2,1/2)分布称为反正弦分布，
PPT文档演模板
贝叶斯统计与决策讲座
• 在这个联合密度函数中。当样本
给定之后，未
知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函
数，依据密度的计算公式，容易获得这个条件密度函数：
•这就是贝叶斯公式的密度函数形式，其中 •称为θ的后验密度函数，或后验分布。而 ：
•是样本的边际分布，或称样本
的无条件分布，
• •(3)分样布本，X的因分此布这为种二分项布分的布适应b(n面,θ较)时大，。假如θ的先验分布为β 分布，则用贝叶斯估计算得的后验分布仍然是β分布，只是 其中的参数不同。这样的先验分布(β分布)称为参数θ的共轭 先验分布。选择共轭先验分布在处理数学问题上带来不少方 便。
PPT文档演模板
贝叶斯统计与决策讲座
密度函数为：
设
，则 的密度函数为：
即：
PPT文档演模板
贝叶斯统计与决策讲座
•为什么将贝塔分布作为θ的先验分布族是恰当的？
• (1)参数θ是废品率，它仅在（0，1）上取值。因此，必需 用 • 区间（0，1）上的一个分布去拟合先验信息。β分布正是 • 这样一个分布。 • (2)β分布含有两个参数p与q，不同的p与q就对应不同的先 验