第5章 统计决策与贝叶斯估计

的条件分布。
• 后验分布的分母与 无关，因此在计算后
验分布的极值点时，不需要计算分母。
• Bayes统计推断的原则就是对参数所作的
任何推断(参数估计、假设检验等)必须基
于且只能基于的后验分布，即后验密度函
数族
h( | x) :
• 例 X~N(,2), 2已知， 的先验分布为
g (x, ) q(x | ) ( ) h( x) f X (x) q(x | ) ( )d
• Bayes思路：有一个(, X),其联合分布完全
已知，但不能观察，而只能观察X，要由
X推断。这就是上面的后验分布的概念。
所谓后验分布就是在给定X＝x的条件下，
第四章 统计决策与贝叶斯估计
1950年，统计学家瓦尔德（A.Wald）出版了
题为《Statistical Decision Function》的一书，建
立了一种统一处理各种统计问题的决策理论。
这个理论已不同程度地渗透到了数理统计的各
个分支中，对数理统计的发展产生了很大影响， 应用非常广泛。 贝叶斯估计是贝叶斯统计的主要部分，它 是运用统计决策理论研究参数估计问题。
例 设总体 X 服从贝努里分布 B(1, p) ， X1 , X 2 , , X n 为来自总体 X 的样本，其似然函数为
q (x | p ) p i1 (1 p ) xi
n
n
xi
i 1
n
q(x | p) 中所含 p 的因式为 分布的核，从而设 p
的先
验分布为 分布 B(a, b) ，其核为 pa1 (1 p)b1 ， 其中 a, b 已知。于是可写出 p 的后验密度为：



(2) 主观概率法
按照Bayes学派的说法，这是一种通过“自我反省” 去确定先验分布的方法。就是说，对参数取某某 值的可能性多大，通过思考，觉得该如何，而定 下一个值。 主观先验分布反映了个人以往对的了解，包括经 验知识和理论知识，其中有部分可能是通过他人 获取的，也可能是他人对的了解。对过去的经验 和知识，必须经过组织和整理。 这样提出的先验分布，在主观上是正确的，但不 能保证合乎某种客观标准。
( 已知)
2
样本分布为
1 1 n 2 q(x ) n ( xi ) n exp 2 2 (2 ) 2 i 1

记F(x| )= F(x;)表示给定时总体的条件分 布，从而(X, )的联合分布函数(密度函数)为
F(x, )=π()F(x| )
f(x, )=π()q(x| )

在联合分布下X的边缘分布f(x, )d 是对 的一种“平均”，与无关。

的条件分布 定义 在的条件 X = x 下， (或条件概率密度) 称为后验分布，后验分布 由后验密度函数 h( | x) : 描述，其计 算公式为：
数字去估计。例如后验分布的均值、中位
数，或使后验密度达到最大的值等去估计。
通常将最后这个估计称为广义极大似然估计。
在Bayes估计中，区间估计也完全依赖于后
验密度。
1、条件期望(后验均值)估计

用后验分布的期望去估计参数，得到参数 的条件期望估计。 定义 设θ 的后验密度为 h( x) ，则后验分 布的期望：
ˆ E ( x) h( x)d
称为θ 的条件期望估计。
例 假设总体 X ~ N (, 2 ) （ 2 已知） ， X1 , X 2 , , X n 为 来自总体 X 的样本，假定 的先验分布为正态分布
1 2 ( ) exp 2 ( 0 ) 2 2 2 1
§1 统计决策的三要素

样本空间和分布族 {F ( x) : }, X ( X1, X 2 , , X n )
决策空间(和决策函数) d ( X ) d ( X1, X 2 , , X n ), d D 损失函数(与风险函数) 损失函数 L( , d )是非负实值函数

h( p | x) p
a 1
(1 p)
b 1
p i1 (1 p)

n
xi
n

i 1
n
xi
p
a

i 1
n
xi 1
(1 p)
bn
xi 1
i 1
n
即 p 的后验分布是 分布 B(a xi , b n xi ) 的核，
i 1 i 1
Minimax估计。
L( p, d )
p
d
d1*=1/4
d2*=1/2
p1=1/4
p2=1/2
1
3
4
2
对X1有两种取值，对应di的不同情况，列出下表
X1
D
d1 1/4 1/4
d2 1/2 1/2
d3 1/4 1/2
d4 1/2 1/4
0 1
对四种决策函数di,计算其风险函数:(以d1为例)
R(p1,d1)=Ep1(L(p1,d1)) =Pp1(X＝0) L(p1,1/4)+ Pp1(X＝1) L(p1,1/4) =1
一、 先验分布与后验分布

定义 参数 的参数空间 上的一个概率分 布称为 的先验分布，其密度族记 为 ( ) : ；样本 X X1, X 2 , , X n 的条 件密度函数族 q(x | ) : 称为样本分布族； 先验分布与样本分布族 构 成Bayes参数统计模型。
一的最优估计。但是这个估计量不一定 在未知参数所有的估计量中最优。
如果取一般的损失函数L,则可得到一般的 风险函数R。
用Gq表示q( )所有可能估计组成的类，如果
在Gq中存在一个元T 使得对任一T Gq，有
R( , T ) R( , T )

对所有的 成立， 则T ( x)应是q( )的最好 估计。这就是我们前面说的最优决策。
风险函数R( , d ( x)) EL( , d ( x)), 而 R( , d )称为 决策函数当参数取值 时的风险。

例1 设总体服从参数为的泊松分布， >0,选取二次损失函数L(,d)=(d- )2,考 虑的估计量的风险函数 定义 若存在一个决策函数d*(X),使得对 任何决策函数d(X)，都有
遗憾的是，这样的估计T 一般并不存在。
既然最优估计并不存在，那么应如何评判和 寻找优良的估计呢？ • 方法之一是对估计提出一些合理性的要求， 将那些诸如不合理的平凡估计排除在外， 然后在满足合理性要求的估计类中寻找优 良的估计。在点估计中,无偏性便是一种常 用的合理性要求。 • 另一方法是提出某种较宽的最优性准则， 例如Bayes估计和Minimax估计。
• 实际上, 在我们前面所讲的置信区间理论
里面所涉及到的置信区间也是在无偏置信
区间的意义下，它们是最好的。
定义 如果一个置信区间满足,对每个和′,有
P(aq() b)P(a q(′) b)
则称其为一个无偏置信区间. • 上述定义是说,这种区间必须至少以盖住其 它值的可能性盖住q()的真正值. • 一般来说,在水平为1-的区间类中不存在一 个区间,它对所有参数值具有最小期望长度. • 对于假设检验也有无偏检验类.
于是得到下面的表
di d1 d2 d3 d4
R(p1,di) 1 4 7/4 13/4
R(p2,di) SupR(pi,di) 3 2 5/2 5/2 3 4 5/2 13/4
MiniMax R(pi,di) 5/2
很显然,得到p的Minimax估计是
X1 0, 1 4 p ( x) d3 1 2 X1 1.
n
n
这说明贝努里分布 B(1, p )中 p 的共轭先验分布为 分 布，其后验密度为：
a xi 1 b n xi 1 a b n i 1 i 1 p (1 p ) 0 p 1 n n a xi b n xi h ( p | x) i 1 i 1 0 其它
n n
二 贝叶斯统计推断原则

原则： 对参数所作的任何推断必须基 于且只能基于的后验分布。 由上面原则，对的推断不依赖样本分
布和先验分布，因此估计的无偏性就没 有意义了。


矩估计不适合Bayes推断原则。

极大似然估计适合Bayes推断原则。
三
贝叶斯估计
原则： 找后验分布的某个有代表性的特征
～N(,2),求的后验分布。
• 注：前述反映的先验信息的函数h()应是一 密度函数。但有时h()却非密度函数，但满 足条件：1. h()非负；2. 对任何样本x，后验 密度h(|x)仍然满足密度函数的条件。这时， 可形式地把h()看成是的一个“先验密度”， 称为广义先验密度。最有意义的广义先验密 度是满足 h( )d =的那种。
§3 贝叶斯(Bayes)估计

迄今为止，我们所研究的统计推断用了两 种知识：一是模型，即总体的样本族；另 一种是由样本所提供的包含了有关未知参 数的信息。 但还有一种信息，即在获得估计之前，对 总体情形的一些了解，称为附加信息。下 面所要介绍的Bayes估计就是把附加信息 也利用上的一种估计。




(3) 同等无知原则

这一原则称为Bayes假定。以产品的废品率 p为例，当我们对p一无所知时，我们只好 先验地认为，p以同等机会取 (0,1) 内各种值， U作为 (0,1) p的先验 因而以 内均匀分布 (0,1) 分布。这一先验分布称为无信息先验分布。


（4）共轭分布方法 H.Raiffa, R.Schlaifer提出了先验分布应取共轭分布 才合适。 定义 设样本分布族为q(x | ) : ，若先验分 布 与后验分布 h | x 属于同一分布类型，则 先验分布 称为关于 q(x | ) 的共轭分布。确切 地说，若 F 为的 一个密度函数族，若任 取 ( ) F ，得到样本观测值 x 后，由 及 q(x | ) 确定的后验密度函数 h | x F ，则称 F 是关于 q(x | ) : 的共轭先验分布族，或称为 参数 共轭先验分布族。
§2 极小化极大 (Minimax)估计
记为参数空间，R( , d )为d的风险函数， 则M (d )＝sup R( , d )表示当采取决策函数d

时，可能遭受到的最大风险，我们希望找到 一个d , 使M (d )尽可能小。
定义 设D是决策空间, 若有d*D,使得对任一 dD,都有M(d*)M(d),即 * M (d ) inf M (d ) inf sup R( , d ),

R( ,d*) R( , d ),
对任何 。
则称d*为此决策问题的一致最优解。

前面的点估计的优良性的均方误差即是
取二次损失函数，来寻求决策问题的一
致最优解（未知参数的最优估计）。如
果限定在无偏估计类中，也得到了比较
好的结果。即：如果未知参数存在充分
完备统计量，且有无偏估计wenku.baidu.com则存在唯
dD dD
则称d*为参数的极小化极大估计量,也称为 Minimax决策函数.

注：这个使得最大风险达到最小的决策函数，是 考虑到最不利的情况而采取尽可能好的结果，这 样的一种策略，也就是通常所说的从最坏处着想 而争取最好的结果，因而是一种基于稳定而偏于 保守的考虑。
例 设总体X～B(1,p),p={1/2,1/4},样本 容量为1，即X1为样本,D＝ {1/2,1/4},损失 函数L(p,d)由下表给出，试求参数p的
• 例 设X~N(,1), 未知，取先验密度h()1, 显然它不是通常意义下的密度函数，但可以 验证它是一个广义先验密度函数。
先验分布的确定
先验分布的确定方法有： (1) 客观法 以前的资料积累较多，对的先验分布能作 出较准确的统计或估计。在这种情况下， 分布的确定没有渗杂多少人的主观因素， 故称之为客观法。