第5章 统计决策与贝叶斯估计

• 例 设X~N(,1), 未知，取先验密度h()1, 显然它不是通常意义下的密度函数，但可以 验证它是一个广义先验密度函数。
先验分布的确定
先验分布的确定方法有： (1) 客观法 以前的资料积累较多，对的先验分布能作 出较准确的统计或估计。在这种情况下， 分布的确定没有渗杂多少人的主观因素， 故称之为客观法。
dD dD
则称d*为参数的极小化极大估计量,也称为 Minimax决策函数.

注：这个使得最大风险达到最小的决策函数，是 考虑到最不利的情况而采取尽可能好的结果，这 样的一种策略，也就是通常所说的从最坏处着想 而争取最好的结果，因而是一种基于稳定而偏于 保守的考虑。
例 设总体X～B(1,p),p={1/2,1/4},样本 容量为1，即X1为样本,D＝ {1/2,1/4},损失 函数L(p,d)由下表给出，试求参数p的
风险函数R( , d ( x)) EL( , d ( x)), 而 R( , d )称为 决策函数当参数取值 时的风险。

例1 设总体服从参数为的泊松分布， >0,选取二次损失函数L(,d)=(d- )2,考 虑的估计量的风险函数 定义 若存在一个决策函数d*(X),使得对 任何决策函数d(X)，都有
n
n
这说明贝努里分布 B(1, p )中 p 的共轭先验分布为 分 布，其后验密度为：
a xi 1 b n xi 1 a b n i 1 i 1 p (1 p ) 0 p 1 n n a xi b n xi h ( p | x) i 1 i 1 0 其它



(3) 同等无知原则

这一原则称为Bayes假定。以产品的废品率 p为例，当我们对p一无所知时，我们只好 先验地认为，p以同等机会取 (0,1) 内各种值， U作为 (0,1) p的先验 因而以 内均匀分布 (0,1) 分布。这一先验分布称为无信息先验分布。


（4）共轭分布方法 H.Raiffa, R.Schlaifer提出了先验分布应取共轭分布 才合适。 定义 设样本分布族为q(x | ) : ，若先验分 布 与后验分布 h | x 属于同一分布类型，则 先验分布 称为关于 q(x | ) 的共轭分布。确切 地说，若 F 为的 一个密度函数族，若任 取 ( ) F ，得到样本观测值 x 后，由 及 q(x | ) 确定的后验密度函数 h | x F ，则称 F 是关于 q(x | ) : 的共轭先验分布族，或称为 参数 共轭先验分布族。



(2) 主观概率法
按照Bayes学派的说法，这是一种通过“自我反省” 去确定先验分布的方法。就是说，对参数取某某 值的可能性多大，通过思考，觉得该如何，而定 下一个值。 主观先验分布反映了个人以往对的了解，包括经 验知识和理论知识，其中有部分可能是通过他人 获取的，也可能是他人对的了解。对过去的经验 和知识，必须经过组织和整理。 这样提出的先验分布，在主观上是正确的，但不 能保证合乎某种客观标准。

记F(x| )= F(x;)表示给定时总体的条件分 布，从而(X, )的联合分布函数(密度函数)为
F(x, )=π()F(x| )
f(x, )=π()q(x| )

在联合分布下X的边缘分布f(x, )d 是对 的一种“平均”，与无关。

的条件分布 定义 在的条件 X = x 下， (或条件概率密度) 称为后验分布，后验分布 由后验密度函数 h( | x) : 描述，其计 算公式为：

R( ,d*) R( , d ),
对任何 。
则称d*为此决策问题的一致最优解。

前面的点估计的优良性的均方误差即是
取二次损失函数，来寻求决策问题的一
致最优解（未知参数的最优估计）。如
果限定在无偏估计类中，也得到了比较
好的结果。即：如果未知参数存在充分
完备统计量，且有无偏估计，则存在唯
n n
二 贝叶斯统计推断原则

原则： 对参数所作的任何推断必须基 于且只能基于的后验分布。 由上面原则，对的推断不依赖样本分
布和先验分布，因此估计的无偏性就没 有意义了。


矩估计不适合Bayes推断原则。

极大似然估计适合Bayes推断原则。
三
贝叶斯估计
原则： 找后验分布的某个有代表性的特征
的条件分布。
• 后验分布的分母与 无关，因此在计算后
验分布的极值点时，不需要计算分母。
• Bayes统计推断的原则就是对参数所作的
任何推断(参数估计、假设检验等)必须基
于且只能基于的后验分布，即后验密度函
数族
h( | x) :
• 例 X~N(,2), 2已知， 的先验分布为
§2 极小化极大 (Minimax)估计
记为参数空间，R( , d )为d的风险函数， 则M (d )＝sup R( , d )表示当采取决策函数d

时，可能遭受到的最大风险，我们希望找到 一个d , 使M (d )尽可能小。
定义 设D是决策空间, 若有d*D,使得对任一 dD,都有M(d*)M(d),即 * M (d ) inf M (d ) inf sup R( , d ),
Minimax估计。
L( p, d )
p
d
d1*=1/4
d2*=1/2
p1=1/4
p2=1/2
1
3
4
2
对X1有两种取值，对应di的不同情况，列出下表
X1
D
d1 1/4 1/4
d2 1/2 1/2
d3 1/4 1/2
d4 1/2 1/4
0 1
对四种决策函数di,计算其风险函数:(以d1为例)
R(p1,d1)=Ep1(L(p1,d1)) =Pp1(X＝0) L(p1,1/4)+ Pp1(X＝1) L(p1,1/4) =1
h( p)
b 1
p i1 (1 p)

n
xi
n

i 1
n
xi
p
a

i 1
n
xi 1
(1 p)
bn
xi 1
i 1
n
即 p 的后验分布是 分布 B(a xi , b n xi ) 的核，
i 1 i 1
ˆ E ( x) h( x)d
称为θ 的条件期望估计。
例 假设总体 X ~ N (, 2 ) （ 2 已知） ， X1 , X 2 , , X n 为 来自总体 X 的样本，假定 的先验分布为正态分布
1 2 ( ) exp 2 ( 0 ) 2 2 2 1
第四章 统计决策与贝叶斯估计
1950年，统计学家瓦尔德（A.Wald）出版了
题为《Statistical Decision Function》的一书，建
立了一种统一处理各种统计问题的决策理论。
这个理论已不同程度地渗透到了数理统计的各
个分支中，对数理统计的发展产生了很大影响， 应用非常广泛。 贝叶斯估计是贝叶斯统计的主要部分，它 是运用统计决策理论研究参数估计问题。
§3 贝叶斯(Bayes)估计

迄今为止，我们所研究的统计推断用了两 种知识：一是模型，即总体的样本族；另 一种是由样本所提供的包含了有关未知参 数的信息。 但还有一种信息，即在获得估计之前，对 总体情形的一些了解，称为附加信息。下 面所要介绍的Bayes估计就是把附加信息 也利用上的一种估计。

数字去估计。例如后验分布的均值、中位
数，或使后验密度达到最大的值等去估计。
通常将最后这个估计称为广义极大似然估计。
在Bayes估计中，区间估计也完全依赖于后
验密度。
1、条件期望(后验均值)估计

用后验分布的期望去估计参数，得到参数 的条件期望估计。 定义 设θ 的后验密度为 h( x) ，则后验分 布的期望：
一、 先验分布与后验分布

定义 参数 的参数空间 上的一个概率分 布称为 的先验分布，其密度族记 为 ( ) : ；样本 X X1, X 2 , , X n 的条 件密度函数族 q(x | ) : 称为样本分布族； 先验分布与样本分布族 构 成Bayes参数统计模型。
• 实际上, 在我们前面所讲的置信区间理论
里面所涉及到的置信区间也是在无偏置信
区间的意义下，它们是最好的。
定义 如果一个置信区间满足,对每个和′,有
P(aq() b)P(a q(′) b)
则称其为一个无偏置信区间. • 上述定义是说,这种区间必须至少以盖住其 它值的可能性盖住q()的真正值. • 一般来说,在水平为1-的区间类中不存在一 个区间,它对所有参数值具有最小期望长度. • 对于假设检验也有无偏检验类.
( 已知)
2
样本分布为
1 1 n 2 q(x ) n ( xi ) n exp 2 2 (2 ) 2 i 1
§1 统计决策的三要素

样本空间和分布族 {F ( x) : }, X ( X1, X 2 , , X n )
决策空间(和决策函数) d ( X ) d ( X1, X 2 , , X n ), d D 损失函数(与风险函数) 损失函数 L( , d )是非负实值函数

～N(,2),求的后验分布。
• 注：前述反映的先验信息的函数h()应是一 密度函数。但有时h()却非密度函数，但满 足条件：1. h()非负；2. 对任何样本x，后验 密度h(|x)仍然满足密度函数的条件。这时， 可形式地把h()看成是的一个“先验密度”， 称为广义先验密度。最有意义的广义先验密 度是满足 h( )d =的那种。
例 设总体 X 服从贝努里分布 B(1, p) ， X1 , X 2 , , X n 为来自总体 X 的样本，其似然函数为
q (x | p ) p i1 (1 p ) xi
n
n
xi
i 1
n
q(x | p) 中所含 p 的因式为 分布的核，从而设 p
的先
验分布为 分布 B(a, b) ，其核为 pa1 (1 p)b1 ， 其中 a, b 已知。于是可写出 p 的后验密度为：
于是得到下面的表
di d1 d2 d3 d4
R(p1,di) 1 4 7/4 13/4
R(p2,di) SupR(pi,di) 3 2 5/2 5/2 3 4 5/2 13/4
MiniMax R(pi,di) 5/2
很显然,得到p的Minimax估计是
X1 0, 1 4 p ( x) d3 1 2 X1 1.
g (x, ) q(x | ) ( ) h( x) f X (x) q(x | ) ( )d
• Bayes思路：有一个(, X),其联合分布完全
已知，但不能观察，而只能观察X，要由
X推断。这就是上面的后验分布的概念。
所谓后验分布就是在给定X＝x的条件下，
一的最优估计。但是这个估计量不一定 在未知参数所有的估计量中最优。
如果取一般的损失函数L,则可得到一般的 风险函数R。
用Gq表示q( )所有可能估计组成的类，如果
在Gq中存在一个元T 使得对任一T Gq，有
R( , T ) R( , T )

对所有的 成立， 则T ( x)应是q( )的最好 估计。这就是我们前面说的最优决策。
遗憾的是，这样的估计T 一般并不存在。
既然最优估计并不存在，那么应如何评判和 寻找优良的估计呢？ • 方法之一是对估计提出一些合理性的要求， 将那些诸如不合理的平凡估计排除在外， 然后在满足合理性要求的估计类中寻找优 良的估计。在点估计中,无偏性便是一种常 用的合理性要求。 • 另一方法是提出某种较宽的最优性准则， 例如Bayes估计和Minimax估计。