第三章 统计决策与贝叶斯估计 第三节

7
则风险函数R( , d 7 )在 0处的值为 R( 0 , d 7 ) L( 0 , a1 ) P 0 { X 1 1} L( 0 , a3 ) P 0 { X 1 0} 12 0.4 6 0.6 8.4， 风险函数R( , d 7 )在 1处的值为 R(1 , d 7 ) L(1 , a1 ) P 1 { X 1 1} L(1 , a3 ) P 1 { X 1 0} 0 0.7 5 0.3 1.5. 在本例中，可供土地所有者选择的决策函数共有 9个，将它们列于表3.4。
數理統計
第三章 统计决策与贝叶斯估计
第一节 统计决策的基本概念 第二节 贝叶斯估计 第三节 minimax估计 第四节 经验贝叶斯估计
3.3 minimax估计
大家知道，风险函数提供了一个衡量决策函 数好坏的尺度，我们自然希望选取一个决策函数， 使得它的风险尽可能的小。 定义3.10 给定一个统计决策问题，设D*是 由全体决策函数组成的类，如果存在一个决策函 数d*= d*(x1,· · · , xn), d*∈ D* ，使得对D*中任意一 个决策函数d(x1,· · · , xn)，总有 max R( , d * ) max R( , d ), d D* , (3.12) 则称d*为这个统计决策问题的最小最大(minima) 决策函数（在这里我们假定R关于θ的最大值能达 到，如果最大值达不到，可以理解为上确界）。
2

由定义可见，我们是以最大风险的大小作为 衡量决策函数好坏的准则。因此，使最大风险达 到最小的决策函数是考虑到最不利的情况，要求 最不利的情况尽可能地好。也就是人们常说的从 最坏处着想，争取最好的结果。它是一种出于稳 妥的考虑，也是一种偏于保守的考虑。 如果我们讨论的问题是一个估计问题，则称 满足式(3.12)的决策函数d*(X1,· · · ,Xn)为θ的最小最 大(minimax)估计量。 寻求最小最大决策函数的一般步骤为： 1. 对D*中每个决策函数d ( x1 , , xn )，求出其
证明 记RM (d ) max R( , d ), 且设d B ( x1 , , xn )

的风险函数为 R( , d B ) C， ，
11
它的贝叶斯风险 RB (d B ) C。假定d B ( x1 , , xn ) 不是 min i max 决策函数，那么必定存在一个 决策函数d ( x1 , , xn )，使得 R M (d ) R M (d B ) max R( , d B ) C.
xi
n i 1
n
n
xi
i 1
i
n
A( p)
0
14
1
p
x
i
n
(1 p )
x
i 1
n
A( p ) dp
(n n ) p n n n n ( xi )(n xi ) 2 2 i 1 i 1

n xi 1 2 i 1
n
(1 p)
n
9
表3.5 风险函数及最大值表
d i( x i ) R(θ0,d i) R(θ1,d i) d1 12 0 d2 7.6 7 7.6 d3 9.6 3.5 9.6 d4 5.4 3 5.4 d5 1 10 10 d6 3 6.5 6.5 d7 8.4 1.5 8.4 d8 4 8.5 8.5 d9 6 5 6
6
那么风险函数R ( , d 4 )在 0处的值为 R ( 0 , d 4 ) L( 0 , a1 ) P 0 { X 1 1} L ( 0 , a2 ) P 0 { X 1 0} 12 0.4 1 0.6 5.4 在 1处的值为 R (1 , d 4 ) L(1 , a1 ) P 1 { X 1 1} L (1 , a2 ) P 1 { X 1 0} 0 0.7 10 0.3 3. 如果土地所有者打算采用决策函数 a1 , x1 1, d7 ( X1 ) a3 , x1 0,
n 1 2
n 1 2
2 n X 1 ˆ E ( p x) 0 ph( p x )dp p , 2( n 1)
1
15
ˆ的风险函数为 p 2 n X 1 ˆ ) E[ R ( p, p p]2 2( n 1) 2 n X 1 2 n X 1 D[ ] {E[ ] p}2 2( n 1) 2( n 1) 4n p (1 p ) 2 n p 1 2 [ p ] n 4( n 1) 2 2( n 1) 1 . 2 4( n 1)
xi
i 1
n
n 1 2
,
( n ) p 其中0 p 1 ，A( p ) (1 p) .由p的后验 n n ( ) ( ) 2 2 n n n n 密度知，p的后验分布为Be( xi , n xi ), 2 2 i 1 i 1 通过计算可求得p的贝叶斯估计为
风险函数在上的最大风险值 max R( , d );

3
2. 在所有最大风险值中选取相对最小值， 此值对应的决策函数便是最小最大决策函数。 例3.17 地质学家要根据某地区的地层结构 来判断该地是否蕴藏石油。地层结构总是0,1两 种状态之一，记该地无油为θ0，该地有油为θ1 ， 已知它们的分布规律如表3.2所示（其中x表示地 层结构的状态，θ表示石油的状态），它表示如 果该地区蕴藏石油，那么地层结构呈现状态0的 概率为0.3，呈现状态1的概率为0.7，如果该地区 不蕴藏石油，那么地层结构呈现状态0的概率为 0.6，呈现状态1的概率为0.4。
8
表3.4 决策函数表
x1
0 1
d1(x1) d2(x1) d3(x1) d4(x1) d5(x1) d6(x1) d7(x1) d8(x1) d9(x1)
a1 a1 a1 a2 a1 a3 a2 a1 a2 a2 a2 a3 a3 a1 a3 a2 a3 a3
我们在上面已经计算出决策函数d4(x1)与d7(x1)的 风险函数，现把这9个决策函数的风险函数及其最大 值列成表3.5。.

比较上面两个不等式，可得 R B (d k ) max R( , d 0 ),

k
k 1,
lim RB (d k ) max R( , d 0 ),

这与假设的条件矛盾，这说明d 0是的最小最大估计。
18
定理3.10
给定一个贝叶斯决策问题，若
的一个估计d 0的风险函数R( , d 0 )在上为常数， 且存在一个先验分布列{ k ( ): k 1} ，使得相应的 贝叶斯估计d k的贝叶斯风险满足 lim RB (d k )
max R( , di ) 12
如果土地所有者希望使得承担可能产生的最大风 险尽量小，那么应当采用决策函数d4(x1) 。由定义知 d4(x1)是这个统计决策问题的minimax决策函数。
10
下面介绍如何借用贝叶斯方法来求最小最大 决策函数。当然，使用贝叶斯方法必须预先引进 未知参数θ的先验分布。但是，这里近近是借用 这个先验分布以得到minimax决策函数而已。 定理3.8 给定一个统计决策问题，如果存 在某个先验分布，使得在这个先验分布下的贝叶 斯决策函数dB(x1,· · · ,xn)的风险函数是一个常数， 那么dB(x1,· · · ,xn)必定是这个统计决策问题的一个 minimax决策函数。
4
土地所有者希望根据地质学家对地层结构的分析 来决定自己投资钻探石油，还是出卖土地所有权 或者在该地区开辟旅游点，分别记这三种决策为 a1,a2,a3，于是决策空间A={a1,a2,a3}，土地所有者 权衡利弊之后取损失函数L(θ,a)如表3.3所示。 表3.2 地层结构分布规律表 x
θ θ0(无油) θ1(有油)
k
则d 0是的minimax估计。 证明 对任意的 ，有 max R( , d 0 ) R( , d 0 ) lim RB (d k ),

k
这表明定理3.9的条件满足，故d 0是的最小最大 估计。
19
例3.19 设X ( X 1 , , X n )T 是来自正态分布N ( ,1) 的一个样本，取参数的先验分布为正态分布N (0, 2 ), 其中已知，损失函数取为如下的0-1损失 1, d , 0, L ( , d ) 0, d , 0, 在上述损失下，可求得的贝叶斯估计为 1 1 1 n d ( X ) X n (1 2 ) , 其中X n X i . n n i 1 现利用定理3.10证明，样本均值X n是的最小最大估计。
16
1 ˆ的风险函数是与p无关的常数 由上式知p ， 2 4( n 1) 2 n X 1 ˆ 从而由定理3.8知p 为p的minimax估计。 2( n 1) 定理3.9 给定一个贝叶斯决策问题，设 { k ( ) :k 1}为参数空间上的一个先验分布列， {d k : k 1}和{R B (d k ): k 1}分别为相应的贝叶斯估计 列和贝叶斯风险列。若d 0是的一个估计，且它的 风险函数R( , d 0 )满足 max R( , d 0 ) lim RB (d k ),
13
n n 1 1 ( n ) 2 p 2 (1 p) , 0 p 1, ( p ) ( n ) ( n ) 2 2 其余， 0, 所以p的后验分布密度为
h( p x ) h( p x1 , , xn )
p i1 (1 p)

于是d ( x1 , , xn )的风险函数 R( , d ) R M (d ) C , . 对上式两边在给定的先验分布下求期望，得到 RB (d ) E[ R( , d )] C RB (d B ).
12
这表明d B ( x1 , , xn )不可能是这个先验分布下的贝叶 斯决策函数，从而产生了矛盾。因此，d B ( x1 , , xn ) 必定是一个minimax决策函数。 对于上述定理，若给定的统计决策问题为参数 的点估计，且定理的条件满足，则相应的决策函数 d B ( x1 , , xn )必为参数的minimax估计量。 例3.18 在例3.11中若取参数p的先验分布为贝塔 n n 分布Be( , ), 则在平方损失函数下，p的贝叶斯 2 2 2 n ( X ) 1 ˆ 估计p 为p的 min i max 估计。 2( n 1)

k
则d 0为的minimax估计。
17
证明 (反证法)若d 0不是的最小最大估计，则存在这 样的一个估计d，它的最大风险要小于d 0的最大风险，即 max R ( , d ) max R( , d 0 ).

另外，由假设知d k是在先验分布 k ( )下的贝叶斯估计 (k 1),故其贝叶斯风险最小，从而 R B (d k ) R B (d ) R( , d ) k ( ) d max R( , d ).
5
0 0.6 源自文库.3
1 0.4 0.7
表3.3 损失函数 L(θ,a)取值表
L(θ,a) θ
θ0(无油) θ1(无油)
a
a1 12 0
a2 1 10
a3 6 5
假如我们仅取一个观察X1 (样本大小为1)。 如果土地所有者打算采用决策函数 a1 , x1 1, d 4 ( x1 ) a2 , x1 0,