最小最大决策2综述

f
|x
f x, f x
f x| f x|
f f d

贝叶斯风险与后验风险：
r f , ˆf

r ˆ | x m x dx
f ,x d
f x| f d 为X的边缘分布 ˆ x 为最小化后验风险 r ˆ | x 的θ的值

其中 m x
ˆ 为贝叶斯估计 则
给定一个模型（先验和似然）和损失函数，就可以 找到贝叶斯规则



其中 f 为θ的先验。
7
ˆ1 R p, p
风险比较

ˆ2 R p, p
p 1 p n n
4 n

n

2
例12.5： 最大风险函数：
p 1 p 1 0 p 1 0 p 1 n 4n n n ˆ ˆ R p2 max R p, p2 max 2 0 p 1 0 p 1 4 n n 4 n n ˆ1 max R p, p ˆ1 max R p

偏差bias=0，所以
p 1 p ˆ1 p p ˆ1 R p, p n
4
风险比较

例12.3（续）:估计2：贝叶斯估计，先验为Beta , ，则估 计为 n Y ˆ2 ，其中 Y X i p n i 1

风险为
ˆ2 R p, p
当 n 4 时，
ˆ2 p Y n 4 n n ˆ2 , R p, p 4 n n

n

2
5
风险比较
没有一个估计的风险在所有的p值都超过另外一个
6
风险比较

风险函数的两个单值概述
最大风险
R ˆ sup R , ˆ





贝叶斯风险
r f , ˆ R , ˆ f d
p
2
平方误差损失 绝对误差损失
L p 损失
ˆ 0 if ˆ L , ˆ 1 if f x; ˆ L , log f x; dx ˆ f x;

0-1损失


Kullback - Leibler损失




2
ˆ 2更好一些 ˆ2 R p ˆ1 p R p ，所以根据最小最大风险，
8
风险比较

ˆ1 R p, p
ˆ2 R p, p
p 1 p n n
4 n

nபைடு நூலகம்

2
例12.5： 贝叶斯风险：先验为 f p 1
p 1 p 1 ˆ1 R p, p ˆ1 dp r f , p dp n 6n n n ˆ 2 R p, p ˆ 2 dp r f , p dp 2 4 n n 4 n n
r f , ˆ f inf r f ,






其中下界是对所有的估计 计算

ˆ 最小化最大风险的估计称为最小最大规则
R ˆ inf sup R , ˆ




其中下界是对所有的估计 计算
10
贝叶斯估计

估计 ˆ x 的后验风险：
r ˆ| x L ,ˆ f |x d
2
风险函数

ˆ是数据的函数，有时记为ˆ X 注意：估计
风险函数：平均损失 ˆ 的风险定义为 估计 R , ˆ L , ˆ L , ˆ f x; dx




对平方误差损失，风险为MSE 2 ˆ ˆ R , MSE

当 n 20 时，




2
ˆ2 r f , p ˆ1 r f , p

ˆ1 更好一些 p 所以根据最小贝叶斯风险，
问题：需要先验，尤其对复杂问题的话，确定先验可能很困难
9
决策规则 (Decision Rules)

决策规则是估计的别名 最小化贝叶斯风险的决策规则称为贝叶斯规则或 ˆ 为对应先验 f 的贝叶斯估计 贝叶斯估计，即 f
ˆ ˆ p p2 bias p p2
2
Y p n

Y p p n
2
2
np 1 p
n
2
np p n


风险是 的函数




ˆ bias2 ˆ


比较不同的估计，转化为比较不同估计的风险

但并不能清楚地回答哪个估计更好
3
风险比较

例12.3：令 X 1 , , X n ~ Bernoulli p ， 损失函数：平方误差损失 估计1：极大斯然估计： ˆ1 X p
11
证明： r f , ˆf
r f , ˆf
r ˆ | x m x dx R , ˆf f L ,ˆ x L ,ˆ x
d f x| f x| f dx f dxd d
f x,
f x,
f x|
f
f
L ,ˆ x L ,ˆ x L ,ˆ x
m x
f x, dxd f f | x m x dxd |x d m x dx
|x f x
r ˆ | x m x dx
12
贝叶斯估计

一些简单损失函数对应的贝叶斯规则
ˆ ˆ 若 L ,


2
，则贝叶斯规则为后验均值
ˆ f x f | x d

| X
x

若 L ,ˆ ˆ ，则贝叶斯规则为后验中值 若 L ,ˆ 为0-1损失，则贝叶斯规则为后验众数 (MAP)
Chp12：统计决策理论

用不同方法可能得到多个不同的估计，哪 个估计更好一些？

统计决策理论：比较统计过程的形式化理论
1
损失函数

ˆ之间的差异 损失函数：度量真值 与估计

损失函数举例
L , ˆ ˆ L , ˆ ˆ
L , ˆ ˆ