统计决策概论
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n
若取d ( X ) X1,则R(, d ) DX1 1
显然,当n 1时, 后者的风险比前者大, X优于X1
11/5/2020
参数估计
第9页
例2 设总体X ~ P(x;), 估计未知参数,
选取损失函数为 : L(, d ) (d )2 则对的任一估计d ( X ),风险函数为
R(, d ) E [L(, d )] E (d )2 若要求d ( X )是无偏估计,即E (d ( X )) , 则风险函数为 : R(, d ) E (d Ed )2 D (d ( X )) 若取d ( X ) X ,则R(, d ) D X
f (x, )对 作出推断。由于 f (x, ) =h( x1,x2 ,…,xn )m(x1,x2 ,…,xn)，
其中m(x1,x2 ,…,xn) 是x1, x2 , …, xn 的边际概率函
数，它与 无关。因此能用来对 作出推断的仅 是条件分布h( x1, x2 , …, xn)，它的计算公式是
参数估计
第16页
3)贝叶斯公式的密度函数形式(后验分布）
➢ 设总体X 的分布密度函数P (x ; )在贝叶斯统计中 记为P (x | )，它表示在随机变量θ取某个给定值 时总体的条件概率密度函数； P (x ; )= P (x | )
➢ 根据参数 的先验信息确定先验分布( )；
➢ 样本 x1, x2 , …, xn 的联合条件分布密度函数为
11/5/2020
参数估计
第13页
基于上述三种信息进行统计推断的统计学称为 贝叶斯统计学。它与经典统计学的差别就在于 是否利用先验信息。贝叶斯统计在重视使用总 体信息和样本信息的同时，还注意先验信息的 收集、挖掘和加工，使它数量化，形成先验分 布，参加到统计推断中来，以提高统计推断的 质量。忽视先验信息的利用，有时是一种浪费， 有时还会导出不合理的结论。
11/5/2020
参数估计
第14页
贝叶斯学派的基本观点：任一未知量 都可看作
随机变量，可用一个概率分布去描述，这个分 布称为先验分布；在获得样本之后，总体分布、 样本与先验分布通过贝叶斯公式结合起来得到
一个关于未知量 新的分布—后验分布；任何 关于 的统计推断都应该基于 的后验分布进行。
11/5/2020
R(, d ) E [L(, d )] E (d )2 若要求d ( X )是无偏估计,即E (d ( X )) ,
则风险函数为 : R(, d ) E (d Ed )2 D (d ( X ))
即风险函数为估计量d ( X )的方差, 若取d ( X ) X ,则R(, d ) D X 1
引入一个依赖参数 ,和决策d的二元函数
L( , d ) 0, 称为损失函数
11/5/2020
参数估计
第3页
常见的损失函数有以下几种
（1）线性损失函数
L(
,
d
)
kk10((d
d ), d
), d
绝对损失函数 L( , d ) | d | （2）平方损失函数 L( , d ) ( d )2
n
q(x | ) p(xi | ) i 1
➢ 这个分布综合了总体信息和样本信息；
11/5/2020
参数估计
第17页
➢ 0 是未知的，它是按先验分布( )产生的。为 把先验信息综合进去，不能只考虑0，对的
其它值发生的可能性也要加以考虑，故要用
( )进行综合。这样一来，样本x1 , …, xn和参 数 的联合分布为:
参数估计
第1页
1、统计决策
一、统计决策的三个要素 1 样本空间和分布族
设总体X的分布函数为 F (x; ) ,是未知参数，若设X1 , …, Xn 是来自总体X的一个样本，则样本所有可能值组成的集合称
为样本空间，记为X
n
联合分布函数F (x; ) F (xi ; ), i 1 n
记F * { F (xi ; ), }, i 1
一般从总体上来评价、比较决策函数，取平均损失，就是 风险函数
定义3.2 设样本空间，分布族分别为X，F*，决策空间为A，
损失函数为 L(, d), d(X)为决策函数,
R( , d ) E [L( , d ( X ))]
为决策函数d(X)的风险函数， R(, d),表示采取决策d(X)所 蒙受的平均损失（ L(, d)的数学期望）
11/5/2020
参数估计
第22页
例8 X1, X2 , …, Xn来自正态分布N( ,2)的一个样本， 其中 已知，求方差2的共轭先验分布
( X1, X 2 ,, X n )T 的似然函数为
q(x | 2 ) (
1
exp[ 1
2 )n
2 2
n
( xi )2 ]
i 1
(
1
2
)n/
2
(1) f ( ) 0,
(2) 0 gn (t | ) f ( )d
则
D f
gn (t | ) f ( ) ; n 1,2 gn (t | ) f ( )d
是共轭分布族
n
（其中 p(xi | ) gn (t | )h(x),因子分解定理） i 1
11/5/2020
参数估计
第26页
若后验分布h( x)与( )属于同一个分布族，则 称该分布族是 的共轭先验分布(族)。 二项分布b(n, )中的成功概率 的共轭先验分布
是贝塔分布Be(a,b)；
➢ 泊松分布P( )中的均值 的共轭先验分布是伽玛 分布Γ(,)；
指数分布中均值的倒数的共轭先验分布是伽玛分
布Γ(,)； 在方差已知时，正态均值 的共轭先验分布是正
称F*为关于分布密度 p(x| )的共轭先验分
布族，简称共轭族。
计算共轭先验分布的方法
11/5/2020
参数估计
第21页
当给定样本的分布（似然函数）q (x | ) 和先验分布( )；由贝叶斯公式得
h(x| ) = ( ) q( x )/m(x) 由于m(x)不依赖于, 改写为
h(x| ) ∝( ) q( x ) 上式不是正常的密度函数,是h(x| ) 的主要 部分,称为h(x| ) 的核
xi N
xi
(1
)
N
xi
i 1
n
n
xi
nN xi
i1 (1 ) i1
所以的先验分布为贝塔分布Be( , ),其核为
1(1 ) 1
11/5/2020
参数估计
第24页
计算共轭先验分布的方法
1. h( |x)= ( ) q(x| ) /m(x), m(x)不依赖于 先求出q(x| ),再选取与q(x| )具有相同形
本对先验分布( )作调整的结果，贝叶斯统计的
一切推断都基于后验分布进行。
11/5/2020
参数估计
第20页
4）共轭先验分布
wenku.baidu.com
定义：设总体X 的分布密度为 p(x| ),
F*为 的一个分布族， ( ) 为 的任意
一个先验分布， ( ) ∈ F*,若对样本的任 意观测值x, 的后验分布h( |x)仍在F*内，
11/5/2020
参数估计
第11页
2.贝叶斯估计
1)统计推断的基础
➢ 经典学派的观点：统计推断是根据样本信息对 总体分布或总体的特征数进行推断，这里用到 两种信息：总体信息和样本信息；
➢ 贝叶斯学派的观点：除了上述两种信息以外， 统计推断还应该使用第三种信息：先验信息。
11/5/2020
参数估计
决策函数就是一个行动方案，如果用表达 式处理， d(x)= d(x1,x2,…xn)本质上就是一个统 计量
11/5/2020
参数估计
第5页
2 风险函数
决策函数 d(X)，完全取决于样本，损失函数 L(, d) 也 是样本X 的函数,当样本取不同的值x时，决策 d(X) 可能不 同，所以损失函数值 L(, d) 也不同，不能判断决策的好坏，
参数估计
第15页
2)先验分布 利用先验信息的前提
（1）参数是随机的，但有一定的分布规律 （2）参数是某一常数，但无法知道
目标：充分利用参数的先验信息对未知参数作出更 准确的估计。
贝叶斯方法就是把未知参数视为具有已知分布的随 机变量，将先验信息数字化并利用的一种方法，
一般先验分布记为( )
11/5/2020
R( , d *) R( , d ), , d, d * D
则称d*(X)为一致最小风险决策函数，或一致 最优决策函数
11/5/2020
参数估计
第8页
例1:设总体X ~ N (,1), (,), 估计未知参数,
解 : 选取损失函数为 : L(, d ) (d )2 则对的任一估计d ( X ), 风险函数为
式的分布作为先验分布，就是共轭分布
2. 当参数 存在适当的统计量时，设X 的分 布密度为 p(x| ), T(X)是 的充分统计量,
n
p(xi | ) g(T ; )h(x1, x2,, xn )[因子分解]
i 1
再由定理3.1，求得共轭先验分布族
11/5/2020
参数估计
第25页
定理3.1设f( )为任一固定的函数,满足
f (x1, x2 , …, xn, ) = q(x1, x2 , …, xn )( )，
简记为 f (x, ) = q(x )( )
这个联合分布把总体信息、样本信息和先验信 息三种可用信息都综合进去了；
11/5/2020
参数估计
第18页
➢ 在有了样本观察值 x1, x2 , …, xn 之后，则应依据
第12页
（1）总体信息:总体分布提供的信息。
（2）样本信息:抽取样本所得观测值提供的信息。
（3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。
（3）凸损失函数 L( , d) ( )W (| d |) （4）多元二次损失函数 L( , d ) (d )T A(d )
11/5/2020
参数估计
第4页
二、统计决策函数及风险函数
1 统计决策函数
定义3.1 ：定义在样本空间上X，取值于决策空 间A 内的函数d(x)，称为统计决策函数，简称 决策函数
态分布N(, 2); 在均值已知时，正态方差 2的共轭先验分布是倒
伽玛分布IΓ(,)。
11/5/2020
参数估计
第27页
5）贝叶斯风险 定义：风险函数
R( , d ) E(L( , d ( X )) xL( , d (x))q(x | )dx
exp[
1
2
2
n
( xi )2 ]
i 1
(
2)
( )
1
(
2
) 1
exp[
2
](为倒分布）
11/5/2020
参数估计
第23页
例9 X1, X2 , …, Xn来自二项分布B(N , )的一个样 本，求的共轭先验分布
( X1, X 2 ,, X n )T 的似然函数为
n
q(x | )
C
则称F *为样本的概率分布族
11/5/2020
参数估计
第2页
2 决策空间（判决空间）
对于任何参数估计，每一个具体的估计值，就是一 个回答，称为一个决策，一个统计问题中可能选取的全 部决策组成的集合称为决策空间，一个决策空间至少应 有两个决策。
3 损失函数
统计决策的一个基本假定是，每采取一个决策，必 然有一定的后果，统计决策是将不同决策以数量的形式 表示出来
n
若取d ( X ) X1,则R(, d ) DX1
显然,当n 1时,风险不同
11/5/2020
参数估计
第10页
问题总结
1 风险函数是二元函数，极值往往不存在或不唯 一
2 在某个区间内的逐点比较不现实（麻烦） 3 对应不同参数的，同一决策函数，风险值不相
等
4 由统计规律的特性决定不能点点比较 5 必须由一个整体指标来代替点点比较
11/5/2020
参数估计
第6页
优良性准则
定义3.3 设d1, d2 是统计问题中的两个决策函数， 若其风险函数满足不等式
R( , d1) R( , d2 ),
则称决策函数d1 优于d2
若R(
,
d1 )
R(
,
d2
),
,
则称d1,
d
等价
2
11/5/2020
参数估计
第7页
定义3.4 设D={d(X)}是一切定义在样本空间X 上，取值于决策空间A 上的决策函数全体， 若存在一个决策函数d*(X)，使对任意一个d(X) 都有
h( | x) f (x; ) q(x | ) ( )
m(x) q(x | ) ( )d
11/5/2020
参数估计
第19页
这个条件分布称为 的后验分布，它集中了总 体、样本和先验中有关 的一切信息。
后验分布h( x1, x2 , …, xn )的计算公式就是 用密度函数表示的贝叶斯公式。它是用总体和样
若取d ( X ) X1,则R(, d ) DX1 1
显然,当n 1时, 后者的风险比前者大, X优于X1
11/5/2020
参数估计
第9页
例2 设总体X ~ P(x;), 估计未知参数,
选取损失函数为 : L(, d ) (d )2 则对的任一估计d ( X ),风险函数为
R(, d ) E [L(, d )] E (d )2 若要求d ( X )是无偏估计,即E (d ( X )) , 则风险函数为 : R(, d ) E (d Ed )2 D (d ( X )) 若取d ( X ) X ,则R(, d ) D X
f (x, )对 作出推断。由于 f (x, ) =h( x1,x2 ,…,xn )m(x1,x2 ,…,xn)，
其中m(x1,x2 ,…,xn) 是x1, x2 , …, xn 的边际概率函
数，它与 无关。因此能用来对 作出推断的仅 是条件分布h( x1, x2 , …, xn)，它的计算公式是
参数估计
第16页
3)贝叶斯公式的密度函数形式(后验分布）
➢ 设总体X 的分布密度函数P (x ; )在贝叶斯统计中 记为P (x | )，它表示在随机变量θ取某个给定值 时总体的条件概率密度函数； P (x ; )= P (x | )
➢ 根据参数 的先验信息确定先验分布( )；
➢ 样本 x1, x2 , …, xn 的联合条件分布密度函数为
11/5/2020
参数估计
第13页
基于上述三种信息进行统计推断的统计学称为 贝叶斯统计学。它与经典统计学的差别就在于 是否利用先验信息。贝叶斯统计在重视使用总 体信息和样本信息的同时，还注意先验信息的 收集、挖掘和加工，使它数量化，形成先验分 布，参加到统计推断中来，以提高统计推断的 质量。忽视先验信息的利用，有时是一种浪费， 有时还会导出不合理的结论。
11/5/2020
参数估计
第14页
贝叶斯学派的基本观点：任一未知量 都可看作
随机变量，可用一个概率分布去描述，这个分 布称为先验分布；在获得样本之后，总体分布、 样本与先验分布通过贝叶斯公式结合起来得到
一个关于未知量 新的分布—后验分布；任何 关于 的统计推断都应该基于 的后验分布进行。
11/5/2020
R(, d ) E [L(, d )] E (d )2 若要求d ( X )是无偏估计,即E (d ( X )) ,
则风险函数为 : R(, d ) E (d Ed )2 D (d ( X ))
即风险函数为估计量d ( X )的方差, 若取d ( X ) X ,则R(, d ) D X 1
引入一个依赖参数 ,和决策d的二元函数
L( , d ) 0, 称为损失函数
11/5/2020
参数估计
第3页
常见的损失函数有以下几种
（1）线性损失函数
L(
,
d
)
kk10((d
d ), d
), d
绝对损失函数 L( , d ) | d | （2）平方损失函数 L( , d ) ( d )2
n
q(x | ) p(xi | ) i 1
➢ 这个分布综合了总体信息和样本信息；
11/5/2020
参数估计
第17页
➢ 0 是未知的，它是按先验分布( )产生的。为 把先验信息综合进去，不能只考虑0，对的
其它值发生的可能性也要加以考虑，故要用
( )进行综合。这样一来，样本x1 , …, xn和参 数 的联合分布为:
参数估计
第1页
1、统计决策
一、统计决策的三个要素 1 样本空间和分布族
设总体X的分布函数为 F (x; ) ,是未知参数，若设X1 , …, Xn 是来自总体X的一个样本，则样本所有可能值组成的集合称
为样本空间，记为X
n
联合分布函数F (x; ) F (xi ; ), i 1 n
记F * { F (xi ; ), }, i 1
一般从总体上来评价、比较决策函数，取平均损失，就是 风险函数
定义3.2 设样本空间，分布族分别为X，F*，决策空间为A，
损失函数为 L(, d), d(X)为决策函数,
R( , d ) E [L( , d ( X ))]
为决策函数d(X)的风险函数， R(, d),表示采取决策d(X)所 蒙受的平均损失（ L(, d)的数学期望）
11/5/2020
参数估计
第22页
例8 X1, X2 , …, Xn来自正态分布N( ,2)的一个样本， 其中 已知，求方差2的共轭先验分布
( X1, X 2 ,, X n )T 的似然函数为
q(x | 2 ) (
1
exp[ 1
2 )n
2 2
n
( xi )2 ]
i 1
(
1
2
)n/
2
(1) f ( ) 0,
(2) 0 gn (t | ) f ( )d
则
D f
gn (t | ) f ( ) ; n 1,2 gn (t | ) f ( )d
是共轭分布族
n
（其中 p(xi | ) gn (t | )h(x),因子分解定理） i 1
11/5/2020
参数估计
第26页
若后验分布h( x)与( )属于同一个分布族，则 称该分布族是 的共轭先验分布(族)。 二项分布b(n, )中的成功概率 的共轭先验分布
是贝塔分布Be(a,b)；
➢ 泊松分布P( )中的均值 的共轭先验分布是伽玛 分布Γ(,)；
指数分布中均值的倒数的共轭先验分布是伽玛分
布Γ(,)； 在方差已知时，正态均值 的共轭先验分布是正
称F*为关于分布密度 p(x| )的共轭先验分
布族，简称共轭族。
计算共轭先验分布的方法
11/5/2020
参数估计
第21页
当给定样本的分布（似然函数）q (x | ) 和先验分布( )；由贝叶斯公式得
h(x| ) = ( ) q( x )/m(x) 由于m(x)不依赖于, 改写为
h(x| ) ∝( ) q( x ) 上式不是正常的密度函数,是h(x| ) 的主要 部分,称为h(x| ) 的核
xi N
xi
(1
)
N
xi
i 1
n
n
xi
nN xi
i1 (1 ) i1
所以的先验分布为贝塔分布Be( , ),其核为
1(1 ) 1
11/5/2020
参数估计
第24页
计算共轭先验分布的方法
1. h( |x)= ( ) q(x| ) /m(x), m(x)不依赖于 先求出q(x| ),再选取与q(x| )具有相同形
本对先验分布( )作调整的结果，贝叶斯统计的
一切推断都基于后验分布进行。
11/5/2020
参数估计
第20页
4）共轭先验分布
wenku.baidu.com
定义：设总体X 的分布密度为 p(x| ),
F*为 的一个分布族， ( ) 为 的任意
一个先验分布， ( ) ∈ F*,若对样本的任 意观测值x, 的后验分布h( |x)仍在F*内，
11/5/2020
参数估计
第11页
2.贝叶斯估计
1)统计推断的基础
➢ 经典学派的观点：统计推断是根据样本信息对 总体分布或总体的特征数进行推断，这里用到 两种信息：总体信息和样本信息；
➢ 贝叶斯学派的观点：除了上述两种信息以外， 统计推断还应该使用第三种信息：先验信息。
11/5/2020
参数估计
决策函数就是一个行动方案，如果用表达 式处理， d(x)= d(x1,x2,…xn)本质上就是一个统 计量
11/5/2020
参数估计
第5页
2 风险函数
决策函数 d(X)，完全取决于样本，损失函数 L(, d) 也 是样本X 的函数,当样本取不同的值x时，决策 d(X) 可能不 同，所以损失函数值 L(, d) 也不同，不能判断决策的好坏，
参数估计
第15页
2)先验分布 利用先验信息的前提
（1）参数是随机的，但有一定的分布规律 （2）参数是某一常数，但无法知道
目标：充分利用参数的先验信息对未知参数作出更 准确的估计。
贝叶斯方法就是把未知参数视为具有已知分布的随 机变量，将先验信息数字化并利用的一种方法，
一般先验分布记为( )
11/5/2020
R( , d *) R( , d ), , d, d * D
则称d*(X)为一致最小风险决策函数，或一致 最优决策函数
11/5/2020
参数估计
第8页
例1:设总体X ~ N (,1), (,), 估计未知参数,
解 : 选取损失函数为 : L(, d ) (d )2 则对的任一估计d ( X ), 风险函数为
式的分布作为先验分布，就是共轭分布
2. 当参数 存在适当的统计量时，设X 的分 布密度为 p(x| ), T(X)是 的充分统计量,
n
p(xi | ) g(T ; )h(x1, x2,, xn )[因子分解]
i 1
再由定理3.1，求得共轭先验分布族
11/5/2020
参数估计
第25页
定理3.1设f( )为任一固定的函数,满足
f (x1, x2 , …, xn, ) = q(x1, x2 , …, xn )( )，
简记为 f (x, ) = q(x )( )
这个联合分布把总体信息、样本信息和先验信 息三种可用信息都综合进去了；
11/5/2020
参数估计
第18页
➢ 在有了样本观察值 x1, x2 , …, xn 之后，则应依据
第12页
（1）总体信息:总体分布提供的信息。
（2）样本信息:抽取样本所得观测值提供的信息。
（3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。
（3）凸损失函数 L( , d) ( )W (| d |) （4）多元二次损失函数 L( , d ) (d )T A(d )
11/5/2020
参数估计
第4页
二、统计决策函数及风险函数
1 统计决策函数
定义3.1 ：定义在样本空间上X，取值于决策空 间A 内的函数d(x)，称为统计决策函数，简称 决策函数
态分布N(, 2); 在均值已知时，正态方差 2的共轭先验分布是倒
伽玛分布IΓ(,)。
11/5/2020
参数估计
第27页
5）贝叶斯风险 定义：风险函数
R( , d ) E(L( , d ( X )) xL( , d (x))q(x | )dx
exp[
1
2
2
n
( xi )2 ]
i 1
(
2)
( )
1
(
2
) 1
exp[
2
](为倒分布）
11/5/2020
参数估计
第23页
例9 X1, X2 , …, Xn来自二项分布B(N , )的一个样 本，求的共轭先验分布
( X1, X 2 ,, X n )T 的似然函数为
n
q(x | )
C
则称F *为样本的概率分布族
11/5/2020
参数估计
第2页
2 决策空间（判决空间）
对于任何参数估计，每一个具体的估计值，就是一 个回答，称为一个决策，一个统计问题中可能选取的全 部决策组成的集合称为决策空间，一个决策空间至少应 有两个决策。
3 损失函数
统计决策的一个基本假定是，每采取一个决策，必 然有一定的后果，统计决策是将不同决策以数量的形式 表示出来
n
若取d ( X ) X1,则R(, d ) DX1
显然,当n 1时,风险不同
11/5/2020
参数估计
第10页
问题总结
1 风险函数是二元函数，极值往往不存在或不唯 一
2 在某个区间内的逐点比较不现实（麻烦） 3 对应不同参数的，同一决策函数，风险值不相
等
4 由统计规律的特性决定不能点点比较 5 必须由一个整体指标来代替点点比较
11/5/2020
参数估计
第6页
优良性准则
定义3.3 设d1, d2 是统计问题中的两个决策函数， 若其风险函数满足不等式
R( , d1) R( , d2 ),
则称决策函数d1 优于d2
若R(
,
d1 )
R(
,
d2
),
,
则称d1,
d
等价
2
11/5/2020
参数估计
第7页
定义3.4 设D={d(X)}是一切定义在样本空间X 上，取值于决策空间A 上的决策函数全体， 若存在一个决策函数d*(X)，使对任意一个d(X) 都有
h( | x) f (x; ) q(x | ) ( )
m(x) q(x | ) ( )d
11/5/2020
参数估计
第19页
这个条件分布称为 的后验分布，它集中了总 体、样本和先验中有关 的一切信息。
后验分布h( x1, x2 , …, xn )的计算公式就是 用密度函数表示的贝叶斯公式。它是用总体和样