统计决策概论.pptx
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
简记为 f (x, ) = q(x )( )
这个联合分布把总体信息、样本信息和先验信 息三种可用信息都综合进去了；
8/5/2020
参数估计
第18页
➢ 在有了样本观察值 x1, x2 , …, xn 之后，则应依据
f (x, )对 作出推断。由于
f (x, ) =h( x1,x2 ,…,xn )m(x1,x2 ,…,xn)，
3 损失函数
统计决策的一个基本假定是，每采取一个决策，必 然有一定的后果，统计决策是将不同决策以数量的形式 表示出来
8/5/2020
参数估计 常见的损失函数有以下几种
第3页
（1）线性损失函数
绝对损失函数
（2）平方损失函数 L( , d ) ( d )2
（3）凸损失函数 L( , d) ( )W (| d |) （4）多元二次损失函数 L( , d ) (d )T A(d )
参数估计
第16页
3)贝叶斯公式的密度函数形式(后验分布）
➢ 设总体X 的分布密度函数P (x ; )在贝叶斯统计中 记为P (x | )，它表示在随机变量θ取某个给定值 时总体的条件概率密度函数； P (x ; )= P (x | )
➢ 根据参数 的先验信息确定先验分布( )；
➢ 样本 x1, x2 , …, xn 的联合条件分布密度函数为
（1）总体信息:总体分布提供的信息。
（2）样本信息:抽取样本所得观测值提供的信息。
（3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。
8/5/2020
参数估计
第14页
贝叶斯学派的基本观点：任一未知量 都可看作
随机变量，可用一个概率分布去描述，这个分 布称为先验分布；在获得样本之后，总体分布、 样本与先验分布通过贝叶斯公式结合起来得到
一个关于未知量 新的分布—后验分布；任何 关于 的统计推断都应该基于 的后验分布进行。
8/5/2020
则称决策函数d1 优于d2
若R(
,
d1 )
R(
,
d2
),
,
则称d1,
d
等价
2
8/5/2020
参数估计
第7页
定义3.4 设D={d(X)}是一切定义在样本空间X 上，取值于决策空间A 上的决策函数全体， 若存在一个决策函数d*(X)，使对任意一个d(X) 都有
则称d*(X)为一致最小风险决策函数，或一致 最优决策函数
➢ 这个分布综合了总体信息和样本信息；
8/5/2020
参数估计
第17页
➢ 0 是未知的，它是按先验分布( )产生的。为 把先验信息综合进去，不能只考虑0，对的
其它值发生的可能性也要加以考虑，故要用
( )进行综合。这样一来，样本x1 , …, xn和参 数 的联合分布为:
f (x1, x2 , …, xn, ) = q(x1, x2 , …, xn )( )，
8/5/2020
参数估计
第4页
二、统计决策函数及风险函数
1 统计决策函数
定义3.1 ：定义在样本空间上X，取值于决策空 间A 内的函数d(x)，称为统计决策函数，简称 决策函数
决策函数就是一个行动方案，如果用表达 式处理， d(x)= d(x1,x2,…xn)本质上就是一个统 计量
8/5/2020
8/5/2020
参数估计
第11页
2.贝叶斯估计
1)统计推断的基础
➢ 经典学派的观点：统计推断是根据样本信息对 总体分布或总体的特征数进行推断，这里用到 两种信息：总体信息和样本信息；
➢ 贝叶斯学派的观点：除了上述两种信息以外， 统计推断还应该使用第三种信息：先验信息。
8/5/2020
参数估计
第12页
参数估计
第5页
2 风险函数
决策函数 d(X)，完全取决于样本，损失函数 L(, d) 也 是样本X 的函数,当样本取不同的值x时，决策 d(X) 可能不 同，所以损失函数值 L(, d) 也不同，不能判断决策的好坏，
一般从总体上来评价、比较决策函数，取平均损失，就是 风险函数
定义3.2 设样本空间，分布族分别为X，F*，决策空间为A，
8/5/2020
参数估计
8/5/2020
第8页
参数估计
8/5/2020
第9页
参数估计
第10页
问题总结
1 风险函数是二元函数，极值往往不存在或不唯 一
2 在某个区间内的逐点比较不现实（麻烦） 3 对应不同参数的，同一决策函数，风险值不相
等
4 由统计规律的特性决定不能点点比较 5 必须由一个整体指标来代替点点比较
8/5/2020
参数估计
第13页
基于上述三种信息进行统计推断的统计学称为 贝叶斯统计学。它与经典统计学的差别就在于 是否利用先验信息。贝叶斯统计在重视使用总 体信息和样本信息的同时，还注意先验信息的 收集、挖掘和加工，使它数量化，形成先验分 布，参加到统计推断中来，以提高统计推断的 质量。忽视先验信息的利用，有时是一种浪费， 有时还会导出不合理的结论。
参数估计
第15页
2)先验分布 利用先验信息的前提
（1）参数是随机的，但有一定的分布规律 （2）参数是某一常数，但无法知道
目标：充分利用参数的先验信息对未知参数作出更 准确的估计。
贝叶斯方法就是把未知参数视为具有已知分布的随 机变量，将先验信息数字化并利用的一种方法，
一般先验分布记为( )
8/5/2020
损失函数为 L(, d), d(X)为决策函数,
为决策函数d(X)的风险函数， R(, d),表示采取决策d(X)所 蒙受的平均损失（ L(, d)的数学期望）
8/5/2020
参数估计
第6页
优良性准则
定义3.3 设d1, d2 是统计问题中的两个决策函数， 若其风险函数满足不等式
R( , d1) R( , d2 ),
参数估计
第1页
1、统计决策
一、统计决策的三个要素 1 样本空间和分布族
设总体X的分布函数为 F (x; ) ,是未知参数，若设X1 , …, Xn 是来自总体X的一个样本，则样本所有可能值组成的集合称
为样本空间，记为X
8/5/2020
参数估计
第2页
பைடு நூலகம்
2 决策空间（判决空间）
对于任何参数估计，每一个具体的估计值，就是一 个回答，称为一个决策，一个统计问题中可能选取的全 部决策组成的集合称为决策空间，一个决策空间至少应 有两个决策。
这个联合分布把总体信息、样本信息和先验信 息三种可用信息都综合进去了；
8/5/2020
参数估计
第18页
➢ 在有了样本观察值 x1, x2 , …, xn 之后，则应依据
f (x, )对 作出推断。由于
f (x, ) =h( x1,x2 ,…,xn )m(x1,x2 ,…,xn)，
3 损失函数
统计决策的一个基本假定是，每采取一个决策，必 然有一定的后果，统计决策是将不同决策以数量的形式 表示出来
8/5/2020
参数估计 常见的损失函数有以下几种
第3页
（1）线性损失函数
绝对损失函数
（2）平方损失函数 L( , d ) ( d )2
（3）凸损失函数 L( , d) ( )W (| d |) （4）多元二次损失函数 L( , d ) (d )T A(d )
参数估计
第16页
3)贝叶斯公式的密度函数形式(后验分布）
➢ 设总体X 的分布密度函数P (x ; )在贝叶斯统计中 记为P (x | )，它表示在随机变量θ取某个给定值 时总体的条件概率密度函数； P (x ; )= P (x | )
➢ 根据参数 的先验信息确定先验分布( )；
➢ 样本 x1, x2 , …, xn 的联合条件分布密度函数为
（1）总体信息:总体分布提供的信息。
（2）样本信息:抽取样本所得观测值提供的信息。
（3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。
8/5/2020
参数估计
第14页
贝叶斯学派的基本观点：任一未知量 都可看作
随机变量，可用一个概率分布去描述，这个分 布称为先验分布；在获得样本之后，总体分布、 样本与先验分布通过贝叶斯公式结合起来得到
一个关于未知量 新的分布—后验分布；任何 关于 的统计推断都应该基于 的后验分布进行。
8/5/2020
则称决策函数d1 优于d2
若R(
,
d1 )
R(
,
d2
),
,
则称d1,
d
等价
2
8/5/2020
参数估计
第7页
定义3.4 设D={d(X)}是一切定义在样本空间X 上，取值于决策空间A 上的决策函数全体， 若存在一个决策函数d*(X)，使对任意一个d(X) 都有
则称d*(X)为一致最小风险决策函数，或一致 最优决策函数
➢ 这个分布综合了总体信息和样本信息；
8/5/2020
参数估计
第17页
➢ 0 是未知的，它是按先验分布( )产生的。为 把先验信息综合进去，不能只考虑0，对的
其它值发生的可能性也要加以考虑，故要用
( )进行综合。这样一来，样本x1 , …, xn和参 数 的联合分布为:
f (x1, x2 , …, xn, ) = q(x1, x2 , …, xn )( )，
8/5/2020
参数估计
第4页
二、统计决策函数及风险函数
1 统计决策函数
定义3.1 ：定义在样本空间上X，取值于决策空 间A 内的函数d(x)，称为统计决策函数，简称 决策函数
决策函数就是一个行动方案，如果用表达 式处理， d(x)= d(x1,x2,…xn)本质上就是一个统 计量
8/5/2020
8/5/2020
参数估计
第11页
2.贝叶斯估计
1)统计推断的基础
➢ 经典学派的观点：统计推断是根据样本信息对 总体分布或总体的特征数进行推断，这里用到 两种信息：总体信息和样本信息；
➢ 贝叶斯学派的观点：除了上述两种信息以外， 统计推断还应该使用第三种信息：先验信息。
8/5/2020
参数估计
第12页
参数估计
第5页
2 风险函数
决策函数 d(X)，完全取决于样本，损失函数 L(, d) 也 是样本X 的函数,当样本取不同的值x时，决策 d(X) 可能不 同，所以损失函数值 L(, d) 也不同，不能判断决策的好坏，
一般从总体上来评价、比较决策函数，取平均损失，就是 风险函数
定义3.2 设样本空间，分布族分别为X，F*，决策空间为A，
8/5/2020
参数估计
8/5/2020
第8页
参数估计
8/5/2020
第9页
参数估计
第10页
问题总结
1 风险函数是二元函数，极值往往不存在或不唯 一
2 在某个区间内的逐点比较不现实（麻烦） 3 对应不同参数的，同一决策函数，风险值不相
等
4 由统计规律的特性决定不能点点比较 5 必须由一个整体指标来代替点点比较
8/5/2020
参数估计
第13页
基于上述三种信息进行统计推断的统计学称为 贝叶斯统计学。它与经典统计学的差别就在于 是否利用先验信息。贝叶斯统计在重视使用总 体信息和样本信息的同时，还注意先验信息的 收集、挖掘和加工，使它数量化，形成先验分 布，参加到统计推断中来，以提高统计推断的 质量。忽视先验信息的利用，有时是一种浪费， 有时还会导出不合理的结论。
参数估计
第15页
2)先验分布 利用先验信息的前提
（1）参数是随机的，但有一定的分布规律 （2）参数是某一常数，但无法知道
目标：充分利用参数的先验信息对未知参数作出更 准确的估计。
贝叶斯方法就是把未知参数视为具有已知分布的随 机变量，将先验信息数字化并利用的一种方法，
一般先验分布记为( )
8/5/2020
损失函数为 L(, d), d(X)为决策函数,
为决策函数d(X)的风险函数， R(, d),表示采取决策d(X)所 蒙受的平均损失（ L(, d)的数学期望）
8/5/2020
参数估计
第6页
优良性准则
定义3.3 设d1, d2 是统计问题中的两个决策函数， 若其风险函数满足不等式
R( , d1) R( , d2 ),
参数估计
第1页
1、统计决策
一、统计决策的三个要素 1 样本空间和分布族
设总体X的分布函数为 F (x; ) ,是未知参数，若设X1 , …, Xn 是来自总体X的一个样本，则样本所有可能值组成的集合称
为样本空间，记为X
8/5/2020
参数估计
第2页
பைடு நூலகம்
2 决策空间（判决空间）
对于任何参数估计，每一个具体的估计值，就是一 个回答，称为一个决策，一个统计问题中可能选取的全 部决策组成的集合称为决策空间，一个决策空间至少应 有两个决策。