统计决策与贝叶斯推断
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
? (? ) p(x ? ) ? (? x) ?
?? (? ) p(x ? )d?
?
称? (? x)为? 的后验分布。
?先验风险准则与后验风险准则
定义1： 在给定的统计决策问题中，设 R(? , d) 为决策 函数d(?) 的风险函数，? (? )为? 的先验分布，则平均风 险
B(d) E? [R(? , d)] ? ?R(? ,d)? (? )d? ?
1、一致最优决策准则
定义 设D ? {d(?)}表示定义在样本空间 H 上取值于行
动空间 A 的某一决策函数类，若存在一个决
策函数 d*(?)? D ，使得对任意 d(?)? D ，都有
R(?,d*) ? R(?,d), ? ? ??
则称 d*(?)为决策函数类 D 的一致最小风险决 策函数，或称为一致最优决策函数。
状态集
行动集 行动空间
决策问题的 三个基本要素
损失函数
依统计决策论的观点，对决策有用的信息
先验信息
样本信息
无数据
贝叶斯
（无样本信息） 决策问题 统计决策问题 决策问题
决策问题的分类
一、基本概念
1、损失函数
描述当未知量处于状态 ? 而采取行动 a 时所引 起的损失，记为 L(? , a)
线性损失函数
统计学中有两个主要学派：经典（频率）学派
与贝叶斯学派。经典学派认为? 是未知参数；贝叶 斯学派认为? 是随机变量，应该用一个概率分布去 描述? 的未知状况。这个概率分布在抽样之前就已
存在，它是关于? 的先验信息的概率陈述。这个概 率分布就称为先验分布，用? (? ) 来表示。
? 贝叶斯公式与后验分布
0 ? 1损失函数：
L(? , a) ?
?? 0, ?
??1,
其中 ? ? 0
??a ?? ??a ??
一、基本概念
2、决策函数
由样本空间 ? 到行动空间 ? 的可测映射 d ( x ) 称
为决策函数。
3、风险函数
设 d (?)是一个决策函数，则损失函数 L(? , d( X )) 关于样本分布 F ( x / ? ) 的数学期望
(1) 如果收藏家有以下三种决策可供选择： d1 ：以概率0.5买下这幅画； d2 ：请一位鉴赏家进行鉴定（已知该鉴赏家以概率0.95
识别一幅真画，以概率0.7识别一幅假画），如果鉴赏家 鉴定为真品就买下这幅画；
d3 ：肯定不买 那么，什么是这位收藏家的最小最大决策？
（2）如果根据卖画者以往的资料得知，?1 发生的概率为 0.75， ? 2 发生的概率为0.25，那么这位收藏家是否应 买下这幅画呢？
2、最小最大（ Minimax ）决策准则
定义 对于一个统计决策问题，设 D ? {d(?)}表示定义
在样本空间 H 上取值于行动空间 A 的某一决策
函数类。若有决策函数 *(?)? D ，使得
supR(? , d*) ? inf{supR(? , d)}
? ??
d? D ? ??
则称 d*为该统计决策问题的最小最大决策函数， 相应的风险称为最小最大风险。
称为决策 d(?)的贝叶斯风险。若在决策函数类 D 中存 在 d*(?)，使得 B(d*) ? inf B(d)
d? D
则称 d* 为决策函数类 D 在贝叶斯（先验）风险准则 下的最优决策函数，简称贝叶斯决策函数或贝叶斯 解。
定义2： 在给定的统计决策问题中，设 L(? ,d(X ))为决
策函数 d(X)的损失函数，? (? x)为? 的后验分布，则条 件期望风险
例6.1 一位收藏家拟收购一幅名画，这幅画标价为 5000元。若这幅画是真品，则值10000元；若是赝品， 则一文不值。此外，买下一幅假画或者没有买下一幅 真画都会损害这位收藏家的名誉，其收益情况如下表
采取的行动 画的状态
真品
赝品
买 +5000 -6000
不买 -3000 0
现在，这位收藏家需要决定是买还是不买这幅画？
6.1 统计决策
统计学家瓦尔德 (A.Wald) 把关于假设检验 和参数估计的经典统计理论加以概括，将不确 定意义下的决策科学也包括在统计学范围之内， 于1939 年创立了统计决策理论，该理论弥补了 过去统计理论的缺陷。
统计决策的显著特点是： ? 统计决策建立在统计分析和统计预测的基础 上，是一种 定量决策 。 ? 统计决策是在不确定情况下，应用概率来进 行决策的计算和分析，是一种 概率决策 。
R(d x)
E?
[
x
L(?, d(x))]
? ?L(? ,d(x))? (? x)d? ?
称为决策函数 d(?)的贝叶斯后验风险。若在决策函数 类 D 中存在 d*(?) ，使得
R(d* x) ? infR(d x), x? H
d? D
则称 d*为决策函数类 D 在贝叶斯后验风险准则下的 最优决策函数，或称其为贝叶斯后验型决策函数。
?
),
a
?? ??
平方损失函数： L(? , a) ?（? ? a）2
加权平方损失函数： L(? , a) ? ? (?（) ? ? a）2
凸损失函数： L(? , a) ? ? (? )C( ? ? a )
? (? ) ? 0且有限， C (?)是定义在 x ? 0上的单调非降
凸函数且 C (0) ? 0.
3、贝叶斯决策准则
? 先验信息与先验分布
无论是在统计决策问题还是在统计推断问题中
总会包含未知量? 。为了对? 作统计决策或者作 统计推断，样本信息是必不可少的，因为它包含?
的最新信息。除此之外，一些非样本信息也可用于 统计决策和统计推断。这些非样本信息主要来源于 经验或历史资料。由于此类经验或历史资料大多存 在于（获取样本的）试验之前，故称这些非样本信 息为先验信息。
R(? , d ) ? E x|? [ L(? , d ( X ))]
? ?X L(? , d( X ))dF ( x /? )
称为决策函数 d (?) 的风险函数。
风险函数 R(? , d ) 描述在未知量处于状态 ?
而采取决策 d 时所蒙受的平均损失。 平均损失愈小，决策函数愈好。
二、常用的决策准则
L(?
,
a)
?
? K 0 (?
? ?
K
1
(a
? a), a
? ? ), a
? ?
? ?
常数 K
和
0
K
的选取反映行动
1
a低于状态
?和高
于状态 ?的相对重要性。
绝对损失函数： L(? , a) ? ? ? a
加权线性损失函数： L(? ,
a)
?
? K（0 ?）(? ? a), a
? ?
K（1 ?）(a
?
?? (? ) p(x ? )d?
?
称? (? x)为? 的后验分布。
?先验风险准则与后验风险准则
定义1： 在给定的统计决策问题中，设 R(? , d) 为决策 函数d(?) 的风险函数，? (? )为? 的先验分布，则平均风 险
B(d) E? [R(? , d)] ? ?R(? ,d)? (? )d? ?
1、一致最优决策准则
定义 设D ? {d(?)}表示定义在样本空间 H 上取值于行
动空间 A 的某一决策函数类，若存在一个决
策函数 d*(?)? D ，使得对任意 d(?)? D ，都有
R(?,d*) ? R(?,d), ? ? ??
则称 d*(?)为决策函数类 D 的一致最小风险决 策函数，或称为一致最优决策函数。
状态集
行动集 行动空间
决策问题的 三个基本要素
损失函数
依统计决策论的观点，对决策有用的信息
先验信息
样本信息
无数据
贝叶斯
（无样本信息） 决策问题 统计决策问题 决策问题
决策问题的分类
一、基本概念
1、损失函数
描述当未知量处于状态 ? 而采取行动 a 时所引 起的损失，记为 L(? , a)
线性损失函数
统计学中有两个主要学派：经典（频率）学派
与贝叶斯学派。经典学派认为? 是未知参数；贝叶 斯学派认为? 是随机变量，应该用一个概率分布去 描述? 的未知状况。这个概率分布在抽样之前就已
存在，它是关于? 的先验信息的概率陈述。这个概 率分布就称为先验分布，用? (? ) 来表示。
? 贝叶斯公式与后验分布
0 ? 1损失函数：
L(? , a) ?
?? 0, ?
??1,
其中 ? ? 0
??a ?? ??a ??
一、基本概念
2、决策函数
由样本空间 ? 到行动空间 ? 的可测映射 d ( x ) 称
为决策函数。
3、风险函数
设 d (?)是一个决策函数，则损失函数 L(? , d( X )) 关于样本分布 F ( x / ? ) 的数学期望
(1) 如果收藏家有以下三种决策可供选择： d1 ：以概率0.5买下这幅画； d2 ：请一位鉴赏家进行鉴定（已知该鉴赏家以概率0.95
识别一幅真画，以概率0.7识别一幅假画），如果鉴赏家 鉴定为真品就买下这幅画；
d3 ：肯定不买 那么，什么是这位收藏家的最小最大决策？
（2）如果根据卖画者以往的资料得知，?1 发生的概率为 0.75， ? 2 发生的概率为0.25，那么这位收藏家是否应 买下这幅画呢？
2、最小最大（ Minimax ）决策准则
定义 对于一个统计决策问题，设 D ? {d(?)}表示定义
在样本空间 H 上取值于行动空间 A 的某一决策
函数类。若有决策函数 *(?)? D ，使得
supR(? , d*) ? inf{supR(? , d)}
? ??
d? D ? ??
则称 d*为该统计决策问题的最小最大决策函数， 相应的风险称为最小最大风险。
称为决策 d(?)的贝叶斯风险。若在决策函数类 D 中存 在 d*(?)，使得 B(d*) ? inf B(d)
d? D
则称 d* 为决策函数类 D 在贝叶斯（先验）风险准则 下的最优决策函数，简称贝叶斯决策函数或贝叶斯 解。
定义2： 在给定的统计决策问题中，设 L(? ,d(X ))为决
策函数 d(X)的损失函数，? (? x)为? 的后验分布，则条 件期望风险
例6.1 一位收藏家拟收购一幅名画，这幅画标价为 5000元。若这幅画是真品，则值10000元；若是赝品， 则一文不值。此外，买下一幅假画或者没有买下一幅 真画都会损害这位收藏家的名誉，其收益情况如下表
采取的行动 画的状态
真品
赝品
买 +5000 -6000
不买 -3000 0
现在，这位收藏家需要决定是买还是不买这幅画？
6.1 统计决策
统计学家瓦尔德 (A.Wald) 把关于假设检验 和参数估计的经典统计理论加以概括，将不确 定意义下的决策科学也包括在统计学范围之内， 于1939 年创立了统计决策理论，该理论弥补了 过去统计理论的缺陷。
统计决策的显著特点是： ? 统计决策建立在统计分析和统计预测的基础 上，是一种 定量决策 。 ? 统计决策是在不确定情况下，应用概率来进 行决策的计算和分析，是一种 概率决策 。
R(d x)
E?
[
x
L(?, d(x))]
? ?L(? ,d(x))? (? x)d? ?
称为决策函数 d(?)的贝叶斯后验风险。若在决策函数 类 D 中存在 d*(?) ，使得
R(d* x) ? infR(d x), x? H
d? D
则称 d*为决策函数类 D 在贝叶斯后验风险准则下的 最优决策函数，或称其为贝叶斯后验型决策函数。
?
),
a
?? ??
平方损失函数： L(? , a) ?（? ? a）2
加权平方损失函数： L(? , a) ? ? (?（) ? ? a）2
凸损失函数： L(? , a) ? ? (? )C( ? ? a )
? (? ) ? 0且有限， C (?)是定义在 x ? 0上的单调非降
凸函数且 C (0) ? 0.
3、贝叶斯决策准则
? 先验信息与先验分布
无论是在统计决策问题还是在统计推断问题中
总会包含未知量? 。为了对? 作统计决策或者作 统计推断，样本信息是必不可少的，因为它包含?
的最新信息。除此之外，一些非样本信息也可用于 统计决策和统计推断。这些非样本信息主要来源于 经验或历史资料。由于此类经验或历史资料大多存 在于（获取样本的）试验之前，故称这些非样本信 息为先验信息。
R(? , d ) ? E x|? [ L(? , d ( X ))]
? ?X L(? , d( X ))dF ( x /? )
称为决策函数 d (?) 的风险函数。
风险函数 R(? , d ) 描述在未知量处于状态 ?
而采取决策 d 时所蒙受的平均损失。 平均损失愈小，决策函数愈好。
二、常用的决策准则
L(?
,
a)
?
? K 0 (?
? ?
K
1
(a
? a), a
? ? ), a
? ?
? ?
常数 K
和
0
K
的选取反映行动
1
a低于状态
?和高
于状态 ?的相对重要性。
绝对损失函数： L(? , a) ? ? ? a
加权线性损失函数： L(? ,
a)
?
? K（0 ?）(? ? a), a
? ?
K（1 ?）(a
?