决策管理-贝叶斯统计与决策讲座 精品
合集下载
贝叶斯决策理论课件(PPT 88页)
[计算]0.323
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
贝叶斯决策理论课件
R R x | xpxdx
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
决策管理-6统计决策与贝叶斯估计 精品
目标：充分利用参数的先验信息对未知参数作出更 准确的估计。
贝叶斯方法就是把未知参数视为具有已知分布的随 机变量，将先验信息数字化并利用的一种方法，
R( , d*) R( , d), , d, d * D
则称d*(X)为一致最小风险决策函数，或一致 最优决策函数
例1:设总体X ~ N(,1), (,), 估计未知参数 ,
解 : 选取损失函数为 : L(, d ) (d )2 则对的任一估计 d ( X ), 风险函数为
R(, d ) E [L(, d )] E (d )2 若要求d ( X )是无偏估计 ,即E (d ( X )) ,
二、统计决策函数及风险函数
1 统计决策函数
定义3.1 ：定义在样本空间上X，取值于决策空 间A 内的函数d(x)，称为统计决策函数，简称 决策函数
决策函数就是一个行动方案，如果用表达 式处理， d(x)= d(x1,x2,…xn)本质上就是一个统 计量
2 风险函数
决策函数 d(X)，完全取决于样本，损失函数 L(, d) 也 是样本X 的函数,当样本取不同的值x时，决策 d(X) 可能不 同，所以损失函数值 L(, d) 也不同，不能判断决策的好坏，
（3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。
基于上述三种信息进行统计推断的统计学称为 贝叶斯统计学。它与经典统计学的差别就在于 是否利用先验信息。贝叶斯统计在重视使用总 体信息和样本信息的同时，还注意先验信息的 收集、挖掘和加工，使它数量化，形成先验分 布，参加到统计推断中来，以提高统计推断的 质量。忽视先验信息的利用，有时是一种浪费， 有时还会导出不合理的结论。
贝叶斯方法就是把未知参数视为具有已知分布的随 机变量，将先验信息数字化并利用的一种方法，
R( , d*) R( , d), , d, d * D
则称d*(X)为一致最小风险决策函数，或一致 最优决策函数
例1:设总体X ~ N(,1), (,), 估计未知参数 ,
解 : 选取损失函数为 : L(, d ) (d )2 则对的任一估计 d ( X ), 风险函数为
R(, d ) E [L(, d )] E (d )2 若要求d ( X )是无偏估计 ,即E (d ( X )) ,
二、统计决策函数及风险函数
1 统计决策函数
定义3.1 ：定义在样本空间上X，取值于决策空 间A 内的函数d(x)，称为统计决策函数，简称 决策函数
决策函数就是一个行动方案，如果用表达 式处理， d(x)= d(x1,x2,…xn)本质上就是一个统 计量
2 风险函数
决策函数 d(X)，完全取决于样本，损失函数 L(, d) 也 是样本X 的函数,当样本取不同的值x时，决策 d(X) 可能不 同，所以损失函数值 L(, d) 也不同，不能判断决策的好坏，
（3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。
基于上述三种信息进行统计推断的统计学称为 贝叶斯统计学。它与经典统计学的差别就在于 是否利用先验信息。贝叶斯统计在重视使用总 体信息和样本信息的同时，还注意先验信息的 收集、挖掘和加工，使它数量化，形成先验分 布，参加到统计推断中来，以提高统计推断的 质量。忽视先验信息的利用，有时是一种浪费， 有时还会导出不合理的结论。
关于贝叶斯决策理论课件
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
如果我们把作出w1决策的所有观测值区域 称为R1，则在R1区内的每个x值，条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
如果我们把作出w1决策的所有观测值区域 称为R1，则在R1区内的每个x值，条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
决策管理-第5章贝叶斯决策分析 精品
p i
/H
p(H
/i ) p(i )
p(H )
p(H /i ) p(i )
n
p(H / j ) p( j )
j 1
(i 1, 2, , n; p(H ) 0)
§5.1 贝叶斯决策的基本方法
5.1.2 贝叶斯决策的基本方法 补充信息（信息值）
指通过市场调查分析所获取的补充信息， 用已发生的随机事件H表示，称H为信息值。 信息值的可靠程度 用在状态变量θ的条件下，信息值H的条件 分布p(H/θ)表示。
0.1364（万元）
Ea2 / H1 0
aopt (H2)＝ a2 即：市场调查滞销时，最优方案是不生产该 新产品。
是否该进行市场调查？
假定咨询公司收费为0.1万元。不应进行调查 2、预验分析：
通过调查，该企业可获得的收益期望值为：
E2 E(aopt / H1) p H1 E(aopt / H2 ) p H2
贝叶斯决策的基本步骤
1.验前分析 ❖ 依据数据和资料以及经验和判断，去测算和
估计状态变量θ的先验分布p(θ) ；
❖ 计算各可行方案在不同θ下的条件结果值； ❖ 根据某种决策准则评价选择，找出最满意方
情况，拟聘请某咨询公司进行市场调查和分 析，该公司对销售情况预测也有畅销(H1)和 滞销 (H2)两种，对畅销预测的准确率为0.95， 对滞销预测的准确率为0.9：
P(Hi/θj) H1 H2
θ1 0.95 0.05
θ2 0.10 0.90
解：1、验前分析
记方案a1 为生产该新产品，方案a2 为不生产。
❖在咨询公司收费不超过0.0300万元的情况下， 进行市场调查，能使该企业新产品开发决 策取得较好的经济效益；否则，不做市场 调查。
决策管理-模式识别之贝叶斯决策
②变型1（消去相同的分母）
如果
P(i
| x)
max j 1,2
P
(
j
| x),
则
x i
P(i | x)
p(x | i )P(i )
c
p(x | j )P( j )
j 1
如果
p(x | i )P(i )
max j 1,2
p(x | j )P( j ),
①已知决策分类的类别数为c，各类别的状态为：
i , i 1, ..., c
②已知各类别总体的概率分布（各个类别出现 的先验概率和类条件概率密度函数）
P(i ), p(x | i ), i 1, ..., c
Bayes决策理论欲解决的问题
如果在特征空间中观察到某一个（随机） 向量 x = ( x1 , x2 ,…, xd )T
2
p( x | j )P( j
)
0.2
0.2 0.9 0.9 0.4
0.1
0.818
j1
P(2 | x) 1 P(1 | x) 0.182
属于正常细胞，注意：先验概率起主导作用
如果先验概率相等，则属于异常细胞
正确分类与错误分类
• 正确分类：将样本归属到样本本身所属的 类别
红＋黄
绿
只有当 t 取两类后验概率相等的点时，错误率才是最 小的（黄颜色区域变成零）
P(e) P(2 ) 1 p( x | 2 )dx P(1 ) 2 p( x | 1 )dx
P(2 )P2 (e) P(1 )P1 (e)
2.2.2 基于最小风险的Bayes决策
• 错误分类：将样本归属到非样本本身所属
贝叶斯估计课件培训讲学
§1.2贝叶斯公式的密度函数形式
3. 从贝叶斯观点看，样本 x (x1, xn ) 的产生要分两步
进行。首先设想从先验分布 ( ) 产生一个样本 ' ，这一步 是“老天爷”做的，人们是看不到的，故用“设想”二字。
第二步是从总体分布 p(x | ' ) 产生一个样本 x (x1, xn ) ，
对 作出推断的只是条件分布 ( | x)
§1.2贝叶斯公式的密度函数形式
（后验分布 posterior distribution）。它的计算公式是
( | x) h(x, ) p(x | ) ( )
m(x) p(x | ) ( )d
这就是贝叶斯公式的密度函数形式。这个在样本 x 给定 下， 的条件分布被称为 的后验分布。它是集中了总 体、样本和先验等三种信息中有关 的一切信息，而又 排除一切与 无关的信息之后所得到的结果。
最后可得 的后验分布
(|x ) h ( x ,) ( n 2 ) ( x 1 ) 1 ( 1 ) ( n x 1 ) 1 ,0 1 m ( x ) ( x 1 ) ( n x 1 )
这个分布不是别的，就是参数为 x 1的 n x 1 的 贝 塔 分 布 ， 这 个 分 布 记 为 beta(x 1, n x 1) 。
后验分布是三种信息的综合,先验分布反应人们在抽样前 对参数的认识,后验分布反应人们在抽样后对参数的认识
Bayes统计推断原则:对参数 所作任何推断(参数估计,假
设检验等)都必须建立在后验分布基础上.
§1.2贝叶斯公式的密度函数形式
例:为了提高某产品质量,公司经理考虑投资100万改进设 备,下属部门提出两种实施意见: 意见1:改进生产设备后,高质量产品占90% 意见2:改进生产设备后,高质量产品占70% 但经理根据以往两部门建议情况认为.意见1的可信度只 有40%,而意见案2的可信度只有60%,
贝叶斯决策理论与统计判别方法PPT课件
• P(ωi)=P(ωj)时决策面方程
WT(X－X1)＝0
第32页/共55页
W＝μi-μj W＝μi-μj
正态分布概率模型下的最小错误率贝叶斯决策
一维特征
第33页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
二维特征
第34页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
三维特征
第35页/共55页
第14页/共55页
二维向量的协方差矩阵
第15页/共55页
多元正态分布
• 协方差矩阵 • 协方差矩阵并不只对正态分布有用 • 特性: 协方差矩阵是一个对称矩阵 • 特性: 协方差矩是正定的
第16页/共55页
多元正态分布的性质
• (1)参数μ与Σ对分布具有决定性
• 与单变量相似，记作p(X)～N(μ，Σ)
The action of a linear transformation on the feature space will convert an arbitrary normal distribution into another normal distribution.
第20页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
第46页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
• 最小距离分类器与线性分类器
• 两者都是线性分类器 • 最小距离分类器是线性分类器的一个特例 • 最小距离分类器在正态分布情况下，是按超球体分布以及先验概率相
等的前提下，才体现最小错误率的 • 只有在一定条件下，最小距离分类器同时又是最小错误率分类器 • 最小距离分类器的概念是分类器中是最常用的，因为它体现了基于最
• 前者是一个椭圆，而后者则是圆
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
讲座内容
1 贝叶斯统计概述 2 先验分布的确定 3 贝叶斯统计推断 4 贝叶斯决策
1 贝叶斯统计概述
1.1 全概率公式与贝叶斯公式
引例 有三个箱子，分别编号为1, 2, 3。1号箱装有1 个红球4个白球，2号箱装有2红3白球，3号箱装 有3红球. 某人从三箱中任取一箱，从中任意摸 出一球，（1）求取得红球的概率。（2）已知 取出的是红球，求此球来自1号箱的概率。
(1) 解：记 Bi ={ 球取自 i 号箱 }, i=1, 2, 3; A ={取得红球}
A B1 A B2 A B3 A B1A, B2A, B3A 两两互斥
P( A ) P( B1 A ) P( B2 A ) P( B3 A )
P( B1 )P( A B1 ) P( B2 )P( A B2 ) P( B3 )P( A B3 )
P( B )P( A B ) P( B )P( A B )
0.444 0.1
0.444 0.1 0.556 0.5
0.138
1.2 贝叶斯统计
贝叶斯统计学的基础是著名的贝叶斯公式，它 是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后 二年发表的一篇论文《论有关机遇问题的求解》中 提出的。经过二百年的研究与应用，贝叶斯的统计 思想得到很大的发展，目前已形成一个统计学派— 贝叶斯学派。为了纪念他，英国历史最悠久的统计 杂志《Biometrika》在1958年又全文刊登贝叶斯的这 篇论文。
1.2.1 统计推断中可用的三种信息
1.总体信息：总体分布或所属分布族提供给我们的 信息
2.样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息
1.2.2 贝叶斯学派与频率学派之间存在重大差异
1)频率统计学派与贝叶斯学派在进行统计推 断时的依据不同；
2)对概率的概念的理解不同；
STATISTICS PROBABILITY
PROBABILITY & STATISTICS
PROBABILITY
吴志雄PROBABILITY & STATISTICS
STATISTICS
μ
引言
统计学中有二个主要学派：频率学派和 贝叶斯学派。贝叶斯学派的起点是贝叶斯的 两项工作：贝叶斯定理和贝叶斯假设，贝叶 斯定理（或贝叶斯公式）在通常的概率论教 科书中都有叙述，而贝叶斯假设几乎都不提 及。在统计推断的基本理论和方法方面，贝 叶斯学派与频率学派之间存在着重大差异。
P( Bi A )
P( Bi A )
P( A )
P( Bi )P( A Bi )
n
P( Bj )P( A Bj )
j1
称 P( Bi ) 为先验概率，它是由以往的经 验得到的，它是事件 A 的原因。
称 P( Bi A ) 为后验概率，它是得到了信 息 — A 发生，再对导致 A 发生的原因Bi发生 的可能性大小重新加以修正。
后来的学者依据贝叶斯公式的思想发展了 一整套统计推断方法，叫作“贝叶斯统计”。 可见贝叶斯公式的影响 。
例 1.1 用Bayes公式分析伊索寓言《孩子与狼》中 村民对小孩的信赖程度是如何下降的。
解: A ：小孩说谎； B ：小孩可信；
不妨设： P(B)= 0.8； P( A B ) 0.1; P( A B ) 0.5;
2) 对概率的概念的理解不同 • 频率学派坚持概率的频率解释，并在
这个基础上去理解一切统计推断的结论； 与此相反，贝叶斯学派赞成主观概率，概 率是认识主体对事件出现可能性大小的相 信程度，它不依赖事件能否重复；
3) 两个学派统计推断理念之间存在着根本差异
• 统计学奠基人费歇尔把统计学的任务概括为 三个问题：选定模型、确定统计量和决定统计量 的分布。根据费歇尔的观点，信息量包含在样本 中，但样本为数众多，因此须用少数几个统计量 把信息集中起来，而抽样分布则决定了统计量的 全部性质；目前，频率统计学派基本上是按照这 种思路来处理统计推断问题的。
PROBABILITY & STATISTICS
PROBABILITY
PROBABILITY & STATISTICS
贝叶斯统计与决策 STATISTICS
PROBABILITY
PROBABILITY & STATISTICS
-4
-2
0
2
4
PROBABILITY & STATISTICS
STATISTICS
3)两个学派的具体统计推断理念之间存在根 本差异。
1) 统计推断时的依据不同
• 频率统计学派在进行统计推断时，依据两类信息： 总体信息（或模型信息）和样本信息（数据信 息），而贝叶斯学派则除了以上两种信息外，还 利用另外一种信息即先验信息。
在概率论与数理统计中讨论的点估计只使用 前两种信息，没有使用先验信息。假如能把收集 到的先验信息也利用起来，那对我们进行统计推 断是有好处的。只用前两种信息的统计学称为经 典统计学，三种信息都用的统计学称为贝叶斯统 计学。
3
P( Bi )P( A Bi ) i1
11 12 13 8 3 5 3 5 3 3 15
依题意，
P(A|B1)=1/5, P(A|B2)=2/5, P(A|B3)=3/3
将此例中所用公式。
引例 有三个箱子，分别编号为1, 2, 3。1号箱装有1 个红球4个白球，2号箱装有2红3白球，3号箱装 有3红球. 某人从三箱中任取一箱，从中任意摸 出一球，（1）求取得红球的概率。（2）已知取 出的是红球，求此球来自1号箱的概率。
( 2 ) 解：
P( B1
A)
P( B1 A ) P( A )
P( B1 )P( A B1 ) P( A)
P( B1 )P( A B1 )
3
P( Bi )P( A Bi )
1
3
1 5
8
15
1 8
i1
这类问题，是“已知结果求原因”是已知 某结果发生条件下，求各原因发生可能性大小。
Bayes公式
设B1,B2,…,Bn是两两互斥的事件，且P(Bi)>0， i=1,2,…,n, 另有一事件A，它总是与B1,B2,…,Bn 之 一同时发生，则
小孩第说一次谎后的可信度为：
P( B A ) P( AB ) P( A )
P( B )P( A B ) P( B )P( A B ) P( B )P( A B )
0.8 0.1
0.8 0.1 0.2 0.5
0.444
小孩第说二次谎后的可信度为：
P( B )P( A B ) P( B A)