贝叶斯估计 ppt课件

• 带头人：Pearson、Fisher、Neyman
• 观点：概率就是频率
•
参数就是参数
• 联合分布密度：p(x1,x2,..xn ; )
PPT课件
3
频率学派的观点ห้องสมุดไป่ตู้
统计学更多关注频率推断
到目前为止我们讲述的都是频率（经典的）统计学
• 概率指的是相对频率，是真实世界的客观属性。
• 参数是固定的未知常数。由于参数不会波动，因 此不能对其进行概率描述。
生分两步进行:首先从先验分布( )产生 一个样本0，然后从P (x |0)中产生一组
样本。这时样本的联合条件概率函数
为 总体p(x信1, 息, x和n |样0 ) 本in1信p(P息xPiT课|；件0 ) ，这个分布综合了 11
0 是未知的，它是按先验分布( )产生
的。为把先验信息综合进去，不能只考
9
贝叶斯方法
贝叶斯推断的基本步骤如下：
• 选择一个概率密度函数 f ( ) ，用来表示在取得 数据之前我们对某个参数 的信念。我们称之 为先验分布。
• 选择一个模型 f (x; )（在此处记为 f (x | ) ）
来反映在给定参数 情况下我们对x的信念。
• 当得到数据 X1, X2,…Xn 后，我们更新我们的信 念并且计算后验分布 f ( | X1,..., Xn ) 。
PPT课件
8
回忆贝叶斯规则
• 亦称贝叶斯定理
f (y | x) f (x | y) f (y)
f (x | y) f ( y)dy
– 条件概率
• 利用贝叶斯规则将数据和参数的分布联
合起来
f ( | x) f (x | ) f ( )
f (x | ) f ( )d
PPT课件
• 条件分布： p(x1,x2,..xn | )
PPT课件
5
贝叶斯学派的观点
机器学习和数据挖掘更偏爱贝叶斯推断
贝叶斯推断采取了另外一个不同的立场：
• 概率描述的是主观信念的程度，而不是频率。 这样除了对从随机变化产生的数据进行概率
描述外，我们还可以对其他事物进行概率描 述。
• 可以对各个参数进行概率描述，即使它们是 固定的常数。
其中 m(x1, , xn ) h(x1, , xn, )d p(x1, , xn | ) ( )d
是x1, x2 , …, xn 的边际概率函数，它与 无 关，不含 的任何信息。因此能用来对 作
出推断的仅是条件分布( x1, x2 , …, xn)，
• 从后验分布中得到点估计和区间估计。
PPT课件
10
6.4.2 贝叶斯公式的密度函数形式
总体依赖于参数 的概率函数在贝叶斯统 计中记为P (x | )，它表示在随机变量θ
取某个给定值时总体的条件概率函数；
根据参数 的先验信息可确定先验分布 ( )；
从贝叶斯观点看，样本 x1, x2 , …, xn 的产
• 为参数生成一个概率分布来对它们进行推导，
点估计和区间估计可以从这些分布得到
PPT课件
6
批评1：置信区间
• 置信区间：
• 解释：区间[u1,u2]覆盖u的概率
•
不是u位于区间的概率
• 缺点：u不是变量
PPT课件
7
批评2：评价方法
• 假设检验、参数估计等都是多次重复的结 果；
• 想知道：
– 一次实验发生的可能性
贝叶斯估计
Bayes Estimation
PPT课件
1
例子：
• 我定点投篮，投5次，次次投中， • 问：我的投篮技术如何？ • 科比投篮，投100次，次次投中， • 问：科比投篮技术如何？
• 经典方法：矩法估计、极大似然估计 100%
• 但是: ……
PPT课件
2
几个学派（1）
• 经典学派：频率学派，
使用后验分布的中位数作为 的点估计， 称为后验中位数估计；
使用后验分布的均值作为 的点估计，称
为后验期望估计。
用得最多的是后验期望估计，它一般也简
称为贝叶斯估计，P记PT课为件 ˆB 。
15
例6.4.2 设某事件A在一次试验中发生的概率 为 ，为估计 ，对试验进行了n次独立观测，
其中事件A发生了X次，显然 X b(n, )，
即
P( X

x |)


n x


x
(1


)nx
,
x 0,1, , n
假若我们在试验前对事件A没有什么了解， 从而对其发生的概率 也没有任何信息。在
PPT课件
12
在没有样本信息时，人们只能依据先验分
布对 作出推断。在有了样本观察值 x1,
x2 , …, xn 之后，则应依据 h(x1, x2 , …, xn , ) 对 作出推断。由于
h(x1,x2 ,…,xn , ) =(
x1,x2 ,…,xn )m(x1,x2 ,…,xn)，
用密度函数表示的贝叶斯公式。它是用总
体和样本对先验分布( )作调整的结果，
贝叶斯统计的一切推断都基于后验分布进
行。
PPT课件
14
6.4.3 贝叶斯估计
基于后验分布( x1, x2 , …, xn )对 所作的
贝叶斯估计有多种，常用有如下三种：
使用后验分布的密度函数最大值作为 的 点估计，称为最大后验估计；
它的计算公式是
( | x1,
,
xn )

h(x1, PP,Tx课n件, )
m(x1, , xn )

p(x1, , xn | ) ( ) 13 p(x1, , xn | ) ( )d
这个条件分布称为 的后验分布，它集中 了总体、样本和先验中有关 的一切信息。
后验分布( x1, x2 , …, xn )的计算公式就是
虑0，对的其它值发生的可能性也要加 以考虑，故要用( )进行综合。这样一 来，样本x1 , …, xn和参数 的联合分布为:
h(x1, x2 , …, xn, ) = p(x1, x2 , …, xn )( )，
这个联合分布把总体信息、样本信息和 先验信息三种可用信息都综合进去了；
• 统计过程应该具有定义良好的频率稳定性。如： 一个95％的置信区间应覆盖参数真实值至少95％ 的频率。
PPT课件
4
几个学派（2）
• Bayesian学派：
• 带头人：Bayes,Laplace,Jeffreys,Robbins
• 观点：频率不只是概率
•
存在主观概率，和实体概率可转化
•
参数作为随机变量