贝叶斯估计ppt课件

0 是未知的，它是按先验分布( )产生 的。为把先验信息综合进去，不能只考 虑0，对的其它值发生的可能性也要加 以考虑，故要用( )进行综合。这样一 来，样本x1 , …, xn和参数 的联合分布 为: h(x1, x2 , …, xn, ) = p(x1, x2 , …, xn )( )， 这个联合分布把总体信息、样本信息和 先验信息三种可用信息都综合进去了；


是x1, x2 , …, xn 的边际概率函数，它与 无 关，不含 的任何信息。因此能用来对 作 出推断的仅是条件分布( x1, x2 , …, xn)， 它的计算公式是

h ( x ,, x ,) p ( x ,, x |) ( ) 1 n 1 n ( | x ,, x ) 1 n m ( x ,, x ) p ( x ,, x |) ( ) d 1 n 1 n
在没有样本信息时，人们只能依据先验分 布对 作出推断。在有了样本观察值 x1, x2 , …, xn 之后，则应依据 h(x1, x2 , …, xn , ) 对 作出推断。由于 h(x1,x2 ,…,xn , ) =( x1,x2 ,…,xn )m(x1,x2 ,…,xn)， 其中 m ( x , , x ) h ( x , , x , ) d p ( x , ,| x ) ( ) d 1 n 1 n 1 n
频率学派的观点
统计学更多关注频率推断
到目前为止我们讲述的都是频率（经典的）统计学
• 概率指的是相对频率，是真实世界的客观属性。 • 参数是固定的未知常数。由于参数不会波动，因 此不能对其进行概率描述。 • 统计过程应该具有定义良好的频率稳定性。如： 一个95％的置信区间应覆盖参数真实值至少95％ 的频率。
几个学派（2）
• • • • • • Bayesian学派： 带头人：Bayes,Laplace,Jeffreys,Robbins 观点：频率不只是概率 存在主观概率，和实体概率可转化 参数作为随机变量 条件分布： p(x1,x2,..xn | )
贝叶斯学派的观点
机器学习和数据挖掘更偏爱贝叶斯推断
贝叶斯推断采取了另外一个不同的立场： • 概率描述的是主观信念的程度，而不是频率。 这样除了对从随机变化产生的数据进行概率 描述外，我们还可以对其他事物进行概率描 述。 • 可以对各个参数进行概率描述，即使它们是 固定的常数。 • 为参数生成一个概率分布来对它们进行推导， 点估计和区间估计可以从这些分布得到
6.4.3 贝叶斯估计
基于后验分布( x1, x2 , …, xn )对 所作的 贝叶斯估计有多种，常用有如下三种： 使用后验分布的密度函数最大值作为 的 点估计，称为最大后验估计； 使用后验分布的中位数作为 的点估计， 称为后验中位数估计； 使用后验分布的均值作为 的点估计，称 为后验期望估计。 用得最多的是后验期望估计，它一般也简 称为贝叶斯估计，记为 ˆ B 。
wk.baidu.com
– 条件概率
• 利用贝叶斯规则将数据和参数的分布联 合起来 f( x | )f( )
f( | x ) )f( ) d f(x|
贝叶斯方法
贝叶斯推断的基本步骤如下：
• 选择一个概率密度函数 f ( ) ，用来表示在取得 数据之前我们对某个参数 的信念。我们称之 为先验分布。 • 选择一个模型 f ( x ; )（在此处记为 f ( x | ) ） 来反映在给定参数 情况下我们对x的信念。 • 当得到数据 X1, X2,…Xn 后，我们更新我们的信 念并且计算后验分布 f( |X , . . . ,X ) 。 1 n • 从后验分布中得到点估计和区间估计。
贝叶斯估计
例子：
• • • • 我定点投篮，投5次，次次投中， 问：我的投篮技术如何？ 科比投篮，投100次，次次投中， 问：科比投篮技术如何？
• 经典方法：矩法估计、极大似然估计 100% • 但是: ……
几个学派（1）
• • • • • 经典学派：频率学派， 带头人：Pearson、Fisher、Neyman 观点：概率就是频率 参数就是参数 联合分布密度：p(x1,x2,..xn ; )
例6.4.2 设某事件A在一次试验中发生的概率 为 ，为估计 ，对试验进行了n次独立观测， 其中事件A发生了X次，显然 X b(n, )， 即
n x n x P ( X x | ) ( 1 ) , x 0 , 1 , , n x
6.4.2 贝叶斯公式的密度函数形式
总体依赖于参数 的概率函数在贝叶斯统 计中记为P (x | )，它表示在随机变量θ 取某个给定值时总体的条件概率函数； 根据参数 的先验信息可确定先验分布 ( ) ； 从贝叶斯观点看，样本 x1, x2 , …, xn 的产 生分两步进行:首先从先验分布( )产生 一个样本0，然后从P (x |0)中产生一组 样本。这时样本的联合条件概率函数 n (1 , ,x ) px ( i | ) 为 px ，这个分布综合了总体信 n| 0 0 i 1 息和样本信息；


这个条件分布称为 的后验分布，它集中 了总体、样本和先验中有关 的一切信息。 后验分布( x1, x2 , …, xn )的计算公式就是 用密度函数表示的贝叶斯公式。它是用总 体和样本对先验分布( )作调整的结果， 贝叶斯统计的一切推断都基于后验分布进 行。
批评1：置信区间
• 置信区间：
• 解释：区间[u1,u2]覆盖u的概率 • 不是u位于区间的概率 • 缺点：u不是变量
批评2：评价方法
• 假设检验、参数估计等都是多次重复的结 果； • 想知道：
– 一次实验发生的可能性
回忆贝叶斯规则
• 亦称贝叶斯定理
f(y| x ) f( x| y )f(y ) )f(yd )y f(x| y