贝叶斯统计

经典统计和贝叶斯的区别四
• 贝叶斯的判断方法：在获得后验分布之后， 可分别计算原假设H0和备择假设H1的后验 概率 0 和 1 • 若 0 < 1 ,接受H1 • 若 0 > 1 ,接受H0 • 若 0 = 1 ,不宜做判断，尚需进一步抽样 或者进一步收集先验信息。
PX u n
1 /2

n 1 /2
从而
/2
X
u
这样得到了置信度为
1 的 置信区间为
( X u / 2

n
, X u / 2

n
)
经典统计和贝叶斯的区别二
由于在经典统计的理论体系中参数μ是一个固定的常数， 并不具有随机性，因而式
i

i
p B p A B
i 1
贝叶斯公式
• p(Bi)称为先验概率,它们反应了各种“原因” 发生的可能性大小,是以往经验的总结,在事 件A发生以前就是已知的； • p(A/Bi)是各种“原因”发生之下A发生的 条件概率,可以利用技术手段获得； • p(Bi/A)称为后验概率, 它们反应了A发生以 后,对各种“原因”发生可能性大小的新认 识。
《贝叶斯统计学》
——Introduction
主讲教师：张贝贝
推荐书籍
• • • • 《贝叶斯统计》茆诗松 《贝叶斯统计推断》张尧庭 《统计决策论与贝叶斯分析》吴喜之 《现代贝叶斯统计学》吴喜之
贝叶斯统计的历史发展
• 历史悠久：Bayes; Laplace • 1812年
Pierre-Simon Laplace (1749–1827). Thomas Bayes
知道A 发生后 P(B1 | A) P(B2 | A) P(B3 | A) 最大
比如原来认为作案可能性较小的某甲， 现在变成了重点嫌疑犯.
贝叶斯公式
• 密度函数形式的贝叶斯公式
( x) θ
h ( x ,θ ) m( x ) p ( x /θ ) π


θ
p ( x /θ ) d θ π
经典统计和贝叶斯的区别四
• 假设检验问题 • 经典统计中，选择原假设或备择假设具有一 定的倾向性。 • 而有些问题不能谈倾向性
经典统计和贝叶斯的区别四
• 假设检验问题 • Eg：U检验（正态总体方差已知，判断均值 是否相等） • 经典统计学派判断方法：让检验统计量与临 界值进行比较 。若令U>1.96（臵信水平为 0.95时的临界值），拒绝H0，认为两个总体 均值不相等。 • 但是，如果U=1.95？？？结论不能令人满意
PX u n
/2
X

n
u
/2
1
式完全相同的等式，不过此时μ是随机变量，而样本均值 是常数．因此，根据贝叶斯学派的观点，上式就是
( X u / 2
n , X u / 2

n
)
这一事件发生的概率是1-α。
经典统计和贝叶斯的区别二
经典统计和贝叶斯的区别三
• Good(1973)：
“主观主义者直述他的判断，而客观主义者 以假设来掩盖其判断，并以此享受科学客 观性的荣耀”。
经典统计和贝叶斯的区别三
• 博克斯（Box，1980）说：“不把纯属假 设的东西看做先验……我相信，在逻辑上 不可能把模型的假设与参数的先验分布区 别开来。”
当有了新的信息（知道A发生），人们对诸 事件发生可能性大小有了新的估计 即P(Bi|A) （后验概率）
例1.6 某地发生了一个案件，怀疑对象有 甲、乙、丙三人. 在不了解案情细节(事件A) 偏小 之前，侦破人员根据过去 丙 乙 甲 的前科，对他们作案的可 P(B1) P(B2) P(B3) 能性有一个估计，设为 但在知道案情细 节后, 这个估计 就有了变化.
（1702-1761）
贝叶斯统计的历史发展
• 争论不休: 经典学派VS贝叶斯学派 • 困难所在: 模型复杂、计算量巨大 • 欣欣向荣：电子计算机、算法、近几十年 来有很大发展 • 应用广泛：不仅在统计学本身，更在其他 学科有重要应用
贝叶斯之欣欣向荣
• “贝叶斯分析在理论上确实很完美，但遗憾 的是在实际应用过程中不能计算出结果。” • 计算机技术的发展使得再复杂的模型也可以 通过贝叶斯方法进行处理 • 这种改进已经吸引了许多新人加入贝叶斯研 究的行列，而且还减少了关于贝叶斯方法可 行性的“哲学”上的争论 • 很难发现哪个领域不存在贝叶斯的应用
贝叶斯公式
• 全概率贝叶斯公式
pA
p B p A B
i i i 1
n
• 例1.4．设甲袋有3个白球4个红球，乙袋有1个白 球2个红球，现从甲袋中任取2球放入乙袋，再从 乙袋中任取2球，求从乙袋取出2个红球的概率。
贝叶斯公式
• 事件形式的贝叶斯公式
p B m A p Bm p A B m
经典统计和贝叶斯的区别二
• 然而很多试验是不可大量重复或多次观测的，导 致这样的解释没有意义 • 况且人们最关心的恰好是参数μ在该范围内的概率 有多大，因此在经典统计理论中区间估计问题的 提法及其解答并不令人满意．
经典统计和贝叶斯的区别二
贝叶斯方法恰好不存在上述问题，因为在贝叶斯理论 体系中，参数是随机变量，它本身就有统计分布． 事实上，可以从贝叶斯假设直接导出与
贝叶斯公式
• 例1.5. 某商店由三个厂购进一批灯泡，其中 甲厂占25%，乙厂占35%,丙厂占40%，且 各厂的次品率分别为5%，4%，2%.如果消 费者已经买到一个次品灯泡，问是哪个厂 出产的可能性大？
贝叶斯公式
P(Bi) (i=1,2,…,n)是在没有进一步信息 （不知道事件A是否发生）的情况下，人们 对诸事件发生可能性大小的认识. （先验概率）
• 类似的说法，“某逃犯的年龄大约在35岁 左右”“明天降水的概率是0.85”，“某学 生考上大学的概率是0.95”，“甲队胜的概 率为0.6左右”……这样的概率陈述能够为 大多数人所理解、接受和采用。 • 这种陈述的基础是把未知量当做r.v.
经典统计和贝叶斯的区别三
• 主观概率： • 0.9不是大量重复试验获得的，而是学生们根 据自己的生活经历积累对该事件发生的可能性 给出的信念（belief），这样的概率称为为主 观概率，在贝叶斯统计中允许。 • 只要符合概率的三条公理
PX u n
/2
X

n
u
/2
1
也就不能理解为
( X u / 2

n
, X u / 2

n
)
的概率等于1-α，根据经典学派的基本观点，区间
( X u

/2
n
, X u

/2
)
n
表示多次抽样得到的这样的臵信区间能盖住参数μ的概率是 1-α 。
三种信息
• 总体信息
–Eg：“总体是正态分布” –但为了获得总体分布，往往耗资巨大。
• 样本信息
–通过对样本的加工和处理对总体中的某些特征 做出较为精确的统计推断（样本越多越好）
经典统计学：总体信息+样本信息
经典学派
• 经典统计学基于上面两种信息进行统计推 断。其基本观点是：把数据（样本）看成 是来自具有某一定概率分布的总体 • 高斯、皮尔逊、费歇尔、奈曼等 • 点估计、假设检验、矩估计法、最大似然 估计、最小二乘法等属经典统计 • 应用于多领域 • 也遭到批评
三种信息
• 先验信息（抽样之前的信息）
–Eg1.1: 喝牛奶加茶的妇女（经验=>先验信息） –Eg1.2: 免检产品 (历史资料=>先验信息)
贝叶斯统计学：总体信息+样本信息+先验信息
经典统计和贝叶斯的区别一
• 经典学派很注重利用已经出现的样本观察 值，没观察到的样本不予考虑 • 贝叶斯学派很注重先验信息的收集、挖掘 和加工，使他们数量化成先验分布，参加 到统计推断中，以此提高统计推断的质量
贝叶斯学派的基本观点
• 任一个未知量 都可看做一个随机变量 • Why可以看做随机变量？ • Eg1.2：每天测量得到的产品的不合格率 会有一些变化，故看做r.v.也是合适的，用一 个概率分布去描述它也是很恰当的
贝叶斯学派的基本观点
• Eg1.3：学生估计一个新老师的年龄。
经典统计和贝叶斯的区别二
• 贝叶斯把未知常量看做随机变量，所以用 概率分布来描述是合适的
经典统计和贝叶斯的区别二
设 ( X 1 , X 2 , , X n ) 为:
X 1
为来自正态总体
N ( ,
2
)
的一
个样本，μ 是未知参数，样本均值和样本方差分别
n
1
n
X
n
i
i 1
S
2

X n 1
i 1
i
X

2
经典统计和贝叶斯的区别二
当总体服从正态分布可得
对于给定的置信度
U X
/
~ N ( 0 ,1 )
n
1 , 查分位点
u / 2 , 使得
P {| U | u / 2 } 1
/2
u/2 0
/2பைடு நூலகம்
u/2
经典统计和贝叶斯的区别二
得到
X P u / n
经典统计和贝叶斯的区别三
• 这是经典统计与贝叶斯统计在概率的理解 上的分歧 • 经典统计： 认为概率必须通过大量重复试 验来确定，才是“客观的”，认为贝叶斯 是主观的 • 比如点估计、区间估计、假设检验上犯两 类错误的概率等都是重复使用多次判断好 坏的标准
经典统计和贝叶斯的区别三
对此，贝叶斯学派的反驳： a.认为引入主观概率能扩展概率统计的研究范 畴，扩展到不能大量重复的实验 b.主观概率确定不是随意的，而是要求当事 人对所考察的事件有比较透彻的了解和丰富 的经验，甚至是这一行的专家，在此基础上 确定主观概率才能符合实际 c. 揭露经典学派的“客观性”：总体分布的选 择对于答案所产生的影响远远超过先验分布 所产生的影响重大