第1章先验分布与后验分布复习过程

可见历史资料在统计推断中应加以利用
例1.1 英国统计学家Savage曾考察如下2个统计实验：
A。（品茶试验）一位常饮牛奶加茶的妇女声称，她 能辨别先倒进杯子里的是茶还是牛奶。对此做了10次 试验，她都正确地说出了。
B。一位音乐家声称，他能从一页乐谱辨别出是海顿 还是莫扎特的作品。在10次这样的试验中，他都能正 确辨别。
在这两个统计试验中，假如认为被试验者是在猜测， 每次成功的概率为0.5，那么10次都猜中的概率为210=0.0009766，这是一个很小的概率，是几乎不可 能发生的，所以 “每次成功概率为0.5”的假设应该被 拒绝。
80%
总评(100分)
=平时+期末
比例
20%
80%
100%
学分数
ห้องสมุดไป่ตู้
2
课堂上讲过的习题、练习题和作业的题目都要会.
（Bayes，Thomas）(1702─1761)
贝叶斯是英国数学家.1702年生于伦敦；1761年4月17日 卒于坦布里奇韦尔斯.
贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来 长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被 选为英国皇家学会会员.
•随着经典统计学的持续发展与广泛应用，它本身的 缺陷也逐渐暴露出来了。
➢贝叶斯学派的观点：除了上述两种信息以外，统 计推断还应该使用第三种信息：先验信息。
三、先验信息，即是抽样（试验）之前有关统计 问题的一些信息。 一般说来，先验信息来源于经验和历史资料。先 验 信息在日常生活和工作中是很重要的。
Byaes统计学派与经典统计学派虽然有很大区 别，但是它们各有优缺点，各有其适用的范围，作 为研究者一定要博采众长，以获得一种更适合解决 实际问题的方法。而且，在不少情况下，二者得出 的结论在形式上是相同的。
课程考核：闭卷考试
成绩评定 平时(20分)
=作业+考勤+课堂表现
期末(80分)
=卷面(100分) ×
贝叶斯统计
基本教材： 茆诗松编，贝叶斯统计
中国统计出版社，2012年.
•已修课程：概率论与数理统计
• 总评成绩：
– 平时成绩40%：作业+小测试 – 期末成绩60%
参考教材：
1. 贝叶斯统计. 韦来生. 高等教育出版社．1998 2. 现代贝叶斯统计．Kotz S,吴喜之．中国统计出版 社．1999 3. 贝叶斯统计推断．张尧庭、陈汉峰．科学出版 社．1991
目录
第一章先验分布与后验分布 第二章 贝叶斯推断 第三章 先验分布的确定 第四章 决策中的收益、损失与效用 第五章 贝叶斯决策 第六章 统计决策理论 第七章 贝叶斯计算
本书共七章，可分三部分。前三章围绕先验分 布介绍贝叶斯推断方法。后三章围绕损失函数介绍 贝叶斯决策方法。第七章为贝叶斯计算阅读这些内 容仅需要概率统计基本知识就够了。
如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶 斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝 叶斯估计量、贝叶斯方法、贝叶斯统计等等.
贝叶斯公式：
9
统计学有两个主要学派:频率学派与贝叶斯学派. 它们之间有异同,贝叶斯统计是在与经典统计的争 论中发展起来,主要的争论有: 1.未知参数可否作为随机变量? 2.事件的概率是否一定的频率解释? 3.概率是否可用经验来确定?
这个对先验信息进行加工获得的分布今后称为先验分布。
这个先验分布是综合了该厂过去产品的质量情况。 如果这个分布的概率大部分集中在θ=0附近，那么该产 品可认为是“信得过产品”。假如以后的多次抽检结果 与历史资料提供的先验分布是一致的。使用单位就可以 对它做出“免检产品”的决定，或者每月抽检一、二次 就足够了，这就省去了大量的人力和物力。
一、统计推断中可用的三种信息 二、贝叶斯公式 三、共轭先验分布 四、超参数及其确定 五、多参数模型 六、充分统计量
13
第一章 先验分布与后验分布
统计学中有两个主要学派：频率学派与贝叶斯 学派。下面从统计推断的三种信息来说明他们之 间的区别与联系。
§1.1 三种信息
• 一、总体信息，即总体分布或总体所属分布给我 们的信息。
• 二、样本信息，即从总体抽取的样本给我们的信 息
• 这是最“新鲜”的信息，并且愈多愈好。 • 人们希望通过对样本的加工和处理对总体的某些
特征做出较为精确的统计推断。 • 例：。均值、方差等 • 没有样本就没有统计学可言。
•经典统计学：基于以上两种信息进行的统计推断被 称为经典统计学。
•说明：它的基本观点是把数据（样本）看成是来自 具有一定概率分布的总体，所研究对象是这个总体而 不局限于数据本身。
被试验者每次成功的概率要比0.5大得多。这不是 猜测，而是他们的经验在帮了他们的忙。
例1.2“免检产品”是怎样决定的？某厂的产品每天都
要抽验几件，获得不合格品率θ的估计。在经过一段时
间后就积累大量的资料，根据这些历史资料（先验信息
的一种）对过去产品的不合格品率可构造一个分布：
P(
i )
n
i,i
0,1,...,n
……….
发展历史
• 1763年 ，论文“机遇理论中一个问题的解”发表， 首次提出贝叶斯公式。
• 随后，Laplace等人重新阐述了贝叶斯公式，并导 出些有意义的结果。
• 二战后，wald 提出统计决策函数论引起人们对贝 叶斯方法的兴趣。
• 如今，贝叶斯学派已发展成一个有影响力的统计 学派。
第一章 先验分布与后验分布
•这方面最早的工作是高斯(Gauss,C.F.1777~1855） 和勒让德（Legendre,A.M.1752~1833）的误差分析， 正态分布和最小二乘法。从十九世纪末到二十世纪上 半叶，经皮尔逊（Pearson,K.1857~1936）、费歇 （Fisher,R.A.1890~1962）奈曼（Neyman.J.）等人 的杰出工作创立了经典统计学。
例如，“总体是正态分布”就给我们带来很多信息： 它的密度函数是一条钟形曲线；它的一切一阶矩 都存在；有关正态变量（服从正态分布随机变量） 的一些事件的概率可以计算；由正态分布可以导 出卡方分布，t分布和F分布等重要分布，还有许 多成熟的点估计、区间估计和假设检验方法可供 我们选用。
说明：总体信息是很重要的信息，为了获取此种信 息往往耗资巨大。