《贝叶斯统计》课程教学大纲

《贝叶斯统计》课程教学大纲

（2004年制定，2006年修订）

课程编号：060046

英文名：Bayesian Statistics

课程类别：统计学专业选修课

前置课：微积分、概率论与数理统计

后置课：

学分：3学分

课时：54课时

主讲教师：陈耀辉等

选定教材：茆诗松，贝叶斯统计，北京：中国统计出版社，1999

课程概述：

贝叶斯学派是数理统计中一个重要的学派，它有鲜明的特点和独到的处理方法，在国际上贝叶斯学派与非贝叶斯学派的争论是很多的。本课程重点介绍贝叶斯统计推断的理论、方法及其基本观点，同时对贝叶斯方法和经典方法在历史上的重大分歧也适当地予以介绍。通过本课程的学习能系统地掌握贝叶斯统计的基本理论、方法和应用，特别是贝叶斯统计中所具特色的一些处理方法及相应的理论。主要内容有：先验分布与后验分布的基本概念、后验分布的计算方法、估计及假设检验、贝叶斯统计决策方法等。

教学目的：

通过该门课程的学习，使学生能了解贝叶斯学派的基本观点和基本思想，了解贝叶斯学派和频率学派联系和区别，了解贝叶斯统计的最新研究进展，能够系统地掌握贝叶斯统计的基本理论、基本方法，更重要的是掌握贝叶斯统计具有特色的一些处理方法以及相应的理论，用以分析问题、解决问题。

教学方法：

根据该门课程的特点，在利用传统的教学方法讲授理论的同时，注重案例教学，特别是要适当地运用研讨性教学方法，而且要适时运用创新教学方法，即教师应依据教材对教学内容作合理的安排，讲透重点难点，注意本学科研究的最新成果和前沿知识，既要教学生学习知识，又要培养学生的能力，特别是要培养学生的创新意识和创新能力，争取开展一些第二课堂活动。

各章教学要求及教学要点

第一章引论

课时分配：2课时

教学要求：

通过本章的学习，要求学生掌握贝叶斯统计理论的基本观点，了解贝叶斯统计学派和经典统计学派之间的重大分歧，了解现代贝叶斯统计理论的研究现状及贝叶斯统计理论的应用，重点掌握贝叶斯统计的基本思想，深刻理解“概率”、“统计”的不同的哲学解释，学习他们各自的优点来分析问题、解决问题。难点是贝叶斯统计的基本思想和两大学派的分歧。

教学内容：

一、贝叶斯统计理论的基本观点

介绍在统计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在的重大差异。

二、贝叶斯统计学派与频率统计学派之间的批评

1.对贝叶斯统计学派的批评

（1）参数θ看成是随机变量是否妥当？

（2）先验分布是否存在？如何选取？

2.对频率统计学派的批评

（1）问题的提法不妥

（2）判断统计方法好坏的标准不妥

三、现代贝叶斯统计理论的研究现状

1.先验分布理论的研究

2.后验分布的统计推断

四、贝叶斯统计理论的应用

思考题：

1.贝叶斯学派与频率学派之间存在的重大差异有哪些？

2.贝叶斯学派的基本观点是什么？

3.怎样理解贝叶斯学派和频率学派之间的批评？

4.贝叶斯统计理论有哪些应用？

第二章先验分布与后验分布

课时分配：8课时

教学要求：

通过本章的学习，要求学生熟练掌握先验分布与后验分布的概念。深刻理解贝叶斯公式的三种基本形式、分布密度的核、充分统计量、共轭分布等基本概念，理解贝叶斯假设的基本内容，熟练掌握计算后验分布的技巧，掌握确定超参数的基本方法，了解多参数模型，能用这些基本的方法解决一些简单的实际问题。

教学内容：

第一节三种信息

一、总体信息

总体信息（或模型信息）：即总体分布或所属分布族给我们的信息。

二、样本信息

样本信息（数据信息）：即从总体抽取的样本提供给我们的信息，这是最“新鲜”的信息，且越多越好，这是任一种统计推断中都必不可少的。

三、先验信息

先验信息：即在抽样之前有关统计推断的一些信息。一般来说，先验信息主要来源于经验和历史资料。

第二节贝叶斯公式

一、贝叶斯公式的密度函数形式

介绍贝叶斯公式的三种基本形式：事件形式、连续随机变量形式和离散随机变量形式，重点是连续随机变量形式。

二、后验分布是三种信息的综合

后验分布可以看作是人们用总体信息和样本信息对先验分布作调整的结果。

第三节共轭先验分布

一、共轭先验分布

核心定义：如果由抽样信息算得的后验密度函数与先验密度函数有相同的函数形式，则称该后验密度函数是参数的（自然）共轭先验分布。

二、后验分布的计算

给定样本分布和先验分布后可利用贝叶斯公式计算参数的后验分布。

三、共轭先验分布的优缺点

1.计算方便；

2.后验分布的一些参数可得到很好的解释。

四、常用的共轭先验分布

第四节超参数的确定

本节利用一个例子介绍怎样用以下几种方法确定共轭先验分布的超参数。

一、利用先验矩

二、利用先验分位数

三、利用先验矩和利用先验分位数

四、其它方法

第五节 多参数模型

本节在前面几节的基础上，将单参数模型推广到多参数模型的情形。为了更清楚地讲解这部分内容，首先要补充指数分布族的相关理论，然后再对多参数模型进行讲解。

第六节 充分统计量

在回顾经典统计中充分统计量的基本概念和因子分解定理得基础上，再讲解贝叶斯统计中的充分统计量的基本概念和相应的因子分解定理以及和经典统计中相关内容的比较。 思 考 题：

1.什么是贝叶斯公式?写出贝叶斯公式的三种形式：事件形式；离散随机变量形式；连续随机变量形式．

2.设θ是一批产品的不合格率，已知它不是0.1就是0.2，且其先验分布为：

π(0.1)=0.7， π(0.2)=0.3

假如从这批产品中随机取出8个进行检查，发现有2个不合格品，求θ的后验分布。

3.设θ是一批产品的不合格率，从中抽取8个产品进行检验，发现3个不合格品，假如先验分布：

（1）)1,0(~U θ

（2）⎩⎨

⎧<<-=其它场合,

01

0),1(2)(~θθθπθ 分别求θ的后验分布。

4.验证：泊松分布的均值λ的共轭先验分布是伽玛分布。

5.从一批产品中抽检100个，发现有3个不合格品，假如该产品不合格率θ的先验分布为贝塔分布Be(2,200)，求θ的后验分布。

6.设n x x ,,1 是来自指数分布Exp(λ)的一个样本，指数分布的密度函数为： 0,

)/(>=-x e x p x λλλ

（1）验证：伽玛分布Ga(α,β)是参数λ的共轭先验分布。

（2）若从先验信息得知，先验均值为0.0002，先验标准差为0.0001，请确定其超参数。 7.设n x x ,,1 是来自正态分布),(21σθN 的一个样本，令2

221σθ=，又设),(21θθ的联合先验

分布如下给定：

（1）在固定2θ时，1θ的条件分布为)2/1,0(2θN 。 （2）),(~2λαθGa ，其中λα,已知。 求),(21θθ得后验分布)/,(21x θθπ。