修订版贝叶斯统计学-精选版
贝叶斯统计——精选推荐
英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。
贝叶斯的基本观点：1.认为未知参数是一个随机变量，而非常量。
2.在得到样本以前，用一个先验分布来刻画关于未知参数的信息。
3. 贝叶斯的方法是用数据，也就是样本，来调整先验分布，得到一个后验分布。
4.任何统计问题都应由后验分布出发。
统计推断中主要有三种信息，一是总体信息，即总体分布或总体所属分布族给我们的信息；二是样本信息，即总体中抽取的样本给我们提供的信息；三是先验信息，即抽样之前有关统计问题的一些信息。
贝叶斯学派和经典学派的不同在于对统计推断的三种信息使用的不同，基于前两种信息的统计推断称为经典统计学，它的基本观点是把数据看成是来自具有一定分布的总体，所研究的对象是这个总体而不局限于数据本身。
基于以上三种信息进行的统计推断被称为贝叶斯统计学。
它与经典统计学的主要差别在于是否利用先验信息，在使用样本信息上也是有差异的。
贝叶斯学派的最基本的观点是：任何一个未知量θ都可看作一个随机变量，应用一个概率分布去描述对θ的未知状况。
这个概率分布是在抽样前就有的关于θ的先验信息的概率陈述。
因为任一未知量都有不确定性，而在表述不确定性程度时，概率与概率分布是最好的语言。
这个概率分布就被称为先验分布。
贝叶斯学派认为先验分布不必有客观的依据，它可以部分地或完全地基于主观信念。
这个是经典学派与贝叶斯学派争论的一个焦点，经典学派认为经典统计学是用大量重复试验的频率来确定概率、是“客观”的，因此符合科学的要求，而认为贝叶斯统计是“主观的”，因而只对个人做决策有用。
这是当前对贝叶斯统计的主要批评。
贝叶斯学派认为引入主观概率及由此确定的先验分布至少把概率与统计的研究与应用范围扩大到了不能大量重复的随机现象中来。
其次，主观概率的确定不是随意的，而是要求当事人对所考察的事件有较透彻的了解和丰富的经验，甚至是这一行的专家，在这个基础上确定的主观概率就能符合实际。
贝叶斯统计-教学大纲
《贝叶斯统计》教学大纲“Bayesian Statistics” Course Outline课程编号：152053A课程类型：专业选修课总学时：48 讲课学时：48实验（上机）学时：0学分：3适用对象：金融学（金融经济）先修课程：数学分析、概率论与数理统计、计量经济学Course Code：152053ACourse Type：Discipline ElectiveTotal Hours：48 Lecture：48Experiment(Computer)：0Credit：3Applicable Major：Finance（Finance and Economics Experiment Class）Prerequisite：Mathematical Analysis, Probability Theory and Statistics, Econometrics一、课程的教学目标本课程旨在向学生介绍贝叶斯统计理论、贝叶斯统计方法及其在实证研究中的应用。
贝叶斯统计理论与传统统计理论遵循着不同的基本假设，为我们处理数据信息提供新的角度和解读思路，并在处理某些复杂模型上（如，估计动态随机一般均衡模型、带时变参数的状态空间模型等）相比传统方法具有相对优势。
本课程要求学生在选课前具备基本的微积分、概率统计以及计量经济学知识。
以此为起点，我们将主要就贝叶斯统计理论知识、统计模型的应用以及基于计算机编程的实证能力三方面对学生进行训练。
经过对本课程的学习，学生应了解贝叶斯框架的基本思想，掌握基本的贝叶斯理论方法及其主要应用，并掌握实证研究中常用的贝叶斯数值抽样方法以及相关的计算机编程技能。
特别地，学生应能明确了解贝叶斯统计方法与传统统计方法在思想和应用上的区别以及各自的优缺点，以便能在实际应用中合理选择统计分析工具。
This course introduces the basic concepts of Bayesian statistics and the use of Bayesian econometric methods in empirical study. Bayesian statistics has different fundamental assumptions from the classical (frequentist) framework, providing us with an alternative way in analyzing and interpreting data information. Bayesian methods also have relative advantages, and thus are widely used, in dealing with certain complicated models (for example, the estimation of Dynamic Stochastic General Equilibrium model, state space models with time-varying parameters, etc.).Students should have had basic trainings on calculus, probability theory and statistics, and preferably econometrics prior to this course. The major trainings offered in this course focus on Bayesian theories, Bayesian statistical models with applications and computational skills required for empirical analysis. After the course, students should develop their understanding on the philosophy of Bayesian framework, understand basic Bayesian theories, Bayesian estimation methods and their applications, and master the computer skills for the practical use of Bayesian methods. Specifically, students should understand the differences between the Bayesian viewpoint and the classical frequentist perspective in order to be able to choose appropriate analyzing tools in empirical use.二、教学基本要求贝叶斯统计学和计量方法在近年得到越来越广泛的关注和应用，主要得益于计算机技术的发展使得贝叶斯数值抽样方法在实际应用中得以实现。
贝叶斯统计ppt课件
29
二 参数的Bayes点估计
（3）后验中位数估计
若 Me是后验分布h(θ| x )的中位数， 则 Me称为θ的后验中位数估计。即若
u0.5 h( x)d 0.5
则后验分布中位数估计
Me u0.5
30
二 参数的Bayes点估计
以上三种估计统称θ的Bayes估计，记为
或简记B 为 。它们 皆是样本观察值
18
历史迭代图
不收敛 收敛
19
(2)观察自相关性图 （m）
自相关性图用于描述（m）序列在不同迭代
延迟下的相关性，延迟i的自相关性是指相 距i步的两迭代之间的相关性。具有较差的 性质的链随着迭代延迟的增加会表现出较 慢的自相关衰弱。
20
21
22
23
Bayes Bayes统计推断
Bayes统计推断概述 参数的Bayes点估计 Bayes区间估计 Bayes假设检验
选择检验统计量，确定抽样分布，等等。
41
四 Bayes假设检验
Bayes假设检验不同型：
简单假设 简单假设
复杂假设 复杂假设 假单假设 复杂假设
42
四 Bayes假设检验
Bayes因子
设两个假设Θ0，Θ1的先验概率分布为π0与π1，
即：
0 P( 0 ),1 P( 1)
则 0 1 称为先验概率比。
3
（一）预备知识
4
5
（二）基本思想
6
（三）常用MCMC算法 Gibbs抽样（吉布斯采样算法）
7
8
立即更新的Gibbs抽样
每次迭带的时候 的一些元素已经被跟新了，如果在更
新其他的元素时不使用这些更新后的元素会造成一定程度 的浪费。事实上， Gibbs抽样 可通过在每一步都利用近似 得到的其他元素的值来获得更好的效果。这种方法改进了 练的混合，换句话说，链能更加迅速，更加详尽的搜索目 标分布的支撑空间。
Bayes(贝叶斯)估计
• 缺点：u不是变量
精选版课件ppt
批评2：评价方法
• 假设检验、参数估计等都是多次重复的结 果；
• 想知道：
– 一次实验发生的可能性
精选版课件ppt
ห้องสมุดไป่ตู้
Bayesian方法
精选版课件ppt
Bayesian公式
h(y|x) p(x| y)q(y)
p(x| y)q(y)dy
• 先验分布密度：q(y) • 条件分布密度：p(x|y) 似
• 4、确定的先验分布() • 5、利用Bayesian公式求后验分布密度 • 6、使用后验分布做推断（参数估计、假设检验）
精选版课件ppt
例1：两点分布b(1,p)的
• 1. 联合分布：p(x|)nxx(1)nx
• 2. 先验分布：() 1 01
• 3. 后验分布： h(|x)n xr(1)nr*()
• 平方损失：
L(,)()2
– 最小Bayesian风险估计：后验期望
• 点损失：
L(a,
)
0,|
a
|
1,|
a
|
– 最大后验密度估计
精选版课件ppt
例子： 正态分布
• X1…Xn服从正态分布N(，2) ， 2已知， • 的先验分布是N(，2 )
• 求的Bayes估计.
• 求得后验分布还是正态分布
方差未知正态总体的均值检验多项分布的广义似然比检验pearson卡方统计量和似然比handyweinberg均衡在参数估计的例子中引入了handyweinberg均衡bacterialclump泊松散布度检验dispersiontest泊松散布度检验dispersiontest泊松散布度检验
第六章 贝叶斯统计初步
4i i 2 (1 ) 5 4
它的概率分布为
P( i / 4 X 2)
1/4
9/20
2/4
8/20
3/4
3/20
根据定理4知，在0-1损失函数下，的贝叶斯 ˆ 1 ，因为这是后验分布的众数。 估计应是
4
贝叶斯学派与经典学派的区别：
（1）贝叶斯学派的出发点与经典学派不同，后 者的出发点是样本分布的频率函数 p ( x; ) 。 （2）在给定样本等于x时，对 ( x) 或 f ( x; ) 的含义的解释上也不同，前者在贝叶斯学派眼 中是关于 的（条件）频率函数；而后者在经 典学派眼中（作为 的函数）并没有概率的含 义在里面，因而称为似然函数。
结论：对于随机变量X， （1）若 EX 2 ，则
E( X EX )2 mina E( X a)2
（2）若 E X ，M(X)为X的中位数，则
E X M ( X ) mina E X a
2 ˆ ˆ 定理2 在平方损失函数 L( , ) ( ) 下 ， 的贝叶斯估计为后验分布 ( x) 的条件期望，
h( x, ) ( x)m( x) ~ ~ ~ 其中 m ( x )是 x 的边缘密度函数，公式为 ~
~
~
m( x) h( x, )d p ( x ) ( )d
~
它与 无关，或者说 m ( x )中不含 任何信息。 ~ 因此能用来对作出推断的仅是条件分布，它的 计算公式为
这就是参数为x+1和n-x+1的 分布B(x+1,n-x+1)。
第二节 贝叶斯估计
一、损失函数（lost function）
STAT
贝叶斯统计3.4,3.5教材
27
例3.22
关于成功概率的无信息先验分布至今已有4种 π1(θ)=1 π2(θ)=θ-1(1-θ)-1 π3(θ)=θ-1/2(1-θ)-1/2 ——正常 ——不正常 ——正则化后可成为正常
π4(θ)=θθ(1-θ)(1-θ) ——正则化后可成为正常
注意：1.一般说来，无信息先验不是唯一的.
但它们对贝叶斯统计推断的影响都很小，很少对结 果产生较大的影响
2.任何无信息先验都可以采用。
28
总结
1. 掌握贝叶斯假设
2.掌握位置参数和尺度参数的无信息先验分布
3.会用Fisher信息阵确定无信息先验
29
§3.5 多层先验
一、多层先验 二、多层模型
30
一、多层先验
1.定义
当所给先验分布中超参数难于确定时，可以对超参数 再给出一个先验，第二个先验称为超先验。由先验和 超先验决定的一个新先验称为多层先验。
试求分布参数 与的无信息先验.
取为位置参数, 为尺度参数, 令 1, ln( ), w ln( x), 则有
p( w; , )
1
w
d * 由随机变量函数知, ( ) ( ) 1 , 2 ( ) 1 , d
浙江财经学院本科教学课程经济数学三概率统计精品文档贝叶斯统计34352第三章先验分布的确定31主观概率32利用先验信息确定先验分布33利用边缘分布mx确定先验密度34无信息先验分布35多层先验334无信息先验分布一贝叶斯假设二位置尺度参数族的无信息先验三用fisher信息阵确定无信息先验4所谓参数??的无信息先验分布是指除参数??的取值范围和??在总体分布中的地位之外再也不包含??的任何信息的先验分布
例3.23 设对某产品的不合格品率了解甚少，只知道 它比较小。现需要确定θ的先验分布。决策人经过 反复思考，最后把他引导到多层先验上去，他的思 路是这样的： (1)开始他用(0,1)上的均匀分布U(0,1)作为θ的先 验分布。
(完整版)贝叶斯统计方法
贝叶斯方法贝叶斯分类器是一种比较有潜力的数据挖掘工具，它本质上是一种分类手段，但是它的优势不仅仅在于高分类准确率，更重要的是，它会通过训练集学习一个因果关系图（有向无环图）。
如在医学领域，贝叶斯分类器可以辅助医生判断病情，并给出各症状影响关系，这样医生就可以有重点的分析病情给出更全面的诊断。
进一步来说，在面对未知问题的情况下，可以从该因果关系图入手分析，而贝叶斯分类器此时充当的是一种辅助分析问题领域的工具。
如果我们能够提出一种准确率很高的分类模型，那么无论是辅助诊疗还是辅助分析的作用都会非常大甚至起主导作用，可见贝叶斯分类器的研究是非常有意义的。
与五花八门的贝叶斯分类器构造方法相比，其工作原理就相对简单很多。
我们甚至可以把它归结为一个如下所示的公式：选取其中后验概率最大的c，即分类结果，可用如下公式表示贝叶斯统计的应用范围很广，如计算机科学中的“统计模式识别”、勘探专家所采用的概率推理、计量经济中的贝叶斯推断、经济理论中的贝叶斯模型等。
上述公式本质上是由两部分构成的：贝叶斯分类模型和贝叶斯公式。
下面介绍贝叶斯分类器工作流程：1．学习训练集，存储计算条件概率所需的属性组合个数。
2．使用1中存储的数据，计算构造模型所需的互信息和条件互信息。
3．使用2种计算的互信息和条件互信息，按照定义的构造规则，逐步构建出贝叶斯分类模型。
4．传入测试实例5．根据贝叶斯分类模型的结构和贝叶斯公式计算后验概率分布。
6．选取其中后验概率最大的类c，即预测结果。
一、第一部分中给出了7个定义。
定义1 给定事件组，若其中一个事件发生，而其他事件不发生，则称这些事件互不相容。
定义 2 若两个事件不能同时发生，且每次试验必有一个发生，则称这些事件相互对立。
定义 3 若定某事件未发生，而其对立事件发生，则称该事件失败定义4 若某事件发生或失败，则称该事件确定。
定义 5 任何事件的概率等于其发生的期望价值与其发生所得到的价值之比。
定义6 机会与概率是同义词。
贝叶斯统计原理及方法优秀-2022年学习资料
伽玛分布-如果随机变量X具有概率密度函数-e-D-Fa-x-1-x≥0-0,-x<0-则称X服从伽玛分布， 作X~Gaa,入.-其中a>0为形状参数，入>0为尺度参数，-6
EX=于-」e=iara,-Ta+11o-To2-aa+1-EX2=-22-C-VrX=EX2-[EX]2 -7
贝塔函数-Ba,b=[x"1-x-dx-称为贝塔函数，其中参数a>0,b>0-贝塔函数的性质：1Ba,b= b,a-TaTb-2Ba,b=-Ta+b-10
Bayesian Statistics-贝叶斯统计-1
贝叶斯统计-预修要求：已修过概率论与数理统计-基本教材：-茆诗松编，贝叶斯统计-中国统计出版社，2005年
[1]贝叶斯统计与决策.Berger J O.中国统计出版-社.1998-[2]现代贝叶斯统计.Kotz ,吴喜之.中国统计出版-社.1999-[3]贝叶斯统计推断.张尧庭、陈汉峰.科学出版-社.1991
经典统计学：基于以上两种信息进行的统计推断被-称为经典统计学。-•说明：它的基本观点是把数据（样本）看成是 自-具有一定概率分布的总体，所研究对象是这个总体而-不局限于数据本身。-据现有资料看，这方面最早的工作是高 和勒让德-德误差分析、正态分布和最小二乘法。从十九世纪末-期到二十世纪中叶，经皮尔逊、费歇和奈曼等人杰出工作创立了经典统计学。-²随着经典统计学的持续发展与广泛应用，它本身的-缺陷也逐渐暴露出来了。-23
贝叶斯方法Bayesian approach-贝叶斯方法是基于贝叶斯定理而发展起来用于系-统地阐述和解决统 问题的方法Samuel Kotz和-吴喜之，2000。-贝叶斯推断的基本方法是将关于未知参数的先-验信息与 本信息综合，再根据贝叶斯定理，得-出后验信息，然后根据后验信息去推断未知参数-茆诗松和王静龙等，1998年 -“贝叶斯提出了一种归纳推理的理论（贝叶斯定-理，以后被一些统计学者发展为一种系统的统计-推断方法，称为贝 斯方法.”一摘自《中国大百-科全书》（数学卷）-16
贝叶斯统计学3
确定图形的曲线形式，并确定相应的超参 数和进行检验。
2020/7/20
14
3.3利用边缘分布m(x)确定先验分布
1.边缘分布m(x)特征 2.混合分布 3.先验分布选择的ML-Ⅱ方法 4 先验分布选择的矩法
)
2
2020/7/20
29
所以 m(x
,
2
)
2
(
2
2
)
n 2
exp
1 2
n i 1
( xi
xx
2
2
)2
2
(
2
2
)
n 2
exp
1 2
n
(xi x)2
i 1
2
2
n(x )2
2
2
2
(
2
2
)
n 2
exp
1 2
n
(xi x)2
i 1
2
2
exp
的合理程度。这里，把m(x)记为 m (x)，表
示m(x)依赖于先验分布及其超参数，当观测值
x对二个不同的先验分布1和 2 有
m1 (x) m2 (x) 时的，支人持们。自这然样会人认们为也数自据然x对就会1比想对到利2 用提m供(更x)多这
一特征来确定先验分布（假定先验分布形式已 定时，实际上是先验分布的超参数）。
20
所以 m(x)
1
2
exp
1 2
C
B2 A
1
2 1
exp
1 21
贝叶斯统计茆诗松版大部分课后习题答案（精编新修订）
习题讲解一、1,3,5,6,10,11,12,151.1记样本为x.()()22682268(0.1)*0.1*0.90.1488(0.2)*0.2*0.80.29360.1488*0.70.10.54180.1488*0.70.2936*0.30.2936*0.30.20.45820.1488*0.70.2936*0.3p x C p x C x x θθπθπθ==≈==≈==≈+==≈+后验分布：()()()()()1113353680362(|)(1)*2(1)112(1)15(|)840(1),01m x p x d C d d p x x m x θπθθθθθθθθθθπθπθθθθ==--=-===-<<⎰⎰⎰1.61.11 由题意设x 表示等候汽车的时间，则其服从均匀分布(0,)U θ1,0()0,x p x θθ⎧<<⎪=⎨⎪⎩其它因为抽取3个样本，即，所以样本联合分布为123(,,)X x x x =12331,0,,()0,x x x p X θθ⎧<<⎪=⎨⎪⎩其它 又因为4192/,4()0,4θθπθθ⎧≥=⎨<⎩所以，利用样本信息得1233471192192(,)()() (8,0,,)h X p X x x x θθπθθθθθθ==⋅=≥<<于是788192()(,)m X h X d d θθθθ+∞+∞==⎰⎰的后验分布为θ76778(,)192/68()192()h X X m X d θθπθθθθ+∞⨯===⎰6768,8()0,8X θπθθθ⎧⨯≥⎪=⎨⎪<⎩1.12样本联合分布为：1(),0np x x θθθ=<< 1000/,()0,αααθθθθπθθθ+⎧>=⎨≤⎩{}110101()()()/1/,max ,,,n n n x p x x x αααπθθπθαθθθθθθ++++∝=∝>= 因此的后验分布的核为，仍表现为Pareto 分布密度函数的核θ11/n αθ++即1111()/,()0,n n n x αααθθθθπθθθ+++⎧+>=⎨≤⎩即得证。
贝叶斯统计2.1-2.2
Var ( X ) 2 ( ) ( 1)
11
E( X )
例2.2.2 为了估计不合格品率 ，今从一批产品中随机 抽取n件，其中不合格品数X b(n, )， 的先验分布取 Be(α,β),它的后验分布为Be(α+x,β+n-x). 所以
后验分布( x)对 是非减的，又因为 的取值 ˆ x. 不能超过x，故 的最大后验估计为 MD
15
二、贝叶斯估计的误差
ˆ 是一个 设 ˆ 是 的一个贝叶斯估计，在样本给定后，
数，在综合各种信息后， 是按 ( x ) 取值，所以评价一个 贝叶斯估计的误差的最好而又简单的方式是用对 ˆ的后验 均方差或平方根来度量，定义如下：
2
3. 条件方法与频率方法的区别：(以对估计的无偏性 认识为例)例如经典统计学认为参数的无偏估计应 满足：
ˆ( x ) E
x
ˆ( x) p ( x | )dx
其中平均是对样本空间中所有可能出现的样本而 求的，可实际中样本空间中绝大多数样本尚为出现 过，而多数从未出现的样本也要参与平均是实际工 作者难以理解的。故在贝叶斯推断中不用无偏性， 而条件方法是容易被实际工作者理解和接受的。
4
例2.6.2
Pratt(1962)一位工程师在对电子管的一个随机样本 测量板极电压时，所用测量仪器极其精密，以致误差 可忽略不计。一位统计学家检查了测量值，看上去为 正态分布，变化范围为75到99伏特，均值为87，标准 差为4。他进行了统计分析，给出正态均值的置信区 间。后来他到实验室发现，电压计读数至多为100伏 特。于是认为总体是“截尾的”，应重新处理数据。 但工程师说，他有另一台电压计，同样精度，能测到 1000伏特。如果电压超过100伏特，就会用这一台测 量。这使频率派统计学家感到放心，因为这表明总体 毕竟是完整的，无须重新处理数据。 第二天工程师打电话说：“我刚刚发现那台高量 程的电压计坏了。”统计学家查明，那台高量程的 电压计修复之前，试验没有停止，故通知工程师， 数据需要重新分析。 5
贝叶斯统计学1
h( x, θ ） ( θ / x) m(x) （n 2) （x 1） 1 （n x 1） 1 ＝ θ (1 θ ） （x 1)( n x 1)
0 θ 1
根据上式计算θ<0.5的概率
n 2 n x x p 0.5 x 1 d x 1n x 1 0
n 3
5 0 0 .5 0 0 .5 f 1 10 1
n 3
5
10 0 0 .5 f ( n) 5 10 1
0
0 .5
1
f
n 2
5
0
0 .5
1
10
10
f ( 0)
5
0 0
0
0.5
1 1
20
20
f
拉普拉斯实例（p9~10）
1786年拉普拉斯研究巴黎男婴诞生的比率: 他希望检验男婴出生比率θ是否大于0.5。 收集1745年～1770年婴儿出生数据：男 251527个；女婴241945个。 0 θ 1 1, 选用先验分布： ( θ )＝
0，
其他场合
在 n=251527+241945=493472,x=2515 27时，代入θ/x～Be(x+1,n-x+1)得后验 分布为：
所以后验密度为[贝塔分布,记为 θ/x～Be(x+1,n-x+1)]
h( x,θ ） ( θ / x) m(x) （n 2) （x 1） 1 （n x 1） 1 ＝ θ (1 θ ） （x 1)(n x 1)
0 θ 1
贝叶斯统计知识整理
只能据先验分布对 作出推断。在有样本观察值 x=( x1 ,…, xn )之后，我们依据 h(x, ) 对 作出推断。为此我们需把 h(x, ) 作如下分解：
h(x, ) ( x)m(x)
其中 m(x)是 x 的边缘密度函数。
m(x) h(x, )d p(x ) ( )
它与 无关，或者说，m(x)中不含 的任何信息。因此能用来对 作出推断
中有关 的一切信息，而又是排除一切与 无关的信息之后所得到的的结果。
（三）贝叶斯公式的离散形式
是离散随机变量时，先验分布可用先验分布列 (i ) ,i=1,2,…,表示。这
时后验分布也是离散形式。
( i | x )
p ( x | i ) ( i ) ，i 1,2, p ( x | j ) ( j )
( ) 0
( )
Var ( X ) 2
4.伽马分布的特性
（1）当α=1，伽玛分布就是指数分布 （2）当α=1/2 1/ 2 时，伽马分布称为自由度为 n 的卡方分布。 （二）贝塔分布
1.贝塔函数
B(a,b) 1 xa1(1 x)b1dx 0
称为贝塔函数，其中参数 a>0,b>0 贝塔函数的性质 2.
2.二项分布中的成功概率 的共轭先验分布是贝塔分布。 设总体 X ~ b(n, ) ，其密度函数中与 有关的部分为 x (1 )nx 。又设 的 先验分布为贝塔分布 Be( , ) ，其核为 1(1 ) 1 ，其中 ， 已知，从而可 写出 的后验分布
，
立即可以看出，这是贝塔分布
的核，故此后验密度为
（1）B(a,b) B(b, a) (2)B(a,b) (a)(b) (a b)
3.贝塔分布
若随机变量 X 具有概率密度函数：
《贝叶斯统计》课程教学大纲
《贝叶斯统计》课程教学大纲（2004年制定，2006年修订）课程编号：060046英文名：Bayesian Statistics课程类别：统计学专业选修课前置课：微积分、概率论与数理统计后置课：学分：3学分课时：54课时主讲教师：陈耀辉等选定教材：茆诗松，贝叶斯统计，北京：中国统计出版社，1999课程概述：贝叶斯学派是数理统计中一个重要的学派，它有鲜明的特点和独到的处理方法，在国际上贝叶斯学派与非贝叶斯学派的争论是很多的。
本课程重点介绍贝叶斯统计推断的理论、方法及其基本观点，同时对贝叶斯方法和经典方法在历史上的重大分歧也适当地予以介绍。
通过本课程的学习能系统地掌握贝叶斯统计的基本理论、方法和应用，特别是贝叶斯统计中所具特色的一些处理方法及相应的理论。
主要内容有：先验分布与后验分布的基本概念、后验分布的计算方法、估计及假设检验、贝叶斯统计决策方法等。
教学目的：通过该门课程的学习，使学生能了解贝叶斯学派的基本观点和基本思想，了解贝叶斯学派和频率学派联系和区别，了解贝叶斯统计的最新研究进展，能够系统地掌握贝叶斯统计的基本理论、基本方法，更重要的是掌握贝叶斯统计具有特色的一些处理方法以及相应的理论，用以分析问题、解决问题。
教学方法：根据该门课程的特点，在利用传统的教学方法讲授理论的同时，注重案例教学，特别是要适当地运用研讨性教学方法，而且要适时运用创新教学方法，即教师应依据教材对教学内容作合理的安排，讲透重点难点，注意本学科研究的最新成果和前沿知识，既要教学生学习知识，又要培养学生的能力，特别是要培养学生的创新意识和创新能力，争取开展一些第二课堂活动。
各章教学要求及教学要点第一章引论课时分配：2课时教学要求：通过本章的学习，要求学生掌握贝叶斯统计理论的基本观点，了解贝叶斯统计学派和经典统计学派之间的重大分歧，了解现代贝叶斯统计理论的研究现状及贝叶斯统计理论的应用，重点掌握贝叶斯统计的基本思想，深刻理解“概率”、“统计”的不同的哲学解释，学习他们各自的优点来分析问题、解决问题。
贝叶斯统计学2
p(X x ) (1 )x1
x 1,2,
现假如其中参数θ只能以相同的概率取 1/4,2/4和3/4三个值，现只获得一个样本观 察值 x=3,要求θ的最大后验估计，并计算他 的误差。
2019/7/26
27
解：显然，有题设条件有：θ的先验分布为
i 1
i 1,2,3
p( x ) en t en t
x1!x2! xn!
n
其中 t xi。而其给定的先验分布为
i1
1e
p(
x
)
x
x!
e
( , )
x e 1 x
分布为
(
x)
1
n1
e xp
t
2
2
两边去对数有
所以
ln
(
x)
n
1ln
t
2
2
ln (
x)
n
1
t
3
0
ˆ
t n 1
1 n 1
n i 1
xi2
2019/7/26
14
（2）同理，可得样本的似然函数为
总体
样本
样本数据x 统计量T
已知未知 统计量分布
枢轴统计量 枢轴统计分布
2019/7/26
推
断
3
条件方法统计推断过程
综合总体信息、样本信息和先 验信息得到后验分布。 基于后验分布，在已出现的样 本基础上推断总体参数。 对统计推断的结果，不认为所 谓无偏性是优良估计的评价标 准。
贝叶斯统计
贝叶斯统计1 概率论和统计学的区别简单来说，概率论和统计学解决的问题是互逆的。
假设有一个具有不确定性的过程（process），然后这个过程可以随机的产生不同的结果（outcomes）。
则概率论和统计学的区别可以描述为：在概率论（probability theory）中，我们已知该过程的概率模型，该模型的不确定性由相应的概率分布来描述；概率论要回答的问题是该过程产生某个结果的可能性有多大这类问题。
在统计学（statistics）中，该过程的概率模型对我们来说是未知的，但是我们有一系列该过程产生的结果的观测值；我们希望通过这些观测值来推断出这个过程中的不确定性是什么样的。
总结来说就是：通过已知的概率模型来精确的计算各种结果的可能性就是概率论；根据观测的结果来推断模型的不确定性就是统计学。
如果上面的描述依然晦涩，请看下面这个例子。
假设桶里面有100 个小球，小球分为白色和黑色。
如果已知桶里面一共有 30 个白球和 70 个黑球，想回答随机从桶中摸出一个白球（或者黑球）的概率是多少这样的问题，这就属于概率论的范畴。
而如果已知通过有放回的采样抽出了 10 个球并且其中 4 个白球 6 个黑球，想要推断的是小桶里面白球（或者黑球）的百分比（这些对我们来说是未知的），这就是统计学的范畴。
对于概率论来说，每一个问题都有唯一的答案。
通过相关计算，总可以计算出我们关心的结果发生的概率。
反观统计学，它更像是一门艺术。
因为要推断的模型是未知的，因此很难说哪种推断方法就优于另一种方法，或者哪种推断结果就比其他结果更加正确。
就拿上面的例子来说，虽然观测到的 10 个球中有 4 个白球和 6 个黑球，但我们仍不能断言桶里白球占 40% 的推断就一定比桶里白球占 50% 或者30% 的推断更加准确。
2 古典统计学和贝叶斯统计学统计学领域中有两大学派：古典统计学（classical）和贝叶斯统计学（Bayesian，以英国数学家托马斯·贝叶斯命名）。