贝叶斯统计知识整理

只能据先验分布对 作出推断。在有样本观察值 x=( x1 ,…, xn )之后，我们依据 h(x, ) 对 作出推断。为此我们需把 h(x, ) 作如下分解：
h(x, ) ( x)m(x)
其中 m(x)是 x 的边缘密度函数。
m(x) h(x, )d p(x ) ( )
它与 无关，或者说，m(x)中不含 的任何信息。因此能用来对 作出推断
（ 3） 为自然数 n 时， ( n 1) n !
3.伽马分布
若随机变量 X 具有概率密度函数：
p(x)
(
)
x
e 1 x
,
0,
x0 x0
则称 X 服从伽玛分布, 记作 X ~Ga（，）. 其中 0 为形状参数， 0 为
尺度参数。
E( X ) x e 1 x ( 1) 1
j
假如总体 X 也是离散的，那只要把上述中的密度函数 p(x ) 看作为概率函
数 p (x x ) 即可。
二、后验分布是三种信息的综合 一般来说，先验分布 ( ) 是反映人们在抽样前对 的认识，后验分布 ( x)
是反映了人们在抽样后对 的认识，之间的差异是由于样本 X 出现后人们对 认 识的一种调整。所以后验分布 ( x) 可以看作是人们用总体信息和样本信息(综
假设 III ：从贝叶斯观点来看，未知参数 是一个随机变量。而描述这个随 机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用 ( ) 表示。 2. 先验分布
定义 1 ：将总体中的未知参数 看成一取值于 的随机变量，它有一概
率分布，记为 ( ) ，称为参数 的先验分布。
i 1
k
B Ai 则有： i 1
P ( Ai B )
P ( Ai ) P ( B Ai )
k
P ( Ai ) P ( B Ai )
i 1
（二）贝叶斯公式的密度函数形式
1.贝叶斯学派的一些具体思想
假设 I ：随机变量 X 有一个密度函数 p(x; ) ，其中 是一个参数，不同的
对应不同的密度函数，故从贝叶斯观点看， p(x; ) 是在给定 后的一个条件密度
（2）由于 是设想出来的，它仍然是未知的，它是按先验分布 ( ) 而产生 的，要把先验信息进行综合，不能只考虑 ，而应对 的一切可能加以考虑。故 要用 ( ) 参与进一步综合。这样一来，样本 x 和参数 的联合分布
h(x, ) p(x ) 把三种可用的信息都综合进去了。 （3）我们的任务是要求未知数 做出统计推断。在没有样本信息时，人们
n
p(x ) p(xi ) i 1
这个联合密度函数是综合了总体信息和样本信息，常称为似然函数，记为 L( ) 。频率学派和贝叶斯学派都承认似然函数，两派认为：在有了样本观察值 x=( x1 ,…, xn )后，总体和样本中所含 的信息都被包含在似然函数 L( ) 之中， 可在使用似然函数作统计推断时，两派之间还是有差异的。
( ) 0
( )
Var ( X ) 2
4.伽马分布的特性
（1）当α=1，伽玛分布就是指数分布 （2）当α=1/2 1/ 2 时，伽马分布称为自由度为 n 的卡方分布。 （二）贝塔分布
1.贝塔函数
B(a,b) 1 xa1(1 x)b1dx 0
称为贝塔函数，其中参数 a>0,b>0 贝塔函数的性质 2.
合称为抽样信息)对先验分布 ( ) 作调整的结果。所以对 的统计推断就应建立
在后验分布 ( x) 的基础上。
三、伽玛分布与贝塔分布 （一）伽马分布：
1.伽马函数：
（） x1exdx 0 0
2.伽马函数的性质：
（ 1） (1) 1; ( 1 ) 2
（ 2） ( 1) ( )
1.1 三种信息
（1）总体信息：总体分布或所属分布族提供给我们的信息 （2）样本信息：从总体抽取的样本提供给我们的信息 （3）先验信息：在抽样之前有关统计推断的一些信息
1.2 贝叶斯公式
一、贝叶斯公式的三种形式
(一）贝叶斯公式的事件形式
假定
A1 ,
,
Akቤተ መጻሕፍቲ ባይዱ
k
是互不相容的事件，它们之和 Ai 包含事件 B，即
3.后验分布 （1）从贝叶斯观点看，样本 x=( x1 ,…, xn )的产生要分两步进行。首先设想
从先验分布 ( ) 产生一个样本 ，这一步是“老天爷”做的，人们是看不到的， 故用“设想”二字。第二部是从总体分布 p(x| )产生一个样本 x=( x1 ,…, xn ), 这个样本是具体的，人们能看到的，此样本 x 发生的概率是与如下联合密度函数 成正比。
（1）B(a,b) B(b, a) (2)B(a,b) (a)(b) (a b)
第一章 先验分布和后验分布
统计学有两个主要学派，频率学派与贝叶斯学派。频率学派的观点：统计推 断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总 体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应 该使用第三种信息：先验信息。贝叶斯统计就是利用先验信息、总体信息和样本 信息进行相应的统计推断。
函数，因此记为 p(x ) 更恰当一些。在贝叶斯统计中记为 p(x) 它表示在随机变
量 给定某个值时，总体指标 X 的条件分布。这个条件密度能提供我们的有关
的 信息就是总体信息。
假设 II ：当给定 后，从总体 p(x ) 中随机抽取一个样本 X1，…，Xn，该
样本中含有 的有关信息。这种信息就是样本信息。
中有关 的一切信息，而又是排除一切与 无关的信息之后所得到的的结果。
（三）贝叶斯公式的离散形式
是离散随机变量时，先验分布可用先验分布列 (i ) ,i=1,2,…,表示。这
时后验分布也是离散形式。
( i | x )
p ( x | i ) ( i ) ，i 1,2, p ( x | j ) ( j )
的仅是条件分布 ( x) 。它的计算公式是 ( | x ) h ( x | ) p ( x | ) ( )
m ( x ) p ( x | ) ( ) d
这就是贝叶斯公式的密度函数形式。这个在样本 x 给定下， 的条件分布
( x1,, xn ) 被称为 的后验分布。它是集中了总体、样本和先验等三种信息