贝叶斯统计及其推断PPT课件( 123页)

0
0
即 P ( x) (a b) x a1 (1 x)b1 (a) (b)
0 x 1
计算的简化---边缘密度的核
法二：由于Be(a,b)的核 为xa1(1 x)b1, 0 x 1， 故x ~ Be(a, b), P(x) ~
计算的简化---后验密度的核
先验信息的利用
先 验 信 息 通 过 给 出 参 数 的 一 个 分 布 来 反 映 ， 称 此 分 布 为 参 数 的 先 验 分 布 ， 记 为 ( )
贝叶斯统计与经典统计的区别
总之，贝叶斯统计与经典统计的区别反映在：对 参数、概率的理解上，先验信息有无利用上
符号的改变
P (x;) P (x|) 右 边 ： 在 给 定 (一 个 样 本 值 ) 时 ， X 的 条 件 分 布
0 1
即| x~Be(x1,nx1)
计算的简化
核的定义，设r.v.x的概率密度（或分布列）
函数为P(x)=c.h(x)
则称h(x)为P(x)的核
由于ch(x)dx 1(或ch(x) 1) x
c 1 从而P(x) h(x)
h(x)dx
h(x)dx
即P(x)由核唯一确定，
设X~P(x|)
经 典 统 计 认 为 是 个 常 数 ， 但 未 知 。
贝 叶 斯 统 计 认 为 是 个 随 机 变 量 ， 无 论 是 否 可 变 。
参数理解的例子
例1 估计某特定教师的年龄
经典统计认为 是一常数， 但未知，实际上 确实是一
个未知的不可变数。贝叶斯
统计仍然认为 为一个r.v.。
例4.2.设x ~ N ( , 2 ), ~ N ( , 2 )求 ( | x)
解： ( | x)
1
e
(
x ) 2 2
2
2
1
e
( 22
)2
2
e
( x ) 2 2
2
e
( 2 2
)
2

e

2
(

x
)2 2 2
2 2
(


)
2

exp{
(
2


2 )
2 2( 2 x 2 2 2


2 )
}
ቤተ መጻሕፍቲ ባይዱ
2 exp{

2(
2

x
2


2
2
21
)
[ } exp{

(
2 2
2
x
2
2 1
2 2
2
)]2 }
1 2
除了相差一个常数倍外，核也由P(x)唯一确定
计算的简化---边缘密度的核
例 3 . 1 .设 x ~ N (1 , 4 )
则 P (x)
1
( x 1)2
e 24 , x R
2 2
2
1
2
x2 2 x 1
e
2 4
x2 2 x
e 8 h(x)
计算的简化---边缘密度的核
边缘密度和后验密度
设X的密度为P(x|),现有 观察值x,及()，求 边缘密度m(x),后验密度(| x) 解 ： m (x)p(x,)dp(x|)()d, (|x)p(x,)/p(x,)dp(x|)()/m (x).
求解的例子
设 x b ( n ,) ,~ U ( 0 ,1 ) . 求 m ( x ) ,(|x )
计算的简化---边缘密度的核
例 4.1.设 X b(n, ), u (0，1)， 求 ( | x)
解 ： P(x| )=C nx x(1- )n x ( ) 1, 0 1
0 1
( | x) P ( x | ) / m ( x)
C nx x (1 ) n x 1 x (1 ) n x
例 2.3.设 后 验 密 度 为 （ | x ) C nx x (1 ) n x / m ( x ) x (1 ) n x h ( )
注 ： 在 后 验 密 度 (|x)中 ， x要 视 作 常 数 ，
后 验 密 度 是 一 个 条 件 密 度 。 实 际 上 贝 叶 斯 统 计 式 基 于 当 前 观 察 Xx的 条 件 统 计 推 断
例3.2.设 x的 密 度 核 为 x a1 (1 x)b1, 0 x 1, 求 P ( x)
解 ： 法1.P ( x) c.h( x)
又
1
ch(x)dx
1
P(x)dx 1
0
0
c
1
1

h(x)
1 1 x a 1 (1
x )b1

(a b) (a) (b)
( x 1)1 (1 ) ( n x 1)1 , 0 1 .
故 |xB e (x 1 ,n x 1 )
注 ： 由 于 丢 弃 部 分 x的 函 数 Cnx等 ，
故x(1)nxd不 能 导 出 m(x).
计算的简化---边缘密度的核
概率理解的不同
设P(A)=0.9…… (1) ●经典统计：(1)式意味着重复试验n次，A
发生的次数约为0.9n,故又称为频率学派
●贝叶斯统计：认为A发生的可能性为90%， 试验不一定会重复
概率理解的不同
例2
在 例 1 中 ， 根 据 生 活 经 验 ， 断 定 在 [30,40] 之 间 的 可 能 性 为 0.9,即 P(3040)=90%
解：m(x) 01Cnx x(1)nx 1d
Cnx
1

x
(1
)nx
d
0

1 n1
,
x 0,1,...,n.
(| x) Cnxx(1)nx / m(x)

(n2)
(1 ) (x1)1
(nx1)1
(x1)(nx1)
贝叶斯统计
贝叶斯中的
信息 三种信息：
总体信息~可知r.v.的分布类型 样本信息~由此可推断未知参数的信息 先验信息~由历史经验得到的参数信息
有一定的主观性通常由专家给出
经典统计与贝叶斯统计
经典统计与贝叶斯统计的区别反映在三个方 面：
• 参数的理解上 • 概率的理解上 • 先验信息的有无利用上
对参数的理解