贝叶斯数据分析—基于R与Python的实现最新版讲义PDF版BayesP4

对于独立样本 v = (v1, v2, . . . , vM)⊤ 指数族形式仍然保持,
M
M
7(v|θ) = 2tT[ vBθƐM#(θ) + +(vB)]
B=1
B=1
7(v|θ) = 2tT
吴喜之
M B=1
vBθ
−
M#(θ)
Φ
+
M B=1
+(vB, Φ)
(有尺度参数的形式).
X X X XXXX XXXX XXXX X
LQp2K#2` j- kyky
X XX X X XX
8 f 8R
指数族分布有下面的形式U不同的文献用的符号系统可能不同- 但含义一样V,
7(x|ζ) = 2tT[i(x)m(ζ)]`(x)b(ζ) = 2tT[i(x)m(ζ) + HQ; `(x) + HQ; b()],
UyXRV
这里- ` 和 i 为 x 不依赖 ζ 的实数值函数- 而 b 和 m 为不依赖 x 的实数值函数- 而且 `(x) > 0, b(ζ) > 0, ∀x, ζ.
LQp2K#2` j- kyky
X XX X X XX
R8 f 8R
如果因变量为二分变量 U记为哑元 0, 1 V- 比如因变量为 "2`MQmHHB 试验的结果或者服从二 项分布的变量- 成功概率为 T(v = 1) = T- 那么- 对于式 UyX9V 所代表的广义线性模型- 我们 取连接函数为 ;(T) = HQ;[T/(1 − T)]- 这时的模型为 HQ;BbiB+ 回归模型,
数优越X 一些非正则连接函数X 例如对二项分布, URV T`Q#Bi,
;(µ) = Φ−1(µ)X UkV 互补的双对数, ;(µ) = HQ;[− HQ;(1 − µ)]. X X X X X X X X X X X X X X X X X X X X
X X X XXXX XXXX XXXX X X
其最大似然估计X
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` j- kyky
X XX X X XX
9 f 8R
指数分布族和广义线性模型
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
第 Ry 章 贝叶斯广义线性模型
U所有例子的代码和结果见书V
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` j- kyky
X XX X X XX
k f 8R
可能性和最大似然原理
吴喜之
Baidu Nhomakorabea
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
UyX8V UyXeV UyXdV
Σ10
tB
µ2
L β0
i βD
µ0 = tβ

lMB7 λ0
ν0
#
T(µ1) = L(µ10, Σ10), µ10 = 0, Σ10 = 10;
UyX3V Σ2
T(λ1) = :KK(α10, β10), α10 = 1, β10 = 0.1; UyXNV
T(β0) = L(µ2, Σ2), µ2 = ¯v, Σ2 = b.
这个例子虽然很简单- 下面建议的模型有些夸张- 层数很多X 目的是让读者通过这个简单 例子熟悉这类问题的编程- 学会如何对各种参数或超参数取先验分布- 并且用 _faiM 及 Svi?QMfSvJ*j 软件 U使用 J*J*V 来计算各个参数的后验分布X 记数据的样本量为 M- 对于 B = 1, 2, . . . , M 用 vB 表示因变量- tB = (1, tB1, tB2, . . . , tBF)⊤ 表示 自变量- 系数为 β = (β0, β1, . . . , βF)⊤X 记因变量的样本均值和样本标准差分别为 ¯v 和 b考虑线性表示
M
T(vB|µ0, λ, ν) = i(vB|µ0 = t⊤B β, λ0, ν0), ν0 = 1.5;
µ10
L
α10
β10
:KK
µ1
λ1
ν1
B=1
T(βD|µ1, λ1, ν1) = i(βD|µ1, λ1, ν1), ν1 = 1; T(λ0) = lMB7(, #), = 0, # = 100;
UyXRyV
i vB
B = 1, 2, . . . , M D = 1, 2, . . . , F
上面的因变量 v 及各个系数取的是广义 i 分布- 其密度函数为
7(t|µ, λ, ν)
=
Γ
(
ν
+1 2
)
Γ
(
ν 2
)
λ πν
1 2
λ(t − µ)2
−
ν
+1 2
1+
.
ν
广义 i 分布比通常的正态分布有更厚重的尾部- 作为先验分布较稳健X 但这里的常数项 β0
T 1−T
c
对于 SQBbbQM 分布- ;(λ) = θ = HQ;(λ)X
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` j- kyky
X XX X X XX
N f 8R
对于正则连接函数- 有如下结果- 使得数学推导简单很多X,
LQp2K#2` j- kyky
X XX X X XX
d f 8R
广义线性模型和连接函数
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` j- kyky
X XX X X XX
3 f 8R
广义线性模型把 µ 和 η 之间用一个函数 ;(·) 连接起来- 即
LQp2K#2` j- kyky
X XX X X XX
RR f 8R
线性回归 U所有例子的代码和结果见书V
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` j- kyky
X XX X X XX
Rk f 8R
1tKTH2
教育数据 UMb+QK#2X+bpVX 该数据是关于美国 RNdy 年各州 U外加华盛顿特区V 教育情况 的数据 UMb+QK#2- RN3RVX 有 8R 个观测值和 9 个变量X 变量为 2/m+iBQM U人均教育花费单位, 美元V、BM+QK2 U人均收入- 单位, 美元V、vQmM; U每 Ryyy 人中 R3 岁以下者的数目V、 m`#M U每 Ryyy 人中城镇人口数目VX 该数据可从 _ 程序包 +`.i 直接获取 U名为 Mb+QK#2VX
HQ;
T(vB = 1|tB) 1 − T(vB = 1|tB)
= tBβ
或者
T(vB
=
1|tB)
=
2tT(tBβ) 1 + 2tT(tBβ)
UyXRRV
1tKTH2
UaTQ`ibX+bp- aTQ`ibkX+bpV 这是用于客观性分析的体育文章数据集- 使用 KxQM J2+?MB+H hm`F 对 Ryyy 篇体育文章标记了 Q#D2+iBp2U客观V 或 bm#D2+iBp2U主观V- 这是因变 量 G#2H 的两个水平X 自变量包含 8N 个数值型变量- 给出了 Ryyy 篇文章的字数- 词频及 记分等信息- 这里不赘述- 感兴趣的读者请查看原网址X 本文使用了数据文件 aTQ`ibX+bp 和 aTQ`ibkX+bp- aTQ`ibkX+bp 是仅仅有变量 G#2H- S_S- o"L- BKT2`iBp2- ZmQi2b- Tbi- **- CCaq_" 的简化版本X
vB = t⊤B β = β0 + β1tB1 + β2tB2 + · · · + βFtBF.
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` j- kyky
X XX X X XX
Rj f 8R
对于例R- M = 51, F = 3X 我们采用下面的模型 U其中 D = 1, 2, . . . , FV,
还是使用的正态分布X
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
X XX X X XX
吴喜之
LQp2K#2` j- kyky R9 f 8R
二水平变量问题, HQ;BbiB+ 回归
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
θB = ηB;
1(vB) = µ(θB) =
∂ ∂θB
#(θB)
=
∂ ∂ηB
#(ηB);
o`(vB)
=
Φ
∂2 ∂θB2
#(θB)
=
Φ
∂2 ∂ηB2
#(ηB)
=
Φ
∂ ∂θB
µ(θB);
;[µ(θB)] = ;
∂ ∂θB
#(θB)
=;
∂ ∂ηB
#(ηB)
= ηB.
没有任何证据说明正则连接函数在实际应用中比其他连接函
t′β = −µ−2 t′β = HQ;(µ)
t′β = HQ;
µ 1−µ
均值函数 K(η)
µ = t′β
µ = −(t′β)−1
µ = −(t′β)−1
µ = (−t′β)−1/2
µ = 2tT(t′β)
µ
=
1
2tT(t′β) + 2tT(t′β)
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
全部原始资料都可以从以下网址下载, ?iiT,ff`+?Bp2XB+bXm+BX2/mfKHf/ib2ibfaTQ`ibY`iB+H2bY7Q`YQ#D2+iBpBivYMHvbBbX
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` j- kyky
X XX
吴喜之
LQp2K#2` j- kyky Ry f 8R
h#H2, 某些指数族分布的正则连接函数
分布 正态 U高斯V 指数 :KK 逆高斯 SQBbbQM
二项
连接函数在 _ 中的名字 B/2MiBiv BMp2`b2 BMp2`b2 RfKmk HQ; HQ;Bi
连接函数 ;(µ)
t′β = µ t′β = −µ−1 t′β = −µ−1
M B=1
T(vB|θ)
不再是一
个概率度量- 而是 θ 的函数X θ 的最大似然估计,
θˆ = `; Kt G(θ|v) = `; Kt ℓ(θ|v) = `; Kt HQ; G(θ|v).
θ
θ
θ
通常称对数似然关于 θ
的一阶偏导数 ℓ˙(θ|v) =
∂ ∂θ
HQ;
G(θ|v)
为记分函数Ub+Q`2 7mM+iBQMVX 显然- 使得记分函数等于 y 的 θ 为
指数分布族的正则形式 在式 UyXRV 中- 考虑变换 v = i(x) 及 θ = m(ζ)- 则称 θ 为正则参数X 这个变换产生指数族分
布的正则形式
7(v|θ) = 2tT[vθƐ#(θ) + +(v)]. 7(v|θ) = 2tT vθƐ#(θ) + +(v, Φ)
Φ
(有尺度参数的形式).
UyXkV UyXjV
;(µ) = tβ = η, 或者 ;(µ) = η.
UyX9V
这里- 作用在均值 µ 上的变换函数 ;(·) 称为连接函数- 而其逆 函数 K(·) 称为均值函数X 对于指数族来说- 方便的连接函数
θ = η 称为正则连接函数- 比如,
对于正态分布- ;(µ) = θ = µc
对于二项分布- ;(T) = θ = HQ;
LQp2K#2` j- kyky
X XX X X XX
j f 8R
假定 v 为观测值向量- 而 θ ∈ Θ 为待估计未知参数向量- 记 T(v) = T(θ)T(v | θ)/θX 后验分布
T(θ
|
v)
=
T(v | θ)T(θ) T(v)
∝
T(v
|
θ)T(θ).
已经有数据 v 之后- 似然函数 G(θ|v) =
X X X XXXX XXXX XXXX X X
LQp2K#2` j- kyky
X XX X X XX
e f 8R
指数分布族例子, 正态、二项、SQBbbQM、 :KK、负二项分布等等X 很容易验证X
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
X XX X X XX
Re f 8R
在下面的建模中- 我们将以例k的 G#2H 为因变量- 以 S_S 和 o"L 作为自变量做 HQ;BbiB+ 回归- 连 接函数用 HQ;Bi 函数 ;(T) = HQ;[T/(1 − T)] = η U或 T = [2tT(η)]/[1 + 2tT(η)]VX 记数据的样本量为 M- 对于 B = 1, 2, . . . , M, 用 vB 表示因变量- tB = (1, tB1, tB2, . . . , tBF)⊤ 表示自变 量- 系数为 β = (β0, β1, . . . , βF)⊤X 考虑线性表示