贝叶斯数据分析—基于R与Python的实现最新版讲义PDF版BayesP1

LQp2K#2` R- kyky
来自百度文库
X XX X X XX
9 f kR
必须学会贝叶斯贝叶斯编程
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
8 f kR
贝叶斯统计实践中最困难的是在寻求后 验分布过程中所遇到的积分困难
LQp2K#2` R- kyky
X XX X X XX
R8 f kR
1tKTH2
假定盒子中有 j 个硬币- 抛这些硬币会以不同的优比出现正面, R,j、R,R、 j,RX 如果随机从盒子里面取出一个- 抛后得到正面- 那么这可能是哪个硬 币\ 提示, 记这三个硬币的事件为 *1, *2, *3- 正面和反面分别记为 > 和 h 则先验分 布 T(*B) = 1/3, B = 1, 2, 3- 根据已知条件T(>|*1) = 0.25, T(>|*1) = 0.5, T(>|*1) = 0.75. 结果,
不同性别和吸烟程度的人患肺癌的百分比
性别
吸烟程度
男性 yXkW 8X8W R8XNW 女性 yX9W kXeW NX8W
k9X9W R3X8W
kyR9 年英国国家统计办公室指出, 英国有 RdW 女性吸烟- 其中在 k8@j9 岁的英国女性中有 kkW 的吸烟- 高 于上年的 kyW- 而 Re@k9 岁妇女吸烟的比例也从 kyW 增加到 kRWX 问题是, 如果一个欧美女性得了肺癌- 那 么她是烟民的概率是多少\
第 k 章基本概念
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
d f kR
概率的规则及贝叶斯定理
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
T(θ|t)/θ = 1 − α.
θ∈∪KB=1 AB
UyXRyV
的区间 A1, A2, . . . , AK 总长度最短的区间集合 ∪KB=1ABX 显然- 定义 UyXRyV 包含定义 UyXNV- 但 定义 UyXNV 会使得习惯频率派置信区间的人更容易理解X
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
Rk f kR
似然原理
贝叶斯方法还有一个区别于其他统计方法的特征c 即关于 θ U或者 θ, φ, 如果有多余参数的话V 的完全推断由 T(θ|t) 提供-
并且由
T(θ|t) ∝ T(t|θ)T(θ)
来固计 定算 的X观在测该值运X 算对中于-固θ定是的在t其, T范(t围|θ内) 作变为化的θ 的不一确个定函量数- 而被称t 是 为似然函数- 可记为 ℓ(θ|t)X 似然比的概念出现得更早一些X 由 此- 关于参数的推断及基于它的任何决策都仅仅通过似然来依 赖于数据或观测值X 这导致似然原理- 它说两个具有同样似然 的数据集在推断上有同样的结果U经典统计没有这种性质V-
=
T(t|θ)T(θ) T(t|θ)T(θ)/θ
.
UyX8V
如果 θ 取离散值- 比如 θ1, θ2, . . . , θM- 相应的贝叶斯定理为
T(θB|t)
=
T(t|θB)T(θB) T(t)
=
T(t|θB)T(θB)
M
.
T(θD)T(t|θD)
D=1
UyXeV
如同式 UyXkV- 对一般的 θ U无论一元或多元V-
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
Rj f kR
一些概念回顾及汇总
贝叶斯定理, 如果 θU可以是多元的V 在连续范围取值- 相应的贝叶斯定理为
T(θ|t)
=
T(t, θ) T(t)
第 R 章引言
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
k f kR
为什么用贝叶斯\
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
T(θ|t) ∝ T(t|θ)T(θ),
UyXdV
其中的比例常数为 1/T(t)- 而 T(t) = T(t|θ)T(θ)/θX 由于 T(t|θ) 就是似然函数
ℓ(θ|t)- 上式可以写成
T(θ|t) ∝ ℓ(θ|t)T(θ),
UyX3V
也就是说- 后验分布与似然函数和先验分布的乘积成比例X
吴喜之
LQp2K#2` R- kyky
X XX X X XX
Ry f kR
吴喜之
最初概率值 T(>)
数据 .
❄
❄
贝叶斯定理
❄ 重新估价的概率值 T(>|.)
6B;m`2, 贝叶斯关于概率的思维
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
R9 f kR
最高密度区域
犹如经典统计的置信区间- 在参数后验分布是单峰的情况- 可能会有很多组满足下面条件
的区间 (Gα/2, >α/2),
>α/2 T(θ|t)/θ = 1 − α.
U这个规则通常扩展到互斥事件的一个可数的无穷集合kXV j 乘法X 对于任意三个事件
T( ∩ "|*) = T("|*)T(|" ∩ *).
注意- 概率总是两个变元的函数- 一个是你对其不确定性感兴趣的事件 U如前面的 >V- 另 一个是当你研究该不确定性时所具有的知识 E U该知识反映在前面的 T(>|E) 中VX 第二个 变元常常被忘记- 因而忽略了已经知道的信息X 这可能导致严重的错误X 在根据数据 . 来 修订 > 中的不确定性时- 仅有作为条件的事件改变了, 从 E 变到 . ∩ E, 而 > 不变X
用 T(), T("), T(*) 分别表示汽车在 、"、* 三个门后面的概率- 显然 T() = T(") = T(*) = 1/3X 记 P, P", P* 分别为 JQMiv 打开 、"、* 三个门的事件X 计算下面概率,
JQMiv 打开 " 门的 U条件V 概率
JQMiv 打开 " 门后- 这时汽车在 * 门后面的 U条件V 概率
R如果 ∩ " = ∅ 则称 和 " 为互斥事件X k如果 B ∩ D = ∅ ∀B ̸= D- 则 T(∪BB|*) = B T(B|*).
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
LQp2K#2` R- kyky
X XX X X XX
3 f kR
概率论的正式规则有三条- 所有其他性质皆基于此X R 凸性X 对任何事件 和 "- 0 ≤ T(|") ≤ 1 及 T(|) = 1. k 可加性X 对于互斥事件 和 "R- 和任意事件 *,
T( ∪ "|*) = T(|*) + T("|*).
X XX X X XX
RR f kR
概率之外的一种相关的说法为优势UQ//bVX 给了 " 后- 的优势定义为 T(|")/T(*|"). 贝叶斯结果用优势来陈述要更容易些- 因为
Q//b(>|.)
≡
T(>|.) T(>*|.)
=
T(.|>)T(>)/T(.) T(.|>*)T(>*)/T(.)
N f kR
贝叶斯定理
T(>|.)
=
T(.|>)T(>) T(.)
=
T(.|>)T(>) T(.|>)T(>) + T(.|>*)T(>*),
UyXRV
这里 >* 是 > 的互补事件X 式 UyXRV 显示对事件 > 的相信 T(>) 如何通过新的数据信息 . 转换到更新的相信 T(>|.) 的X 后验概率 T(θ|t) 描述给定数据 t 后 θ 的不确定性- 并且有计算
LQp2K#2` R- kyky
X XX X X XX
Re f kR
1tKTH2
JQMiv >HH 问题 JQMiv >HH URNkR@kyRdV 是一个游戏主持人X 所谓 JQMiv >HH 问题是这样 的- 有三个门 U记为 、"、*V- 其中一个门的背后随机放有一辆汽车 UJQMiv 知道哪个门 有车V- 另外两个门背后只有一些微不足道的小奖品 U比如一只山羊VX 然后挑战者来猜哪个 门有汽车- 如果猜中挑战者就赢得汽车了X 在挑战者做出最初的猜测之后 U比如 V- JQMiv 会打开该挑战者没有猜而且没有汽车的一个门来展示, 如果 "U或 *V 门后有汽车就会展示 *U或 "V 门- 如果 门后有汽车就会随机展示 " 或 * 门- 并问挑战者要不要改变主意换着 猜另一个X 很多人都认为换不换都一样- 猜中的概率是一半对一半X 是不是这样的呢\
目前- 通过纸和笔去计算积分解析表达式 的尝试基本上已经走到了尽头
概率编程f贝叶斯编程计算使得贝叶斯统 计有了强劲的发展势头和广阔的前景
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
e f kR
关系
T(θ|t) = T(t|θ)T(θ)/T(t) ∝ T(t|θ)T(θ),
UyXkV
这里的比例常数能够由 T(θ|t) 关于 θ 的和 U或积分V 为 R 而得
到X 显然- 式 UyXkV 是贝叶斯定理式 UyXRV 的另一种形式X
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
X XX X X XX
j f kR
传统统计的问题,
假定的总体及参数看成不变的固定值
用个别不能说明总体的诸如均值 U仅仅一 个数字V 那样的参数作为主要目标
而贝叶斯统计,
分布及参数皆为随机- 随着新信息而更新
目标为各种有关分布- 而非个别参数值
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
=
T(>)T(.|>) T(>*)T(.|>*)
=
Q//b(>)
T(.|>) T(.|>*)
.
UyXjV
定义优比或优势比UQ//b `iBQ- P_V 为
P_
≡
Q//b(>|.) Q//b(>)
(0=.3)
T(.|>) T(.|>*) ,
UyX9V
这就是后面要讨论的似然比或者贝叶斯因子X
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
UyXNV
Gα/2
人们把满足上面条件的最短的区间(Gα/2, >α/2) 称为 1 − α 最高密度区域 U?B;?2bi /2MbBiv `2;BQMV 或者贝叶斯置信区间X 注意- 在实际问题中- 有时会出现多峰后验分布- 这时最高密
度区域很可能是由多于一个连续区间组成X 这时的 1 − α 最高密度区域就应该是满足条件
T(*D|>) =
⎧
T(>|*D)T(*D)
3 B=1
T(>|*B)T(*B)
=
⎨ ⎩
0.25/1.5 = 0.17, 0.5/1.5 = 0.33, 0.75/1.5 = 0.5,
D = 1; D = 2; D = 3.
如何解释结果\ 吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
JQMiv 打开 " 门后- 这时汽车在 门后面的 U条件V 概率
结果是什么\ 如何解释呢\
吴喜之
X X X XXXX XXXX XXXX X X X X XXXX XXXX XXXX X X
LQp2K#2` R- kyky
X XX X X XX
Rd f kR
1tKTH2
女性患肺癌和吸烟X 根据新英格兰医学杂志 kyRj 年的报告- 美国男性吸烟者有 RdX3 倍的机会较不吸烟者更 容易发展成肺癌- 而女性吸烟者则有 R9Xe 倍的机会比不吸烟者得肺癌X 而 "`2MMM 2i HX UkyyeV 给出了欧 洲不同吸烟程度的人患肺癌的百分比X