主题模型LDAppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
29
对称Dirichlet分布
30
对称Dirichlet分布的参数分析
α=1时
退化为均匀分布
当α>1时
p1=p2=…=pk的概率增大
当α<1时
p1=1，pi=0的概率增大
图像说明：将Dirichlet分布的概率密度函数取
对数,绘制对称Dirichlet分布的图像，取K=3，
26
Dirichlet分布的定义
27
Dirichlet分布的分析
α是参数，共K个 定义在x1,x2…xK-1维上
x1+x2+…+xK-1+xK=1 x1,x2…xK-1>0 定义在(K-1)维的单纯形上，其他区域的概率密
度为0
α的取值对Dir(p| α)有什么影响？
28
Symmetric Dirichlet distribution
15
Beta分布的概率密度曲线
16
17
直接推广到Dirichlet分布
18
贝叶斯参数估计的思考过程
19
共轭先验分布
在贝叶斯概率理论中，如果后验概率P(θ|x)和先验 概率p(θ)满足同样的分布律，那么，先验分布和后 验分布被叫做共轭分布，同时，先验分布叫做似然 函数的共轭先验分布。
In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability distribution p(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function.
也就是有两个独立参数x1,x2，分别对应图中的
两个坐标轴，第三个参数始终满足x3=1-x1-x2
且α1=α2=α3=α，图中反映的是α从0.3变化
到2.0的概率对数值的变化情况。
31
参数α对Dirichlet分布的影响
32
参数选择对对称Dirichlet分布的影响
When α=1, the symmetric Dirichlet distribution is equivalent to a uniform distribution over the open standard (K−1)-simplex, i.e. it is uniform over all points in its support. Values of the concentration parameter above 1 prefer variants that are dense, evenly distributed distributions, i.e. all the values within a single sample are similar to each other. Values of the concentration parameter below 1 prefer sparse distributions, i.e. most of the values within a single sample will be close to 0, and the vast majority of the mass will be concentrated in a few of the values.
6
事件E2：假设有2个数落在区间[x,x+Δx]
7
只需要考虑1个点落在区间[x,x+Δx]
8
X(k)的概率密度函数
9
补充：Γ函数
Γ函数是阶乘在实数上的推广
10
利用Γ函数
11
增加观测数据
12
思考过程
13
思考过程
14
共轭分布
注：上式中的加号“+”， 并不代表实际的数学公 式是相加，事实上，实 际计算过程是相乘的。
归一化这个等式后会得到另一个Beta分布， 即：伯努利分布的共轭先验是Beta分布。
24
伪计数
可以发现，在后验概率的最终表达式中，参 数α和β和x，1-x一起作为参数θ的指数。而 这个指数的实践意义是：投币过程中，正面 朝上的次数。因此， α和β常常被称作“伪计 数”。
25
推广
二项分布多项分布 Beta分布Dirichlet分布
20
共轭先验分布的提出
某观测数据服从概率分布P(θ)时， 当观测到新的X数据时，有如下问题：
可否根据新观测数据X，更新参数θ 根据新观测数据可以在多大程度上改变参数θ
θ θ+ Δθ
当重新估计θ的时候，给出新参数值θ的新概率 分布。即：P(θ|x)
21
分析
根据贝叶斯法则
P xP xP x P P xP
P(x|θ)表示以预估θ为参数的x概率分布，可 以直接求得。P(θ)是已有原始的θ概率分布。
方案：选取P(x|θ)的共轭先验作为P(θ)的分布， 这样，P(x|θ)乘以P(θ)然后归一化结果后其形 式和P(θ)的形式一样。
主题模型LDA
北京10月机器学习班 邹博
2014年11月16日
主要内容和目标
共轭先验分布 Dirichlet分布 unigram model LDA Gibbs采样算法
2
随机变量的分布
3
思考
尝试计算X(k)落在区间[x,x+Δx]的概率：
4
划分为3段
5
事件E1的概率
分布形式为
P,
111 1111d
0
23
先验概率和后验概率的关系
计算后验概率
P x Px P
x 1 x 1 1 1
xa1 1 1x 1
A very common special case is the symmetric Dirichlet distribution, where all of the elements making up the parameter vector have the same value. Symmetric Dirichlet distributions are often used when a Dirichlet prior is called for, since there typically is no prior knowledge favoring one component over another. Since all elements of the parameter vector have the same value, the distribution alternatively can be parametrized by a single scalar value α, called the concentration parameter(聚集参数).
22
举例说明
投掷一个非均匀硬币，可以使用参数为θ的 伯努利模型，θ为硬币为正面的概率，那么
结果x的分布形式为： P xx1Leabharlann Baidux
其共轭先验为beta分布，具有两个参数α和β，
称为超参数（hyperparameters）。简单解释
就是，这两个参数决定了θ参数。������ Beta
对称Dirichlet分布
30
对称Dirichlet分布的参数分析
α=1时
退化为均匀分布
当α>1时
p1=p2=…=pk的概率增大
当α<1时
p1=1，pi=0的概率增大
图像说明：将Dirichlet分布的概率密度函数取
对数,绘制对称Dirichlet分布的图像，取K=3，
26
Dirichlet分布的定义
27
Dirichlet分布的分析
α是参数，共K个 定义在x1,x2…xK-1维上
x1+x2+…+xK-1+xK=1 x1,x2…xK-1>0 定义在(K-1)维的单纯形上，其他区域的概率密
度为0
α的取值对Dir(p| α)有什么影响？
28
Symmetric Dirichlet distribution
15
Beta分布的概率密度曲线
16
17
直接推广到Dirichlet分布
18
贝叶斯参数估计的思考过程
19
共轭先验分布
在贝叶斯概率理论中，如果后验概率P(θ|x)和先验 概率p(θ)满足同样的分布律，那么，先验分布和后 验分布被叫做共轭分布，同时，先验分布叫做似然 函数的共轭先验分布。
In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability distribution p(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function.
也就是有两个独立参数x1,x2，分别对应图中的
两个坐标轴，第三个参数始终满足x3=1-x1-x2
且α1=α2=α3=α，图中反映的是α从0.3变化
到2.0的概率对数值的变化情况。
31
参数α对Dirichlet分布的影响
32
参数选择对对称Dirichlet分布的影响
When α=1, the symmetric Dirichlet distribution is equivalent to a uniform distribution over the open standard (K−1)-simplex, i.e. it is uniform over all points in its support. Values of the concentration parameter above 1 prefer variants that are dense, evenly distributed distributions, i.e. all the values within a single sample are similar to each other. Values of the concentration parameter below 1 prefer sparse distributions, i.e. most of the values within a single sample will be close to 0, and the vast majority of the mass will be concentrated in a few of the values.
6
事件E2：假设有2个数落在区间[x,x+Δx]
7
只需要考虑1个点落在区间[x,x+Δx]
8
X(k)的概率密度函数
9
补充：Γ函数
Γ函数是阶乘在实数上的推广
10
利用Γ函数
11
增加观测数据
12
思考过程
13
思考过程
14
共轭分布
注：上式中的加号“+”， 并不代表实际的数学公 式是相加，事实上，实 际计算过程是相乘的。
归一化这个等式后会得到另一个Beta分布， 即：伯努利分布的共轭先验是Beta分布。
24
伪计数
可以发现，在后验概率的最终表达式中，参 数α和β和x，1-x一起作为参数θ的指数。而 这个指数的实践意义是：投币过程中，正面 朝上的次数。因此， α和β常常被称作“伪计 数”。
25
推广
二项分布多项分布 Beta分布Dirichlet分布
20
共轭先验分布的提出
某观测数据服从概率分布P(θ)时， 当观测到新的X数据时，有如下问题：
可否根据新观测数据X，更新参数θ 根据新观测数据可以在多大程度上改变参数θ
θ θ+ Δθ
当重新估计θ的时候，给出新参数值θ的新概率 分布。即：P(θ|x)
21
分析
根据贝叶斯法则
P xP xP x P P xP
P(x|θ)表示以预估θ为参数的x概率分布，可 以直接求得。P(θ)是已有原始的θ概率分布。
方案：选取P(x|θ)的共轭先验作为P(θ)的分布， 这样，P(x|θ)乘以P(θ)然后归一化结果后其形 式和P(θ)的形式一样。
主题模型LDA
北京10月机器学习班 邹博
2014年11月16日
主要内容和目标
共轭先验分布 Dirichlet分布 unigram model LDA Gibbs采样算法
2
随机变量的分布
3
思考
尝试计算X(k)落在区间[x,x+Δx]的概率：
4
划分为3段
5
事件E1的概率
分布形式为
P,
111 1111d
0
23
先验概率和后验概率的关系
计算后验概率
P x Px P
x 1 x 1 1 1
xa1 1 1x 1
A very common special case is the symmetric Dirichlet distribution, where all of the elements making up the parameter vector have the same value. Symmetric Dirichlet distributions are often used when a Dirichlet prior is called for, since there typically is no prior knowledge favoring one component over another. Since all elements of the parameter vector have the same value, the distribution alternatively can be parametrized by a single scalar value α, called the concentration parameter(聚集参数).
22
举例说明
投掷一个非均匀硬币，可以使用参数为θ的 伯努利模型，θ为硬币为正面的概率，那么
结果x的分布形式为： P xx1Leabharlann Baidux
其共轭先验为beta分布，具有两个参数α和β，
称为超参数（hyperparameters）。简单解释
就是，这两个参数决定了θ参数。������ Beta