指数族

指数族
David M. Blei
1.介绍
·我们讨论指数族，一个非常灵活的指数族。
·你说听过的大多数分布都属于指数族。
——二项分布，高斯分布，多项分布，狄利克雷分布，伽马分布，泊松分布，贝塔分布。
2.建立
一般一个指数族分布具有以下形式：
p(x|η)=h(x)exp?{ηΤt x ?a(η)}
这个等式不同的部分分别为：
——自然参数η
——充分统计量t x
——底层测量值h(x)，如计数测量或勒贝格测度
——对数标准化a(η)，
a η =log h(x)exp?{ηΤt x }
这里我们在样本空间之上集成非规范密度，这可确保密度集成为一个。 ·统计值t x 被认为是充分的是因为η的可能性仅仅取决于x通过t x 。 ·指数族已基本连接图形模型世界。对于我们的目的，我们用指数族作为组件定向图形模型。如：高斯模型的混合。
3．高斯分布
·作为一个连续型的例子，考虑高斯分布。
·我们所熟悉的高斯分布的形式为
2(x?μ)p x μ,σ2 ={ ·我们拆开平方化成指数族形式为
1μ12122p x μ,σ = x?x?μ?logσ ·我们看到 μ1η= ，? t x =(x,x2)
1 / 5