指数分布族

指数族

3.1指数分布族

对于每个感兴趣的分布都可能获得属性（例如均值、方差和极大似然估计量稍后正确的定义）。然而，这可能是麻烦的，代数学是沉闷的并且我们无法看到重点。反而，我们考虑到这是一个包含几个我们总所周知分布的“伞形”分布族，我们将对这样的分布得到一个均值和方差的一般式（在这个课程中，当我们考虑到这是一个广义线性模型时就将会是很有用的）。用这些结果去表达极大似然估计就是充分统计量的函数，由此是最佳无偏估计量（在完整的假设下）。换句话说，对于这个分布族的最大似然估计量（在之前我们已经遇到很多次）的确是最佳参数据计量（在最小方差方面）。

假设随机变量变量X t有概率分布，并且可以写成如下形式

f(y;ω)=exp(s(y)η(ω)−b(ω)+c(y)) 3.1

如果X t的分布（离散随机变量的概率分布函数和连续随机变量的概率密度函数）可以写成上面的形式，则称X t属于指数族分布。大量的众所周知的概率分布都属于这个分布族。因此通过理解指数组的性质，我们可以得到大量分布函数的总结。

例 3.1.1（a）指数分布X~Exp(λ)，因此概率密度函数f(y;λ)=λe−λy可以

写成

logf(y;λ)=(−yλ+logλ)

因此s(y)=−y，η(λ)=λ

（b）二项分布P(X=y)=C n yπk(1−π)n−y可以被写成

logP(y;λ)=ylog(

π

1−π

)+nlog(1−π)+logC n y

因此s(y)=y,η(π)= log(π

1−π

),b(π)=nlog(1−π),c(y)=logC n y 应该提到的是当θ是一个向量的维度大于1时，可以简单的概括指数族。假设θ是一个P维向量。

P属于指数族，当分布族满足

f(y;ω)=exp(s(y)′θ(ω)−b(ω)+c(y))

此时s(y)=(s1(y),···,s p(y))({s i}线性无关)，θ(ω)=(θ1(ω),···,θp(ω))

3.1.1 自然指数分布族

若我们让θ=η（ω），并且η是一个可逆函数（因此空间包含ω和θ呈一对一对应关系），然后我们重写3.1得

f(y;θ)=exp(s(y)η(ω)−k(θ)+c(y))

此时k(θ)=b(η−1(θ))，当s(y)=y时成为自然指数分布族。

现在通过转换,我们给出自然指数族形式的例子。

（1）指数分布已经是自然指数分布族形式。

（2）关于二项分布，我们让θ= log(π

1−π)，因为 log(π

1−π

)是可逆的，这产生

了对数分布当

logf(y;θ)=logf(y;log(

π

1−π

))=(yθ−nlog(

1

1+exp(θ)

+logC n y)

因此我们感兴趣的π已经转变，我们经常配合一个(后来的模型过程中)θ,和转换回获得π的估计量。

自然指数族的一些性质

我们现在讨论自然指数族的一些有趣的属性。

引理3.1.1设随机变量X服从自然指数族分布。X的矩生成函数是

E(exp(Xt))=exp(k(t+θ)−k(θ)).

而且E(X)=k′(θ),var(X)=k‘’(θ).

证明：设t足够小使f(y;(θ+t))是个分布，则矩母函数为

M X(t)=E(exp(tY))=∫exp(ty)exp(θy−k(θ)+c(y))dy

=exp (k(θ+t)−k(θ))∫exp(θ+t)y−k(θ+t)+c(y))dy

=exp(k(θ+t)−k(θ)).

因为∫exp(θ+t)y−k(θ+t)+c(y))dy=∫f(y;（θ+t）)dy=1，同时我们回忆到

M X′(0)=E(X)和var(X)=M X′′(0)−(M X′(0))2.因此

M X′(t)=k′(θ+t)exp(k(θ+t)−k(θ))

M X′(t)=（k′′(θ+t)+(k′(θ+t))2)exp(k(θ+t)−k(θ)))

因此最终结果M X′(0)=k′(θ), M X′′(0)=k′′(θ)+k′(θ)2

备注 3.1.1自然指数族的均值和方差使获得极大似然估计量变得非常简单。我

们得到这个之后但我们首先观察因为E (X )=k ′(θ)，所以X 的均值是θ的函数。因此我们可以写μ(θ)=k ′(θ).。更多的，因为var (X )=k ′′(θ),μ的导数μ’(θ)是严格正量。换句话说，μ(θ)(=k ′(θ))是一个随θ的递增函数。因此μ(θ)是一个可逆函数，因此给定μ(θ)，我们可以唯一确定θ。这一观点将被证明是有用的当获得最初的θ估计。

3.1.2 指数组的极大似然估计

设{X t }独立同分布于自然指数分布族分布，则对数似然函数为

L T (X;θ)=θ∑X t T t=1−Tk (θ)+T ∑c (X t )T

t=1

因此利用因式分解，我们看到充分统计量θ为s (X )=∑X t T t=1。假设1.1.1是成立的，θ的最小方差无偏估计值应该是s (X )的函数。最大似然估计值为s (X )函数条件下，我们现在获得θ的极大似然估计。（因此依靠Rao-Blackwell 定理和Lehmann-Scheffe 引理他是最佳估计量）。

θ的极大似然估计为θ

̂T θ

̂T =arg max θ∈Θ{θ∑X t T

t=1−Tk (θ)+T ∑c (X t )T t=1

} 自然得到θ̂T 是解决ðℒΤ（X;θ）ðθ=0，然而对于ðℒΤ（X;θ）ðθ|θ=θ̂T =0，取决于几个

条件。在我们导出这些条件之前首先我们考虑ℒΤ（X;θ）导数的解决方法。ℒΤ（X;θ）微分得

ðL T (X;θ)ðθ=∑X t T

t=1−Tk ′(θ) 因此，μ(θ)=k prime (θ)是一个可逆函数。ðℒΤ（X;θ）ðθ

=0，当 θ̂T =μ−1(1T ∑X t T t=1

) 当然,我们需要知道在什么条件下

μ−1(1T ∑X t T t=1)=arg max θ∈Θ{θ∑X t T t=1−Tk (θ)+T ∑c (X t )T

t=1} 上式依赖于参数空间Θ。

引理 3.1.1 使Θ为θ的参数空间和随机变量X,Y 产生的空间。使M ={μ=