指数族和几何分布

指数族和几何分布

关于指数族和广义线性模型的相关知识，详情请点击。 以φ为参数的指数分布为：

,...2,1)1();(1=-=-y y p y ，φφφ

（1）证明指数分布是指数族分布。

)

1log

))1exp((log()log )1log()1exp(()1();(1φφφφφφ

φφ-+⋅-=+--=-=-y y y p y

于是，

)1log()1log()(,

)()

1(),1(log 1)(η

ηφφ

ηφφηe e a y y T e y b -=--==-=⇒-==， （2）使用具有几何反应变量的广义线性模型，执行回归，可得

典型反应函数为：

η

φ

ηηηe y E y T E g -====11

1]

;[]

);([)( （3）给定一组训练集},...,2,1);,{()()(m i y x i i =，令一个样本的log 似然性为);|()()(θi i x y p ，下面我们求解随机梯度上升的更新规则。先写出

)1log(11

log 1log ))1log )1g(log(exp(lo );|(log )()()

()()()()()()()()()()()(-+=--=--=---==--i T i T i T i T x

i i T x i i T x x i i T i i i e y x e y x e e y x y x y p l θθθθθθθφφφθθ， )(θl 关于j θ求导，得到

)

(

)()()()()(

)()())1(1

()1()

1()()()()()(i j x i x i j i i j x i j x i i j j x e y e x y x e x e y x l i T i T i T i T θθθθθ----

=--⋅+=∂∂--

所以梯度上升更新规则为

)()()11(:)(i j x i j j x e y i T θαθθ--

+=。