LR和假设检验

LR model evaluation LR feature selection LR problems
MLE - Maximum likelihood estimation

Maximum likelihood estimation 最大似然估计

一种参数估计方法，被用来求一个样本集的相关概率密度函数 (pdf)的参数。 例如：我们有10个广告，展示了很多次了，其中有一个广告A个被 点击的次数最多。当我们要寻找一个概率函数来预测这10个广告 哪一个更容易被点击时，那我们所找的概率函数(参数)应该使A广 告点击概率最大。 使试验已得结果的发生概率最大化
( r 1)附近有： Nhomakorabea2
L '( ) L '( ( r +1) ) L ''( ( r +1) )( ( r +1) )

P( yi ) piyi (1 pi )1 yi

(式 1.5)
假设各项观测独立，那么这m个观测样本的联合分布可以表示为 各边际分布的乘积 (似然函数)：
l ( ) ( xi ) yi [1 ( xi )]1 yi
i 1

m
(式 1.6)
对数似然函数：
L( ) ln[l ( )] { yi ln[ ( xi )] (1 yi ) ln[1 ( xi )]}

基本思想：用不包含二阶导数的矩阵近似牛顿法中的Hessian矩阵的逆矩阵。 设在r次迭代后，得到点 ( r 1) ，将目标函数L(β)在该点展开成Taylor级数，也 取二阶近似，得： 1 L( ) L( ( r +1) ) ( ( r +1) )T L '( ( r +1) ) ( ( r +1) )T L ''( ( r +1) )( ( r +1) ) 可知在
L L L (r ) (r ) ( ) ( ) ... ( n( r ) )} 0 1 (r ) (r ) (r ) 0 1 n
L( ) ( ) L( ( r ) ) {
2 L 2 L 2 L (r ) (r ) (r ) (r) { 2 ( r ) ( 0 )( 0 ) ( r ) ( r ) ( 0 )( 1 ) ... ( r ) ( r ) ( (j r ) )( k( r ) ) 0 0 1 j k 2 L ... ( r ) ( r ) ( n( r ) )( n( r ) )} n n 1 (式 2.1) L( ( r ) ) ( ( r ) )T L '( ( r ) ) ( ( r ) )T L ''( ( r ) )( ( r ) ) 2 为简便，不考虑o(|| ||)，o(|| ||)是当 || || 0时，关于 || || 的高阶无穷小量
i 1
1 e g ( xi ) { yi xij (1 yi ) ( xij )} g ( xi ) g ( xi ) 1 e 1 e i 1
m
1 e g ( xi ) e g ( xi ) { yi xij xij yi xij )} g ( xi ) g ( xi ) g ( xi ) 1 e 1 e 1 e i 1
Logistic Regression & Hypothesis Testing
武玉兰(思思) yulan.wu@
2011-10-12
Outline


Logistic Regression Maximum likelihood estimation (MLE)

Logistic curve
Numerical Optimization LR coefficients explanation



Statistical hypothesis testing
Significance testing LR coefficient significance testing



LR coefficient confidence intervals
缺点一：是下降的搜索步长固定 => 阻尼牛顿法解决 (Damped Newton method)，添加一维搜索；(式 2.3) 改写为：
( r 1) ( r ) +r d ( r )
其中，d ( r ) L ''( ( r ) ) 1 L '( ( r ) )
(式 2.4)
m 2 L xij ( y j ( xi )) ' j k i 1
xij (1)(1 e g ( xi ) ) 2 e g ( xi ) (1)[ g ( xi )]'
i 1 m
m
xij xik (1 e g ( xi ) ) 2 e g ( xi )

( r 1)

( r ) 1
(r )
+d
(r )
(r )
(式 2.3)

其中， L ''( ) 是Hessian矩阵 L ''( ) 的逆矩阵。这样，当 知道 ( r ) 后，计算出在这一点处的目标函数的梯度和Hessian矩 ( r 1) 阵的逆，代入上式，便得到后继逼近点 。依次迭代，产生序 (r ) 列 { }。在适当条件下，这个序列收敛。 d ( r ) L ''( ( r ) )1 L '( ( r ) ) 称为牛顿方向。 其中， 注意：解方程(式 2.3)，不一定需要求解矩阵的逆(矩阵求逆运算时间 复杂度太大)。 令Hessian矩阵 L ''( ( r ) ) 记为H，梯度矩阵 L '( ( r ) ) 记为U，求解 H 1U ，即为求解线性方程组HX=U中的矩阵X，可对H进行 cholesky分解，或 Doolittle LU分解。

极值点 (平稳点)，一阶导数为0，即：
1 0 '( ) L '( ( r ) )T [ L ''( ( r ) )( ( r ) ) ( ( r ) )T L ''( ( r ) )] 2 (式 2.2) L '( ( r ) ) L ''( ( r ) )( ( r ) )
条件：观测样本遵从iid (independent and identically distributed) 给出每个样本观测结果的概率函数 因为遵从iid条件，所以可以给出观测样本集的联合概率(即似然函数)函数 对似然函数取对数（即对数似然函数 log likelihood） 求使得对数似然函数最大时的参数估计

定义事件发生的概率为：
1 P(Y 1| x) ( x) 1 e g ( x )
(式 1.1)
(式 1.2)
g ( x) 0 1 x1 2 x2 ... n xn

定义事件不发生的概率为：
P(Y 0 | x) 1 P(Y 1| x) 1 eg ( x) 1 1 1 g ( x) g ( x) 1 e 1 e 1 eg ( x)
其中，
g ( x) 0 1 x1 2 x2 ... n xn
LR Modeling

建模：以具有n个独立变量的向量 [ x1 ,..., xn ] 来标识一个观测量 ，
设条件概率P(Y=1|x)=p为根据观测量相对于某事件(比如观测量为 一个广告，事件是被点击)发生的概率。
i 1 m
1 e g ( xi ) xij xik g ( xi ) (1 e ) (1 e g ( xi ) ) i 1 xij xik [ ( xi )(1 ( xi ))]
i 1 m
对于 的一阶、二阶导数，可令，当j=0或 xik 1 。 者k=0时， xij 1 ， (为了集中到一个表达式中)
Numerical Optimization-Newton Raphson

设 L ''( ) 可逆，由(式 2.2) 得到牛顿法(Newton-Raphson)的 迭代公式(用 ( r 1) 替代 符号)：
(r )
( r 1) ( r ) L ''( ( r ) ) 1 L '( ( r ) )

(式 1.3)
事件发生与不发生之比的对数：
p ln( ) g ( x) 0 1 x1 2 x2 ... n xn 1 p
(式 1.4)
LR - MLE
假设有m个观测样本，观测值分别是 y1 , y2 ,..., ym , 设 pi P( yi 1| xi ) 为给定条件下得到 yi 1 的概率。在同样条件下得到 yi 0 的概率 为 P( yi 0 | xi ) 1 pi 。于是，得到一个观测值的概率为：
i 1 m
(式 1.7)

MLE目标：求出使似然函数的值最大的参数估计（极值问题）
Numerical Optimization-Newton Raphson

Taylor expansion：

R n ，又设 ( r ) 是 L( ) 极值点的 设 L( ) 是二次可微实函数， 一个估计，将 L( ) 在 ( r ) 处展开成二阶Taylor级数：