三大检验

拒绝域， LR
2 1
(q )
似然比检验另一种表达，
' LR 2 ln n(ln e*e* ln ee) ~ 2 (q)
' e e 有约束模型残差平方和； ** ee无约束模型残差平方和；
library(nlme); data(Orthodont); ##test for Sex:Age interaction and Subject-Intercept mA<-lme(distance ~ Sex * I(age - 11), random = ~ 1| Subject, data = Orthodont, method = "ML") m0<-lm(distance ~ Sex + I(age - 11), data = Orthodont) summary(mA) summary(m0)
或者说寻找使得样本
Y , X
出现的概率最大的
ˆ 。
求极大似然函数估计值的一般步骤： （1） 写出似然函数； （2） 对似然函数取对数，并整理； （3） 求导数 ； （4） 解似然方程
极大似然估计，是一种概率论在统计学的应用，它 是参数估计的方法之一。说的是已知某个随机样本 满足某种概率分布，但是其中具体的参数不清楚， 参数估计就是通过若干次试验，观察其结果，利用 结果推出参数的大概值。极大似然估计是建立在这 样的思想上：已知某个参数能使这个样本出现的概 率最大，我们当然不会再去选择其他小概率的样本， 所以干脆就把这个参数作为估计的真实值。
ˆ ˆ 无约束模型似然函数值： L( , 2 )
有约束模型似然函数值： L( , 2 )
显然 0 1。如果原假设是真，则 趋近于1； 如果 太小，则约束无效，拒绝原假设。 可以证明，对大样本来说，检验统计量为，
ˆ ˆ LR 2ln 2 ln L( , 2 ) ln L( , 2 ) ~ 2 (q)
似然比检验（LR）
检验思想：如果参数约束是有效的，那么加上这 样的约束不应该引起似然函数最大值的大幅度降 低。也就是说似然比检验的实质是在比较有约束 条件下的似然函数最大值与无约束条件下似然函 数最大值。似然比定义为有约束条件下的似然函 数最大值与无约束条件下似然函数最大值之比。 以似然比为基础可以构造一个服从卡方分布统计 量
三大检验
三大检验的引入
（1）模型是非线性的 （2）约束是非线性的 （3）扰动项分布是非正态的， 在这些情况下，F检验不再适用，通常需要采用 LR、Wald、LM其中之一来检验约束条件是否 成立。
三大检验方法共同点
这三个检验方法都是渐进等价的，他们所用 统计量的小样本分布是未知的，但大样本下都 渐进服从自由度为约束个数的卡方分布。 三大检验方法是三种基于极大似然法的大样 本检验方法。 根据模型的特点采用不同的检验方法。 模型视为给定参数的数据生成过程的集合。
Wald LR LM
对于似然比检验，既需要估计有约束的模型，也需要估计 无约束的模型；对于Wald检验，只需要估计无约束模型； 对于LM检验，只需要估计有约束的模型。一般情况下， 由于估计有约束模型相对更复杂，所有Wald检验最为常 用。对于小样本而言，似然比检验的渐进性最好，LM检 验也较好，Wald检验有时会拒绝原假设，其小样本性质 不尽如人意。
极大似然估计（ML）
（一）极大似然原理
假设对于给定样本 Y , X，其联合概率分布存在，
联合概率密度函数视为未知参数 的函数，则 f Y , X ; 称为似然函数
f Y , X ; 。将该
（Likelihood Function）, 即观测到所给样本的可能性.
ˆ 极大似然原理就是寻找未知参数 的估计 ，使得似然函数达到最大，
极大似然估计量（MLE）的性质
（1）一致性： ˆ 是 的一致估计量，即
ˆ lim P ) 1, 为任意给定的正数。
n


ˆ （2）渐进有源自文库性： ML是渐进有效的且达到所有一致估计量的
Cramer-Rao下界，即是所有一致渐进正态估计量中方差最小的
（3）渐进正态性
H0 : g C
Wald检验
ˆ ˆ ˆ W ( g C) Var g ( ) C ( g C) ~ 2 (q)
Wald只需要估计无约束模型，但需要计算渐进协方差矩
阵。



1

a
在线性约束条件下， Wald检验
H0 : R r

应该很小。 ，这
不成立，拒绝原假设。
对数似然函数的导数就是得分向量，因此，LM检验就是检 验约束条件下参数估计值的得分向量值是否显著异于零，因 而，LM检验又称为得分检验。
ˆ 在最大似然估计过程中，通过解似然方程 S ( ) 0 ，
ˆ 可以求出无约束估计量 ；如果计算有约束估计量
Wald检验
检验思想：如果约束是有效的，那么在没有约束情 况下估计出来的估计量应该渐进地满足约束条件， 因为MLE是一致的。 以无约束估计量为基础可以构造一个Wald统计量， 这个统计量也服从卡方分布
如果约束条件为真，则 g MLE C 0 不应该显著异于 零，其中 MLE 是无约束极大似然估计值。当 g MLE C 显著异于零时，约束条件无效，拒绝原假设。检验统计 量。 Wald检验实际基于g（ β ）和C之间的距离。
LnL ( ) LnL( ) g 0 LnL ( ) g( ) g ( ) C 0 其中，g 是矩阵g= 的转置
如果约束成立，对数似然函数值不会有显著变化。这就意
味着在一阶条件下，第二项应该很小，特别是 就是拉格朗日乘子检验的思想。 但是直接检验 H ： =0 比较困难，有一个等价而简单的 0 方法。如果约束条件成立，在约束估计值处计算对数似然函 数的导数应该近似为零，如果该值显著异于零，则约束条件 因此，约束条件是否成立检验转化成检验 H0： =0
拉格朗日乘子检验（LM）
检验思想：在约束条件下，可以用拉格朗日方法构 造目标函数。如果约束有效，则最大化拉格朗日函 数所得估计量应位于最大化无约束所得参数估计值 附近。 这里也是构造一个LM统计量该统计量服从卡方分 布。
拉格朗日乘子检验（LM）
拉格朗日乘子检验（LM），又称为Score检验。该检验 基于约束模型，无需估计无约束模型。 假设约束条件为 H0 : g C ，在约束条件下最大化 对数似然函数，另 表示拉格朗日乘子向量，此时，拉 格朗日函数为 LnL ( ) LnL( ) g( ) C 约束条件下最大化问题就是求解下式根，
在此处得分，则 S () 一般不为零，但是如果约束有
效，则 S ( ) 趋近于零。
在原假设成立条件下，
a
() I () S () ~ 2 (q) LM S
1
对于线性约束 将有关量代入上式得，
' ne* X ( X ' X ) 1 X ' e* LM= =nR 2 ~ 2 (q) ' e*e*
' e e 有约束模型残差平方和； ** R 2是e*对X 回归的拟合优度；
拒绝域，
LM nR (q)
2 2
LM统计量另一种表达形式，
n(e e ee) W ~ 2 (q) ee
' * * ' * *
' e e 有约束模型残差平方和； ** ee无约束模型残差平方和；
LR、 Wald 、LM关系(一般情况下成立)：
ˆ ˆ ˆ W ( R r ) R ( X ) R ( R r ) ~ 2 (q) X
2 1 1 a
拒绝域，
2 W (q)
Wald统计量另一种表达形式， ' n(e*e* ee) W ~ 2 (q) ee
' e e 有约束模型残差平方和； * * ee无约束模型残差平方和；
似然比检验（LR）
1、似然比 命题： H0 : g C 如果约束是无效的，有约束的最大似然函数值当然不会 超过无约束的最大似然函数值，但如果约束条件“有 效”，有约束的最大值应当“接近”无约束的最大值， 这正是似然比检验的基本思路。
L( , 2 ) 似然比： ˆ 2 ˆ L( , )