最大似然估计及三大检验(Wald LM LR)(DOC)
最大似然估计及三大检验(Wald LM LR)资料
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
似然比检验、Wald检验和拉格朗日检验的Stata实现讨论
似然⽐检验、Wald检验和拉格朗⽇检验的Stata实现讨论似然⽐检验（LR）、Wald检验、拉格朗⽇检验（LM）都基于最⼤似然估计（MLE），本⽂以logit模型为例讨论三类检验的Stata实现。
不当之处，请各位指正。
1、似然⽐检验use /stat/stata/faq/nested_tests, clear*Likelihood-ratio testlogit hiwriteestimates store m1logit hiwrite female read math scienceestimates store m2lrtest m1 m2当然我们可以使⽤另外⼀种⽅法来实现上述同样的结果：*another method to compute LR testlogit hiwrite female read math sciencescalar c=2*(e(ll)-e(ll_0))scalar p_c = chi2tail(1,c)di as txt 'chi2(4) = ' as result %9.2g `=c'di as txt 'Prob > chi2 = ' asresult %9.4g `=p_c'两者的结果是⼀样的：当然logit模型本⾝也汇报了LR统计量：2、wald检验*wald testqui:logit hiwrite female read math sciencetest female read math science3、拉格朗⽇检验本来Stata⾥有⼀个user-written的命令叫做testomit，但是这个命令当前在Stata⾥并不能被找到。
可能是作者移除了⽹页。
如果您有这个命令的源程序，⿇烦您联系我。
Statalist⾥很多⼈都在讨论如何进⾏LM检验，来⾃Universityof Konstanz的Maarten L. Buis给出的答案如下：* Lagrange multiplier testqui:logit hiwrite female read math science// use the resulting gradient and var-covmatrix to compute the test statisticsmatrix S = e(gradient)*e(V)*e(gradient)'scalar a = el(S,1,1)scalar p_s = chi2tail(1,a)// display the resultdi as txt 'chi2(1) = ' as result %9.2g `=a'di as txt 'Prob > chi2 = ' asresult %9.4g `=p_s'但是由于这种⽅法得到的结果和前述两种检验得到的结果差别真的太⼤，我对这个⽅法持谨慎态度。
参数估计公式最大似然估计贝叶斯估计矩估计
参数估计公式最大似然估计贝叶斯估计矩估计参数估计是统计学中的一个重要问题，它的目标是通过已经观测到的样本数据来估计未知参数的值。
在参数估计中，最大似然估计、贝叶斯估计和矩估计是常用的方法。
下面将分别介绍这三种估计方法及其公式。
一、最大似然估计最大似然估计是一种常用的参数估计方法，它基于样本数据的观测结果，通过寻找参数值使得观测样本出现的概率最大化来估计未知参数的值。
最大似然估计的公式如下所示：$$\hat{\theta}_{MLE} = \arg \max_{\theta} P(X|\theta)$$其中，$\hat{\theta}_{MLE}$表示最大似然估计得到的参数值，$P(X|\theta)$表示给定参数$\theta$下观测样本$X$出现的概率。
二、贝叶斯估计贝叶斯估计是另一种常用的参数估计方法，它基于贝叶斯定理，通过在先验分布和观测数据的基础上更新参数的后验分布来进行参数估计。
贝叶斯估计的公式如下所示：$$P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)}$$其中，$P(\theta|X)$表示给定观测样本$X$后，参数$\theta$的后验分布；$P(X|\theta)$表示给定参数$\theta$下观测样本$X$出现的概率；$P(\theta)$表示参数$\theta$的先验分布；$P(X)$表示观测样本$X$的边缘概率。
三、矩估计矩估计是一种基于样本矩的无偏估计方法，它通过样本矩与理论矩之间的差异来估计未知参数的值。
矩估计的公式如下所示：$$\hat{\theta}_{MME} = g(\overline{X}_n)$$其中，$\hat{\theta}_{MME}$表示矩估计得到的参数值，$g(\cdot)$表示由样本矩计算得到参数的函数，$\overline{X}_n$表示样本的均值。
在实际应用中，最大似然估计常用于样本量较大、参数唯一可估情况下的参数估计；贝叶斯估计常用于样本量较小、先验分布已知情况下的参数估计；矩估计常用于样本量较大、参数个数较多时的参数估计。
三大检验
' e e 有约束模型残差平方和； ** e′e无约束模型残差平方和；
2011-12-19
中级计量经济学
8
• 三、Wald检验
H0 : g ( β ) = C
• 如果约束条件为真，则g ( β
MLE
g ( β MLE ) − C显著异于零时，约束条件无效 无约束极大似然估计值。当
) − C → 0 不应该显著异于零，其中 β MLE 是
• 假设对于给定样本 {Y , X }，其联合概率分布存在， f (Y , X ; ξ ) 。将该 联合概率密度函数视为未知参数 ξ 的函数，则 f (Y , X ; ξ ) 称为似然函 数（Likelihood Function）, 即观测到所给样本的可能性. • 极大似然原理就是寻找未知参数 ξ 的估计 ξˆ ，使得似然函数达到最 大，或者说寻找使得样本
{Y , X }
出现的概率最大的 ξˆ 。
2011-12-19
中级计量经济学
3
• （三）线性回归模型最大似然估计 • 1、估计结果 u ~N (0, σ 2 I n ) Y = Xβ +u
2 2 − n 2
(Y − X β )′(Y − X β ) L(Y , X ; β , σ ) = (2πσ ) exp{− } 2 2σ
' e e 有约束模型残差平方和； * * e ′e 无 约 束 模 型 残 差 平 方 和 ；
2011-12-19 中级计量经济学 10
四、拉格朗日乘子检验（LM）
• 基本思想：拉格朗日乘子检验（LM），又称为Score检验。该检验基 于约束模型，无需估计无约束模型。 • 假设约束条件为 H 0 : g (θ ) = C ，在约束条件下最大化对数似然函数 ，另
线性回归模型检验方法拓展-三大检验
第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。
对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。
一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”，它的一般步骤是（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。
（2）在零假设条件下，寻求用于检验的统计量及其分布。
（3）得出拒绝或接受零假设的判别规则。
另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误P（拒绝H|H0为真）=α和第二类错误P（接受H|H0不真）=β在下图，粉红色部分表示P（拒绝H0|H0为真）=α。
黄色部分表示P（接受H0|H0不真）=β。
而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。
下面简要介绍假设检验的有关基本理论。
参数显著性检验的思路是，已知总体的分布(,)F X θ，其中θ是未知参数。
总体真实分布完全由未知参数θ的取值所决定。
对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或，从总体中抽取一个容量为n 的样本，确定一个统计量及其分布，决定一个拒绝域W ，使得0()P W θα=，或者对样本观测数据X ，0()P X W θα∈≤。
α是显著性水平，即犯第一类错误的概率。
既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在0()P X W θα∈≤ 0θ∈Θ的条件下，使得()P X W θ∈，0θ∈Θ-Θ达到最大，或1()P X W θ-∈，0θ∈Θ-Θ达到最小。
其中()P X W θ∈表示总体分布为(,)F X θ时，事件W ∈{X }的概率，0Θ为零假设集合（0Θ只含一个点时成为简单原假设，否则称为复杂原假设）。
最新三大检验LM_WALD_LR
11.1 模型总显著性的F检验（已讲过） 11.2 模型单个回归参数显著性的t检验（已讲过） 11.3 检验若干线性约束条件是否成立的F检验 11.4 似然比（LR）检验 11.5 沃尔德（Wald）检验 11.6 拉格朗日乘子（LM）检验 11.7 邹（Chow）突变点检验（不讲） 11.8 JB（Jarque-Bera）正态分布检验（不讲） 11.9 格兰杰（Granger）因果性检验（不讲）
例11.1：建立中国国债发行额模型
用19802001年数据得输出结果如下；
DEBTt = 4.31 +0.35 GDPt +1.00 DEFt +0.88 REPAYt
(0.2) (2.2)
(31.5)
(17.8)
（第3版256页）
R2 = 0.999, DW=2.12, T =22, SSEu= 48460.78, (1980-2001) 是否可以从模型中删掉DEFt和REPAYt呢？可以用F统计量完成上述检验。
详见第 2 章。
•三大检验LM_WALD_LR
（第3版253页）
11.3 检验若干线性约束条件是否成立的F 检验
如 H 0：1 0，2 0，1 +0 + 1 =1，1 /2 0.8 等是否成立的检验。
以 k 元线性回归模型 yt = 0 +1xt1 + 2xt2 +…+k xt k +ut （无约束模型）
= -2 (-161.0583 +115.8888) = 90.34
因为
LR
=
90.34
2 (2)
=
5.99，所以推翻原假设。结论是不能从模型中
最大似然估计及三大检验(WaldLMLR)讲解
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
三大检验选读
• （3）渐进正态性
2018/12/27
中级计量经济学
6
二、似然比检验（LR）
• 1、似然比 • 命题： H0 : g C • 检验思想：如果约束是无效的，有约束的最大似然函数值当然不会超 过无约束的最大似然函数值，但如果约束条件“有效”，有约束的最
大值应当“接近”无约束的最大值，这正是似然比检验的基本思路。
• 对未知参数求导：
2018/12/27
中级计量经济学
4
ˆ (X X ) 1 X Y • 得到， ML 2 1 ˆ ML ee n
• 与OLS对比
将估计量代入对数似然函数，得到最大对数似然估计值
n n l LnL Ln( ) 1 Ln(ee) 2 2
H0 : R r
ˆ r ) R ˆ r ) ~ 2 (q) ˆ W ( R ( X X ) R ( R
2 1 1 a
• 拒绝域，
2 W (q)
• Wald统计量另一种表达形式，
' n(e* e* ee) W ~ 2 (q) ee
2 2 n 2
• 对数似然函数：
n n (Y X )(Y X ) l LnL Ln 2 Ln 2 2 2 2 2
1 l ˆ) 0 ( 2 X Y 2 X X 2 ˆ ˆ 2 l n 1 (Y X ˆ )(Y X ˆ) 0 2 2 4 ˆ ˆ ˆ 2 2
• 似然比：
L( , 2 ) ˆ , ˆ2) L(
• 无约束模型似然函数值： • 有约束模型似然函数值：
ˆ , ˆ2) L(
MLE
(R β- q) '[ R(X'X) R'] (R β- q) ~ 2 ( J )
2 -1 1
Λ
Λ
a
其中 2
e'e n
三大检验——拉格朗日乘子检验
拉格朗日乘子(LM)检验：
• 该检验基于有约束模型而非无约束模型：
ln L* (θ) ln L(θ) λ '[c(θ) q]
由于约束最优值不会大于无约束最优值，所以介于0与1之间。
若接近于0, 则约束可能出错。
三大检验——似然比检验
• 似然比检验统计量的渐近分布：
若正则条件与H0满足，则-2 ln ~ 2 ( J )，其中J 个约束个数。
若该值超过了在一定显著性水平下的 2临界值，应拒绝原假设
a
• 似然比检验的一个缺点是，要求同时估计有约束与无 约束的参数向量；在一些较为复杂的模型中，这些估 计值可能很难计算。
极大似然估计——基本性质
• Cramer-Rao下界(Cramer-Rao lower bound)：
如果正则条件满足，参数向量θ的一个CAN 估计量的渐近方差协方差 矩阵至少等于 ln L(θ) ln L(θ) ln L(θ) [I(θ)]1 E[ ] E[( )( ) '] θθ' θ θ
2 ln L(θ) ln L(θ) ln L(θ) 其中I(θ) E[ ] E[( )( ) '] θθ' θ θ
极大似然估计——基本性质
• 渐近有效性
渐近有效的定义：如果一个估计量一直且渐近正态度分 布（CAN)，且其渐近协方差矩阵不大于任何其他CAN 估计量的渐近协方差矩阵，那么它就是渐近有效的。
最大似然估计及三大检验(Wald LM LR)
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
第一节 最大似然估计
1
2
n 1
ln(i2 )
1 2
n 1
i2
2 i
n ln(| ui
i 1
yi
|)
(2)
2 i
2hi( )
ln
Lc
( ,
|
y,
x)
1 2
n[1
ln(2
)
ln(n)]
1
2
n 1
ln(hi )
1 2
n
ln(( )
( ))
n
ln(|
i 1
ui yi
|)
3、例题
Y 0 1X 2 X 2 u
Yi ~ N(ˆ0 ˆ1 X i , 2 )
Yi的分布
P(Yi )
1
e
1
2
2
(Yi
ˆ0
ˆ1
X
i
)
2
2
Yi的概率 密度函数
L(ˆ0 , ˆ1, 2 ) P(Y1,Y2 , ,Yn )
(完整版)最大似然估计与W、LR、LM三种检验(OVER)
cβˆ
ML
0T
cβˆ ML
βˆ T
ML
XT X
1
cβˆ ML
βˆ ML
cβˆ
ML
0
a
2
r
定理：Wald检验统计量的分布
• Wald检验统计量为：
W cθˆ qT Varcθˆ qcθˆ q
• 其中，θˆ 是无约束条件下的参数估计向量。
•在
和大样本条件下，W遵从自由度
等于H0约: c束θˆ 个q 数的卡方分布。其中，约束个
•
W c
• 其中c应满足如下条件，使
• P c ， 0
• 且尽可能接近 。
• 设 Yt 的密度函数为 f ( x;β ) ，β 为 k 1阶的未知 参数向量
• Yt Xtβ ε t ，t 1,2,,T ，ε t ~ iid 。 • 分为三种情形讨论 • 1．H0 : 0 ， H1 : 0 ； • 2．H0 : cβ cβ 0 ，H1 : cβ cβ 0 ； • 3． H0 : cβ 0 ，H1 : cβ 0 ；
情况。
Θ0 Θ1
Θ
• 设X1,X 2 ,,X n 是来自X 的样本，记其似然函
数为 L(θ )，θˆ 0与 θˆ 分别是 θ 的参数空间Θ0与 Θ上的极大似然估计，似然函数在Θ0 与Θ 上的
极大值分别记为L(θˆ 0 )与L(θˆ ) ，即 和 L(θˆ ) maxL(θ ) ，记其比值为：
L(θˆ
极大似然估计 与
W,LR,LM检验
第一部分：极大似然估计
• 极大似然估计法
• 我们从简单线性模型开始分析 Yi i X i i
• 对于每一个都是服从均值 X 为，方差为 2 的正态分布，其概率密度 函数可以表示为
Wald检验、ML检验、似然比检验和Larange检验
Wald检验、ML检验、似然比检验和Larange检验中级计量经济学三大检验一、最大似然估计（ML）二、似然比检验（LR）三、Wald检验四、拉格朗日乘子检验（LM）前面介绍的F检验适用于检验模型的线性约束。
如果模型是非线性的、或者约束是非线性的、或者扰动项分布是非正态的，在这些情况下，F检验不再适用，通常需要采用LR、Wald、LM其中之一来检验约束条件是否成立。
这三个检验方法是渐进等价的，他们所用统计量的小样本分布是未知的，但都渐进服从自由度为约束个数的卡方分布。
似然比检验（LikelihoodRatioTest,LR）、沃尔德检验（WaldTest,W）、拉格朗日乘数检验（LagrangeMultiplier,LM）是三种基于极大似然法的大样本检验方法。
中级计量经济学一、最大似然估计（ML）（一）极大似然原理假设对于给定样本，其联合概率分布存在，。
将该联合概率密度函数视为未知参数的函数，则称为似然函数（LikelihoodFunction）,即观测到所给样本的可能性.极大似然原理就是寻找未知参数的估计，使得似然函数达到最大，或者说寻找使得样本出现的概率最大的。
中级计量经济学（三）线性回归模型最大似然估计1、估计结果对数似然函数：对未知参数求导：中级计量经济学得到，与OLS对比中级计量经济学3、最大似然估计量（MLE）的性质：（1）一致性：是的一致估计量，即（2）渐进有效性：是渐进有效的且达到所有一致估计量的Cramer-Rao下界，即是所有一致渐进正态估计量中方差最小的（3）渐进正态性中级计量经济学二、似然比检验（LR）1、似然比命题：检验思想：如果约束是无效的，有约束的最大似然函数值当然不会超过无约束的最大似然函数值，但如果约束条件“有效”，有约束的最大值应当“接近”无约束的最大值，这正是似然比检验的基本思路。
似然比：无约束模型似然函数值：有约束模型似然函数值：中级计量经济学显然。
如果原假设是真，则趋近于1；如果太小，则约束无效，拒绝原假设。
三大检验LM_WALD_LR
在实际应用中，应根据具体问题和数据特征选择合适的检验方法，以提高模型诊断的准确性和可靠性。
对未来研究的建议
进一步研究lm_wald_lr三种检验方法在不同类型数据和模型假设下的表现， 以完善其理论和应用体系。
02
通过比较药物治疗前后的基因表达谱，利用lm_wald_lr检验评
估药物疗效。
流行病学研究
03
在流行病学研究中，利用lm_wald_lr检验分析不同人群的基因
变异与疾病风险的关系。
社会调查
01
民意调查
利用lm_wald_lr检验分析民意调 查数据，了解公众对政策、产品 等的态度和意见。
02
社会问题研究
LR检验
LR检验（似然比检验）是用于比较 两个模型拟合优度的统计检验，通 过比较两个模型的似然函数值来评 估模型之间的差异。
lm_wald_lr检验的原理
Wald统计量原理
Wald统计量基于参数的估计值和标准误差，通过构造一个Wald统计量来检验 参数是否为零。如果Wald统计量的值大于临界值，则拒绝原假设，认为参数 不为零。
局限性
lm_wald_lr检验对于样本量和数据分布有一定的要求，如果样本量较小或数据分布不符合正态分布假设，可能会 导致检验结果不准确。此外，对于一些复杂模型或非线性模型，lm_wald_lr检验可能不够敏感或可靠。
02
检验步骤
数据的准备
收集数据
根据研究目的和范围，收集相关数据，确保数据 的准确性和完整性。
结果的解释
判断结果
将计算出的统计量与临界值进行比较，判断检 验假设是否成立。
三大检验LMWALDLR
注意：这是做 k 个 t 检验。在原假设成立条件下，统计量
t
=
ˆ j s(ˆ j
)
tk-1,
(j
=
1,
2,
…,
k)
其中 ˆ j 是对j 的估计， s(ˆ j ) , j = 1, 2, …, k 是 ˆ j 的样本标准差。
其中DEBTt表示国债发行总额（单位：亿元），GDPt表示年国内生产总值 （单位：百亿元），DEFt表示年财政赤字额（单位：亿元），REPAYt表示 年还本付息额（单位：亿元）。
（第3版255页）
5000 4000
DEBT
3000
2000
1000
0 0
GDP
200
400
600
800 1000
5000 4000
43.01亿元，占GDP当年总量的1%，2001年国债发行额是4604
亿元，占GDP当年总量的4.8%。以当年价格计算，21年间
（1980-2001）增长了106倍。平均年增长率是24.9%。
5000 4000 3000
DEBT
（第3版254页）
2000
1000
0 80 82 84 86 88 90 92 94 96 98 00
本章开始先简要总结模型参数总显著性的F检验、单个回归参 数显著性的t检验。然后再介绍几个在建模过程中也很常用的 其他检验方法。他们是检验模型若干线性约束条件是否成立 的F检验和似然比（LR）检验、Wald检验、LM检验、JB检验 以及Granger非因果性检验。
11.1 模型总显著性的F 检验
（第3版252页）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
但有些时候可能会遇到非样本信息——对未知参数的约束限制（如生产函数中的规模报酬不变等）。
在这种情况下，我们就可以采用拉格朗日估计法。
对于线性模型（1），若其参数β具有某种线性等式约束： 0H β= （6）其中H 是m k ⨯矩阵（m k <，()rank H m =）。
β可视为除分量0β以外的1k ⨯矩阵。
上式表明未知参数12,,,k βββ之间的某些线性关系的信息。
现在的问题是寻求满足上式又使()()Y X Y X ββ'--达到最小的估计量0ˆH β。
为此，构造拉格朗日函数。
（λ是1m ⨯的向量）()()L Y X Y X H ββλβ''=--+ （7）于是ˆˆ220ˆH HHL X Y X X H βλβ∂'''=-++=∂ （8）ˆ0ˆH HL H βλ∂==∂ （9） 由（8）可得11ˆˆˆ()2H HX X H ββλ-''=- （10） （10）式的ˆβ是OLS 的估计量。
两边再左乘H ，并结合（9）式有 11ˆˆˆ0()2H HH H H X X H ββλ-''==- 所以，11ˆˆ2[()]H H X X H H λβ--''= 代入（10）式，我们便得到估计量：111ˆˆˆ()[()]HX X H H X X H H βββ---''''=- （11） 这就是拉格朗日估计，或称为带约束的最小二乘估计。
它既利用了样本信息，也利用了非样本信息。
另外，ˆHβ也是带约束的极大似然估计量（证明从略）。
四、广义最小二乘估计（GLS ） 1、数理过程在实际经济问题的分析过程中，常常遇到古典假定中2的不满足，即随机扰动项存在异方差或自相关。
比如利用截面数据进行分析时，随机因素的方差会随着解释变量的增大而增大（即所谓的递增异方差——如在研究消费收入的关系时，随着收入的增加，随机因素的变化会增大）。
而利用时间序列数据进行分析时，由于经济变量的惯性作用，随机扰动项之间也会有联系，较为普遍的现象是扰动项的一阶自相关。
（即1t t t u u ρε-=+）当存在异方差或自相关的情况下，传统的OLS 不再是有效估计，这时，我们应采用广义最小二乘法来解决这类问题。
具体地，2'Euu σ=Ω （12）其中212122n n w w σσσσ⎛⎫ ⎪⎛⎫ ⎪⎪Ω== ⎪⎪ ⎪ ⎪⎝⎭⎪⎝⎭时t u 存在异方差， 1221211111n n n n ρρρρρρρ----⎛⎫⎪ ⎪Ω=⎪- ⎪ ⎪⎝⎭时t u 存在一阶自相关。
需要说明的是，无论是异方差还是自相关，矩阵Ω是正定矩阵。
于是，存在非奇异矩阵P ，使得PP 'Ω= 或 1()P P I -''Ω=在模型 Y X u β=+ 两边同时左乘1P -，得 111P Y P X P u β---=+或写成***Y X u β=+ （13） 此时，**111212'['()]()Eu u E P uu P P P I σσ----''==Ω= 即*u 已无异方差和自相关。
那么，对（13）式运用OLS 可以得到**1**11111111ˆ()(())()()X X X Y X P P X X P P Y X X X Y β'---------''''''===ΩΩ （14）这就是未知参数β的广义最小二乘估计量GLS 。
它同样具有良好的统计性质。
即它是无偏的、一致的、渐近正态211ˆˆ(,())E Var X X βββσ--'==Ω的估计量。
换句话说，GLS 估计量是广义模型中的最小方差线性无偏估计。
这就是所谓的Aitken 定理，当I Ω=时高斯—马尔科夫定理为其特例。
2、WLS 和广义差分法广义最小二乘法是处理异方差和自相关问题的一般良好估计方法。
当Ω已知时，比如异方差时，各个22i i w σσ=已知，此时，矩阵PP ⎫⎪=⎪ ⎝，1P -⎫⎪⎪= ⎪ ⎝*1Y P Y -⎛ == ⎪，*1X P X -⎛⎫ ⎪ ⎪== ⎪ ⎝，*1u P u -⎛ == ⎪。
这时由（13）式估计出来的β，其实同加权最小二乘估计（WLS ）是相同的。
换句话说，加权最小二乘实际上是广义最小二乘的特例。
再比如随机扰动项有一阶自相关且ρ已知，此时1221211111n n n n PP ρρρρρρρ----⎛⎫⎪ ⎪'Ω==⎪- ⎪ ⎪⎝⎭，可以算得100001000010001P ρρρ-⎫⎪- ⎪ ⎪=- ⎪ ⎪ ⎪-⎝⎭那么（13）式中的1*1211n n Y Y Y P Y Y Y ρρ--⎫⎪- ⎪== ⎪ ⎪ ⎪-⎝⎭，1*1211nn X X X P X X X ρρ--⎛⎫⎪- ⎪== ⎪⎪ ⎪-⎝⎭ 此时估计（13）式得出的ˆβ，其实就是所谓的广义差分法。
也就是说广义差分法也是GLS 的特例。
所以，GLS 是一个普遍适用的方法。
3、Ω未知时的GLS当然，上述情形只是Ω已知的情况。
而在现实应用时，Ω往往是未知的。
于是我们面临一个问题——Ω如何确定？回答当然是对Ω中的未知量进行估计（比如自相关中的ρ，异方差中的i W ）。
那么又该如何估计呢？在回答这个问题之前，我们先考察一下GLS 与最大似然估计的关系（可对照OLS 与ML 的关系）一般来说，当2(0,)N μσΩ或2(,)YN X βσΩ时，Y 的对数似然函数为221112()()()222n InL In In Y X Y X πσβσβ-'=--Ω--Ω-或者考虑到PP 'Ω=，而1*P Y Y -=、1*P X X -=，又有（经过适当的运算）2****21ln ln 2ln ln ||()()222n n L P Y X Y X πσββσ=--+---最大化上式，对β求导令其为0，可得到β的极大似然估计量（它其实就是GLS ）。
对Ω或P 中的未知量求导令其为0，可得到Ω中未知量（比如ρ）的估计。
这是一种理论上可行的方法，但实际操作可能会遇到障碍，尤其是在有异方差存在时。
为此，我们介绍另一种方法——可行广义最小二乘法FGLS 4、可行广义最小二乘法（FGLS ）异方差的具体形式是复杂多样的，但总的来说都是与解释变量有关的,随解释变量的变化而变化。
以下三种假设情况基本上涵盖了文献中讨论过的大多数情形。
（i ）2011i i p ip Z Z σααα=+++ （ii ）011i i p ip Z Z σααα=+++（iii ）2011i i p ip ln Z Z σααα=+++ （或2011exp()i i p ip Z Z σααα=+++）我们称这些方程为扰动项方差的辅助方程。
式中的Z 是原模型中部分或全部的X 或X 的函数（比如21121312Z =X ,Z =X ,Z X X =等等）。
可行广义最小二乘法的基本思想就是，先利用辅助函数求得参数估计值ˆi α，然后得出估计值ˆi σ从而得到ˆΩ及最终的GLS 结果。
FGLS 的步骤如下： （1）Y 对常数项和12,,,K X X X 回归，求得β的OLS 估计值；（2）计算残差011ˆˆˆi i i k kie Y X X βββ=---- （3）选择上述方程的适当形式 （3i ）2i e 对常数项及1,,P Z Z 回归，求得α的估计值。
这是针对上述（i ）的情况。
式中的Z 为原来X 的平方或交叉乘积。
然后把这些α的估计值代回（i ）便得到2i σ的估计值2ˆi σ。
再使用GLS 或WLS 得出最终结果。
需要指出的是，这种方式并不能保证所有的2ˆi σ都为正，如果其中出现了0或负数，那么我们就只能使用原来的2i e 代替2ˆi σ了。
（3ii ）对应于上述方程（ii ），让i e 对常数项及1,,P Z Z 回归，求得α的OLS估计值，代入（ii ）得到ˆi σ，然后使用GLS 或WLS （此时选择权数为1ˆi σ，如ˆi σ为负，那么权数为1ie ）。
（3iii ）对应于方程（iii ），让2i lne 对常数项及1,,P Z Z 回归，求出α的OLS 估计值，再代回（iii ）求得2ˆi ln σ或2ˆi σ。
然后利用GLS 或WLS 得出结果。
这里值得一提的是，此时的2ˆi σ只会产生正值，不存在0或负的情况，这也是此种方法很有吸引力的地方。