三大检验LM-WALD-LR
Eviews计量经济学三大检验讲解学习
E v i e w s计量经济学三大检验作业1我们有1978-2007年我国财政收入,国内生产总值,财政支出和商品零售价格指数的年度数据。
请用Eview 进行回归分析。
（1） 根据回归结果分析模型的经济意义（包含模型的显著性，拟合优度，系数的显著性，系数的经济意义）建立模型，做OLS 估计，得结果图一，列表如下：43283175.57898859.0003271.0558.6399X X X Y ++--=∧)0636.20)(065848.0)(012559.0)(836.2132(SE )882456.2)(65061.13)(260476.0-)(000492.3-(t =997046.02=R 996705.02=R 845.2924=F模型整体显著性较高（F 检验十分显著），可决系数2R 和调整的可决系数较大，即样本回归方程对样本观测值拟合较好。
t 检验显示2X 的系数不显著（p 值>0.05,不能拒绝β=0的原假设）,3X 和4X 的系数显著（p值<0.05，拒绝β=0的原假设）。
从模型的经济意义来看，财政支出、商品零售价格指数与财政收入成正相关，国内生产总值与财政收入成负相关,不符合客观经济规律，可能与模型变量的选取有关。
考虑对模型进行对数变换，结果为图二。
432ln 128427.1ln 631090.0ln 448496.0946444.6ln X X X Y +++-=∧)610249.0)(160929.0)(141418.0)(853146.2(SE)849127.1)(921549.3)(171412.3)(434662.2(t -=987673.02=R 986251.02=R 3969.694=F对数变换后模型整体显著性较高（F 检验十分显著，p 值=0.00<<0.05），可决系数2R 和调整的可决系数略有下降，模型可解释98.63%的因变量变化。
论Wald-LR和LM检验不一致时选择依据
论 Wald 、L R 和 L M 检验不一致时的选择依据
・1 5 5 ・
2 可以看出 , β ^ 仍是β的无偏估计量 。不同于最小二乘估计 , 极大似然估计的方差σ ^ 则是 2 β, 则σ 有偏的 。令 e = y - X^ ^ = e′ e/ n , 于是似然函数的最大值为 :
relatio nship holds under so me p resuppo sitio ns , and t he test result wo uld be false if we neglected t hese p resuppo sitio ns1 This paperπs research indicates t hat we can do so o nly when we assume t hat error terms o bey multi element normal dist ributio n , estimated model s are linear regressio n and tested questio ns are linear rest rictio ns , and sample data is eno ughly large1 If t he test result s of Wald , L R and L M are in2 co nsistent , we can not decide which is t he best for general test model s based o n cur2 rently established p rinciple and ideology of t hese statistical quantities1 Key words : Wald Test ; L R Test ; L M Test ; Linear Model s ; Linear Rest ric2 tio ns
最大似然估计及三大检验(Wald LM LR)资料
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
计量经济学检验汇总
最全计量经济学检验汇总现代计量经济学的检验包括以下三个大类：§1.1 系数检验一、Wald检验--系数约束条件检验Wald检验没有把原假设定义的系数限制加入回归，通过估计这一无限制回归来计算检验统计量。
Wald统计量计算无约束估计量如何满足原假设下的约束。
如果约束为真，无约束估计量应接近于满足约束条件。
考虑一个线性回归模型：和一个线性约束：，R是一个已知的阶矩阵，r是q维向量。
Wald统计量在下服从渐近分布，可简写为：进一步假设误差独立同时服从正态分布，我们就有一确定的、有限的样本F-统计量是约束回归的残差向量。
F统计量比较有约束和没有约束计算出的残差平方和。
如果约束有效，这两个残差平方和差异很小，F统计量值也应很小。
EViews显示和F统计量以及相应的p值。
假设Cobb-Douglas生产函数估计形式如下：（1）Q为产出增加量，K为资本投入，L为劳动力投入。
系数假设检验时，加入约束。
为进行Wald检验，选择View/Coefficient Tests/Wald-Coefficient Restrictions，在编辑对话框中输入约束条件，多个系数约束条件用逗号隔开。
约束条件应表示为含有估计参数和常数（不可以含有序列名）的方程，系数应表示为c(1)，c(2)等等，除非在估计中已使用过一个不同的系数向量。
为检验规模报酬不变的假设，在对话框中输入下列约束：c(2)+c(3)=1二、遗漏变量检验这一检验能给现有方程添加变量，而且询问添加的变量对解释因变量变动是否有显著作用。
原假设是添加变量不显著。
选择View/Coefficient Tests/Omitted Variables-Likehood Ration，在打开的对话框中，列出检验统计量名，用至少一个空格相互隔开。
例如：原始回归为LS log(q) c log(L) log(k) ，输入：K L，EViews将显示含有这两个附加解释变量的无约束回归结果，而且显示假定新变量系数为0的检验统计量。
三大检验
' e e 有约束模型残差平方和； ** e′e无约束模型残差平方和；
2011-12-19
中级计量经济学
8
• 三、Wald检验
H0 : g ( β ) = C
• 如果约束条件为真，则g ( β
MLE
g ( β MLE ) − C显著异于零时，约束条件无效 无约束极大似然估计值。当
) − C → 0 不应该显著异于零，其中 β MLE 是
• 假设对于给定样本 {Y , X }，其联合概率分布存在， f (Y , X ; ξ ) 。将该 联合概率密度函数视为未知参数 ξ 的函数，则 f (Y , X ; ξ ) 称为似然函 数（Likelihood Function）, 即观测到所给样本的可能性. • 极大似然原理就是寻找未知参数 ξ 的估计 ξˆ ，使得似然函数达到最 大，或者说寻找使得样本
{Y , X }
出现的概率最大的 ξˆ 。
2011-12-19
中级计量经济学
3
• （三）线性回归模型最大似然估计 • 1、估计结果 u ~N (0, σ 2 I n ) Y = Xβ +u
2 2 − n 2
(Y − X β )′(Y − X β ) L(Y , X ; β , σ ) = (2πσ ) exp{− } 2 2σ
' e e 有约束模型残差平方和； * * e ′e 无 约 束 模 型 残 差 平 方 和 ；
2011-12-19 中级计量经济学 10
四、拉格朗日乘子检验（LM）
• 基本思想：拉格朗日乘子检验（LM），又称为Score检验。该检验基 于约束模型，无需估计无约束模型。 • 假设约束条件为 H 0 : g (θ ) = C ，在约束条件下最大化对数似然函数 ，另
线性回归模型检验方法拓展-三大检验
第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。
对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。
一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”，它的一般步骤是（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。
（2）在零假设条件下，寻求用于检验的统计量及其分布。
（3）得出拒绝或接受零假设的判别规则。
另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误P（拒绝H|H0为真）=α和第二类错误P（接受H|H0不真）=β在下图，粉红色部分表示P（拒绝H0|H0为真）=α。
黄色部分表示P（接受H0|H0不真）=β。
而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。
下面简要介绍假设检验的有关基本理论。
参数显著性检验的思路是，已知总体的分布(,)F X θ，其中θ是未知参数。
总体真实分布完全由未知参数θ的取值所决定。
对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或，从总体中抽取一个容量为n 的样本，确定一个统计量及其分布，决定一个拒绝域W ，使得0()P W θα=，或者对样本观测数据X ，0()P X W θα∈≤。
α是显著性水平，即犯第一类错误的概率。
既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在0()P X W θα∈≤ 0θ∈Θ的条件下，使得()P X W θ∈，0θ∈Θ-Θ达到最大，或1()P X W θ-∈，0θ∈Θ-Θ达到最小。
其中()P X W θ∈表示总体分布为(,)F X θ时，事件W ∈{X }的概率，0Θ为零假设集合（0Θ只含一个点时成为简单原假设，否则称为复杂原假设）。
计量中三大检验（wald,lr,lm）的区别
计量中三大检验（wald,lr,lm）的区别Wald 统计量我们先对无约束模型得到参数的估计值，再代入约束条件检查约束条件是否成立；LR 统计量则是分别计算在约束和无约束条件下的参数估计值，然后计算二者的对数似然函数是否足够接近；LM 统计量则考察约束条件的拉格朗日乘子是否为零，因为假设约束条件成立，那么这个约束条件应该对我们的估计没有影响，那么拉格朗日乘子应该为0。
这是三个检验的基本思想。
至于为什么渐进等价，则要一些推导。
基本上三者的大小差距为O（1/n).似然比检验、wald检验、拉格朗日乘数检验都基于MLE，就大样本而言三者是渐进等价的。
1、似然比检验的思想是：如果参数约束是有效的，那么加上这样的约束不应该引起似然函数最大值的大幅度降低。
也就是说似然比检验的实质是在比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值。
似然比定义为有约束条件下的似然函数最大值与无约束条件下似然函数最大值之比。
以似然比为基础可以构造一个服从卡方分布统计量（具体形式参见Greene）。
2、wald检验的思想是：如果约束是有效的，那么在没有约束情况下估计出来的估计量应该渐进地满足约束条件，因为MLE是一致的。
以无约束估计量为基础可以构造一个Wald统计量（具体形式参见Greene），这个统计量也服从卡方分布；3、拉格朗日乘数检验的思想是：在约束条件下，可以用拉格朗日方法构造目标函数。
如果约束有效，则最大化拉格朗日函数所得估计量应位于最大化无约束所得参数估计值附近。
这里也是构造一个LM统计量（具体形式参见Greene），该统计量服从卡方分布。
对于似然比检验，既需要估计有约束的模型，也需要估计无约束的模型；对于Wald检验，只需要估计无约束模型；对于LM检验，只需要估计有约束的模型。
一般情况下，由于估计有约束模型相对更复杂，所有Wald检验最为常用。
对于小样本而言，似然比检验的渐进性最好，LM检验也较好，Wald检验有时会拒绝原假设，其小样本性质不尽如人意。
最大似然估计及三大检验(WaldLMLR)讲解
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
三大检验选读
• （3）渐进正态性
2018/12/27
中级计量经济学
6
二、似然比检验（LR）
• 1、似然比 • 命题： H0 : g C • 检验思想：如果约束是无效的，有约束的最大似然函数值当然不会超 过无约束的最大似然函数值，但如果约束条件“有效”，有约束的最
大值应当“接近”无约束的最大值，这正是似然比检验的基本思路。
• 对未知参数求导：
2018/12/27
中级计量经济学
4
ˆ (X X ) 1 X Y • 得到， ML 2 1 ˆ ML ee n
• 与OLS对比
将估计量代入对数似然函数，得到最大对数似然估计值
n n l LnL Ln( ) 1 Ln(ee) 2 2
H0 : R r
ˆ r ) R ˆ r ) ~ 2 (q) ˆ W ( R ( X X ) R ( R
2 1 1 a
• 拒绝域，
2 W (q)
• Wald统计量另一种表达形式，
' n(e* e* ee) W ~ 2 (q) ee
2 2 n 2
• 对数似然函数：
n n (Y X )(Y X ) l LnL Ln 2 Ln 2 2 2 2 2
1 l ˆ) 0 ( 2 X Y 2 X X 2 ˆ ˆ 2 l n 1 (Y X ˆ )(Y X ˆ) 0 2 2 4 ˆ ˆ ˆ 2 2
• 似然比：
L( , 2 ) ˆ , ˆ2) L(
• 无约束模型似然函数值： • 有约束模型似然函数值：
ˆ , ˆ2) L(
conditional条件法、lr偏似然估计法、wald瓦尔德法
conditional条件法、lr偏似然估计法、wald瓦尔德法条件法、偏似然估计法和瓦尔德法是统计学中经常使用的三种方法，用于估计参数和进行假设检验。
本文将逐步解释这三种方法的原理和应用，并讨论它们的优缺点。
条件法(Method of Moments) 是一种基于样本矩的估计方法。
其核心思想是将理论矩和样本矩之间的差异最小化，从而得到参数的估计值。
具体步骤如下：步骤1：确定估计量的数量首先，根据需要估计的参数的数量，确定需要计算的矩数量。
例如，如果需要估计一个参数，那么只需要计算一个矩；如果需要估计两个参数，那么需要计算两个矩。
步骤2：计算样本矩从样本中计算所需的矩。
常见的矩包括样本均值、方差和偏度。
步骤3：建立理论矩对所需的参数建立理论矩的表达式。
这些表达式是参数的函数。
步骤4：求解方程组将样本矩和理论矩相等，得到参数的估计值。
这可以通过求解一个由样本矩和理论矩的方程组获得。
条件法的优点是简单易用，特别适用于参数估计问题。
然而，它的缺点是对于非线性模型或者高阶矩的估计问题存在较大的不确定性。
偏似然估计法(Maximum Likelihood Estimation, MLE) 是一种基于似然函数的估计方法。
它假设观测数据来自于已知的概率分布，然后通过最大化似然函数来估计参数。
具体步骤如下：步骤1：建立似然函数根据数据的概率分布函数，建立参数的似然函数。
似然函数是参数的函数，表示给定参数情况下观测数据出现的可能性。
步骤2：对似然函数取对数将似然函数取对数，得到对数似然函数。
这样做的好处是可以简化计算。
步骤3：求对数似然函数的导数对对数似然函数求导，得到参数的似然方程。
解这个方程可以求得参数的估计值。
步骤4：计算似然函数的二阶导数对对数似然函数再次求导，得到似然函数的二阶导数。
这个二阶导数称为观测信息矩阵。
步骤5：计算标准误差和置信区间根据观测信息矩阵，计算参数的标准误差，并利用标准误差构建置信区间。
三大检验LM-WALD-LR
（第3版279页） 11.9 格兰杰（Granger）因果性检验（不讲）
（第3版280页） 11.9 格兰杰（Granger）因果性检验（不讲）
通过EViews计算的Granger因果性检验的两个F统计量的值见图。SHt 和SZt之间存在单向因果关系。即SZt是SHt变化的Granger原因，但SHt 不是SZt变化的Granger原因。 （第3版280页） 11.9 格兰杰（Granger）因果性检验（不讲）
（第3版255页）
例11.1：建立中国国债发行额模型
用19802001年数据得输出结果如下； DEBTt = 4.31 +0.35 GDPt +1.00 DEFt +0.88 REPAYt (0.2) (2.2) (31.5) (17.8) R2 = 0.999, DW=2.12, T =22, SSEu= 48460.78, (1980-2001) 是否可以从模型中删掉DEFt和REPAYt呢？可以用F统计量完成上述检验。原假设H0是3 = 4 = 0（约束DEFt和REPAYt的系数为零）。给出约束模型估计结果如下， DEBTt = -388.40 +4.49 GDPt (-3.1) (17.2) R2 = 0.94, DW=0.25, T =22, SSEr= 2942679, (1980-2001) 已知约束条件个数m = 2，T- k-1 = 18。SSEu= 48460.78，SSEr= 2942679。 因为F=537.5 >>F( 2, 18) =3.55，所以拒绝原假设。不能从模型中删除解释变量DEFt和REPAYt。
（第3版263页）
6 拉格朗日乘子（LM）检验
拉格朗日（Lagrange）乘子（LM）检验只需估计约束模型。所以当施加约束条件后模型形式变得简单时，更适用于这种检验。 LM乘子检验可以检验线性约束也可以检验非线性约束条件的原假设。 对于线性回归模型，通常并不是拉格朗日乘子统计量（LM）原理计算统计量的值，而是通过一个辅助回归式计算LM统计量的值。
(完整版)最大似然估计与W、LR、LM三种检验(OVER)
cβˆ
ML
0T
cβˆ ML
βˆ T
ML
XT X
1
cβˆ ML
βˆ ML
cβˆ
ML
0
a
2
r
定理：Wald检验统计量的分布
• Wald检验统计量为：
W cθˆ qT Varcθˆ qcθˆ q
• 其中，θˆ 是无约束条件下的参数估计向量。
•在
和大样本条件下，W遵从自由度
等于H0约: c束θˆ 个q 数的卡方分布。其中，约束个
•
W c
• 其中c应满足如下条件，使
• P c ， 0
• 且尽可能接近 。
• 设 Yt 的密度函数为 f ( x;β ) ，β 为 k 1阶的未知 参数向量
• Yt Xtβ ε t ，t 1,2,,T ，ε t ~ iid 。 • 分为三种情形讨论 • 1．H0 : 0 ， H1 : 0 ； • 2．H0 : cβ cβ 0 ，H1 : cβ cβ 0 ； • 3． H0 : cβ 0 ，H1 : cβ 0 ；
情况。
Θ0 Θ1
Θ
• 设X1,X 2 ,,X n 是来自X 的样本，记其似然函
数为 L(θ )，θˆ 0与 θˆ 分别是 θ 的参数空间Θ0与 Θ上的极大似然估计，似然函数在Θ0 与Θ 上的
极大值分别记为L(θˆ 0 )与L(θˆ ) ，即 和 L(θˆ ) maxL(θ ) ，记其比值为：
L(θˆ
极大似然估计 与
W,LR,LM检验
第一部分：极大似然估计
• 极大似然估计法
• 我们从简单线性模型开始分析 Yi i X i i
• 对于每一个都是服从均值 X 为，方差为 2 的正态分布，其概率密度 函数可以表示为
三大检验LM_WALD_LR
在实际应用中，应根据具体问题和数据特征选择合适的检验方法，以提高模型诊断的准确性和可靠性。
对未来研究的建议
进一步研究lm_wald_lr三种检验方法在不同类型数据和模型假设下的表现， 以完善其理论和应用体系。
02
通过比较药物治疗前后的基因表达谱，利用lm_wald_lr检验评
估药物疗效。
流行病学研究
03
在流行病学研究中，利用lm_wald_lr检验分析不同人群的基因
变异与疾病风险的关系。
社会调查
01
民意调查
利用lm_wald_lr检验分析民意调 查数据，了解公众对政策、产品 等的态度和意见。
02
社会问题研究
LR检验
LR检验（似然比检验）是用于比较 两个模型拟合优度的统计检验，通 过比较两个模型的似然函数值来评 估模型之间的差异。
lm_wald_lr检验的原理
Wald统计量原理
Wald统计量基于参数的估计值和标准误差，通过构造一个Wald统计量来检验 参数是否为零。如果Wald统计量的值大于临界值，则拒绝原假设，认为参数 不为零。
局限性
lm_wald_lr检验对于样本量和数据分布有一定的要求，如果样本量较小或数据分布不符合正态分布假设，可能会 导致检验结果不准确。此外，对于一些复杂模型或非线性模型，lm_wald_lr检验可能不够敏感或可靠。
02
检验步骤
数据的准备
收集数据
根据研究目的和范围，收集相关数据，确保数据 的准确性和完整性。
结果的解释
判断结果
将计算出的统计量与临界值进行比较，判断检 验假设是否成立。
最大似然估计及三大检验WaldLMLR资料
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
Eviews计量经济学三大检验
作业1我们有1978-2007年我国财政收入,国内生产总值,财政支出和商品零售价格指数的年度数据。
请用Eview 进展回归分析。
（1） 根据回归结果分析模型的经济意义〔包含模型的显著性，拟合优度，系数的显著性，系数的经济意义〕建立模型，做OLS 估计，得结果图一，列表如下：43283175.57898859.0003271.0558.6399X X X Y ++--=∧)0636.20)(065848.0)(012559.0)(836.2132(SE )882456.2)(65061.13)(260476.0-)(000492.3-(t =997046.02=R 996705.02=R 845.2924=F模型整体显著性较高〔F 检验十分显著〕，可决系数2R 和调整的可决系数较大，即样本回归方程对样本观测值拟合较好。
t 检验显示2X 的系数不显著〔p 值>0.05,不能拒绝β=0的原假设〕,3X 和4X 的系数显著〔p 值<0.05，拒绝β=0的原假设〕。
从模型的经济意义来看，财政支出、商品零售价格指数与财政收入成正相关，国内生产总值与财政收入成负相关,不符合客观经济规律，可能与模型变量的选取有关。
考虑对模型进展对数变换，结果为图二。
432ln 128427.1ln 631090.0ln 448496.0946444.6ln X X X Y +++-=∧)610249.0)(160929.0)(141418.0)(853146.2(SE)849127.1)(921549.3)(171412.3)(434662.2(t -=987673.02=R 986251.02=R 3969.694=F对数变换后模型整体显著性较高〔F 检验十分显著，p 值=0.00<<0.05〕，可决系数2R 和调整的可决系数略有下降，模型可解释98.63%的因变量变化。
t 检验显示4ln X 的系数不显著〔p 值=0.0758>0.05,不能拒绝β=0的原假设〕,2ln X 和3ln X 的系数显著〔p 值<0.05，拒绝β=0的原假设〕。
三大检验LMWALDLR
注意：这是做 k 个 t 检验。在原假设成立条件下，统计量
t
=
ˆ j s(ˆ j
)
tk-1,
(j
=
1,
2,
…,
k)
其中 ˆ j 是对j 的估计， s(ˆ j ) , j = 1, 2, …, k 是 ˆ j 的样本标准差。
其中DEBTt表示国债发行总额（单位：亿元），GDPt表示年国内生产总值 （单位：百亿元），DEFt表示年财政赤字额（单位：亿元），REPAYt表示 年还本付息额（单位：亿元）。
（第3版255页）
5000 4000
DEBT
3000
2000
1000
0 0
GDP
200
400
600
800 1000
5000 4000
43.01亿元，占GDP当年总量的1%，2001年国债发行额是4604
亿元，占GDP当年总量的4.8%。以当年价格计算，21年间
（1980-2001）增长了106倍。平均年增长率是24.9%。
5000 4000 3000
DEBT
（第3版254页）
2000
1000
0 80 82 84 86 88 90 92 94 96 98 00
本章开始先简要总结模型参数总显著性的F检验、单个回归参 数显著性的t检验。然后再介绍几个在建模过程中也很常用的 其他检验方法。他们是检验模型若干线性约束条件是否成立 的F检验和似然比（LR）检验、Wald检验、LM检验、JB检验 以及Granger非因果性检验。
11.1 模型总显著性的F 检验
（第3版252页）
最大似然估计及三大检验(Wald-LM-LR)资料
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
三大检验
•
如果约束成立，对数似然函数值不会有显著变化。这就意味着在一
阶条件下，第二项应该很小，特别是
应该很小。因此，约束条件
是否成立检验转化成检验 H ： =0 ，这就是拉格朗日乘子检验的思 0 想。
•
但是直接检验 H0： =0 比较困难，有一个等价而简单的方法。如
表示拉格朗日乘子向量，此时，拉格朗日函数为， LnL ( ) LnL( ) g( ) C
• 约束条件下最大化问题就是求解下式根，
LnL ( ) LnL( ) g 0 LnL ( ) g( ) g ( ) C 0 其中，g 是矩阵g= 的转置
' n(e* e* ee) 2 W ~ (q) ' e*e*
' e e 有约束模型残差平方和； * * ee无约束模型残差平方和；
• LR、 Wald 、LM关系(一般情况下成立)：
Wald LR LM
2014-5-23
中级计量经济学
15
数（Likelihood Function）, 即观测到所给样本的可能性.
ˆ ，使得似然函数达到最 • 极大似然原理就是寻找未知参数 的估计
大，或者说寻找使得样本
Y , X 出现的概率最大的 ˆ
。
2014-5-23
中级计量经济学
3
• （三）线性回归模型最大似然估计 • 1、估计结果 Y X u u~N (0, 2 In )
果约束条件成立，在约束估计值处计算对数似然函数的导数应该近似 为零，如果该值显著异于零，则约束条件不成立，拒绝原假设。
• 对数似然函数的导数就是得分向量，因此，LM检验就是检验约束条件
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
11.2 模型单个回归参数显著性的t 检验
对于多元线性回归模型，yt = 0 +1xt1 + 2xt2 +…+ k xt k + ut
如果 F 检验的结论是接受原假设，则检验止。如果 F 检验的结论是拒 绝原假设，则进一步作 t 检验。检验模型中哪个（或哪些）解释变量 是重要解释变量，哪个是可以删除的变量。原假设与备择假设分别是
H 0：j = 0； H1：j 0，(j = 1, 2, …, k)。
注意：这是做 k 个 t 检验。在原假设成立条件下，统计量
t
=
ˆ j s(ˆ j
)
tk-1,
(j
=
1,
2,
…,
k)
其中 ˆ j 是对j 的估计， s(ˆ j ) , j = 1, 2, …, k 是 ˆ j 的样本标准差。
估计结果如下，
DEBTt = -388.40 +4.49 GDPt (-3.1) (17.2)
R2 = 0.94, DW=0.25, T =22, SSEr= 2942679, (1980-2001) 已知约束条件个数m = 2，T- k-1 = 18。SSEu= 48460.78，SSEr= 2942679。
（第3版257页）
似然比（LR）检验的基本思路是如果约束条件成立则相应约束模型与非约束模型的极大似 然函数值应该是近似相等的。用
log L( ˆ , ˆ 2 ) = - T log 2 ˆ 2 - uˆt 2
2
2ˆ 2
表示由估计非约束模型得到的极大似然函数。其中 ˆ 和 ˆ 2 分别是对 （参数集合）， （误
DEBT
3000
2000
1000
0
-1000
0
1000
DEF200030 Nhomakorabea05000 4000
DEBT
3000
2000
1000
0 0
REPAY 500 1000 1500 2000 2500
例11.1：建立中国国债发行额模型
用19802001年数据得输出结果如下；
DEBTt = 4.31 +0.35 GDPt +1.00 DEFt +0.88 REPAYt
(0.2) (2.2)
(31.5)
(17.8)
（第3版256页）
R2 = 0.999, DW=2.12, T =22, SSEu= 48460.78, (1980-2001) 是否可以从模型中删掉DEFt和REPAYt呢？可以用F统计量完成上述检验。
原假设H0是3 = 4 = 0（约束DEFt和REPAYt的系数为零）。给出约束模型
其中DEBTt表示国债发行总额（单位：亿元），GDPt表示年国内生产总值 （单位：百亿元），DEFt表示年财政赤字额（单位：亿元），REPAYt表示 年还本付息额（单位：亿元）。
（第3版255页）
5000 4000
DEBT
3000
2000
1000
0 0
GDP
200
400
600
800 1000
5000 4000
若 F F (m , T – k -1)，约束条件不成立。 这里所介绍的 F 检验与检验模型总显著性的 F 统计量实际上是 一个统计量。注意：F 检验只能检验线性约束条件。
11.3 检验若干线性约束条件是否成立的F 检验
例11.1：建立中国国债发行额模型。 首先分析中国国债发行额序列的特征。1980年国债发行额是
中国当前正处在社会主义市场经济体制逐步完善，宏观经济运
行平稳阶段。国债发行总量应该与经济总规模，财政赤字的多
少，每年的还本付息能力有关系。
例11.1：建立中国国债发行额模型
选择3个解释变量，国内生产总值，财政赤字额，年还本付息额，根据散点 图建立中国国债发行额模型如下：
DEBTt = 0 +1 GDPt +2 DEFt +3 REPAYt + ut
（第3版256页）
例11.1：建立中国国债发行额模型
（2）在非约束模型输出结果窗口中点击View，选Coefficient Tests, Redundant Variables -Likelihood Ratio功能（模型中是否存在多余的不重 要解释变量），在随后弹出的对话框中填入GDP，DEF。可得计算结果F = 537.5。
得约束模型估计结果如下，
DEBTt = -388.40 +4.49 GDPt (-3.1) (17.2)
R2 = 0.94, DW=0.25, T =22, logL= -161.0583, (1980-2001) 计算 LR 统计量的值，
LR = - 2 [ log L( ~ , ~ 2 ) - log L( ˆ , ˆ 2 ) ]
本章开始先简要总结模型参数总显著性的F检验、单个回归参 数显著性的t检验。然后再介绍几个在建模过程中也很常用的 其他检验方法。他们是检验模型若干线性约束条件是否成立 的F检验和似然比（LR）检验、Wald检验、LM检验、JB检验 以及Granger非因果性检验。
11.1 模型总显著性的F 检验
（第3版252页）
学习计量
第11章 模型的诊断与检验
11.1 模型总显著性的F检验（已讲过） 11.2 模型单个回归参数显著性的t检验（已讲过） 11.3 检验若干线性约束条件是否成立的F检验 11.4 似然比（LR）检验 11.5 沃尔德（Wald）检验 11.6 拉格朗日乘子（LM）检验 11.7 邹（Chow）突变点检验（不讲） 11.8 JB（Jarque-Bera）正态分布检验（不讲） 11.9 格兰杰（Granger）因果性检验（不讲）
（第3版256页）
（3）在约束模型输出结果窗口中点击View，选Coefficient Tests, Omitted Variables -Likelihood Ratio功能（模型中是否丢了重要的解释变量），在 随后弹出的对话框中填入拟加入的解释变量GDP，DEF。可得结果F = 537.5。
11.4 似然比（LR）检验
（约束模型）
F (SSEr SSEu ) / m ~ F(m,T k 1) SSEu /(T k 1)
（第3版254页）
其中 SSEr 表示由估计约束模型得到的残差平方和； SSEu 表示由估计无约束模型得到的残差平方和； m 表示约束条件个数；T 表示样本容量； k+1 表示无约束模型中被估回归参数的个数。 判别规则是，若 F F (m , T – k -1)，约束条件成立；
以 k 元线性回归模型 yt = 0 +1xt1 + 2xt2 +…+k xt k +ut （无约束模型）
为例，比如要检验模型中最后 m 个回归系数是否为零。模型表达式是
yt = 0 +1xt1 + 2xt2 +…+ k-m xt k-m + ut 在原假设：k-m+1= …= k = 0，成立条件下，统计量
第11章 模型的诊断与检验 （第3版252页）
在建立模型过程中，要对模型参数以及模型的各种假定条件 作检验。这些检验要通过运用统计量来完成。在第2章和第3 章已经介绍过检验单个回归参数显著性的t统计量和检验模型 参数总显著性的F统计量。在第5章介绍了模型误差项是否存 在异方差的Durbin-Watson检验、White检验；在第6章介绍了 模型误差项是否存在自相关的DW检验和BG检验。
11.5沃尔德（Wald）检验
（第3版259页）
沃尔德检验的优点是只需估计无约束一个模型。当约束模型的估计很困难时， 此方法尤其适用。另外，F 和 LR 检验只适用于检验线性约束条件，而沃尔德 检验适用于线性与非线性约束条件的检验。 沃尔德检验的原理是测量无约束估计量与约束估计量之间的距离。先举一个 简单的例子说明检验原理。比如对如下无约束模型
43.01亿元，占GDP当年总量的1%，2001年国债发行额是4604
亿元，占GDP当年总量的4.8%。以当年价格计算，21年间
（1980-2001）增长了106倍。平均年增长率是24.9%。
5000 4000 3000
DEBT
（第3版254页）
2000
1000
0 80 82 84 86 88 90 92 94 96 98 00
（2）在约束模型估计结果窗口中点击View，选Coefficient Tests, Omitted Variables -Likelihood Ratio功能（模型中是否丢了重要的解释变量），在随后弹出的对话框 中填入拟加入的解释变量GDP，DEF。可得结果。其中LR（Log likelihood ratio） = 90.34，与上面的计算结果相同。
F (SSEr SSEu ) / m (2942679 48460.78) / 2 537.5
SSEu /(T k 1)
48460.78 /(22 4)
因为F=537.5 >>F( 2, 18) =3.55，所以拒绝原假设。不能从模型中删除解释变
量DEFt和REPAYt。
例 11.2：用 LR 统计量检验原假设3 = 4 = 0。是否成立。估计结果如下；
DEBTt = 4.31 +0.35 GDPt +0.99 DEFt +0.88 REPAYt (0.2) (2.2) (31.5) (17.8) R2 = 0.9990, DW=2.12, T =22, logL= -115.8888, (1980-2001)
判别规则是，若 t tk-1，接受 H 0；若 t > tk-1，拒绝 H 0。 详见第 2 章。
（第3版253页）