最大似然估计及三大检验(Wald-LM-LR)资料学习资料

第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。

将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。

极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。

（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。

（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。

但有些时候可能会遇到非样本信息——对未知参数的约束限制（如生产函数中的规模报酬不变等）。

在这种情况下，我们就可以采用拉格朗日估计法。

对于线性模型（1），若其参数β具有某种线性等式约束： 0H β= （6）其中H 是m k ⨯矩阵（m k <，()rank H m =）。

β可视为除分量0β以外的1k ⨯矩阵。

上式表明未知参数12,,,k βββL 之间的某些线性关系的信息。

现在的问题是寻求满足上式又使()()Y X Y X ββ'--达到最小的估计量0ˆH β。

为此，构造拉格朗日函数。

（λ是1m ⨯的向量）()()L Y X Y X H ββλβ''=--+ （7）于是ˆˆ220ˆH HHL X Y X X H βλβ∂'''=-++=∂ （8）ˆ0ˆH HL H βλ∂==∂ （9） 由（8）可得11ˆˆˆ()2H HX X H ββλ-''=- （10） （10）式的ˆβ是OLS 的估计量。

两边再左乘H ，并结合（9）式有 11ˆˆˆ0()2H HH H H X X H ββλ-''==- 所以，11ˆˆ2[()]H H X X H H λβ--''= 代入（10）式，我们便得到估计量：111ˆˆˆ()[()]HX X H H X X H H βββ---''''=- （11） 这就是拉格朗日估计，或称为带约束的最小二乘估计。

它既利用了样本信息，也利用了非样本信息。

另外，ˆHβ也是带约束的极大似然估计量（证明从略）。

四、广义最小二乘估计（GLS ） 1、数理过程在实际经济问题的分析过程中，常常遇到古典假定中2的不满足，即随机扰动项存在异方差或自相关。

比如利用截面数据进行分析时，随机因素的方差会随着解释变量的增大而增大（即所谓的递增异方差——如在研究消费收入的关系时，随着收入的增加，随机因素的变化会增大）。

而利用时间序列数据进行分析时，由于经济变量的惯性作用，随机扰动项之间也会有联系，较为普遍的现象是扰动项的一阶自相关。

（即1t t t u u ρε-=+）当存在异方差或自相关的情况下，传统的OLS 不再是有效估计，这时，我们应采用广义最小二乘法来解决这类问题。

具体地，2'Euu σ=Ω （12）其中212122n n w w σσσσ⎛⎫ ⎪⎛⎫⎪⎪Ω==⎪ ⎪ ⎪ ⎪⎝⎭⎪⎝⎭O O 时t u 存在异方差， 1221211111n n n n ρρρρρρρ----⎛⎫⎪ ⎪Ω=⎪- ⎪ ⎪⎝⎭L L LLL L L时t u 存在一阶自相关。

需要说明的是，无论是异方差还是自相关，矩阵Ω是正定矩阵。

于是，存在非奇异矩阵P ，使得PP 'Ω= 或 1()P P I -''Ω=在模型 Y X u β=+ 两边同时左乘1P -，得 111P Y P X P u β---=+或写成***Y X u β=+ （13） 此时，**111212'['()]()Eu u E P uu P P P I σσ----''==Ω= 即*u 已无异方差和自相关。

那么，对（13）式运用OLS 可以得到**1**11111111ˆ()(())()()X X X Y X P P X X P P Y X X X Y β'---------''''''===ΩΩ （14）这就是未知参数β的广义最小二乘估计量GLS 。

它同样具有良好的统计性质。

即它是无偏的、一致的、渐近正态211ˆˆ(,())E Var X X βββσ--'==Ω的估计量。

换句话说，GLS 估计量是广义模型中的最小方差线性无偏估计。

这就是所谓的Aitken 定理，当I Ω=时高斯—马尔科夫定理为其特例。

2、WLS 和广义差分法广义最小二乘法是处理异方差和自相关问题的一般良好估计方法。

当Ω已知时，比如异方差时，各个22i i w σσ=已知，此时，矩阵PP ⎫⎪= ⎪ ⎝O，1P -⎫⎪⎪=⎪ ⎝O*1Y P Y -⎛ == ⎪ ⎝M，*1X P X -⎛⎫ ⎪⎪== ⎪ ⎝M，*1u P u -⎛ == ⎪M 。

这时由（13）式估计出来的β，其实同加权最小二乘估计（WLS ）是相同的。

换句话说，加权最小二乘实际上是广义最小二乘的特例。

再比如随机扰动项有一阶自相关且ρ已知，此时1221211111n n n n PP ρρρρρρρ----⎛⎫⎪ ⎪'Ω== ⎪- ⎪ ⎪⎝⎭L L LLL L L，可以算得100001000010001P ρρρ-⎫⎪- ⎪ ⎪=- ⎪⎪⎪-⎝⎭LL L L L L L L L L那么（13）式中的1*1211n n Y Y Y P Y Y Y ρρ--⎛⎫ ⎪- ⎪== ⎪ ⎪ ⎪-⎝⎭M，1*1211nn X X X P X X X ρρ--⎛⎫⎪- ⎪== ⎪ ⎪ ⎪-⎝⎭M此时估计（13）式得出的ˆβ，其实就是所谓的广义差分法。

也就是说广义差分法也是GLS 的特例。

所以，GLS 是一个普遍适用的方法。

3、Ω未知时的GLS当然，上述情形只是Ω已知的情况。

而在现实应用时，Ω往往是未知的。

于是我们面临一个问题——Ω如何确定？回答当然是对Ω中的未知量进行估计（比如自相关中的ρ，异方差中的i W ）。

那么又该如何估计呢？在回答这个问题之前，我们先考察一下GLS 与最大似然估计的关系（可对照OLS 与ML 的关系）一般来说，当2(0,)N μσΩ:或2(,)Y N X βσΩ:时，Y 的对数似然函数为221112()()()222n InL In In Y X Y X πσβσβ-'=--Ω--Ω-或者考虑到PP 'Ω=，而1*P Y Y -=、1*P X X -=，又有（经过适当的运算）2****21ln ln 2ln ln ||()()222n n L P Y X Y X πσββσ=--+---最大化上式，对β求导令其为0，可得到β的极大似然估计量（它其实就是GLS ）。

对Ω或P 中的未知量求导令其为0，可得到Ω中未知量（比如ρ）的估计。

这是一种理论上可行的方法，但实际操作可能会遇到障碍，尤其是在有异方差存在时。

为此，我们介绍另一种方法——可行广义最小二乘法FGLS 4、可行广义最小二乘法（FGLS ）异方差的具体形式是复杂多样的，但总的来说都是与解释变量有关的,随解释变量的变化而变化。

以下三种假设情况基本上涵盖了文献中讨论过的大多数情形。

（i ）2011i i p ip Z Z σααα=+++L （ii ）011i i p ip Z Z σααα=+++L（iii ）2011i i p ip ln Z Z σααα=+++L （或2011exp()i i p ip Z Z σααα=+++L ） 我们称这些方程为扰动项方差的辅助方程。

式中的Z 是原模型中部分或全部的X 或X 的函数（比如21121312Z =X ,Z =X ,Z X X =等等）。

可行广义最小二乘法的基本思想就是，先利用辅助函数求得参数估计值ˆi α，然后得出估计值ˆi σ从而得到ˆΩ及最终的GLS 结果。

FGLS 的步骤如下： （1）Y 对常数项和12,,,K X X X L 回归，求得β的OLS 估计值；（2）计算残差011ˆˆˆi i i k ki e Y X X βββ=----L （3）选择上述方程的适当形式（3i ）2i e 对常数项及1,,P Z Z L 回归，求得α的估计值。

这是针对上述（i ）的情况。

式中的Z 为原来X 的平方或交叉乘积。

然后把这些α的估计值代回（i ）便得到2i σ的估计值2ˆi σ。

再使用GLS 或WLS 得出最终结果。

需要指出的是，这种方式并不能保证所有的2ˆi σ都为正，如果其中出现了0或负数，那么我们就只能使用原来的2i e 代替2ˆi σ了。

（3ii ）对应于上述方程（ii ），让i e 对常数项及1,,P Z Z L 回归，求得α的OLS估计值，代入（ii ）得到ˆi σ，然后使用GLS 或WLS （此时选择权数为1ˆi σ，如ˆi σ为负，那么权数为1ie ）。

（3iii ）对应于方程（iii ），让2i lne 对常数项及1,,P Z Z L 回归，求出α的OLS 估计值，再代回（iii ）求得2ˆi ln σ或2ˆi σ。