最大似然估计及三大检验(Wald-LM-LR)资料学习资料

第二章 线性回归模型回顾与拓展 （12-15学时）

第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）

（一）极大似然原理

假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。

（二）条件似然函数VS 无条件似然函数

()()(),;;;f Y X f Y X f X ξθϕ=

若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。

（三）线性回归模型最大似然估计

Y X u β=+，2(0,)u N I σ→

22

2

2

()()

(,;,)(2)exp{}2n

Y X Y X L Y X βββσπσσ-'--=-

对数似然函数：

22

()()

2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---

于是 22241ˆ(22)0ˆˆ21ˆˆ()()0

ˆˆˆ22l X Y X X l n Y X Y X βσβββσ

σσ∂⎧''=--+=⎪

⎪∂⎨

∂⎪'=-+--=⎪∂⎩

得到 12ˆ()1

ˆML

ML X X X Y e e n βσ

-⎧''=⎪⎨'=⎪⎩

（三）得分（Score ）和信息矩阵（Information Matrix ）

(;,)l

f Y X θθ

∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥

∂⎢

⎥

∂⎢⎥=∂⎢⎥

⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦

得分向量；

（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='

∂∂

信息矩阵：

三*、带约束条件的最小二乘估计（拉格朗日估计）

在计量经济分析中，通常是通过样本信息对未知参数进行估计。但有些时候可能会遇到非样本信息——对未知参数的约束限制（如生产函数中的规模报酬不变等）。在这种情况下，我们就可以采用拉格朗日估计法。 对于线性模型（1），若其参数β具有某种线性等式约束： 0H β= （6）

其中H 是m k ⨯矩阵（m k <，()rank H m =）。β可视为除分量0β以外的1k ⨯矩阵。上式表明未知参数12,,,k βββL 之间的某些线性关系的信息。

现在的问题是寻求满足上式又使()()Y X Y X ββ'--达到最小的估计量0

ˆH β。

为此，构造拉格朗日函数。（λ是1m ⨯的向量）

()()L Y X Y X H ββλβ''=--+ （7）

于是

ˆˆ220ˆH H

H

L X Y X X H βλβ∂'''=-++=∂ （8）

ˆ0ˆH H

L H βλ∂==∂ （9） 由（8）可得11ˆˆˆ()2H H

X X H ββλ-''=- （10） （10）式的ˆβ

是OLS 的估计量。两边再左乘H ，并结合（9）式有 11ˆˆˆ0()2

H H

H H H X X H ββλ-''==- 所以，11ˆˆ2[()]H H X X H H λβ--''= 代入（10）式，我们便得到估计量：

111ˆˆˆ()[()]H

X X H H X X H H βββ---''''=- （11） 这就是拉格朗日估计，或称为带约束的最小二乘估计。它既利用了样本信息，

也利用了非样本信息。另外，ˆH

β也是带约束的极大似然估计量（证明从略）。

四、广义最小二乘估计（GLS ） 1、数理过程

在实际经济问题的分析过程中，常常遇到古典假定中2的不满足，即随机扰动项存在异方差或自相关。比如利用截面数据进行分析时，随机因素的方差会随着解释变量的增大而增大（即所谓的递增异方差——如在研究消费收入的关系时，随着收入的增加，随机因素的变化会增大）。而利用时间序列数据进行分析时，由于经济变量的惯性作用，随机扰动项之间也会有联系，较为普遍的现象是

扰动项的一阶自相关。（即1t t t u u ρε-=+）

当存在异方差或自相关的情况下，传统的OLS 不再是有效估计，这时，我们应采用广义最小二乘法来解决这类问题。具体地，

2'Euu σ=Ω （12）

其中21

2122n n w w σσσσ⎛⎫ ⎪⎛⎫

⎪

⎪Ω==

⎪ ⎪ ⎪ ⎪

⎝

⎭

⎪⎝

⎭

O O 时t u 存在异方差， 12212

11111

n n n n ρ

ρρ

ρρρρ----⎛⎫

⎪ ⎪

Ω=

⎪- ⎪ ⎪⎝

⎭

L L L

L

L L L

时t u 存在一阶自相关。

需要说明的是，无论是异方差还是自相关，矩阵Ω是正定矩阵。于是，存在非奇异矩阵P ，使得

PP 'Ω= 或 1()P P I -''Ω=

在模型 Y X u β=+ 两边同时左乘1P -，得 111P Y P X P u β---=+

或写成***Y X u β=+ （13） 此时，**111212'['()]()Eu u E P uu P P P I σσ----''==Ω= 即*u 已无异方差和自相关。 那么，对（13）式运用OLS 可以得到

**1**11111111ˆ()(())()()X X X Y X P P X X P P Y X X X Y β

'---------''''''===ΩΩ （14）