计量经济学 一般估计方法 NLS GLS GMM 逐步筛选 对数极大似然

10 *一般估计方法

回归方程的估计在特定的条件下选择适当的估计方法会使得结果更加接近实际，更具有说服力。满足古典线性回归模型的基本假设条件下，利用普通最小二乘法（OLS ）估计出来的系数具备优良的线性无偏最小方差（BLUE ）的性质。如果一些条件不能满足，例如出现非线性模型、异方差、序列相关等情形，就无法得到这样的性质。并且在面对因变量有影响而难以取舍或特殊的计量模型时，就需要改进估计方法以获得更加满意的估计结果。下面依次介绍几种常见的一般估计方法：非线性最小二乘法（NLS ）、广义最小二乘法（GLS ）、广义矩阵法（GMM ）、逐步筛选最小二乘法、对数极大似然估计法。

10.1 非线性最小二乘法

最小二乘法适用的古典假设之一是回归模型是线性的，然而社会经济现象是极其复杂的，有时被解释变量与解释变量之间的关系不一定是线性的。例如柯布.道格拉斯(Cobb-Dauglass )生产函数模型:

321t t t t y L K u ααα=+ ，

t=1，2，...，T （10.1.1） 对此方程（10.1.2）进行对数变换，如下式

123ln ln ln t t t t y L K u ααα=+++ （10.1.2）

虽然式（10.1.2）的变量是非线性形式，此时我们仍能采用估计线性模型的方法，因此模型是参数线性的。反之，就是参数非线性的，我们就要采用非线性的估计方法。

构建下面的非线性模型：

(,)t t t y f x u α=+ ，t=1，2，…，T (10.1.3)

式中，y 是被解释变量，x 为解释变量（向量），t u 为误差项，α为待估计的K 维参数向量12(,,...,)k αααα'=，T 是样本个数。此处讨论的是，f 关于参数α的导数仍含参数α本身，即参数非线性模型。

非线性最小二乘估计是要选择参数向量α的估计值ˆα

使残差平方和S(ˆα)

最小：

[]21ˆˆ()(,)T t t t S y f x α

α==-∑ （10.1.4）

求解方程，对每个参数分别求偏导数并令这些偏导数为0，得到方程组：

[]1

ˆˆ(,)()ˆ2(,)0ˆˆT t t t t i i f x S y f x ααααα=∂∂=--=∂∂∑，i=1，2，...，k （10.1.5） 对于参数非线性模型，无法利用普通最小二乘的方法直接求解式（10.1.5）。

下面介绍完成非线性最小二乘估计（nonlinear least square ，NLS ）的一种方法：牛顿-拉夫森（Newton-Raphson ）方法。

利用泰勒级数展开式，在考虑式（10.1.3）中只有一个参数（即k=1）的情形下，进行逐次线性逼近。取泰勒展开式级数的前两项，略去f 展开式第三项以后的所有高阶项，即可得：

(0)(0)2(0)(0)(0)22ˆˆˆˆdS 1ˆˆˆˆˆˆ()())()ˆˆ2d S S S d d ααα

ααααααααα==≈+-+-（ (10.1.6) 使式(10.1.6)极小的一阶条件为

(0)(0)2(0)ˆˆˆˆˆˆˆ()()ˆˆ()0ˆˆˆd S d S d S d d d ααααααααααα

α==≈+-=（） (10.1.7) 则有

(0)(0)12(0)2ˆˆˆˆˆˆd ()ˆˆˆˆS dS d d ααα

ααααααα-==⎛⎫=-⨯ ⎪ ⎪⎝⎭（) （10.1.8） 以(0)ˆα为初始值，利用式（10.1.8）可以得到新的值(1)ˆα，这样重复上述

过程，反复迭代直至连续两次得到的参数估计相差小于给定的确定的标准δ，δ>0，即(1)()ˆˆl l ααδ+-<成立，也即迭代收敛，则停止迭代。所得到的()ˆl α

即为

未知参数α的估计值ˆNLS α。 如果式（10.1.3）中含有多个参数，即k>1时，牛顿-拉夫森方法中参数向量通过下式进行迭代：

(1)()1ˆˆl l l l H g α

α+-=-⨯ （10.1.9）

其中：

()2()

'

ˆˆˆ()ˆ()ˆˆl l l S H H αααααα=∂==∂∂，()()ˆˆˆ()ˆ()ˆl l l S g g ααααα=∂==∂ 这种情况较为复杂，并不能保证得到的值最小，有可能只是局部的极小值。因此，需要选择不同的初值，多次迭代。若掌握的信息足够充分，所赋予初值可能很快达到最小值。

10.2广义最小二乘法

古典线性回归模型的另两个基本假设：a.误差项观测值i u 不存在序列相关性，即cov(,)0i j u u =，i j ≠;b.误差项不存在异方差性。若模型被检验证明即存在异方差，同时又存在序列相关，则需要发展新的方法估计模型，最常用的估计方法是广义最小二乘法（generalized least squared ， GLS ）。普通最小二乘法和加权最小二乘法是它的特例。

有单方程线性模型

y X βμ=+ （10.2.1）

其中 2()0()E E μμμμδ=⎧⎪⎨'=Ω⎪⎩

（10.2.2） 式（10.4.1）中：01(,,...,)k ββββ'=为（k+1）维系数向量，12(,,...,)N u μμμ'=为1N ⨯维随机扰动项向量，y 为1N ⨯维因变量数据矩阵，X 为(1)N k ⨯+解释变

量数据矩阵。式（10.4.2）中2μδ未知，Ω是一个n ⨯n 阶的正定对称矩阵

111212122212n n n n n n nn σσσσσσσσσ⨯⎡⎤⎢⎥⎢

⎥Ω=⎢⎥⎢⎥⎣⎦

（10.2.3） 且模型满足其他基本假定，则称（10.4.1）为广义线性模型。

设Ω=DD '，用1

D -左乘式（10.4.1）两边对原模型进行变换得，

111D y D X D u β---=+ （10.2.4）