多元线性回归模型常见问题及解决方法

在同方差性假设下，辅助回归的可决系数R2与 样本容量n的乘积，渐进地服从自由度为辅助 回归方程中解释变量个数的χ2分布，即 nR2~χ2 在大样本下，对统计量nR2进行相应的χ2检验。 若存在异方差性，表明 ei 2 与解释变量的某种 组合有显著的相关性，这时往往有较大的可决 系数R2，并且某一参数的t检验值较大。

在新模型中，
1 1 1 Var ( i ) Var i f ( X ji ) 2 2 f ( X ji ) f ( X ) f ( X ) ji ji
2

即满足同方差性，可用普通最小二乘法估计其 参数，得到参数β0,β1,…,βk的无偏、有效估计量。
加权最小二乘法(WLS)


加权最小二乘法(Weighted Least Squares, WLS) 是对原模型加权，使之变成一个新的不存在异 方差性的模型，然后采用普通最小二乘法估计 其参数。 加权的基本思想：在采用普通最小二乘法时， 对较小的残差平方赋予较大的权数，对较大的 赋予较小的权数，从而对残差提供的信息的重 要程度作校正，提高参数估计的精度。
则加权最小二乘法中的权即 为 1/ f ( X , X , , X ) 。
i1 i2 ik

序列相关性的定义

对于线性回归模型
Yi 0 1 X i1 2 X i 2 k X ik i ; i 1,2, , n


在其他假设仍成立的条件下，随机误差项序列 相关即Cov(μi,μj)=E(μiμj)≠0 序列相关性经常出现在以时间序列为样本的模 型里。自相关现象是指一个变量前后期数值之 间存在的相关关系。μt=ρμt-1+εt

0 0 0 1 2 0
0 0 0 1 2
0 0 0 0 1



可以用 f ( X ji ) 去除原模型，使之变为如下形式 新模型：
1 1 1 1 Yi 0 1 X 1i 2 X 2i f ( X ji ) f ( X ji ) f ( X ji ) f ( X ji ) k 1 1 X ki i f ( X ji ) f ( X ji )
序列相关性的修正


（1）回归模型选用不当，改用适当的回 归模型。 （2）缺少重要的自变量，增加自变量。 （3）以上都不行，则采用广义最小二乘 法、广义差分法。
广义最小二乘法


广义最小二乘法是最具有普遍意义的最小二乘 法，普通最小二乘法和加权最小二乘法是它的 特例。 对于模型 Y=Xβ+μ 若存在序列相关性，同时存在异方差性，即有 12 12 1n 2 21 2 2n Cov( , ') E ( ') 2
多元线性回归模型
Yi 0 1 X i1 2 X i 2

k X ik i ; i 1, 2, , n
基本假设 (1)随机扰动项ui数学期望（均值）为零。E(ui)=0 (2)随机扰动项ui的同方差性且无自相关Var(ui)=σ2 (3)解释变量X列线性无关。R(Xn×k)=K (4)随机扰动项ui与解释变量X不相关。cov(ui,X)=0
( X ' 1 X )1 X ' 1Y

此即原模型的广义最小二乘估计量，是无偏、 有效估计量。

由上可知，只要知道随机误差项的方差-协方差 矩阵σ2Ω，就可采用广义最小二乘法得到参数 的最佳线性无偏估计量。
矩阵Ώ？ 下面的证明出自潘文卿 李子奈版计量课后习题答案P62。


需要对随机误差项的自相关结构进行特殊设定， 才能得到其估计值。一般假设随机误差项具有 一阶序列相关性： μt=ρμt-1+εt; -1<ρ<1 此时， 1 2 2 Var ( t ) 1 2 1 s 2 s 2 Cov( t , t s ) 2 1
异方差性的定义




对于线性回归模型 Yi 0 1 X i1 2 X i 2 k X ik i ; i 1, 2, , n 同方差性假设为 2 Var(i X i1, X i 2 , , X ik ) ; i 1, 2, , n 如果出现 2 Var(i X i1, X i 2 , , X ik ) i ; i 1,2, , n 即对于不同的样本点，随机误差项的方差不再 是常数，而是互不相同，则认为出现了异方差 性(Heteroscedasticity)。


加权最小二乘法就是对加了权重的残差平方和 实施普通最小二乘法。 记wi为权数，则加了权重的残差平方和为 2 ˆ ˆ X ˆ X )]2 w e w [ Y ( ii i i 0 1 1 k k
如在异方差检验过程中已知 Var(i ) E(i2 ) i2 f ( X ji ) 2 即随机误差项的方差 i2 与解释变量Xji之间存 在相关性。
回归检验法

以 et 为被解释变量，以各种可能的相关量， 如 et 1 , et 2 , et2 等为解释变量，建立各种方程：

……
et et 1 t ; t 2, , n et 1et 1 2et 2 t ; t 3,
,n
对方程进行估计并进行显著性检验，如存在某 一种函数形式，使方程显著成立，则说明原模 型存在序列相关性。
D.W.检验法


D.W.检验由杜宾(J. Durbin)和瓦森(G. S. Watson) 于1951年提出，用于检验序列自相关。 D.W.检验的假定条件是： (1)解释变量X非随机； (2)随机误差项μt为一阶自回归形式： μt=ρμt-1+εt

(3)回归模型中不含有滞后因变量作为解释变量， 即不出现以下形式：
Yt 0 1 X t1

k X tk Yt 1 t
(4)回归模型含有截距项。 D.W.检验的原假设为：H0: ρ=0，即μt不存在一 阶自回归。

构造统计量：
DW . .
2 ( e e ) t t 1 t 2 2 e t t 1 n
n

该统计量的分布与给定样本中的X值有复杂关 系，其精确分布很难得到。


但可导出临界值的上限dU与下限dL，且上下限 只与样本容量n和解释变量的个数k有关，而与 解释变量的取值无关。 根据样本容量n和解释变量的个数k查D.W.分布 表，得到临界值dU和dL，按照下列准则判断模 型的自相关状态：



若0<D.W.<dL，则存在正自相关； 若dL<D.W.<dU，则不能确定； 若dU<D.W.<4-dU，则无自相关； 若4-dU<D.W.<4-dL，则不能确定； 若4-dL<D.W.<4，则存在负自相关。
n1 n 2 2 n


其中，Ω为对称正定矩阵，故存在一可逆矩阵 D，使得 Ω=DD’ 用D-1左乘模型两边，得到新模型： D-1Y=D-1Xβ+D-1μ 即Y*=X*β+μ*


由于 E ( * * ') E[ D 1 '( D 1 ) '] D 1E ( ')( D 1 ) ' D 1 2( D 1 ) ' D 1 2 DD '( D 1 ) ' 2 I 故，可用普通最小二乘法估计新模型，记参数 ˆ * ，则 估计量为 ˆ * ( X * ' X * )1 X * ' Y * [ X '( D 1 ) ' D 1 X ]1 X '( D 1 ) ' D 1Y

上述即为加权最小二乘法，其中权数 为 1 。
f ( X ji )


普通最小二乘法只是加权最小二乘法中权数恒 取1的一种特例，加权最小二乘法具有比普通 最小二乘法更普遍的意义。 加权最小二乘法也称为广义最小二乘法 (Generalized Least Squares, GLS)。

加权最小二乘法的关键是寻找适当的权，或者 说是寻找随机误差项μ的方差与解释变量之间 适当的函数形式。如发现 Var(i X i1, X i 2 , , X ik ) 2 f ( X i1, X i 2 , , X ik )

于是
1 2 Var ( ) 1 2 n 1

1
n 1 n2
1
2
n2
0 1 2 1 0 1 2 1 1 1 2 0 0 0 0 0 0 0 0 0


如果存在完全一阶正相关，则ρ≈1，D.W.≈0； 如果存在完全一阶负相关，则ρ≈-1，D.W.≈4； 如果完全不相关，则ρ=0，D.W.=2； 从判断准则看，存在一个不能确定的D.W.值区 域，这是该检验方法的一个缺陷。 D.W.检验只能检验一阶自相关，且对存在滞后 被解释变量的模型无法检验。



序列相关性检验的思路：首先采用普通最小二 乘法估计模型，以求得随机误差项的近似估计 量，用 et 表示： ˆ) et Yt (Y t OLS 然后通过分析这些近似估计量之间的相关性， 以达到判断随机误差项是否具有序列相关性的 目的。 序列相关性的检验方法有：回归检验法、D.W. 检验法、冯诺曼比检验法等。
序列相关性产生的原因

经济变量故有的惯性（物价指数，消费） 模型设定的偏误 数据的编造 （由已知数据生成）
(一)经济变量故有的惯性

消费函数模型：
Ct 0 1Yt t ; t 1, 2,

,n
消费习惯没有包括在解释变量中，其对消费的 影响包含在随机误差项中，产生序列相关性。
实际经济问ቤተ መጻሕፍቲ ባይዱ中的异方差性
（1）研究居民家庭的储蓄行为 Yi=β 0+β 1Xi+ui Y-储蓄额 X-可支配收入 ui的方差单调递增 （2）居民消费函数 Ci=β 0+β 1Yi+ui 将居民收入等距离分成n组， 取组平均数作为样本观测值。 Y服从正态分布。人数多的组平均数误差小。 样本观测值的观测误差随解释变量观测值改变。
(二)模型设定的偏误


模型设定偏误指所设定的模型不正确，表现为 遗漏了重要解释变量或模型函数形式有偏误。 如应估计模型
Yt 0 1 X t1 2 X t 2 3 X t 3 t

但将模型设定为
Yt 0 1 X t1 2 X t 2 vt
序列相关性的检验
i i i OLS
检验方法
（1）图示检验法—大概判断 （2）帕克检验与戈里瑟检验 （3）GQ检验 （4）怀特检验
怀特(White)检验


以两个解释变量的回归模型为例，说明怀特检 验的基本思想与步骤。 设回归模型为 Yi=β0+β1X1i+β2X2i+μi 2 先对模型作普通最小二乘回归，得到 ei ，然 后作辅助回归： 2 ei2 0 1 X1i 2 X 2i 3 X12i 4 X 2 i 5 X1i X 2i i
异方差性的检验



异方差性，即相对于不同的样本点，也 就是相对于不同的解释变量观测值，随 机误差项具有不同的方差。 检验异方差性，就是检验随机误差项的 方差与解释变量观测值之间的相关性。 问题在于随机误差项的方差如何估计？

一般处理方法是先采用普通最小二乘法估计模 型，得到随机误差项的估计量，用 ei 表示， 称为近似估计量。即 Var (i ) E(i2 ) E(ei2 ) ˆ) e Y (Y