多元线性回归模型：估计及t检验

多元线性回归：估计方法及回归系数显著性检验线性回归模型的基本假设:i ki k i i i u x x x y +++++=ββββ 22110 i = 1 , 2 , … , n在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假设：1．解释变量间不完全相关；2．随机误差项具有0均值和同方差。

即:0)(=i u E , 2)(σ=i u Var i = 1 , 2 , … , n3．不同时点的随机误差项互不相关（序列不相关），即0),(=-s i i u u Cov s ≠ 0, i = 1 , 2 , … , n4．随机误差项与解释变量之间互不相关。

即0),(=i ji u x Cov j = 1 , 2 , … , k , i = 1 , 2 , … , n5．随机误差项服从0均值、同方差的正态分布。

即i u ~ ),0(2σN i = 1 , 2 , … , n当模型满足假设1 ~ 4时，将回归模型称为“标准回归模型”，当模型满足假设1 ~ 5时，将回归模型称为“标准正态回归模型”。

如果实际模型满足不了这些假设，普通最小二乘法就不再适用，而要发展其他方法来估计模型。

广义（加权）最小二乘估计（generalized least squares ）当假设2和3不满足时，即随机扰动项存在异方差22)(ii i u E σ=，i = 1 , 2 , … , n ，且随机扰动项序列相关j i u u Cov ij j i ≠=,),(σ， i = 1 , 2 , … , n ，j=1 , 2 , … , n ，此时OLS 估计仍然是无偏且一致的，但不是有效估计。

线性回归的矩阵表示：y = X β + u （1）则上述两个条件等价为：Var(u )== ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛nn T T n n σσσσσσσσσ..............212222111211 ≠ σ 2 I 对于正定矩阵存在矩阵M ，使得 1''-=⇒=M ΩM I M M Ω。

在方程（1）两边同时左乘M ，得到转换后的新模型：=+⇒=+y X βu My MX βMu ，令***,,= = =y My X MX u Mu ，即***=+y X βu （2）新的随机误差项的协方差矩阵为*var()E('')'===u Muu M M ΩM I ，显然是同方差、无序列相关的。

目标函数，即残差平方和为：u u Mu M u u u Q 1''''-**Ω===。

目标函数是残差向量的加权平方和，而权数矩阵则是u 的协方差矩阵的逆矩阵（因此，广义最小二乘估计法也称为加权最小二乘估计法）。

而新模型的OLS 估计量则是原模型的GLS 估计量。

**1**1111ˆ(')'('')''(')'GLS -----===βX X X y X M MX X M My X ΩX X Ωy Var （GLS ）= (X *’X *)-1 =(X ’M ’MX)-1=(X ’-1X)-1（ Var （OLS ）= (X ’X)-1X ’X(X ’X)-1 ）。

由于变换后的模型(2)满足经典OLS 的所有假设，所以根据高斯-马科夫定理可知， GLS估计量是BLUE （Best Linear Unbiased Estimator ）。

虽然从理论上讲，GLS 比OLS 有效，但由于多数情况下残差序列的协方差矩阵未知，当我们用代替GLS 估计式中的以获得估计时，估计量虽然仍旧是一致的，但却不是最好线性无偏估计。

而且，也很难推导出估计量的小样本性质。

继而用White(1980)的异方差一致协方差估计方法（残差序列有未知形式的异方差，但序列不相关）和Newey-West(1987) 的异方差--自相关一致协方差估计方法（有未知形式的异方差且自相关存在）得到修正的Var （OLS ）是相对较好的选择。

（使用White 或Newey-West 异方差一致协方差估计不会改变参数的点估计，只改变参数估计的标准差。

）White 协方差矩阵公式为：1121)()(ˆ-=-'⎪⎭⎫ ⎝⎛''-=∑∑X X x x u X X k n n n i i i i W 其中n 是观测值数，k 是回归变量数，u i 是最小二乘残差。

Newey-West 协方差矩阵公式为：11)(ˆ)(ˆ--'Ω'=∑X X X X NW 其中⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎪⎪⎭⎫ ⎝⎛'+'⎪⎪⎭⎫ ⎝⎛+-+'-=Ω∑∑∑==+=----n i q v n v i i i v i v i v i v i i i i i i x u u x x u u x q x x u k n n 1112))(11ˆν， q 是滞后截尾，一个用于评价OLS 残差 u i 的动态的自相关数目的参数。

)])100(4[(92n q =。

二阶段最小二乘法 （TSLS ，Two stage least squares ，Sargan （1958））当假设4不成立时，即随机误差项与某些解释变量相关时，OLS 和广义LS 都是有偏的和不一致的。

有几种情况使右边某些解释变量与误差项相关。

如：在方程右边有内生决定变量，或右边变量具有测量误差。

为简化起见，我们称与残差相关的变量为内生变量，与残差不相关的变量为外生变量。

解决解释变量与随机误差项相关的方法是使用工具变量回归。

就是要找到一组变量满足下面两个条件：（1）与内生变量相关；（2）与残差不相关；这些变量称为工具变量。

用这些工具变量来消除右边解释变量与扰动项之间的相关性。

考虑工具变量时，应注意以下问题：１）使用TSLS 估计，方程说明必需满足识别的阶条件，即工具变量的个数至少与方程的系数一样多（Davidson & MacKinnon(1994)和Johnston & DiNardo(1997)）。

２）根据经济计量学理论，与扰动项不相关的解释变量可以用作工具变量。

３）常数c 是一个合适的工具变量。

在二阶段最小二乘估计中有两个独立的阶段。

在第一个阶段中，找到内生变量和工具变量。

这个阶段包括估计模型中每个内生变量关于工具变量的最小二乘回归。

第二个阶段是对原始方程的回归，所有内生变量用第一个阶段回归得到的拟合值来代替。

这个回归的系数就是TSLS 估计。

令Z 为工具变量矩阵，y 和X 是因变量和解释变量矩阵。

则二阶段最小二乘估计的系数由下式计算出来：y Z Z Z Z X X Z Z Z Z X TSLS ''''''=---111)())((ˆβ系数估计的协方差矩阵为：112))(()ˆ(--'''=X Z Z Z Z X s Var β其中2s 是估计残差的协方差矩阵。

广义矩方法（GMM ，Generalized Method of Moments ，Hansen(1982)）由于传统的计量经济模型估计方法，例如普通最小二乘法、工具变量法、极大似然法等，都有它们的局限性，其参数估计量必须在模型满足某些假设时才具有良好的性质，而GMM 估计是一个稳健估计量，因为它不要求扰动项的准确分布信息，允许随机误差项存在异方差和序列相关，所得到的参数估计量比其他参数估计方法更合乎实际；而且可以证明，普通最小二乘法、工具变量法、极大似然法都是GMM 的特例设模型为：t t t y u =+x β其中，12(,,,)t t t Kt x x x =x ，12(,,,)'K βββ=β ，z t 为工具变量（1⨯L ）。

令(),,t t t t y =w x z ，则L 个矩条件为：()()()1,''t t t t t t L E u E y ⨯⎡⎤==-=⎣⎦m w θz z x β0对应的样本矩条件为：()()()1111ˆ,''T t t t t L t y T T⨯=⎡⎤=-=-=⎣⎦∑m w θz x βz y x β0 等价于解方程：21ˆˆˆ(,)'(,)Kl t t l Q m====∑m w θm w θ0 （3） 当存在L>K 个工具变量时，共有L 个矩方程，而只有K 个未知参数。

因此，根据MM 方法，共有K L ⎛⎫ ⎪⎝⎭个组合，可以得到的矩估计量的个数为K L ⎛⎫ ⎪⎝⎭。

这时，每个组合得到的MM 估计量都不能满足（3）式，即（3）式不会恰好为0。

但可以考虑将各种不同的估计结果综合起来，使（3）式最小化，即使得L 个矩条件的平方和最小。

因为不同矩的方差不同，因此更科学的方法是使用加权的平方和，ˆˆ(,)'(,)t t t Q =mw θW m w θ GMM 估计量是求下式的最优解：(){}ˆˆˆarg min (,)'(,)GMM t t t t Q =θθW m w θWm w θ与GLS 相类似，GMM 方法中，目标函数为各个矩的加权平方和，权数的选择则要考虑各个矩的异方差和相关性。

最优权数即是各个矩的协方差矩阵的逆矩阵。

如果ˆ(,)t m w θ为一致估计量ˆGMM θ对应的矩，则S 的一致估计量为：)()()ˆˆ(,),t t Var T Var ==S w θm w θ ()11ˆ,T t t TVar T =⎛⎫= ⎪⎝⎭∑mw θ()()11ˆˆ,',T t t t T ==∑m w θm w θ 因此，最优权数矩阵为：()()1111ˆˆˆ,,'T opt t t T t T --=⎛⎫== ⎪⎝⎭∑W S mw θm w θ 其是W T 的一致估计。

回归系数显著性t 检验H0: βi =0 vs H1: βi ≠0检验统计量： t= / std()White t 检验：t= / std(White )Newey-West t 检验：t= / std(N-W )参考文献：Newey, W. K., West, K.D., A simple, positive semi-dedinite, heteroskedasticity andautocorrelation consistent covariance matrix. Econometrica, 55,703-708.Sargan, T.D., 1958, The estimation of economic relationships using instrumental variables.Econometrica, 26, 393-415.White, H., 1980, Heteroskedasticity-consistent covaricnce matrix estimator and a direct test forheteroskedasticity. Econometrica, 48, 817-838.White, H., 1980, Instrumental variables regression on cross-section data. San Diego: University ofCalifornia Press.Hansen, L. P., Hodric, R. J., 1980, Forward exchange rates as optional predictors of future spotrate: an econometric analysis. The Journal of Political Economy, 5(88), 829-853.Hodric, R. J., 1982, Dividend yields and expected stock returns: alternative procedures for inference and measurement. The Review of Financial Studies, 3(5), 357-386.用于k步向前预测中，残差协方差矩阵的一致估计。