异方差性实验

异方差性实验

1.2 实验二 异方差性及其性质

1.2.1 实验目的

我们已经知道，在经典条件下，线性模型回归参数的OLS 估计是具有最小方差的线性无偏估计量。随机误差项的异方差性，是线性回归模型中常见的不满足经典条件的情形。与满足经典条件的情形相比，当模型中出现异方差性时，模型参数的普通最小二乘（OLS ）估计的统计性质将发生什么样的变化？如何理解和把握这些变化？如何纠正模型估计因为异方差性而产生的问题？

通过本实验，可以帮助学生理解异方差性本身的概念、存在异方差性时模型参数的OLS 估计量的性质、加权最小二乘法等。

1.2.2 实验背景与理论基础

1. 异方差性

本实验以二元线性回归模型为例进行说明。线性回归模型

01122i i i i Y X X u βββ=+++，1,2,,i n =L

假设模型满足除“同方差性”之外的所有经典假设：

（1）E()0i u =，1,2,,i n =L ，或表示为()E =U 0，从而有()E =Y X β； （3）Cov(,)0,i j u u i j =≠，随机误差无序列相关； （4）解释变量是确定性变量，与随机误差项不相关：

Cov(,)0j ij u X =，1,2i =，1,2,,j n =L

（5）自变量之间不存在精确（完全）的线性关系。矩阵X 是列满秩的：rank()3=X 。

（要求样本容量3n >） （6）随机误差的正态性：2(0,)i u u N σ:，1,2,,i n =L 。 2. 异方差性条件下OLS 估计量的统计性质

（1）ˆβ

的无偏性： 模型回归参数012,,βββ 的OLS 估计量为:0

11

2ˆˆˆ()ˆβββ-⎛⎫ ⎪''= ⎪ ⎪ ⎪⎝⎭β=X X X Y 可以证明，即使在异方差性条件下，上述估计量依然满足无偏性：

0112ˆ()ˆˆE()()ˆ()E E E ββββββ⎛⎫⎛⎫ ⎪ ⎪= ⎪ ⎪

⎪ ⎪ ⎪⎝⎭⎝⎭

β==β （2）ˆβ

的方差及协方差： 在模型满足经典条件时，OLS 估计量的方差—协方差矩阵为

21ˆVar()()u

σ-'=βX X ，但是在异方差性条件下，不存在独立于X 的随机误差项方差2u σ，因此不再存在这一简单公式。

另一方面，在计量分析实践中，即使在线性回归模型的经典条件下，随机误

差项的方差2u σ本身也不是可直接观察的，实践中我们用()()2

2ˆ3u i e n σ=-∑对其

进行估计（大多数统计分析软件正是如此处理的），也即用矩阵21ˆ()u σ-'X X 去估计

OLS 估计量ˆβ

的方差—协方差矩阵ˆVar()β，并在此基础上对模型进行各种检验。在线性回归模型的经典条件下，这种估计将是无偏的（参见本章实验一）。

重要的问题是，在异方差性条件下，如果无视异方差性的存在，仍用21

ˆ()u σ-'X X 去估计OLS 估计量ˆβ的方差—协方差矩阵ˆVar()β，这种估计是否仍具有无偏性？

建立在这种估计之上的各种模型检验是否依然有效？

3. 加权最小二乘法

修正异方差性的常用方法是加权最小二乘法，它是广义最小二乘法中的一种。具体的方法是：如果模型01122i i i i Y X X u βββ=+++中i u 的标准差为

12(,)i i i f X X σ=，在原模型中乘以1/i σ，模型变为：

1201

2

1i

i

i

i

i

i

i i i

Y X X u βββσσσσσ=+++

将此模型看成是

i

i

Y σ对

121

,,i

i

i

i

i

X X σσσ

的线性回归模型，此模型将具有同方差性，

由于原模型满足除同方差性外的所有经典条件，因此上述模型将满足所有线性模型的经典条件，从此模型中利用最小二乘法估计参数012,,βββ 将获得具有最小方差的线性无偏估计量，这就是加权最小二乘法及其原理。

1.2.3 实验原理

本实验仍然通过一个虚构的二元线性回归模型来展开。

与本章实验一一样，我们首先设定一定二元线性回归模型的回归参数，取定解释变量的样本值。由于是存在异方差性的模型，不能再设定随机误差项的方差，但是我们可以设定随机误差项的方差与解释变量值之间的函数关系。这样，在总体上我们已经完全掌握了模型。接着我们使用Matlab 进行模拟随机抽样，对于得到的每一个模拟随机样本，我们分别使用普通最小二乘法和加权最小二

乘法得到模型参数的两种不同的估计量，分别记为012ˆˆˆ,,βββ 和012

,,βββ %%%。 反复以上模拟抽样和估计，我们将分别得到每个模型参数的普通最小二乘估

计量012ˆˆˆ,,βββ 和加权最小二乘估计量012

,,βββ %%%的样本。通过这两个样本，我们可以探讨普通最小二乘估计量和加权最小二乘估计量的统计性质，分析两者之

间的共同性质和区别。

1.2.4 实验过程和步骤

1. 程序设计

以下将实验过程通过编制一个简单的Matlab 程序来进行。程序分为以下几个部分：

（1）第一步，设置模型基本参数，解释变量的样本值，这一步与实验一的相应步骤是类似的。Matlab 程序段如下：

clear n=20;

beta0=10;beta1=5;beta2=-3; x1=15*rand(n,1)+1; x2=10*rand(n,1)+1; e=ones(n,1); X=[e,x1,x2];

（2）第二步，反复抽取样本，进行普通最小二乘估计和加权最小二乘估计，并将估计结果保存在相应的向量中。Matlab 程序段如下：

b0=[];b1=[];b2=[];sigma=[]; c0=[];c1=[];c2=[]; XX=X./[x1,x1,x1]; times=5000; for j=1:times

uu=normrnd(0,se,n,1); u=2*x1.*uu;

Y=beta0+beta1*x1+beta2*x2+u;

[b,bint,r]=regress(Y,X);

b0=[b0;b(1)];b1=[b1;b(2)];b2=[b2;b(3)];sigma=[sigma,sum(r.^2)/(n-3)]; YY=Y./x1;

[c,bint,r]=regress(YY,XX);

c0=[c0;c(1)];c1=[c1;c(2)];c2=[c2;c(3)];