应用回归分析第4章课后习题参考答案

应用回归分析第4章课后习题参考答案

第4章违背基本假设的情况

思考与练习参考答案

试举例说明产生异方差的原因。

答：例：截面资料下研究居民家庭的储蓄行为

Y i=0+1X i+εi

其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。

由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。

例：以某一行业的企业为样本建立企业生产函数模型

Y i=A i1K i2L i3eεi

被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。异方差带来的后果有哪些

答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果：

1、参数估计量非有效

2、变量的显著性检验失去意义

3、回归方程的应用效果极不理想

总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。

简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。

答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。加权最小二乘法的方法：

简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。

答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和

中加入一个适当的权数i w，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：

∑=----=n i ip p i i i p w x x y w Q1211010)(),,,(ββββββΛΛ

（2）

加权最小二乘估计就是寻找参数pβββ,,,10Λ的估计值pw w wβββˆ,,ˆ,ˆ10Λ使式（2）的离差平方和w Q达极小。所得加权最小二乘经验回归方程记做

p pw w w w x x yβββˆˆˆˆ110+++=Λ（3）220111ˆˆˆ()()N N w i i i i i i i i Q w y y w y xββ===-=--∑∑22__1_2__02222()()ˆ()ˆ1111,i i N w i i i w i w i w w w w w kx i i i i m

i i i m i w x x y y x x y x w kx x kx w xσβββσσ==---=-=====∑∑1N i=11表示=或多元回归模型加权最小二乘法的方法:

首先找到权数i w，理论上最优的权数i w为误差项方差2iσ的倒数,即21i i wσ=（4）

误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用;误差项方差小的项接受大的权数，以提高其在平方和中的作用。由（2）式求出的

加权最小二乘估计pw

w wβββˆ,,ˆ,ˆ10Λ就是参数pβββ,,,10Λ的最小方差线

性无偏估计。

一个需要解决的问题是误差项的方差2iσ是未知的,因此无法真正按照式（4）选取权数。在实际问题中误差项方差2iσ通常与自变量的水平有关(如误差项方差2iσ随着自变量的增大而增大),可以利用这种关系确定权数。例如2iσ与第j个自变量取值的平方成比例时,即2iσ=k2ij x时,这时取权数为21

ij i x w=（5）

更一般的情况是误差项方差2iσ与某个自变量j x(与|e i|的等级相关系数最大

的自变量)取值的幂函数m ij x成比例，即2iσ=k m ij x,其中m是待定的未知参数。此时

权数为

m ij

i x w1=（6）这时确定权数i w的问题转化为确定幂参数m的问题，可以借助SPSS软件解决。（）式一元加权最小二乘回归系数估计公式。

证明：

由

得：220111ˆˆˆ()()N N w i i i i i i i i Q w y y w y xββ===-=--∑∑0100ˆˆQ Qββ∂∂==∂∂

w

w w i n

i i w i w i n i i x y x x w y y x x w102111ˆˆ)())((ˆβββ-=---=∑∑==

验证（）式多元加权最小二乘回归系数估计公式。

证明：对于多元线性回归模型,y=Xβ+ε（1）

2()0,cov(,)Eσ'∃==εεεW，即存在异方差。设

,

00'==W DD D K M O

M L，用-1D左乘（1）式两边，得到一个新的的模型：

---111D y=D Xβ+Dε，即***y=Xβ+ε。

因为22()()()E E Eσσ---''''''====1-11-11-1εεDεεD DεεD D WD I，

故新的模型具有同方差性，故可以用广义最小二乘法估计该模型，得111ˆ()()()**-**------''''''''===1111w

βX X X y X D D X X D D y X WX X Wy原式得证。

有同学认为当数据存在异方差时，加权最小二乘回归方程与普通最小二乘回归方程之间必然有很大的差异，异方差越严重，两者之间的差异就越大。你是否同意这位同学的观点说明原因。答：不同意。当回归模型存在异方差时，加权最小二乘估计（WLS）只是普通最小二乘估计（OLS）的改进，这种改进可能是细微的，