应用回归分析,第4章课后习题参考答案

第4章违背基本假设的情况思考与练习参考答案4.1 试举例说明产生异方差的原因。

答：例4.1：截面资料下研究居民家庭的储蓄行为Y i=β0+β1X i+εi其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。

由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。

例4.2：以某一行业的企业为样本建立企业生产函数模型Y i=A iβ1K iβ2L iβ3eεi被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。

由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。

这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。

4.2 异方差带来的后果有哪些？答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果：1、参数估计量非有效2、变量的显著性检验失去意义3、回归方程的应用效果极不理想总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。

4.3 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。

答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。

其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。

在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。

然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。

由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。

所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。

这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。

加权最小二乘法的方法：4.4简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。

答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。

多元线性回归加权最小二乘法是在平方和中加入一个适当的权数i w ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：∑=----=ni ip p i i i p w x x y w Q 1211010)( ),,,(ββββββ（2）加权最小二乘估计就是寻找参数p βββ,,,10 的估计值pw w w βββˆ,,ˆ,ˆ10 使式（2）的离差平方和w Q 达极小。

所得加权最小二乘经验回归方程记做220111ˆˆˆ()()N Nw i i i i i ii i Q w y y w y x ββ===-=--∑∑22__1_2__02222()()ˆ()ˆ1111,i i Nw iii w i wi www w w kx i ii imi i i miw xx y y x x y x w kx x kx w x σβββσσ==---=-=====∑∑1N i =11表示=或ppw w w w x x y βββˆˆˆˆ110+++= （3） 多元回归模型加权最小二乘法的方法:首先找到权数i w ，理论上最优的权数i w 为误差项方差2i σ的倒数,即21ii w σ=（4）误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用; 误差项方差小的项接受大的权数，以提高其在平方和中的作用。

由（2）式求出的加权最小二乘估计pw w w βββˆ,,ˆ,ˆ10 就是参数p βββ,,,10 的最小方差线性无偏估计。

一个需要解决的问题是误差项的方差2i σ是未知的,因此无法真正按照式（4）选取权数。

在实际问题中误差项方差2i σ通常与自变量的水平有关(如误差项方差2i σ随着自变量的增大而增大),可以利用这种关系确定权数。

例如2i σ与第j 个自变量取值的平方成比例时, 即2i σ=k 2ij x 时,这时取权数为21iji x w =（5）更一般的情况是误差项方差2i σ与某个自变量j x (与|e i |的等级相关系数最大的自变量)取值的幂函数m ij x 成比例，即2i σ=k mij x ,其中m 是待定的未知参数。

此时权数为m iji x w 1=（6） 这时确定权数i w 的问题转化为确定幂参数m 的问题，可以借助SPSS 软件解决。

4.5（4.5）式一元加权最小二乘回归系数估计公式。

证明： 由 得：220111ˆˆˆ()()N Nw i i i i i ii i Q w y y w y x ββ===-=--∑∑0100ˆˆQQββ∂∂==∂∂ww w in i iw i w ini ix y x xw y y x xw 102111ˆˆ)())((ˆβββ-=---=∑∑==4.6验证（4.8）式多元加权最小二乘回归系数估计公式。

证明：对于多元线性回归模型 ,y =X β+ε （1）2()0,cov(,)E σ'∃==εεεW ，即存在异方差。

设,00n w '=⎫⎪=⎪ ⎪⎝⎭W DD D ， 用-1D 左乘（1）式两边，得到一个新的的模型：---111D y =D X β+D ε，即***y =X β+ε。

因为22()()()E E E σσ---''''''====1-11-11-1εεD εεD D εεD D WD I ， 故新的模型具有同方差性，故可以用广义最小二乘法估计该模型，得111ˆ()()()**-**------''''''''===1111wβX X X y X D D X X D D y X WX X Wy 原式得证。

4.7 有同学认为当数据存在异方差时，加权最小二乘回归方程与普通最小二乘回归方程之间必然有很大的差异，异方差越严重，两者之间的差异就越大。

你是否同意这位同学的观点？说明原因。

答：不同意。

当回归模型存在异方差时，加权最小二乘估计（WLS ）只是普通最小二乘估计（OLS ）的改进，这种改进可能是细微的，不能理解为WLS 一定会得到与OLS 截然不同的方程来，或者大幅度的改进。

实际上可以构造这样的数据，回归模型存在很强的异方差，但WLS 与OLS 的结果一样。

加权最小二乘法不会消除异方差，只是消除异方差的不良影响，从而对模型进行一点改进。

4.8 对例4.3的数据，用公式iw i iw e w e ='计算出加权变换残差'iwe ，绘制加权变换残差图，根据绘制出的图形说明加权最小二乘估计的效果。

解：用公式iw i iw e w e '计算出加权变换残差'iwe ，分别绘制加权最小二乘估计后的残差图和加权变换残差图（见下图）。

根据绘制出的两个图形可以发现加权最小二乘估计没有消除异方差，只是对原OLS的残差有所改善，而经过加权变换后的残差不存在异方差。

4.9 参见参考文献[2]，表4.12（P138）是用电高峰每小时用电量y与每月总用电量x的数据。

（1）用普通最小二乘法建立y与x的回归方程，并画出残差散点图。

解：SPSS输出结果如下：由上表可得回归方程为：ˆ0.8310.004=-+y x残差图为：解：a由残差散点图可以明显看出存在异方差，误差的方差随着x的增加而增大。

b 用SPSS 做等级相关系数的检验，结果如下表所示：Cor relations1.000.318*..0215353.318* 1.000.021.5353Correlation Coefficient Sig. (2-tailed)NCorrelation Coefficient Sig. (2-tailed)NxabseiSpearm an's rhox absei Correlation is significant at the 0.05 level (2-tailed).*.得到等级相关系数0.318sr ，P 值=0.021，认为残差绝对值ie 与自变量i x 显著相关，存在异方差。

（3）如果存在异方差，用幂指数型的权函数建立加权最小二乘回归方程； 解：SPSS 输出结果如图：由上述表可得，在 1.5m =时对数似然函数达到最大，则幂指数的最优取值为1.5m =。

加权后的回归方程为：ˆ0.6830.004w y x =-+。

计算加权后的残差，并对残差绝对值和自变量做等级相关系数分析，结果如下表所示：0.321s r =，P 值为0.019<0.05，即加权最小二乘法没有消除异方差，只是消除异方差的不良影响，从而对模型进行一点改进。

（4）用方差稳定变换y y ='消除异方差。

解：对应变量做方差稳定变换（y y ='）后，用最小二乘法做回归，SPSS 结果如下表：则回归方程为：ˆ0.5822+0.0009529yx '=。

保存预测值ˆi y'，计算出残差的绝对值后，计算等级相关系数，见下表：其中0.160s r =，P 值=0.254>0.05，说明异方差已经消除。

4.10 试举一可能产生随机误差项序列相关的经济例子。

答：例如，居民总消费函数模型：C t =β0+β1Y t + ε t t=1,2,…,n由于居民收入对消费影响有滞后性，而且今年消费水平受上年消费水平影响，则可能出现序列相关性。

另外由于消费习惯的影响被包含在随机误差项中，则可能出现序列相关性（往往是正相关 ）。

4.11 序列相关性带来的严重后果是什么？答：直接用普通最小二乘法估计随机误差项存在序列相关性的线性回归模型未知参数时，会产生下列一些问题： 1.参数估计量仍然是无偏的，但不具有有效性，因为有自相关性时参数估计值的方差大于无自相关性时的方差。

2. 均方误差MSE 可能严重低估误差项的方差3.变量的显著性检验失去意义：在变量的显著性检验中，统计量是建立在参数方差正确估计基础之上的，当参数方差严重低估时，容易导致t 值和F 值偏大，即可能导致得出回归参数统计检验和回归方程检验显著，但实际并不显著的严重错误结论。

4. 当存在序列相关时，β 仍然是β的无偏估计，但在任一特定的样本中，β可能严重歪曲β的真实情况，即最小二乘法对抽样波动变得非常敏感5. 模型的预测和结构分析失效。

4.12 总结DW 检验的优缺点。

答：优点：1.应用广泛，一般的计算机软件都可以计算出DW 值； 2.适用于小样本；3.可用于检验随机扰动项具有一阶自回归形式的序列相关问题。