第九章多元线性回归异方差问题
多元线性回归(共线性 异方差 自相关)
多元线性回归
南开大学商学院 周宝源
w1xi1 + w2 xi 2 + ... + wk xik = 0
a Collinearity Diagnostics
Model 1
Dimension Eigenvalue 1 2.930 2 6.971E-02 3 1.060E-04
Condition Index 1.000 6.483 166.245
Variance Proportions (Constant) X1 X2 .01 .00 .00 .98 .00 .00 .00 1.00 1.00
（二）原因
1、经济变量的惯性 、 2、模型设定偏琦：省略解释变量的影响 、模型设定偏琦： 3、模型设定偏琦：错误的函数形式的影响 、模型设定偏琦： 4、滞后效应 、 5、其他原因 、
二、自相关主要后果
很可能高估R 很可能高估 2。 t-检验与 检验结果都变得无效。 检验与F-检验结果都变得无效 检验与 检验结果都变得无效。 其他
a. Predictors: (Constant), X b. Dependent Variable: Y
结
束
例：变量X、Y的部分 变量 、 的部分 数据如右表所示。 数据如右表所示。 下面运用图示法进行 分析模型是否存在严 重的异方差现象。 重的异方差现象。
从Analyze → Regression → Linear 打开 Linear 线性回归主对话框 将自变量与因变量分别选入相应框中。 点击“Plot”按钮，在新打开的对话框中将 将“DEPENDNT”选入“X”框中，将“*ZRESID” “*ZRESID”选入“Y”框中. 点击“Continue” 点击“OK”
第九章 REG-多元线性回归
多重共线性的处理方法
• • • • 剔除不重要的自变量； 增大样本容量； 把横截面数据与时间序列数据结合起来使用； 当样本资料来自时间序列时，可以对回归模型进 行差分，然后拟合差分后的模型； • 岭回归方法； • 主成分回归。
岭回归 自变量间存在多重共线性时
X 0,因此给 X 加上一个 k I(k 0), 那么 X X X k I接近奇异的程度会降低 X
K=0.02对应的岭回归方程为： import=-8.9277+0.057gdp+0.59542save+0.127consume 且三个变量的VIF都小于10，多重共线性不明显。
• • • • •
proc reg data=imports outest=result1 outvif; model import=gdp save consume/pcomit=1; run; proc print data=result1; 主成分回归 run;
2 ˆ ˆ 从而使 的方差阵 D ( ) （X ）1对角线上的元素很大， X ˆ 也 var( ) 很大 i
多重共线性的判断
（1）方差膨胀因子VIF：
1 VIFj 1 R2 j
其中R 2为第j个自变量对模型中其余自变量进行线性回 j 归所得到的拟合优度。
一般来说，VIFj 10，表明自变量间存在高度共线性。
outest=result：要求把岭回归估计值输出到数据集result中 Outvif: 要求把岭回归估计的VIF输出到数据集result中 ridge=0.0 to 0.1 by 0.01 0.2 0.3 0.4 0.5;指定一组岭迹参数 Plot/ridgeplot; 要求绘制岭迹图
多元线性回归模型的异方差问题的浅析
多元线性回归模型的异方差问题的浅析作者：尚云艳祝师强孙浩来源：《科技风》2022年第15期摘要：“应用回归分析”课程是高校应用统计学专业均开设的专业核心课程，多元线性回归模型是非常重要的知识内容，但是由于其理论内容复杂，学生学习难度大，针对此问题，本文从权的概念出发，利用权倒数的性质论证了加权线性回归的合理性。
并以北京市15个经济开发区的销售收入数据为例，运用加权最小二乘估计方法改进模型，最后从残差图和拟合值绝对误差（率）两个方面进行比较，结果均表明加权线性回归效果好。
该方法应用于教学，为教学内容的设计提供了新的思路，便于学生掌握并深入学习。
关键词：异方差;加权最小二乘估计;残差分析;权文献标识码：A回归分析的发展经历了很长的一段历史，早在18世纪，F.Galton提出利用最小二乘原理进行回归分析[1]，从那时开始，回归分析就越来越备受关注，但是随着回归分析的普及，在实际应用中往往出现违背线性回归假设的情况，比如，随机误差异方差、随机误差存在序列相关性、数据观测值异常等问题[2]。
特别是对随机误差异方差的情况，加权线性回归是对普通线性回归的一种改进，但是文献[3-4]中并未证明加权线性回归的合理性。
回归诊断是回归分析中必不可少的内容，由于回归假设都是针对随机误差项提出的，所以要从分析随机误差项ε的估计量（残差）入手，通过从残差和残差图分析来考察模型的合理性[5]。
本文主要讨论在随机误差异方差的情况下，怎样建立合理、合适的模型。
根据以往的经验，处理随机误差异方差问题的方法有加权最小二乘法（WLS）、BOX-COX变换法和方差稳定性变换法，这些方法应用于实际，可以消除或者减弱异方差对拟合模型造成的不良影响。
教科书上仅对加权线性回归的原理有所介绍，但是并没有涉及其本质内容。
本文通过权、权函数、权倒数的性质揭示了加权线性回归的本质，论证了其合理性。
以北京市经济开发区的销售收入数据为例，利用加权最小二乘法建立数学模型，并且进行比较分析，模拟结果表明加权线性回归比普通线性回归有一定的改进之处。
计量经济学多元线性回归多重共线性异方差实验报告
计量经济学实验报告多元线性回归、多重共线性、异方差实验报告一、研究目的和要求：随着经济的发展，人们生活水平的提高，旅游业已经成为中国社会新的经济增长点。
旅游产业是一个关联性很强的综合产业，一次完整的旅游活动包括吃、住、行、游、购、娱六大要素，旅游产业的发展可以直接或者间接推动第三产业、第二产业和第一产业的发展。
尤其是假日旅游，有力刺激了居民消费而拉动内需。
2012年，我国全年国内旅游人数达到亿人次，同比增长%，国内旅游收入万亿元，同比增长%。
旅游业的发展不仅对增加就业和扩大内需起到重要的推动作用，优化产业结构，而且可以增加国家外汇收入，促进国际收支平衡，加强国家、地区间的文化交流。
为了研究影响旅游景区收入增长的主要原因，分析旅游收入增长规律，需要建立计量经济模型。
影响旅游业发展的因素很多，但据分析主要因素可能有国内和国际两个方面，因此在进行旅游景区收入分析模型设定时，引入城镇居民可支配收入和旅游外汇收入为解释变量。
旅游业很大程度上受其产业本身的发展水平和从业人数影响，固定资产和从业人数体现了旅游产业发展规模的内在影响因素，因此引入旅游景区固定资产和旅游业从业人数作为解释变量。
因此选取我国31个省市地区的旅游业相关数据进行定量分析我国旅游业发展的影响因素。
二、模型设定根据以上的分析，建立以下模型Y=β0+β1X1+β2X2+β3X3+β4X4+Ut参数说明：Y ——旅游景区营业收入/万元X1——旅游业从业人员/人X2——旅游景区固定资产/万元X3——旅游外汇收入/万美元X4——城镇居民可支配收入/元收集到的数据如下（见表）：表 2011年全国旅游景区营业收入及相关数据（按地区分）数据来源：1.中国统计年鉴2012，2.中国旅游年鉴2012。
三、参数估计利用做多元线性回归分析步骤如下：1、创建工作文件双击图标，进入其主页。
在主菜单中依次点击“File\New\Workfile”，出现对话框“Workfile Range”。
多元线性回归模型检验
多元线性回归模型检验引言多元线性回归是一种常用的统计分析方法，用于研究两个或多个自变量对目标变量的影响。
在应用多元线性回归前，我们需要确保所建立的模型符合一定的假设，并进行模型检验，以保证结果的可靠性和准确性。
本文将介绍多元线性回归模型的几个常见检验方法，并通过实例进行说明。
一、多元线性回归模型多元线性回归模型的一般形式可以表示为：$$Y = \\beta_0 + \\beta_1X_1 + \\beta_2X_2 + \\ldots + \\beta_pX_p +\\varepsilon$$其中，Y为目标变量，$X_1,X_2,\\ldots,X_p$为自变量，$\\beta_0,\\beta_1,\\beta_2,\\ldots,\\beta_p$为模型的回归系数，$\\varepsilon$为误差项。
多元线性回归模型的目标是通过调整回归系数，使得模型预测值和实际观测值之间的误差最小化。
二、多元线性回归模型检验在进行多元线性回归分析时，我们需要对所建立的模型进行检验，以验证假设是否成立。
常用的多元线性回归模型检验方法包括：1. 假设检验多元线性回归模型的假设包括：线性关系假设、误差项独立同分布假设、误差项方差齐性假设和误差项正态分布假设。
我们可以通过假设检验来验证这些假设的成立情况。
•线性关系假设检验：通过F检验或t检验对回归系数的显著性进行检验，以确定自变量与目标变量之间是否存在线性关系。
•误差项独立同分布假设检验：通过Durbin-Watson检验、Ljung-Box 检验等统计检验，判断误差项是否具有自相关性。
•误差项方差齐性假设检验：通过Cochrane-Orcutt检验、White检验等统计检验，判断误差项的方差是否齐性。
•误差项正态分布假设检验：通过残差的正态概率图和Shapiro-Wilk 检验等方法，检验误差项是否满足正态分布假设。
2. 多重共线性检验多重共线性是指在多元线性回归模型中，自变量之间存在高度相关性的情况。
计量经济学讲义——线性回归模型的异方差问题1
Gleiser检验与Park检验存在同样的弱点。
(9.3) (9.4) (9.5)
9.4 异方差的诊断－方法4：怀特(White)检验法
Yi = B1 + B 2 X 2 i + B3 X 3 i + u i
2、做如下辅助回归： (9.6) (9.7)
1、首先用普通最小二乘法估计方程(9.6)，获得残差ei
E(Y|X)=α+β*X Y
＋u ＋u －u －u －u ＋u
0
同方差(homoscedasticity)
X 0
E(Y|X)=α+β*X
异方差(heteroscedasticity)
X
一元线性回归分析－回归的假定条件
假定5 无自相关假定，即两个误差项之间不相关。 Cov（ui,uj） = 0。
ui
9.2 异方差的性质
例9.1 美国创新研究：销售对研究与开发的影响 ^ R&D ＝ 266.2575 + 0.030878*Sales se＝(1002.963) (0.008347) t ＝(0.265471) (3.699508) p ＝(0.7940) R2 ＝ 0.461032 从回归结果可以看出： （1）随着销售额的增加，R&D也逐渐增加，即销售 额每增加一百万美元，研发相应的增加3.1 万美元。 （2）随着销售额的增加，R&D支出围绕样本回归线 的波动也逐渐变大，表现出异方差性。 (0.0019)
《多元线性回归》PPT课件
ˆ 0.7226 0.0003 15674 103 .172 1 ˆ β ˆ 0 . 0003 1 . 35 E 07 39648400 0 . 7770 2
x11 x x 1n x k1 x kn
假设6：回归模型是正确设定的
§3.2
多元线性回归模型的参数估计
一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题
参数估计的任务和方法
1、估计目标：回归系数βj、随机误差项方差б2 2、估计方法：OLS、ML或者MM * OLS：普通最小二乘估计 * ML：最大似然估计
E(X(Y Xβ )0
矩条件
*矩条件和矩估计量*
1、 E(X(Y Xβ ) 0 称为原总体回归方程的一组矩条件，表明了
原总体回归方程所具有的内在特征。
2、如果随机抽出原总体的一个样本，估计出的样本回归方程：
ˆ 能够近似代表总体回归方程的话，则应成立： ˆ X Y
1 ˆ)0 X (Y Xβ n
第三章
多元线性回归模型
§ 3.1 多元线性回归模型
§ 3.2 多元线性回归模型的参数估计 § 3.3 多元线性回归模型的统计检验 § 3.4 多元线性回归模型的预测 § 3.5 可线性化的多元非线性回归模型 § 3.6 受约束回归
§3.1
多元线性回归模型
一、模型形式 二、基本假定
一、模型形式
Yi 0 1 X 1i 2 X 2 i ... k X ki i 0 j X ji i
#参数估计的实例
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
第9章多元线性回归习题答案
第9章多元线性回归教材习题答案9.1 根据下面的数据用Excel进行回归，并对回归结果进行讨论，计算、时y 的预测值。
y x1x212 174 318 281 931 189 428 202 852 149 947 188 1238 215 522 150 1136 167 817 135 5详细答案：由Excel输出的回归结果如下：回归统计Multiple R 0.459234R Square 0.210896Adjusted R Square -0.01456标准误差13.34122观测值10方差分析df SS MS F Significance F回归分析 2 332.9837 166.4919 0.93541 0.436485残差7 1245.916 177.988总计9 1578.9Coefficients 标准误差t Stat P-value Lower 95% Upper 95%Intercept 25.0287 22.27863 1.12344 0.298298 -27.6519 77.70928X Variable 1 -0.04971 0.105992 -0.46904 0.653301 -0.30035 0.200918X Variable 2 1.928169 1.47216 1.309755 0.231624 -1.55294 5.409276得到的回证方程为：。
表示，在不变的条件下，每变化一个单位，y平均下降0.04971个单位；表示，在不变的条件下，每变化一个单位，y平均增加1.928169个单位。
判定系数，表示在因变量y的变差中能够被y与和之间的线性关系所解释的比例为21.09%。
由于这一比例很低，表明回归方程的拟合程度很差。
估计标准误差，预测误差也较大。
方差分析表显示，Significance F=0.436485>a=0.05，表明y与和之间的线性关系不显著。
南开大学计量课件多元线性回归异方差问题共43页文档
45、自己的饭量自己知道。——苏联
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
南开大学计量课件多元线性回归异方 问题
11、用道德的示范来造就一个人，显然比用法律来约束他更有价值。—— 希腊
12、法律是无私的，对谁都一视同仁。在每件事上，她都不徇私情。—— 托马斯
13、公正的法律限制不了好的自由，因为好人不会去做法律不允许的事 情。——弗劳德
14、法律是为了保护无辜而制定的。——爱略特 15、像房子一样，法律和法律都是相互依存的。——伯克
多元回归分析异方差73页PPT
41、俯仰终宇宙，不乐复何如。 42、夏日长抱饥，寒夜无被眠。 43、不戚戚于贫贱，不汲汲于富贵。 44、欲言无予和，挥杯劝孤影。 45、盛年不重来，一日难再晨。及时 当勉励 ，岁月 不待人 。
Hale Waihona Puke 61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
谢谢！
异方差问题
3. 怀特证明了，利用稳健标准误对回归系数进行t检验 和F检验是渐进有效的（大样本情形下有效）。
...
ˆk
X
ki
2
一般情形：若假设varui
2 i
2
f
X ji
以1 f（X ji）为权数乘以因变量和解释变量（包括常变量），得到：
Yi f（X
ji）
1
1 f（X
ji）
2
X 2i f（X
ji）
...
k
Xki f（X
ji）
ui
1 f（X ji）
var
ui f（X
ji）
1 f（X
? ?
xiui xi 2
?
)=
xi2Var(ui ) (? xi 2 )2
?
=
(?
xi2
2 i
xi 2 )2
在同方差时，
该形式具有最小方差
Var( ?2 )= 2
? xi2
11
异方差的后果
一、回归系数的OLS估计量仍然满足：
1、线性
2、无偏
二、回归系数的OLS估计量不再满足有效性，也即： 在回归系数的所有线性无偏估计量中，OLS估计 量的方差不再是最小的。甚至在大样本下，也不 具备渐进有效性。
三、通常方法计算的OLS估计量的样本方差和标准 误都是有偏的和不一致的。（偏大偏小没有定 论）。因此利用通常方法计算的t值、F值或卡方 值进行假设检验都会失效。
四、模型的预测功能失效。
CFA 二级金融数量分析难点解析-多元回归异方差问题
CFA 二级金融数量分析难点解析-多元回归异方差问题作者：高顿财经CFA助理讲师Kelly在多元回归假设中，其中有一项为残差的方差为常数，即残差的方差不随着自变量的变化而变化。
而异方差性（Heteroskedasticity）是指样本的残差在所有的观测数据中并不保持一致。
无条件的异方差性（unconditional heteroskedasticity）：虽然存在异方差，但是异方差性和自变量水平无关，即改变自变量的值不会对残差的方差产生影响。
如果一个回归中存在无条件的异方差性，回归结果也不会受到影响。
有条件的异方差性（unconditional heteroskedasticity）：异方差性和自变量水平相关，即残差的方差大小随着自变量的改变而改变。
可以用以下两个图形来形象地表示有条件的异方差性，图中的原点表示每一组的观测值，图中的直线表示运用OLS 方法估计的线性回归方程。
在左图中，实际观测值和估计的线性回归线之间的距离（即残差ε）随着自变量X的增大而增大，在右图中，实际观测值和估计的线性回归线之间的距离（即残差ε）随着自变量X的增大而减小。
异方差性对统计结果的影响：异方差性对统计结果的影响：1. 残差的估计是不可靠的。
2. 对回归系数（b）没有影响，OLS 的估计量仍然是无偏的，一致的。
3. 异方差性的存在会使得回归系数的标准差（S）高估（或者低估），从而使得t 统计量低估（或者高估），在决定是否拒绝原假设时会产生错误。
4. 异方差性会影响 F 统计值，使得F 检验失效。
异方差性检验方法：1. 观察残差的散点图：以自变量为X 轴，残差为Y 轴，将自变量和残差画在同一张坐标图中，然后观察残差是否随着自变量的变化而变化。
可以观察以下两图来区分异方差和同方差，在左图中残差与X 轴的距离不会随着自变量的变动而变动，为同方差，在右图中残差与X 轴的距离随着自变量的增大而增大，为异方差。
参与CFA考试的考生可按照复习计划有效进行，另外高顿网校官网考试辅导高清课程已经开通，还可索取CFA考试通关宝典，针对性地讲解、训练、答疑、模考，对学习过程进行全程跟踪、分析、指导，可以帮助考生全面提升备考效果。
多元回归异方差模型方差的局部多项式估计ppt
m(x0 )
m(x0 )(x
x0 )
m(x0 ) 2!
(x
x0 )2
...
m
p (x0 p!
)
(x
x0
)p
O
(x x0 ) p1
在统计建模方面，对x0周围的局部点，我们建模
m(x) 为
p
m(x) j x x0 j
j0
参数 j依赖于 x0 ，故称为局部参数。显然局部
多元回归异方差模型方差 的局部多项式估计
重庆理工大学 数学与统计学院
苏理云
合作者：赵彦勇 2011.3.3
目标：
• 通过对异方差的多元局部多项式估计， 改进多元线性异方差回归模型对参数估 计的不精准性。本文利用局部多项式回 归的非参数方法用于多元线性异方差模 型中的方差进行两阶段估计，改进了传 统的两阶段法，得到了估计的渐近正态 性，并且使得估计的精度进一步提高。
K Xi
X，yi
y
(7)
达到最小解，其中 0,1, , p T 为待估参数，h 为
带宽，K Xi X，yi y KHi Xi X ，在这里 KHi
定义为 KHi
Xi X
1 Hi
KHi
H i 1
Xi X
待估参数.讨论较多也较详细的是假定 2 2 cT , xi 2 和 i2 2 expcT , xi 等情况.这些模型的讨论，一方
面要求模型分析着必须对问题的实际背景有较深
入的了解，如公司利润的方差常常与家庭 收入呈正比；另一方面，方差函数形式的假
第09章 线性回归模型的异方差问题
ˆ y = a + bx
∑
ˆ ) 2 = m in (y − y
2
ˆ 由∑ ( y − y ) = min ，有 ∑ ( y − a − bx ) = min, 分别对函数中 a、 b求偏导数，并令其为零 ，有 2∑ ( y − a − bx )(− 1) = 0 2∑ ( y − a − bx )(− x ) = 0
14
(0.0019)
安徽大学经济学院
计量经济学讲义
9.2 异方差的性质－方程回归结果图
15
安徽大学经济学院
计量经济学讲义
9.2 异方差的性质－残差与观察值（销售额）关系图
16
安徽大学经济学院
计量经济学讲义
9.2 异方差的性质
从残差图可以看出：残差的绝对值随着销售额的 增加而增加。 尽管残差ei与扰动项ui是两个不同的概念，根据ei 的变化并不能断言ui的方差也是变化的。但是，实践 u 中很难观察到ui，只能利用检验ei的变动来推断ui的 变化。 问题：如何理解残差ei与扰动项ui两个概念的差 别？
7
安徽大学经济学院
计量经济学讲义
一元线性回归分析－回归的假定条件
假定3 给定X，扰动误差项u的数学期望或均值为0， 即E（u|X）＝ 0。 Y
＋u ＋u －u －u －u
＋u
E(Y|X)=α+β*X
0
X
8
安徽大学经济学院
计量经济学讲义
一元线性回归分析－回归的假定条件
假定4 误差扰动项u的方差为常数，即Var（u）＝σ2，称 之为同方差(homoscedasticity) 同方差的含义：每个Y值以相同的方差分布在其均值周 围，即Y偏离其均值的程度相同。 Y
多元回归分析异方差(共75张PPT)
Illustration of Heteroskedasticity 异方差图示
f(y|x)
wage
.
.
E(y|x) = b0 + b1x
.
primary secondary
college
Education level
5
A specific example: histograms of wage rates for each education degree, from only educated 1 year to 18 years. 一个具体例子：每一个教育年限（1－18年）对应人群的工资直方图
对异方差稳健的标准差，或
White standard error, or
White标准差，或 Huber standard error, or
Huber标准差，或
Eicker standard errors, or
Eicker 标准差
14
Robust Standard Errors 稳健标准差
残差平方和。
13
Variance with Heteroskedasticity 异方差存在时的方差
The square root of Var( bˆ j )is called: Var( bˆ j ) 开平方被称为
Heteroskedasticity-robust standard error, or
HSK－异方差稳健t, F, LM统计量
3
What is Heteroskedasticity (HSK) 什么是异方差
Recall the assumption of homoskedasticity implied that conditional on the explanatory variables, the variance of the unobserved error, u, was constant 同方差假定意味着条件于解释变量，不可观测误差的方差为常数
多元线性回归模型常见问题及解决方法资料
可以用 f ( X ji ) 去除原模型，使之变为如下形式 新模型：
1 1 1 1 Yi 0 1 X 1i 2 X 2i f ( X ji ) f ( X ji ) f ( X ji ) f ( X ji ) k 1 1 X ki i f ( X ji ) f ( X ji )
异方差性的定义
对于线性回归模型 Yi 0 1 X i1 2 X i 2 k X ik i ; i 1, 2, , n 同方差性假设为 2 Var(i X i1, X i 2 , , X ik ) ; i 1, 2, , n 如果出现 2 Var(i X i1, X i 2 , , X ik ) i ; i 1,2, , n 即对于不同的样本点，随机误差项的方差不再 是常数，而是互不相同，则认为出现了异方差 性(Heteroscedasticity)。
0 0 0 1 2 0
0 0 0 1 2
0 0 0 0 1
在同方差性假设下，辅助回归的可决系数R2与 样本容量n的乘积，渐进地服从自由度为辅助 回归方程中解释变量个数的χ2分布，即 nR2~χ2 在大样本下，对统计量nR2进行相应的χ2检验。 若存在异方差性，表明 ei 2 与解释变量的某种 组合有显著的相关性，这时往往有较大的可决 系数R2，并且某一参数的t检验值较大。
于是
1 2 Var ( ) 1 2 n 1
1
n 1 n2
1
2
n2
0 1 2 1 0 1 2 1 1 1 2 0 0 0 0 0 0 0 0 0
第九章多元线性回归-异方差问题
记下这个回归的R平方 （3）构造F或LM统计量并计算p值（前者为 F2，n－3分布， 后者用 2 分布。
2
13
（五） 实例
使用Wooldridge中的数据HPRICE.RAW中的数据 来检验一个简单的住房价格方程中的异方差性。水平 变量模型为（分别采用水平变量和其对数项分别进行
回归分析）
price 0 1lotsize 2 sqrft 3bdrms
（2）误差方差与xi2成比例 Var(ui)=σ2 * xi2 其中σ2为常数，这时可以令权序列
wi 1/ xi
wi 1/ xi
19
（一）加权最小二乘法
方差已知的情形 实例：住房支出模型 给出由四组家庭住房支出和年收入组成的截面数据， 建立住房支出模型，并检验和修正异方差。 （3）其他的与自变量xi的加权形式f(xi)
第九章 多元线性回归的异方差问题
一、异方差及其影响 二、异方差的发现和判断 三、异方差的解决方法
1
一、异方差及其影响
1、异方差的定义：
对于多元线性回归模型，如果随机扰动项的方差并非是 不变的常数，则称为存在异方差（heteroscedasticity)。
异方差可以表示为 Var i i2 。 或
2 下这个回归的R平方Ru 2。
4、检验零假设是
H 0 : 1 2 k 0
2 2 LM n Ru ~ 2 k
对方程（2）进行F检验，或计算LM统计量进行检验。
9
（三）戈里瑟检验
1、通常拟合 e 和 X j 之间的回归模型：
e X lj 根据图形中的分布选择
2000
1000
0
-1000
多元线性回归异方差问题
目 录
• 引言 • 异方差问题的识别 • 异方差问题的处理方法 • 异方差问题的实际应用 • 结论
01 引言
异方差问题的定义
异方差性
指回归模型中误差项的方差不恒 定，即随着解释变量的变化，误 差项的方差也会发生变化。
异方差性的来源
数据本身特性、模型设定误差、 随机误差等。
异方差问题对回归模型的影响
02
根据实际情况选择合适的权重，以使模型更加准确。
模型应用
03
将加权最小二乘法应用于多元线性回归模型中，以减少异方差
问题的影响。
04 异方差问题的实际应用
经济领域中的应用
预测经济指标
异方差问题在经济领域中常用于预测各种经济指标，如GDP、CPI、失业率等。 通过对历史数据的分析，可以建立多元线性回归模型，预测未来经济走势。
风险评估
金融机构在进行风险评估时，需要考虑各种风险因素对资产价值的影响程度。通 过解决异方差问题，可以更准确地评估风险水平，为风险管理提供依据。
医学领域中的应用
疾病预测与诊断
在医学领域中，疾病的发生和发展受到多种因素的影响，如基因、环境、生活习惯等。通过解决异方差问题，可 以建立多元线性回归模型，预测疾病的发生概率和诊断结果。
药物疗效评估
在临床试验中，药物疗效受到多种因素的影响，如患者个体差异、用药剂量等。通过解决异方差问题，可以更准 确地评估药物疗效，为新药研发提供科学依据。
05 结论
对多元线性回归模型的改进建议
使用稳健的标准误
在异方差情况下，使用稳健的 标准误（robust standard errors）可以更准确地估计回归 系数的标准误，从而更准确地 评估模型的有效性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
22
（一）加权最小二乘法
OLS是加权最小二乘法的特例 显然，当满足同方差假定时， w1 = w2 = = wn = 1/ = 常数 即权数相等且等于常数，加权最小二乘法，就是OLS法。
23
纠正异方差性的一个可行程序
（1）将y对x1, x2,…xk做回归并得到残差u; （2）将残差进行平方，然后再取自然对数而得到log(u2); （3）做log(u2)对x1, x2,…xk的回归并得到拟合值g； （4）求拟合值的指数：h=exp(g) （5）以1/h为权数用WLS来估计方程。 在（3）中做log(u2)对 y, y2 的回归本质上是完全一样的
2000
0
-2000
-4000
-6000
-8000
5
10
15
20
25
30
RESID
38
2 1
2 2
Ω Varε Eεε
2 n
2
两变量线性回归模型的异方差
Y
0
Xi
X
Xj
3
1、异方差的定义
异方差主要出现在截面数据分析中，例如大公司的利 润变化幅度要比小公司的利润变化幅度大，即大公司利润 的方差比小公司利润的方差大。这取决于公司的规模、产 业特点和研究开发支出多少等因素。又如高收入家庭通常 比低收入家庭对某些商品的支出有更大的方差。 例6-1：人均家庭支出（cum)和可支配收入（in)的关系模型
Var(ui)=σ2 * xi 其中σ2为常数，这时可以令权序列
wi 1/ xi
（2）误差方差与xi2成比例 Var(ui)=σ2 * xi2
其中σ2为常数，这时可以令权序列 wi 1/ xi
19
（一）加权最小二乘法
方差已知的情形 实例：住房支出模型
给出由四组家庭住房支出和年收入组成的截面数据， 建立住房支出模型，并检验和修正异方差。
根据图形中的分布选择
l 1,1或 1 2
2、再检验零假设 ＝0（不存在异方差）。如果零假设
被拒绝，则表明可能存在异方差。
10
（四）怀特检验
假设有如下模型：
yi B0 B1x1i B2 x2i ui （3）
基本步骤： 1、首先用OLS方法估计回归方程（3）式。 2、然后作辅助回归：
16
（一）加权最小二乘法
方差已知的情形
假设已知随机误差项的方差为var(ui)= i2 , 设权数wi与异 方差的变异趋势相反, wi =1/i,, 将原模型两端同乘以wi。
wi使异方差经受了“压缩”和“扩张”变为同方差。
17
（一）加权最小二乘法
方差已知的情形
对于一元线性回归模型y=b0+b1x+u，加权最小化残差平方
price 0 1lotsize 2sqrft 3bdrms
发现：采用水平模型存在异方差性，但采用对数模型不 存在异方差性。
14
三、异方差的解决方法
加权最小二乘法 模型的重新设定
15
（一）加权最小二乘法
基本思路：赋予残差的每个观测值不同权数，从而 使模型的随机误差项具有同方差性。
X
32
异方差：残差随收入增大而增大
2000
1000
0
-1000
-2000
5
10
15
20
25
30
RESID
33
4、异方差模型的估计
加权最小二乘法 在分析收入对储蓄的影响的时候，权数变量可以
选取 hi=inci
于是基本模型savi=a0+a1 inci+ei变为
savi / inci a0 (1/ inci ) a1 inci
i
1 Var
r 0 r x1 i r 0 r1xi
i
2r0
r0
r1xi
r1xi
2
21
（一）加权最小二乘法
（4）用随机误差项的近似估计量求权重序列 首先利用OLS估计原模型得到残差序列 ui ，然后利
用残差序列的绝对值的倒数序列作为加权序列， 即令
wi 1/ ui
给出中国1998年各地区城镇居民平均每人全年家庭交 通及通讯支出（cum)和可支配收入（in)的数据，估计两者 之间的关系模型
4
2、异方差的影响
1、OLS估计量不再是BLUE，其是无偏和一致的，但并 非有效的，即不再具有方差最小性。
2、检验假设的统计量不再成立，建立在t分布和F分布之 上的置信区间和假设检验不可靠。
3、利用原始模型中的解释变量作形如上式(2)的回归，记
下这个回归的R平方Ru22 。
4、检验零假设是
H0 :1 2 k 0
对方程（2）进行F检验，或计算LM统计量进行检验。
LM
Hale Waihona Puke nR2 u2
~
2 k
9
（三）戈里瑟检验
1、通常拟合
e
和
X
之间的回归模型：
j
e
X
l j
24
实例： 采用Wooldridge中的数据Smoke.Raw中的数据来估计一 个对日香烟消费量的需求函数。 基本回归模型如下： cigs=a0+a1log(income)+a2log(cigpric)+a3educ +a4age+a5age2+a6restaurn 其中cigs为每天吸烟的数量； income为年收入； cigpric 为每包香烟的价格（以美分为单位）；educ为受教育年 数；age为年龄；restaurn为一个二值变量（若此人居住 的州禁止在餐馆吸烟，则取值1，否则取值0）。
12
等价的White检验
（1）用OLS估计模型（3），得到残差和拟合值，计算它 们的平方；
（2）做回归
u2 0 1 y 2 y2 v
记下这个回归的R平方
（3）构造F或LM统计量并计算p值（前者为 F2，n－3分布，
后者用
2 2
分布。
13
（五） 实例
使用Wooldridge中的数据HPRICE.RAW中的数据 来检验一个简单的住房价格方程中的异方差性。水平 变量模型为（分别采用水平变量和其对数项分别进行 回归分析）
5
二、异方差的发现和判断
（一）残差的图形检验 （二）帕克检验（Park test） （三）戈里瑟检验（Glejser test） （四）怀特检验（White test）
6
（一）残差的图形检验
这是一种最直观的方法，它以某一变量（通常取因变 量）作为横坐标，以随机项的估计量e或e2为纵坐标， 根据作出的散点图直观地判断是否存在相关性。如果 存在相关性，则存在异方差。通常的方法是先产生残 差序列，再把它和因变量一起绘制散点图。 例6-2：利用该方法绘制上一章关于美国机动车消费量 的模型中QMG与残差的散点图。
600 400 200
0 -200 -400 -600
0
10000 20000 30000 40000 X
30
3、异方差检验 图示法检验： 残差平方与自变量呈比较典型的喇叭型
31
250000
200000
150000
RESID2
100000
50000
0
0
10000 20000 30000 40000
34
同质性
权数序列名 Proce=>Equation=>Option=>选定异方差、给出权数名==>OK
35
加权最小二乘法估计结果
36
加权最小二乘法残差与X的散点图
RESID
600 400 200
0 -200 -400 -600
0
10000 20000 30000 40000 X
37
WLS处理后的残差图
第九章 多元线性回归的异方差问题
一、异方差及其影响 二、异方差的发现和判断 三、异方差的解决方法
1
一、异方差及其影响
1、异方差的定义：
对于多元线性回归模型，如果随机扰动项的方差并非是
不变的常数，则称为存在异方差（heteroscedasticity)。
异方差可以表示为
Var
i
2 i
。或
和为
2
wi2
2
i
wi2
yi b0b1xi
获得的估计量就是加权最小二乘估计量。对于多元线性回
归模型y=Xβ＋u，令权数序列wi =1/i ，W为N×N对角矩 阵，对角线上为wi ，其他元素为0。则变换后的模型为
Wy WX Wu
18
（一）加权最小二乘法
方差已知的情形 （1）误差方差与xi成比例
（3）其他的与自变量xi的加权形式f(xi)
f xi r0 r1xi
20
（一）加权最小二乘法
方差已知的情形
Var(
)
i
2 i
2
r
0
r
x1 i
y i
b0
b1xi
r0 r1xi r0 r1xi r0 r1xi
i
r0 r1xi
Var
7
（二）Breusch-Pagan检验
假设回归模型如下：
Y 0 1x1 2 x2 k xk u