加权最小二乘法广义最小二乘法

异方差示意图
一般情况下：异方差的概念
对于模型 Yi 0 1 X ii 2 X 2i k X ki i
如果出现
Var(i ) i2
即对于不同的样本点，随机误差项的方差不再 是常数，而互不相同，则认为出现了异方差性 (Heteroskedasticity)。
v 可以证明：Yi与εi具有相同的方差。所 以可以通过检验Yi的方差判断是否存在 异方差。
i 1, 2,...n
假设2 随机误差项彼此之间不相关
i j i, j 1,2, ,n
假定3 球型扰动项(spherical disturbance)， 即 对于解释变量的所有观测值，随机误差项有相 同的方差。扰动项满足“同方差”、“无自相 关”的性质
2 0 L 0
Var(
|
X) 2In
这就是原模型的加权最小二乘估计量，是 无偏、有效的估计量。
如果异方差是由某个X引起的
（以一元回归示例）
Yi 1 2 X 2i ui
var(ui )
i2
X 2 2 2i
原模型两边同除以X 2i
:
Yi X 2i
（1
1 X 2i
）
（2
X X
2i 2i
）
ui X 2i
令Yi*
Yi X 2i
,
X 1i *
（1）用X-Y的散点图进行判断
看是否存在明显的散点扩大、缩小或复杂型趋 势（即不在一个固定的带型域中）
(2)X- e~i2 的散点图进行判断
看是否形成一斜率为零的直线
e~i 2
e~i 2
X 同方差
X 递增异方差
e~i 2
e~i 2
X 递减异方差
X 复杂型异方差
❖ scatter ❖ rvfplot ❖ rvpplot
异方差的处理
❖ 1。加权最小二乘法。（广义最小二乘法） ❖ 2。异方差稳健标准差。
加权最小二乘法的基本思想
最小二乘法的基本原则是使残差平方和最小。
在同方差的假定下，OLS的运用是每个残差 平方有相同的权数（权数为1），也就是在 最优化过程中，对各点的残差平方所提供信 息的重要程度是一样看待的；
在异方差的假定下，由于不同的解释变量使 残差偏离均值的离散程度不一样，这样应该 对不同的残差平方和赋予不同的权重。
❖ 因此，如何识别异方差，处理异方差， 显得格外重要，
产生异方差的原因
❖ 模型中缺少某些解释变量；从而干扰项产生 系统模式。
❖ 样本数据观测误差；随着数据采集技术的改 进，干扰项的方差可能减少。
❖ 模型设置不正确。 ❖ 通常，截面数据较时间序列数据更易产生异
方差，比如成员的大小不一，收入有大中小 之分等。
❖ 这是最简单，也是目前通用的方法。
❖ 只要样本容量较大，即使在异方差的情况下， 只要使用稳健标准误，则所有参数估计、假 设检验均可照常进行。
❖
异方差稳健标准误
❖ 1。使用“OLS+异方差稳健标准误”（robust standard error）：
❖ 方法：在回归最后加上robust
❖ sysuse nlsw88, clear
Var(Yi) Var( 0 1Xi) Var(i) Var(i) 2
• 异方差一般可归结为三种类型：
（1）单调递增型： i2随X的增大而增大； （2）单调递减型： i2随X的增大而减小; （3）复 杂 型： i2与X的变化呈复杂形式。
❖ 一个现实情况是：在我们用到的大部分 数据中（特别是截面数据），异方差是 一般情况，而同方差是特殊情况。
❖ 但是加权最小二乘法不能解决所有的异方差， 原因是什么？
❖ 因为造成异方差的原因可能是残差，也可能是 某个变量本身，因此，很难精确地确定权重， 这样就无法消除异方差。
❖ 解决方法：
❖ 1。可行性广义最小二乘法(FGLS) ❖ 2。异方差稳健标准差
可行广义最小二乘法FGLS
❖ (1) 对原方程用OLS进行估计，得到残差项 的估计ûi ，
❖ H0： a1=a2=...=0
❖ H1： a1，a2...不全为0
❖ Step1：估计方程，提取残差，并求其平
方ei2。
❖ Step2：计算残差平方和的均值
avg(ei2) 。
❖ Step3：估计方程，被解释变量为
ei2/avg(ei2) ，解释变量依然为原解释
变量。
❖ Step4：构造得分统计量Score=RSS/2 服从自由度为k的卡方分布。查表检验整 个方程的显著性。
解释变量Xi之间不存在精确的线形关系，即解释变 量的样本观测值矩阵X是满秩矩阵，应满足关系式：
rank(X)=k+1<n
可以理解为各X之间互不相关（无多重共线性）
εi 具有同方差性
❖ Var(ε i|Xi) = E[ε i -E(ε i)]2 = E(ε i)2=σ2 ：
违反将导致非有效。
❖ 误差项存在异方差：ε的方差-协方差矩阵 Var(ε)主对角线上的元素不相等 。
注意：在第3步中，方便起见也可以用 被解释变量的拟合值作为解释变量。
Stata命令
❖ White检验：回归完成后 ❖ estat imtest，white
❖ BP 检验：回归完成后 ❖ estat hettest ,normal
例题
❖ 完成如下例子，用多种方法检验是否存在异 方差：
❖ 例1：打开auto，建立方程 ❖ Price=b0+b1weight+b2length+u ❖ 例2：打开production，估计CD生产函数。
❖ 其二，对变量取自然对数。变量取对数降低了变量 的变化程度，因此有助于消除异方差。
❖ reg wage ttl_exp race age industry hours
❖ reg wage ttl_exp race age industry hours, r
❖ 在实际应用中，避免异方差的两种方法。其一，使 不同变量的测度单位接近。比如，不同国家的收入 和消费数据。如果利用总收入和总消费进行分析， 由于不同国家的总量相差非常巨大，因此模型中难 免出现异方差。如果利用人均收入和人均消费进行 分析，就可以使得减弱不同国家变量之间的测度差 异，从而降低异方差的程度甚至消除异方差。
X 1i
2
f
1 (X
ji )
X 2i
k
f
1 (X
ji )
X ki
f
1 (X
ji
)
i
新模型中，存在
Var (
f
1 (X
ji
)
i
)
E(
f
1 (X
ji
)
i
)2
f
(
1 X
ji
)E(来自i)2
2
即满足同方差性，可用OLS法估计。
也就是把原来的解释变量和被解释变量都全除 以 f (xji ) ，然后对变换后的变量做普通最小二 乘法（OLS），那就变成对原来的变量的加权 最小二乘法（WLS）。
Yi=Ai1 Ki2 Li3ei 被解释变量：产出量Y 解释变量：资本K、劳动L、技术A， 那么：每个企业所处的外部环境对产出量 的影响被包含在随机误差项中。
每个企业所处的外部环境对产出量的影 响程度不同，造成了随机误差项的异方差性。
这时，随机误差项的方差并不随某一个 解释变量观测值的变化而呈规律性变化，呈 现复杂型。
异方差性的后果
1。OLS估计量仍然具有无偏性、相合性和渐进 正态性。 2。 OLS估计量不再具有有效性 或者最小方差 性。
3。 Gauss-Markov 定理不再成立，即OLS不再是 最佳线性无偏估计（BLUE）。
❖ 在存在异方差时，如果画出散点图和残 差图，可能是以下形状。
异方差的检验
❖ 1。画图法。 ❖ 2。White检验。 ❖ 3。BP检验。
实际经济问题中的异方差性
例1：截面资料下研究居民家庭的储蓄行为:
Yi=0+1Xi+i
Yi:第i个家庭的储蓄额 Xi：第i个家庭的可支配收入。
高收入家庭：储蓄的差异较大 低收入家庭：储蓄则更有规律性，差异较小
因此：可以认为i的方差呈现单调递增型变化。
例2：以某一行业的企业为样本建立企业生产 函数模型：
❖ (2) 计算ln(ûi2) ❖ (3) 用ln(û2)对所有可能产生异方差的的解释
变量进行回归，然后得到拟合值 ĝi ❖ (4) 计算ĥi = exp(ĝi) ❖ (5) 用1/ ĥi 作为权重,做WLS回归。
异方差稳健标准误
❖ 如果发现存在异方差，一种处理方法是，仍 然进行OLS回归(OLS仍然无偏、一致且渐 近正态)，但使用在异方差情况下也成立的稳 健标准误。
❖ 如果 无任何特征和规律可言，整个计量模 型的建立将无法开展，因此，我们需要人为地 为它设定一些假定条件。
❖ 如果下列假定条件满足，我们就可以用最小二 乘法对模型进行回归估计。
❖ 事实上，我们进行OLS之前，规定了误差项必 须遵守的假定
❖ 因此有了对于误差项的高斯经典假定。
假设1：给定X1i， X2i，… Xki时，εi的条件分布均值 为零。 即：随机误差项具有零均值。
• 加权最小二乘法就是对加了权重的残差平方和实 施OLS法：
对较小的残差平方ei2赋予较大的权数， 对较大的残差平方ei2赋予较小的权数。
• 例如，如果对一多元模型，经检验 知：
Var(i )
E(i )2
2 i
f ( X ji ) 2
f
1 (X
ji )
Yi
0
f
1 (X
ji
)
1
f
1 (X
ji )
0 M
2
M
L O
0
M
0
0
L
2
❖ 假定4： 不存在“严格多重共线性”(strict
multicolinearity)，即数据矩阵满列秩(full column rank)。 ❖ 这意味着，数据矩阵的各列向量为线性无关，即不 存在某个解释变量为另一解释变量的倍数，或可由 其他解释变量线性表出的情形。
BP/CW检验
根据异方差检验的基本思路，Breusch and Pagan（1979）和Cook and Weisberg（1983）
主要致思异路方：差用的变ei2量/av作g回(ei归2) 。对一系列可能导
i2 2 *(a0 a1X1 a2X 2 ...)
i2 2
a0 a1X1 a2X 2 ...
1 X 2i
,
vi
ui X 2i
则 var(vi )
var(ui ) ( X 2i )2
2
注：模型变换实际上就是加权最小二乘法。
❖ 加权最小二乘法在stata中实现的方法是： ❖ 在reg后面跟参数 [aw=1/W]
加权最小二乘法例子
sysuse auto, clear reg price mpg length weight foreign estat hettest,normal reg price mpg length weight foreign [aw=1/weight]