加权最小二乘法广义最小二乘法

异方差的处理
❖ 1。加权最小二乘法。（广义最小二乘法） ❖ 2。异方差稳健标准差。
加权最小二乘法的基本思想
最小二乘法的基本原则是使残差平方和最小。
在同方差的假定下，OLS的运用是每个残差 平方有相同的权数（权数为1），也就是在 最优化过程中，对各点的残差平方所提供信 息的重要程度是一样看待的；
解释变量Xi之间不存在精确的线形关系，即解释变 量的样本观测值矩阵X是满秩矩阵，应满足关系式：
rank(X)=k+1<n
可以理解为各X之间互不相关（无多重共线性）
εi 具有同方差性
❖ Var(ε i|Xi) = E[ε i -E(ε i)]2 = E(ε i)2=σ2 ：
违反将导致非有效。
❖ 误差项存在异方差：ε的方差-协方差矩阵 Var(ε)主对角线上的元素不相等 。
❖ 因此，如何识别异方差，处理异方差， 显得格外重要，
产生异方差的原因
❖ 模型中缺少某些解释变量；从而干扰项产生 系统模式。
❖ 样本数据观测误差；随着数据采集技术的改 进，干扰项的方差可能减少。
❖ 模型设置不正确。 ❖ 通常，截面数据较时间序列数据更易产生异
方差，比如成员的大小不一，收入有大中小 之分等。
0 M
2
M
L O
0
M
0
0
L
2
❖ 假定4： 不存在“严格多重共线性”(strict
multicolinearity)，即数据矩阵满列秩(full column rank)。 ❖ 这意味着，数据矩阵的各列向量为线性无关，即不 存在某个解释变量为另一解释变量的倍数，或可由 其他解释变量线性表出的情形。
❖ 如果 无任何特征和规律可言，整个计量模 型的建立将无法开展，因此，我们需要人为地 为它设定一些假定条件。
❖ 如果下列假定条件满足，我们就可以用最小二 乘法对模型进行回归估计。
❖ 事实上，我们进行OLS之前，规定了误差项必 须遵守的假定
❖ 因此有了对于误差项的高斯经典假定。
假设1：给定X1i， X2i，… Xki时，εi的条件分布均值 为零。 即：随机误差项具有零均值。
❖ H0： a1=a2=...=0
❖ H1： a1，a2...不全为0
❖ Step1：估计方程，提取残差，并求其平
方ei2。
❖ Step2：计算残差平方和的均值
avg(ei2) 。
❖ Step3：估计方程，被解释变量为
ei2/avg(ei2) ，解释变量依然为原解释
变量。
❖ Step4：构造得分统计量Score=RSS/2 服从自由度为k的卡方分布。查表检验整 个方程的显著性。
（1）用X-Y的散点图进行判断
看是否存在明显的散点扩大、缩小或复杂型趋 势（即不在一个固定的带型域中）
(2)X- e~i2 的散点图进行判断
看是否形成一斜率为零的直线
e~i 2
e~i 2
Biblioteka BaiduX 同方差
X 递增异方差
e~i 2
e~i 2
X 递减异方差
X 复杂型异方差
❖ scatter ❖ rvfplot ❖ rvpplot
Var(Yi) Var( 0 1Xi) Var(i) Var(i) 2
• 异方差一般可归结为三种类型：
（1）单调递增型： i2随X的增大而增大； （2）单调递减型： i2随X的增大而减小; （3）复 杂 型： i2与X的变化呈复杂形式。
❖ 一个现实情况是：在我们用到的大部分 数据中（特别是截面数据），异方差是 一般情况，而同方差是特殊情况。
注意：在第3步中，方便起见也可以用 被解释变量的拟合值作为解释变量。
Stata命令
❖ White检验：回归完成后 ❖ estat imtest，white
❖ BP 检验：回归完成后 ❖ estat hettest ,normal
例题
❖ 完成如下例子，用多种方法检验是否存在异 方差：
❖ 例1：打开auto，建立方程 ❖ Price=b0+b1weight+b2length+u ❖ 例2：打开production，估计CD生产函数。
Yi=Ai1 Ki2 Li3ei 被解释变量：产出量Y 解释变量：资本K、劳动L、技术A， 那么：每个企业所处的外部环境对产出量 的影响被包含在随机误差项中。
每个企业所处的外部环境对产出量的影 响程度不同，造成了随机误差项的异方差性。
这时，随机误差项的方差并不随某一个 解释变量观测值的变化而呈规律性变化，呈 现复杂型。
异方差性的后果
1。OLS估计量仍然具有无偏性、相合性和渐进 正态性。 2。 OLS估计量不再具有有效性 或者最小方差 性。
3。 Gauss-Markov 定理不再成立，即OLS不再是 最佳线性无偏估计（BLUE）。
❖ 在存在异方差时，如果画出散点图和残 差图，可能是以下形状。
异方差的检验
❖ 1。画图法。 ❖ 2。White检验。 ❖ 3。BP检验。
i 1, 2,...n
假设2 随机误差项彼此之间不相关
i j i, j 1,2, ,n
假定3 球型扰动项(spherical disturbance)， 即 对于解释变量的所有观测值，随机误差项有相 同的方差。扰动项满足“同方差”、“无自相 关”的性质
2 0 L 0
Var(
|
X) 2In
异方差示意图
一般情况下：异方差的概念
对于模型 Yi 0 1 X ii 2 X 2i k X ki i
如果出现
Var(i ) i2
即对于不同的样本点，随机误差项的方差不再 是常数，而互不相同，则认为出现了异方差性 (Heteroskedasticity)。
v 可以证明：Yi与εi具有相同的方差。所 以可以通过检验Yi的方差判断是否存在 异方差。
实际经济问题中的异方差性
例1：截面资料下研究居民家庭的储蓄行为:
Yi=0+1Xi+i
Yi:第i个家庭的储蓄额 Xi：第i个家庭的可支配收入。
高收入家庭：储蓄的差异较大 低收入家庭：储蓄则更有规律性，差异较小
因此：可以认为i的方差呈现单调递增型变化。
例2：以某一行业的企业为样本建立企业生产 函数模型：
BP/CW检验
根据异方差检验的基本思路，Breusch and Pagan（1979）和Cook and Weisberg（1983）
主要致思异路方：差用的变ei2量/av作g回(ei归2) 。对一系列可能导
i2 2 *(a0 a1X1 a2X 2 ...)
i2 2
a0 a1X1 a2X 2 ...