多元回归分析法

CCER, Fall 2004 27
异方差的例子
f(y|x)
.
x1 x2 x3
.
CCER, Fall 2004
.
E(y|x) = b0 + b1x
x
28
异方差有什么影响?
OLS 估计在没有同方差假设的情况下仍然 是无偏和一致的 但是在异方差的情况下标准差的估计是有 偏的 如果标准差的估计有偏我们就不能利用t 统计量或F 统计量或LM 统计量来做检验 推论


CCER, Fall 2004
12
含平方项的模型（续）
假设 x 的系数为正，x2 的系数为负 那么 y 开始时随 x 增大而增大，但最终会随x 增大而减小
* ˆ ˆ ˆ 2b ˆ 当 b1 0 且 b2 0 临界点 x b 1 2

13
CCER, Fall 2004
交叉项
对于模型： y = b0 + b1x1 + b2x2 + b3x1x2 + u 我 们不能把 b1 单独解释为每单位x1的变化导致的 y 的变化，我们还需要考虑 b3, 因为
30
异方差检验
实际上我们需要检验 H0: Var(u|x1, x2,…, xk) = 2, 也就是H0: E(u2|x1, x2,…, xk) = E(u2) = 2 如果假设u2和xj之间是线性关系，我们可 以把零假设当成一个线性条件来检验 因此对于 u2 = d0 + d1x1 +…+ dk xk + v ； 也就是检验 H0: d1 = d2 = … = dk = 0
CCER, Fall 2004 23
d0 > 0 且 d1 < 0的例子
y y = b0 + b x0 d1= d=1 y = (b0 + d0) + (b1 + d1) x x
CCER, Fall 2004
24
检验不同组之间的差异
为了检验一个回归方程对不同的组是否 应该取不同的参数，我们可以检验表示 组的虚拟变量及其和所有其他x变量的交 叉项的显著性 因此可以估计有所有交叉项和没有交叉 项两种情况下的模型，然后构造F 统计 量, 但这种方法不容易把握
CCER, Fall 2004 3
当n 时样本（估计）的分布
n3
n1 < n2 < n3 n2 n1
b1
CCER, Fall 2004
4
一致性的证明
ˆ x x y b i1 1 i 1 b1 n
1
x
i1
x x x u n x x
CCER, Fall 2004 31
Breusch-Pagan 检验
虽然我们观察不到扰动项，但是我们可以用 OLS回归把残差估计出来 用得到的残差的平方项对所有的x回归之后， 就可以用R2构造F统计量或者LM统计量来进行 检验 其中F统计量就是软件中报告出来的检验整个 回归的显著性的统计量, F = [R2/k]/[(1 – R2)/(n – k – 1)], 该统计量呈Fk, n – k - 1分布 其中的LM统计量可由LM = nR2得到，该统计量 服从c2k分布
SSR1 SSR2 k 1
CCER, Fall 2004
26
什么是异方差
前面的同方差的假设，隐含着扰动项u的 方差条件于解释变量是常数 如果这个假设不成立，即对于x的不同的 值u的方差不同，那么扰动项就是异方差 例如： 估计教育的回报率时，能力是不 可观察的因素，因此可能的情况是能力 的方差随教育程度不同而不同
CCER, Fall 2004 29
稳健的标准差
稳健的标准差只有在大样本的情况下才 适用， 在小样本的情况下用稳健的标准 差构造出来的t 统计量的分布与t 分布相 差较远，用来做检验是不对的 在 Stata 软件中, 稳健的标准差可以通过 在回归命令中加入“robust”得到
CCER, Fall 2004
2
SSR n k 1 1 SST n 1 SST n 1
ˆ2
1
|t|>1或F>1
CCER, Fall 2004 15
拟合程度
重要的是不要过于关注调整的R2 而忽略 了理论和经济常识本身 如果经济理论清楚地预计某个变量应当 被包括进来，那么就加入这个变量 不要加入影响对所关注的变量进行合理 解释的变量；切记多元回归含意之一是 控制了其它因素
2 2 LM ~ c q , 从而我们可以根据c q a
分布选择一个临界值c， 根据
2 cq 分布计算相应的p值
在大样本的情况下， F 检验和LM 检验应该是 相似的 在单个排除变量的检验中， F 和t 检验是完全 相同的；但 LM 检验和 F 检验并不相同
CCER, Fall 2004 9
模型的函数形式
OLS 也可以用来估计x 和y 的非线性的方 程， 但对于要估计的系数来说仍然是线 性的 可以取x 或 y 的对数形式，或两者的对数 形式 可以用 x 的平方项 可以用 x 变量之间的交叉项
CCER, Fall 2004 10
对于对数方程的解释
假设方程为 ln(y) = b0 + b1ln(x) + u b1 则是 x 对y 的弹性 若为 ln(y) = b0 + b1x + u b1 则近似的反映一单位x 的变化导致的y 的百分比变化量 若为 y = b0 + b1ln(x) + u b1 则近似的反映x百分之百的变化量导 致的y的变化
CCER, Fall 2004 25
Chow 检验
也可以仅仅做没有交叉项的回归来构造适当的 F统计量 如果我们对第一组样本做没有交叉项的回归， 得到SSR1, 然后再对第二组样本做同样的回归， 得到 SSR2 再同样对所有样本做没有交叉项的回归，得到 SSR, 那么
SSR SSR1 SSR2 n 2k 1 F
CCER, Fall 2004 11
含平方项的模型
假设模型为 y = b0 + b1x + b2x2 + u ，此时我们 不能把 b1 解释为每单位x的变化导致的 y 的变 化, 我们需要把 b2 也考虑进来, 因为
ˆ 2b ˆ x x, so ˆ b y 1 2 ˆ ˆ y ˆ x b1 2 b 2 x
2 i1 1 1 2 1 i i1 1
ˆ b Cov x , u Var x b plimb 1 1 1 1 1 因为 Cov x1 , u 0
CCER, Fall 2004
5
遗漏变量：一致？
正如我们前面推导遗漏变量导致的有偏估计一 样，现在我们来看不一致性（或者说渐进有偏） 的情况。

例如：无偏估计；
t、F检验 。
大样本性质：估计量在样本大小为无限 的情况下表现出来的性质。

例如：大数定律； 一致估计；LM检验
CCER, Fall 2004 2
一致性
“一致”指的是当n ∞时，估计量的分布收 敛于系数的真实值 在MLR1-MLR5假设下, OLS估计值是一致的 （也是无偏的） 在无偏性的证明中，我们假设了条件均值为零： E(u|x1, x2,…,xk) = 0 证明一致性，我们只要相对较弱的假设，均值 为零： E(u) = 0; 不相关： Cov(xj,u) = 0, j = 1, 2, …, k 没有这个假设，OLS就是有偏和不一致的
首先，要靠经济理论来指导模型的设定 考虑如何对模型进行解释 究竟是变量x的绝对变化还是百分比的变 化（用对数形式）对因变量y产生影响更 加合理？ 因变量对x1的偏导随x1 （平方项）还是随 x2 （交叉项）改变，或者是固定不变？
CCER, Fall 2004 18
RESET检验
RESET 采用的办法和White检验的特殊形 式类似 我们采用加入ŷ的函数的办法来检验，而 不是直接加入x的函数 因此，要估计方程 y = b0 + b1x1 + … + bkxk + d1ŷ2 + d1ŷ3 +error 来进行检验 H0: d1 = 0, d2 = 0 根据 F~F2,n-k-3 或者 LM~χ22
复习
多元回归分析 大样本性质 模型的函数形式 虚拟变量 异方差 数据问题 时间序列模型 基本模型 平稳、弱相关和高度持久 序列相关 工具变量和联立方程 受限制因变量模型
CCER, Fall 2004 1
小样本和大样本性质
小样本性质：估计量在样本大小为有限 的情况下表现出来的性质。
y b1 b 3 x2 , 因此加总 x1 对 y x1 的影响时， 我们通常估计其在 x2 处的影响
CCER, Fall 2004
14
调整后的 R-Squared
前面分析了 R2 总会随着解释变量的增大而增大 但调整后的 R2把模型中解释变量的数量考虑了进 来, 因此可能会反而变小
R
真实模型: y b 0 b1 x1 b 2 x2 v 估计的模型: y b 0 b1 x1 u , 因此 b b d u b x v , 且 plimb 其中 d Cov x1 , x2 Var x1
CCER, Fall 2004
2
2
1
b x ... b x u yb 0 1 1 k q k q , 再用u 然后从以上回归中得出 u 对 x1 , x2 ,..., xk (即所有变量) 进行回归 LM nRu2 , 其中 Ru2 来自第二个回归
CCER, Fall 2004 8
来自百度文库
拉格朗日乘子统计量（续）
CCER, Fall 2004 16
函数形式
我们已经知道一个线性的回归可以用来 拟合一些非线性的关系 可以用因变量或 自变量的对数形式或者 同时用两者的对数形式 可以用x的平方 可以用x的交叉项 但是我们如何知道我们是否在模型设定 中采用了正确的函数形式呢？
CCER, Fall 2004 17
函数形式（续）
CCER, Fall 2004 19
虚拟变量
虚拟变量就是取 1 或者 0 的变量 例：male (= 1 若为男性, 0 其它情况), south (= 1 若在南方, 0 其它情况), 等. 虚拟变量也叫二元变量
CCER, Fall 2004
20
一个独立的虚拟变量
考虑一个包括一个连续变量(x)和一个虚 拟变量(d)的模型 y = b0 + d0d + b1x + u 这可以解释成截距项的变化 若 d = 0, 那么 y = b0 + b1x + u 若 d = 1, 那么 y = (b0 + d0) + b1x + u d = 0 的样本是参照组
1
2
6
拉格朗日乘子统计量
当我们使用大样本并根据渐进正态分布 做检验时，我们会用到t 和 F 以外的一些 统计量 拉格朗日乘子（ LM）统计量是用来检验 多元排除变量的假说的统计量之一 LM 要使用辅助的回归，因此也被称为 nR2 统计量
CCER, Fall 2004 7
拉格朗日乘子统计量（续）
假设我们的标准模型为： y = b0 + b1x1 + b2x2 + . . . bkxk + u 虚拟假设为：H0: bk-q+1 = 0, ... , bk = 0 首先，我们做符合虚拟假设的回归
33
White检验的其它形式
CCER, Fall 2004 32
White 检验
Breusch-Pagan检验能检验出任何线性形式 的异方差 而White检验则能够通过加入所有解释变 量的平方项和交叉项来检验非线性形式的 异方差 检验的方法仍然是利用F统计量和LM统计 量来检验xj, xj2和xjxh的联合显著性
CCER, Fall 2004
CCER, Fall 2004 21
d0 > 0 的例子
y
y = (b0 + d0) + b1x
d=1 slope = b1
d0
{
d=0
} b0
y = b0 + b1x
x
CCER, Fall 2004 22
其它变量与虚拟变量的交叉项
也可以考虑虚拟变量 d 和连续变量 x 之 间的交叉项 y = b0 + d1d + b1x + d2d*x + u 若 d = 0, 那么 y = b0 + b1x + u 若 d = 1, 那么 y = (b0 + d1) + (b1+ d2) x + u 这里的两种情况可以看成是斜率的变化