chapter3_多元回归分析-估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 我们现在转而讨论，在估计一个产生样本的总体模型 的参数时，OLS所具有的统计性质。 • 特别的，我们讨论四个假定，这些假定都是对简单回 归模型假定的直接推广，而且在这些假定下，OLS估 计量是总体参数的无偏估计值
OLS估计值的期望值
y 0 1 x1 2 x2 ... k xk u
• 在方程
wage 0 1educ 2 exper 3tenure+u
中，同方差性要求不可观测的误差项不依赖于教育水平，工作经 历和现有任期水平。 即Var(u|educ,exper,tenure)= 2 否则就会出现异方差性。 • 假定MLR.1-MLR.5一起被称为（横截面回归的）高斯-马尔科夫假 定。迄今为止，我们对假定的表述都只使用于随机抽样的横截面 分析。对于时间序列或面板数据，该假定将更加困难。
ˆi yi y ˆi 0 ，意味着yi被预测的过低；反之说明yi • 若u 被预测的过高。
OLS的拟合值和残差
• 直接从单变量模型推广，可得OLS拟合值和残差的某 些重要性质。 • 1）残差的样本平均值为零； • 2）每个自变量和OLS残差之间的样本协方差为零， 于是OLS拟合值和OLS残差之间的样本协方差也为零； • 3）点 ( x1 , x2 ..., xk , y ) 总位于样本OLS回归线上。
• 当假定MLR.4成立时，我们常说我们具有外生解释变量。 如果处于某种原因xj仍与u有关，那么xj是内生解释变量。 虽然“外生”和“内生”的术语源于联立方程分析，但 内生解释变量一词涵盖了一个解释变量可能与误差项相 关的一切情况。
• 我们现在准备在上述4个假定下，OLS是无偏的。 • 定理3.1：在假定MLR.1-MLR.4下，下式对总体参数������j的任 意值都成立， ˆ ) ，j=0,1,…k • E ( j j
OLS的拟合值和残差
• 对观测i,其拟合值为 ˆ ˆ x ˆ x +...+ ˆx ˆi y 0 1 i1 2 i2 k ik 它只是将第i个自变量值代入回归方程所得的预测值。 • OLS最小化了预测误差平方的平均值，但对任何一个观 测的误差都没说明。第i个观测的残差被定义为： ˆi yi y ˆi u
ˆi2 SSR u
拟合优度
• 判定系数 • 我们定义R2 = SSE/SST = 1 – SSR/SST为判定系数，总是介 于0到1之间 • 一个接近于1的判定系数表明OLS给出了一个良好的拟合， 一个于0的判定系数表明OLS给出了一个糟糕的拟合
拟合优度
• 还可以证明R2 等于yi的实际值与拟合值相关系数的平方， 即：
R2
ˆi y ˆi )] [ ( yi y )( y
i 1 n 2 n i 1 i 1
n
2
2 ˆ ˆ [ ( yi y ) ][ ( yi yi ) ]
过原点的回归
x x ... x y 1 1 2 2 k k
3.3 OLS估计值的期望值
ˆ x ˆ • 特别的，当 x2 =0时，有 y 1 1 关键是通过把x2包含在模型中，我们所得到的x1的系数可 解释为在其他条件不变的情况下的影响。这正是多元回归 分析如此有用的原因所在。
同时改变不止一个变量
• 有时我们想改变一个以上的变量，同时看看由此对因变量 的影响，通过回归方程很容易做到。在例2中，当一人在 同一企业工作过1年，保持educ不变，exper和tenure都增 加一年时，对工资的总影响为：
第三章 多元回归分析：估计
内容提要
• 3.1使用多元回归分析的动因 • 3.2普通最小二乘法的操作和解释 • 3.3OLS估计量的期望值 • 3.4OLS估计量的方差 • 3.5OLS的有效性：高斯-马尔科夫定理
3.1使用多元回归模型的动因
实际研究中更多时候对因变量有影响的自变量个数将不只 一个，需要进行多元回归 • 例1: 在对小时工资的研究中，除了教育水平之外，工作经历也 是一个显著的影响因素，因此需要增加自变量个数，建立 多元回归模型。
• OLS的几何解释 • 投影矩阵Px与外投影矩阵Mx
M I P I X (X X )1 X
对OLS回归方程的解 释
• 估计值具有偏效应或其他情况不变得解释。从方程中我 们可以得到： ˆ x ˆ x ˆ y 1 1 2 2 所以我们能在给定x1,x2的变化时预测y值得变化。
ˆ X Y Y X ˆ ˆ X X ˆ Y Y ˆ X Y ˆ X X ˆ Y Y 2 ˆ X Y Y X ˆ Hint : Q ˆ 0 2 X Y 2 X X ˆ 1 ˆ X X X Y ax xa xAx Hint : a, A A x A对称2 Ax x x x
2
(x
i1
补充：内生性专题
• 导致内生性的问题： • 测量偏误 • 遗漏变量 • 联立性 • *自选择偏误 • *样本选择偏误
• 测量偏误 • 虚报（隐瞒）个人财产，比如在进行微观调查时
（向下偏误）
• 遗漏变量
• 联立性
3.4OLS估计量的方差
• 除了知道估计量的趋势之外，我们还想度量其在样本分布中的分 散情况。 • 在求出方差之前，我们增加一个同方差假定，其次我们在下面可 以看到，如果增加了同方差的假定，OLS具有一个重要的性质， 即有效性。 • 假定MLR.5(同方差性) 给定 任意解释变量值，误差u都具有相同的方差，即： 2 Var（u|x1,..xk）=
{( xi1 , xi 2 ,..., xik , yi ) : i 1, 2...n}
• 假定MLR.3（不存在完全共线性） 在样本（因而在总体中），没有一个自变量是常数，自变 量之间不存在严格（完全）的线性关系。 我们现在必须关注所有自变量之间的关系，如果方程中有 一个自变量是其他自变量的额线性组合，那么我们说这个 模型遇到了完全共线性问题。
• 重要的是我们要注意到，MLR.3 允许变量之间有相关关系，只是 不能是完全相关。 • 例4：将考试分数与教育支出（expend）和家庭收入（avginc）的 模型中：
avgscore 0 1 exp end 2avginc u
• 我们充分预料expend 与avginc之间可能相关，学生家庭收入高的 学校，倾向于对每个学生在教育上支出更多。MLR.3只是排除了 expend与avginc之间完全相关的情形。
• 对“无偏”的理解 • 如我们所知，估计值不可能是无偏的，因为一个估计值 就是从一个特定的样本得到的固定值，它通常都不等于 总体参数。 • 我们说OLS在四个假定下是无偏的是指当我们将用来得到 OLS估计值的程序用到各种可能的随机样本时，这个程序 是无偏的。
y 0 1 x1 2 x2 3 x3 u
cons 0 1inc 2inc2 u
• 就不违背假定MLR.3,因为x2=inc*inc虽然是x1=inc的一个 函数，但是并不是一个线性函数。在模型中引入inc*inc是 推广函数形式的一种 有用方法。
• 自变量可能完全线性相关的另一种方式是，一个自变量 恰好是其他自变量的线性函数。 • 例5：考虑竞选支出和得票率的关系，有两位竞选者A和B， 为了使每个候选人支出与总支出隔离开来，设定模型： voteA 0 1expendA 2 expendB 3tot expend+u • 显然有x3=x1+x2，因而违背了假定MLR.3
多元线性回归模型的一般形式
y 0 1 x1 2 x2 ... k xk u (1 , 2 ..., k )
E (u | x1 , x2 ,..., xk ) 0
3.2普通最小二乘法的操作和解释
• 如何得到OLS估计值 ˆ ˆ x ˆx • 首先考虑两个自变量的模型： y ˆ 0 1 1 2 2 建模的原理依旧是使得
0 1 x1 2 x2
ˆ ) ，E ( ˆ ) ，E ( ˆ )0 E( 1 1 2 2 3
• 遗漏变量的偏误：简单情形
• 现在假设我们是遗漏了一个实际应该包括在模型中的变 量，通常称为排出一个有关变量或者对模型设定不足。 • 推导遗漏一个重要变量所导致的偏误，是误设分析的一 个例子，我们从含有两个变量的模型入手：
ˆ ˆ x ˆ x )2 ( y i 0 1 i1 2 i 2
i 1 n
达到最小。
SSR(.)
SSR(.)
) SSR( . <0 i
.
) SSR( . =0 i
.SSR( .)
i
>0 i
.
bi
wk.baidu.com
ˆ ˆ ˆ argminQ ee Y X Y X
ˆ ) Var ( j
n
2
SST j (1 Rj2 )
SST j = ( xij x j ) 2
i 1
Rj
2
• 在我们详尽的研究估计值方差之前，我们要注意，在得到这个公 式的过程中，用到了所有 高斯-马尔科夫假定。虽然OLS的无偏性 不需要同方差假定，但是要让上述式子成立，则必然要求同方差。 ˆ )的大小在实践中也很重要。方差越大，则意味着估计量越 • Var ( j 不精确，也就是置信区间越大和假设检验越不准确。
• 两个变量完全相关，最简单的情形就是一个变量是另一 个变量的常数倍。当研究者把同一个变量在不同的单位 下两次进入同一个回归方程，就会出现完全线性相关的 额情形。例如在估计消费与收入的模型中，将收入以美 元和千美元为单位分别最为自变量是毫无意义的。也是 违背了MLR.3
• 同一变量的不同非线性函数也都可以出现在回归元中。 比如模型
)< E( 1 1
)> E( 1 1
y 0 1 x1 2 x2 3 x3 u
x x y 0 1 1 2 2
)= + E ( 1 1 3
(x
i 1 n i 1
n
i1
x1 ) xi 3 x1 )
wage 0 1educ v
= ˆ + ˆ 1 1 2 1
)=E( ˆ + ˆ ) E( ˆ )+E( ˆ ) E ( 1 1 2 1 1 2 1 +
1 2 1
的偏误为Bias( )=E( )- 1 1 1 1 2 1
• 对多元回归“排除其他变量影响”的解释
Frisch–Waugh–Lovell theorem（选讲）
A Geometric Representation of the Frisch-Waugh-Lovell Theorem
拟合优度
• 与简单回归中一样，我们定义 • 总平方和SST 2 SST yi y • 解释平方和SSE 2 ˆi y SSE y • 残差平方和SSR
y 0 1 x1 2 x2 u
并假设模型满足MLR.1-MLR.4
• 由于疏忽或者数据不足，我们在排除X2的情况下估计这 个模型得到：
x y 0 1 1
• 例6：假设薪资与教育程度、天赋有关即
wage 0 1educ 2 abil u
• 由于能力不可观测，我们转而用模型 • 其中 v 2 abil u
• 假定MLR.4(条件均值为零) • 给定自变量的任何值，误差u的期望值为零。换句话说， E(u|x1,x2…xk)=0 • 通常情况下，漏掉一个与x1,x2…xk中任何一个自变量相关 的因素，都有可能导致MLR.4不成立。 使用多元回归分析， 我们能包含解释变量中的许多因素，与简单回归相比， 多元回归分析出现漏掉一些变量的可能性要小很多。
OLS估计值的期望值
y 0 1 x1 2 x2 ... k xk u
• 在方程
wage 0 1educ 2 exper 3tenure+u
中，同方差性要求不可观测的误差项不依赖于教育水平，工作经 历和现有任期水平。 即Var(u|educ,exper,tenure)= 2 否则就会出现异方差性。 • 假定MLR.1-MLR.5一起被称为（横截面回归的）高斯-马尔科夫假 定。迄今为止，我们对假定的表述都只使用于随机抽样的横截面 分析。对于时间序列或面板数据，该假定将更加困难。
ˆi yi y ˆi 0 ，意味着yi被预测的过低；反之说明yi • 若u 被预测的过高。
OLS的拟合值和残差
• 直接从单变量模型推广，可得OLS拟合值和残差的某 些重要性质。 • 1）残差的样本平均值为零； • 2）每个自变量和OLS残差之间的样本协方差为零， 于是OLS拟合值和OLS残差之间的样本协方差也为零； • 3）点 ( x1 , x2 ..., xk , y ) 总位于样本OLS回归线上。
• 当假定MLR.4成立时，我们常说我们具有外生解释变量。 如果处于某种原因xj仍与u有关，那么xj是内生解释变量。 虽然“外生”和“内生”的术语源于联立方程分析，但 内生解释变量一词涵盖了一个解释变量可能与误差项相 关的一切情况。
• 我们现在准备在上述4个假定下，OLS是无偏的。 • 定理3.1：在假定MLR.1-MLR.4下，下式对总体参数������j的任 意值都成立， ˆ ) ，j=0,1,…k • E ( j j
OLS的拟合值和残差
• 对观测i,其拟合值为 ˆ ˆ x ˆ x +...+ ˆx ˆi y 0 1 i1 2 i2 k ik 它只是将第i个自变量值代入回归方程所得的预测值。 • OLS最小化了预测误差平方的平均值，但对任何一个观 测的误差都没说明。第i个观测的残差被定义为： ˆi yi y ˆi u
ˆi2 SSR u
拟合优度
• 判定系数 • 我们定义R2 = SSE/SST = 1 – SSR/SST为判定系数，总是介 于0到1之间 • 一个接近于1的判定系数表明OLS给出了一个良好的拟合， 一个于0的判定系数表明OLS给出了一个糟糕的拟合
拟合优度
• 还可以证明R2 等于yi的实际值与拟合值相关系数的平方， 即：
R2
ˆi y ˆi )] [ ( yi y )( y
i 1 n 2 n i 1 i 1
n
2
2 ˆ ˆ [ ( yi y ) ][ ( yi yi ) ]
过原点的回归
x x ... x y 1 1 2 2 k k
3.3 OLS估计值的期望值
ˆ x ˆ • 特别的，当 x2 =0时，有 y 1 1 关键是通过把x2包含在模型中，我们所得到的x1的系数可 解释为在其他条件不变的情况下的影响。这正是多元回归 分析如此有用的原因所在。
同时改变不止一个变量
• 有时我们想改变一个以上的变量，同时看看由此对因变量 的影响，通过回归方程很容易做到。在例2中，当一人在 同一企业工作过1年，保持educ不变，exper和tenure都增 加一年时，对工资的总影响为：
第三章 多元回归分析：估计
内容提要
• 3.1使用多元回归分析的动因 • 3.2普通最小二乘法的操作和解释 • 3.3OLS估计量的期望值 • 3.4OLS估计量的方差 • 3.5OLS的有效性：高斯-马尔科夫定理
3.1使用多元回归模型的动因
实际研究中更多时候对因变量有影响的自变量个数将不只 一个，需要进行多元回归 • 例1: 在对小时工资的研究中，除了教育水平之外，工作经历也 是一个显著的影响因素，因此需要增加自变量个数，建立 多元回归模型。
• OLS的几何解释 • 投影矩阵Px与外投影矩阵Mx
M I P I X (X X )1 X
对OLS回归方程的解 释
• 估计值具有偏效应或其他情况不变得解释。从方程中我 们可以得到： ˆ x ˆ x ˆ y 1 1 2 2 所以我们能在给定x1,x2的变化时预测y值得变化。
ˆ X Y Y X ˆ ˆ X X ˆ Y Y ˆ X Y ˆ X X ˆ Y Y 2 ˆ X Y Y X ˆ Hint : Q ˆ 0 2 X Y 2 X X ˆ 1 ˆ X X X Y ax xa xAx Hint : a, A A x A对称2 Ax x x x
2
(x
i1
补充：内生性专题
• 导致内生性的问题： • 测量偏误 • 遗漏变量 • 联立性 • *自选择偏误 • *样本选择偏误
• 测量偏误 • 虚报（隐瞒）个人财产，比如在进行微观调查时
（向下偏误）
• 遗漏变量
• 联立性
3.4OLS估计量的方差
• 除了知道估计量的趋势之外，我们还想度量其在样本分布中的分 散情况。 • 在求出方差之前，我们增加一个同方差假定，其次我们在下面可 以看到，如果增加了同方差的假定，OLS具有一个重要的性质， 即有效性。 • 假定MLR.5(同方差性) 给定 任意解释变量值，误差u都具有相同的方差，即： 2 Var（u|x1,..xk）=
{( xi1 , xi 2 ,..., xik , yi ) : i 1, 2...n}
• 假定MLR.3（不存在完全共线性） 在样本（因而在总体中），没有一个自变量是常数，自变 量之间不存在严格（完全）的线性关系。 我们现在必须关注所有自变量之间的关系，如果方程中有 一个自变量是其他自变量的额线性组合，那么我们说这个 模型遇到了完全共线性问题。
• 重要的是我们要注意到，MLR.3 允许变量之间有相关关系，只是 不能是完全相关。 • 例4：将考试分数与教育支出（expend）和家庭收入（avginc）的 模型中：
avgscore 0 1 exp end 2avginc u
• 我们充分预料expend 与avginc之间可能相关，学生家庭收入高的 学校，倾向于对每个学生在教育上支出更多。MLR.3只是排除了 expend与avginc之间完全相关的情形。
• 对“无偏”的理解 • 如我们所知，估计值不可能是无偏的，因为一个估计值 就是从一个特定的样本得到的固定值，它通常都不等于 总体参数。 • 我们说OLS在四个假定下是无偏的是指当我们将用来得到 OLS估计值的程序用到各种可能的随机样本时，这个程序 是无偏的。
y 0 1 x1 2 x2 3 x3 u
cons 0 1inc 2inc2 u
• 就不违背假定MLR.3,因为x2=inc*inc虽然是x1=inc的一个 函数，但是并不是一个线性函数。在模型中引入inc*inc是 推广函数形式的一种 有用方法。
• 自变量可能完全线性相关的另一种方式是，一个自变量 恰好是其他自变量的线性函数。 • 例5：考虑竞选支出和得票率的关系，有两位竞选者A和B， 为了使每个候选人支出与总支出隔离开来，设定模型： voteA 0 1expendA 2 expendB 3tot expend+u • 显然有x3=x1+x2，因而违背了假定MLR.3
多元线性回归模型的一般形式
y 0 1 x1 2 x2 ... k xk u (1 , 2 ..., k )
E (u | x1 , x2 ,..., xk ) 0
3.2普通最小二乘法的操作和解释
• 如何得到OLS估计值 ˆ ˆ x ˆx • 首先考虑两个自变量的模型： y ˆ 0 1 1 2 2 建模的原理依旧是使得
0 1 x1 2 x2
ˆ ) ，E ( ˆ ) ，E ( ˆ )0 E( 1 1 2 2 3
• 遗漏变量的偏误：简单情形
• 现在假设我们是遗漏了一个实际应该包括在模型中的变 量，通常称为排出一个有关变量或者对模型设定不足。 • 推导遗漏一个重要变量所导致的偏误，是误设分析的一 个例子，我们从含有两个变量的模型入手：
ˆ ˆ x ˆ x )2 ( y i 0 1 i1 2 i 2
i 1 n
达到最小。
SSR(.)
SSR(.)
) SSR( . <0 i
.
) SSR( . =0 i
.SSR( .)
i
>0 i
.
bi
wk.baidu.com
ˆ ˆ ˆ argminQ ee Y X Y X
ˆ ) Var ( j
n
2
SST j (1 Rj2 )
SST j = ( xij x j ) 2
i 1
Rj
2
• 在我们详尽的研究估计值方差之前，我们要注意，在得到这个公 式的过程中，用到了所有 高斯-马尔科夫假定。虽然OLS的无偏性 不需要同方差假定，但是要让上述式子成立，则必然要求同方差。 ˆ )的大小在实践中也很重要。方差越大，则意味着估计量越 • Var ( j 不精确，也就是置信区间越大和假设检验越不准确。
• 两个变量完全相关，最简单的情形就是一个变量是另一 个变量的常数倍。当研究者把同一个变量在不同的单位 下两次进入同一个回归方程，就会出现完全线性相关的 额情形。例如在估计消费与收入的模型中，将收入以美 元和千美元为单位分别最为自变量是毫无意义的。也是 违背了MLR.3
• 同一变量的不同非线性函数也都可以出现在回归元中。 比如模型
)< E( 1 1
)> E( 1 1
y 0 1 x1 2 x2 3 x3 u
x x y 0 1 1 2 2
)= + E ( 1 1 3
(x
i 1 n i 1
n
i1
x1 ) xi 3 x1 )
wage 0 1educ v
= ˆ + ˆ 1 1 2 1
)=E( ˆ + ˆ ) E( ˆ )+E( ˆ ) E ( 1 1 2 1 1 2 1 +
1 2 1
的偏误为Bias( )=E( )- 1 1 1 1 2 1
• 对多元回归“排除其他变量影响”的解释
Frisch–Waugh–Lovell theorem（选讲）
A Geometric Representation of the Frisch-Waugh-Lovell Theorem
拟合优度
• 与简单回归中一样，我们定义 • 总平方和SST 2 SST yi y • 解释平方和SSE 2 ˆi y SSE y • 残差平方和SSR
y 0 1 x1 2 x2 u
并假设模型满足MLR.1-MLR.4
• 由于疏忽或者数据不足，我们在排除X2的情况下估计这 个模型得到：
x y 0 1 1
• 例6：假设薪资与教育程度、天赋有关即
wage 0 1educ 2 abil u
• 由于能力不可观测，我们转而用模型 • 其中 v 2 abil u
• 假定MLR.4(条件均值为零) • 给定自变量的任何值，误差u的期望值为零。换句话说， E(u|x1,x2…xk)=0 • 通常情况下，漏掉一个与x1,x2…xk中任何一个自变量相关 的因素，都有可能导致MLR.4不成立。 使用多元回归分析， 我们能包含解释变量中的许多因素，与简单回归相比， 多元回归分析出现漏掉一些变量的可能性要小很多。