第3章 多元回归分析：估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
湖北大学商学院chen qianli 17
3.3 OLS估计量的期望
定理（无偏性）：在假定MLR.1-MLR.4下，总体参数的 OLS估计量是无偏估计。 无关变量的包括：讨论两种模型设定问题对无偏性的影 响。第一个问题是模型包含一个无关变量或过度设定模 型，下例说明。 y 0 1 x1 2 x2 3 x3 u 我们将模型设定为 假定真实情况是30，即一旦控制了x1,x2，x3对y没有影响。
湖北大学商学院chen qianli 12
比较模型：
湖北大学商学院chen qianli
13
比较模型（续）
湖北大学商学院chen qianli
14
3.3 OLS估计量的期望
为了研究OLS估计量的性质，需对多元线性回归模型建 立一系列的假设。 假定MLR.1（对参数的线性性） 总体模型为： y 0 1 x1 k xk u 假定MLR.2（随机抽样） n 此观测值来自以上方程模型描述的总体的一个样本
湖北大学商学院chen qianli
22
3.4 OLS估计量的方差
估计2：为了进行区间估计和假设检验，需要给出系数 估计量方差的估计，由此先要估计扰动项的方差
n 2 ˆ u i SSR i 1 E E n k 1 n k 1
2
湖北大学商学院chen qianli
21
3.4 OLS估计量的方差
比较两种估计的方差：
ˆ var 1
SST1 1 R
2
2 1
, var 1
2
SST1
如果20，两种估计均是无偏的。第一种估计方法下方差大， 说明无关变量的包括的代价是估计量的方差变大。 如果2不为0，传统上，计量经济学家曾建议，比较偏误和 方差来决定是否应该包括x2。 作者倾向于第一种估计，有两个原因，一是样本容量的上升 可降低方差，但对偏误无影响；一是第二种估计的方差公 式可能低估了实际方差（用2不正确）。
违背MLR.3的可能情形： 1.函数关系被错误设定。2.重要变量被遗漏。 3.解释变量的测量误差。4.一个或多个解释变量与y同时决定 内生解释变量与外生解释变量 假定MLR.4(不存在完全共线性）：样本中，没有一个变 量是常数，且自变量之间也不存在严格的线性关系。 假定MLR.4允许自变量之间存在相关关系，但不能完全相关， 如果不允许自变量之间存在任何相关关系，回归分析对计 量经济分析就没有多大用处。同一变量不同的非线性函数 可以出现在回归中。 同一变量以不同计量单位进入同一模型；一个自变量表示成 其他自变量的一个线性函数；样本容量相对于被估计的参 数个数而言太小。－－－违背假定MLR.4
2 0 1 x1 可以证明： E 1 1 21 , x 遗漏变量偏误：方向见表3.2 向上偏误、向下偏误与向零偏误 在含有多个回归元的模型中，推导遗漏变量偏误是非常困 难的。
湖北大学商学院chen qianli 19
0
1
1
3.4 OLS估计量的方差
假定MLR.5（同方差性）： var u x1 , x2 , xk
x
i1
, xi 2 ,xik , yi : i 1, 2,, n
假定MLR.3(零条件均值）：
E u x1 , x2 , xk 0
湖北大学商学院chen qianli 15
例：扰动项条件均值不为零
湖北大学商学院chen qianli
16
3.3 OLS估计量的期望
ˆ ˆ x ˆ x ˆi y 0 1 i1 k ik ˆi yi y ˆi u
湖北大学商学院chen qianli 7
例：收入与教育
湖北大学商学院chen qianli
8
例：收入与教育（续）
湖北大学商学院chen qianli
9
3.2 OLS的机理和解释
性质：
2
ˆ2 df
ˆ u
i 1
n
2 i
n k 1 n k 1
SSR n k 1
定理（扰动项方差的无偏估计）：在假设MLR.1-MLR.5下，
ˆ2 E
2
湖北大学商学院chen qianli
23
3.4 OLS估计量的方差
回归的标准误（SER）： 系数估计量的标准差为：
当回归模型中包含无关变量时，不会影响OLS估计量的无偏 性，但对OLS估计量的方差具有不利的影响。
E u x1 , x2 , x3 E u x1 , x2 0 1 x1 2 x2
湖北大学商学院chen qianli
18
3.3 OLS估计量的期望
遗漏变量的偏误：第二问题是相关变量未包括或模型设 定不足，此问题一般会导致OLS估计量产生偏误。下面 以简单情形说明。 假定真实模型是： y 0 1 x1 2 x2 u 由于疏忽或数据不足，我们没有包括x2，只将y对x1进行简 单回归： y x
0 1 1 2 2
OLS的估计量可表示为：度量的是在排除了x2,…xk等变量影响 n 之后， x1对y的影响。 ˆ r i1 yi ˆ i 1 ˆ1简单回归后的系数估计 , 可看成y对r 1 n 2 ˆ r i1
i 1
ˆ1是x1 = 0 1 x2 r回归后的残差。 而r
湖北大学商学院chen qianli 10
3.2 OLS的机理和解释
简单回归与多元回归估计的比较： 什么情况下以下两个回归的斜率估计值是相同的？
x,y ˆ ˆ x ˆx ˆ ˆ y 0 1 1 0 1 1 2 2
1.样本中x2对y的偏效应为0。 2.样本中x1与x2不相关。 拟合优度： SST=SSE+SSR
3.1 多元回归的动因
两自变量的模型：以例子说明多元回归的优点 多元回归分析能更好刻画变量之间的因果关系 考虑以下两个模型的区别：
wage 0 1educ u
* * wage 0* 1 educ 2 exp er u *
多元回归模型可以将影响因变量的其他因素中的可观测部分 以自变量的形式包括在回归模型中，从而控制这些因素的 影响。
湖北大学商学院chen qianli 20
3.4 OLS估计量的方差
ˆ when R j 1, var 自变量之间的线性关系R2j： j 两个或多个自变量之间高度相关（但不完全相关）被称为多 重共线性（multicollinearity）。 对于一个给定的数据集，可以试着从模型中去掉一些其他自 变量来消除多重共线性，但同时会出现遗漏变量偏误的问 题。需要在两方面进行权衡。 误设模型的方差：是否包括一个变量，可对偏误和方差进 行分析后进行权衡。 真实模型为 y 0 1 x1 2 x2 u ˆ ˆ x ˆ x 估计1： ˆ y 0 1 1 2 2 估计2： x ˆ y 0 1 1
偏效应（partial effect)或其他情况不变效应的解释： ˆ 在控制了 x2 , xk的影响下，x1对y的影响为: 1 例3.1 3.2
湖北大学商学院chen qianli 6
3.2 OLS的机理和解释
多元回归中“保持其他因素不变”的含义： 多元回归分析的功能在于：尽管不能在其他条件不变的情况 下收集数据，但它提供的系数仍可作为其他条件不变的解 释，它使我们有效地模拟了在不限制自变量的取值下此种 情形。多元回归分析使我们能在非实验环境中去做自然科 学家在受控实验中所做的事情：保持其他因素不变。 OLS的拟合值和残差：
sd ˆ
j
ˆ ˆ2
SST j 1 R 2 j
系数估计量的标准误为：
ˆ se j
SST j 1 R 2 j
ˆ
以上公式均是在同方差假设MLR.5下才成立。
湖北大学商学院chen qianli
湖北大学商学院chen qianli 3
3.1 多元回归的动因
K个自变量的模型 多元回归分析允许影响Y的多个可观测的因素以自变量形式 进入模型，以对其进行控制。 y 0 1 x1 2 x2 k xk u 多元线性回归模型的术语：截距、斜率、扰动项 如何解释模型参数：弹性、百分数
湖北大学商学院chen qianli
2
3.1 多元回归的动因
多元回归分析对推广变量之间的函数关系有帮助 例： 2
cons 0 1inc 2inc u
参数的解释与上例是不同的：边际消费倾向为
cons inc
1
2 2 inc
两个模型的关键假设：
E u educ, exp er 0 E u inc, inc 2 E u inc 0
R2 SSE SSR 1 SST SST n ˆ yi y yi y i 1 n n 2 2 ˆ y y y y i i chen qianli 1 i 湖北大学商学院 i 1
2
2 R 2 ry ˆ ,y
11
3.2 OLS的机理和解释
R2的一个重要性质是，在回归中多增加一个自变量， 其值不会减小，通常会增加。 使用R2作为决定在模型中增加一个或几个变量的手 段很不适当，决定一个解释变量是否应放入模型 取决于在总体中对y的偏效应是否为0。 过原点的回归： 对过原点回归，采用最小化残差平方和的OLS估计 值往往不具有以前推断的性质， 通常定义的R2可 能为负，尽管有人提出用实际值与拟合值的相关 系数的平方作为R2，但目前没有大家认可的指标。 实证一般尽量少用过原点回归。
ˆ u
i 1 n i
ˆi xij 0( j 1, 2, k ) 0, u
i 1
n
ˆ ˆ x ˆ x y 0 1 1 k k
“排除（partialling out)”的解释：以k=2的多元回归模型为 例 ˆ ˆ x ˆ x ˆ y
log salary 0 1 log sales 2ceoten 3ceoten2 u
线性性含义：指模型是参数的线性函数（不是自变量） 关键假设： E u x1 , x2 , xk 0
湖北大学商学院chen qianli
4
例：双对数模型
湖北大学商学院chen qianli
第三章 多元回归分析：估计
简单回归分析缺陷：关键假设SLR.3通常不现实 多元回归分析的优点： 可以明确地控制其他影响因变量的因素，更适合 于其他条件不变情况下的分析。 可以用以添加相当一般化的函数关系。 多元回归模型是经济学和其他社会科学进行经 验分析时使用得最广泛的一个工具。
湖北大学商学院chen qianli 1
5
3.2 OLS的机理和解释
OLS估计量获得： 残差平方和达到最小的准则：
min 0 ,1 ,k
n i
ˆ ˆ x x yi 0 1 i1 k ik
2
OLS回归方程的解释：
ˆ x ˆ x ˆ x ˆ y 1 1 2 2 k k
2
定理（OLS斜率估计量的方差）在假定MLR.1-MLR.5下，
var ˆ
jห้องสมุดไป่ตู้
SST j
2 2 j
1 R
, j 1, 2, , k
式中，SSTj为xj的总样本变差，R2j为xj对所有其余自变量进 行回归所得到的决定系数。 OLS方差的成分：多重共线性 OLS估计量的方差取决于三个因素： 误差项的方差：给定因变量y,增加更多解释变量可减少误 差项的方差，但同时可能引起多重共线性。 xj的总样本变差SSTj：扩大样本容量可增大此项。
3.3 OLS估计量的期望
定理（无偏性）：在假定MLR.1-MLR.4下，总体参数的 OLS估计量是无偏估计。 无关变量的包括：讨论两种模型设定问题对无偏性的影 响。第一个问题是模型包含一个无关变量或过度设定模 型，下例说明。 y 0 1 x1 2 x2 3 x3 u 我们将模型设定为 假定真实情况是30，即一旦控制了x1,x2，x3对y没有影响。
湖北大学商学院chen qianli 12
比较模型：
湖北大学商学院chen qianli
13
比较模型（续）
湖北大学商学院chen qianli
14
3.3 OLS估计量的期望
为了研究OLS估计量的性质，需对多元线性回归模型建 立一系列的假设。 假定MLR.1（对参数的线性性） 总体模型为： y 0 1 x1 k xk u 假定MLR.2（随机抽样） n 此观测值来自以上方程模型描述的总体的一个样本
湖北大学商学院chen qianli
22
3.4 OLS估计量的方差
估计2：为了进行区间估计和假设检验，需要给出系数 估计量方差的估计，由此先要估计扰动项的方差
n 2 ˆ u i SSR i 1 E E n k 1 n k 1
2
湖北大学商学院chen qianli
21
3.4 OLS估计量的方差
比较两种估计的方差：
ˆ var 1
SST1 1 R
2
2 1
, var 1
2
SST1
如果20，两种估计均是无偏的。第一种估计方法下方差大， 说明无关变量的包括的代价是估计量的方差变大。 如果2不为0，传统上，计量经济学家曾建议，比较偏误和 方差来决定是否应该包括x2。 作者倾向于第一种估计，有两个原因，一是样本容量的上升 可降低方差，但对偏误无影响；一是第二种估计的方差公 式可能低估了实际方差（用2不正确）。
违背MLR.3的可能情形： 1.函数关系被错误设定。2.重要变量被遗漏。 3.解释变量的测量误差。4.一个或多个解释变量与y同时决定 内生解释变量与外生解释变量 假定MLR.4(不存在完全共线性）：样本中，没有一个变 量是常数，且自变量之间也不存在严格的线性关系。 假定MLR.4允许自变量之间存在相关关系，但不能完全相关， 如果不允许自变量之间存在任何相关关系，回归分析对计 量经济分析就没有多大用处。同一变量不同的非线性函数 可以出现在回归中。 同一变量以不同计量单位进入同一模型；一个自变量表示成 其他自变量的一个线性函数；样本容量相对于被估计的参 数个数而言太小。－－－违背假定MLR.4
2 0 1 x1 可以证明： E 1 1 21 , x 遗漏变量偏误：方向见表3.2 向上偏误、向下偏误与向零偏误 在含有多个回归元的模型中，推导遗漏变量偏误是非常困 难的。
湖北大学商学院chen qianli 19
0
1
1
3.4 OLS估计量的方差
假定MLR.5（同方差性）： var u x1 , x2 , xk
x
i1
, xi 2 ,xik , yi : i 1, 2,, n
假定MLR.3(零条件均值）：
E u x1 , x2 , xk 0
湖北大学商学院chen qianli 15
例：扰动项条件均值不为零
湖北大学商学院chen qianli
16
3.3 OLS估计量的期望
ˆ ˆ x ˆ x ˆi y 0 1 i1 k ik ˆi yi y ˆi u
湖北大学商学院chen qianli 7
例：收入与教育
湖北大学商学院chen qianli
8
例：收入与教育（续）
湖北大学商学院chen qianli
9
3.2 OLS的机理和解释
性质：
2
ˆ2 df
ˆ u
i 1
n
2 i
n k 1 n k 1
SSR n k 1
定理（扰动项方差的无偏估计）：在假设MLR.1-MLR.5下，
ˆ2 E
2
湖北大学商学院chen qianli
23
3.4 OLS估计量的方差
回归的标准误（SER）： 系数估计量的标准差为：
当回归模型中包含无关变量时，不会影响OLS估计量的无偏 性，但对OLS估计量的方差具有不利的影响。
E u x1 , x2 , x3 E u x1 , x2 0 1 x1 2 x2
湖北大学商学院chen qianli
18
3.3 OLS估计量的期望
遗漏变量的偏误：第二问题是相关变量未包括或模型设 定不足，此问题一般会导致OLS估计量产生偏误。下面 以简单情形说明。 假定真实模型是： y 0 1 x1 2 x2 u 由于疏忽或数据不足，我们没有包括x2，只将y对x1进行简 单回归： y x
0 1 1 2 2
OLS的估计量可表示为：度量的是在排除了x2,…xk等变量影响 n 之后， x1对y的影响。 ˆ r i1 yi ˆ i 1 ˆ1简单回归后的系数估计 , 可看成y对r 1 n 2 ˆ r i1
i 1
ˆ1是x1 = 0 1 x2 r回归后的残差。 而r
湖北大学商学院chen qianli 10
3.2 OLS的机理和解释
简单回归与多元回归估计的比较： 什么情况下以下两个回归的斜率估计值是相同的？
x,y ˆ ˆ x ˆx ˆ ˆ y 0 1 1 0 1 1 2 2
1.样本中x2对y的偏效应为0。 2.样本中x1与x2不相关。 拟合优度： SST=SSE+SSR
3.1 多元回归的动因
两自变量的模型：以例子说明多元回归的优点 多元回归分析能更好刻画变量之间的因果关系 考虑以下两个模型的区别：
wage 0 1educ u
* * wage 0* 1 educ 2 exp er u *
多元回归模型可以将影响因变量的其他因素中的可观测部分 以自变量的形式包括在回归模型中，从而控制这些因素的 影响。
湖北大学商学院chen qianli 20
3.4 OLS估计量的方差
ˆ when R j 1, var 自变量之间的线性关系R2j： j 两个或多个自变量之间高度相关（但不完全相关）被称为多 重共线性（multicollinearity）。 对于一个给定的数据集，可以试着从模型中去掉一些其他自 变量来消除多重共线性，但同时会出现遗漏变量偏误的问 题。需要在两方面进行权衡。 误设模型的方差：是否包括一个变量，可对偏误和方差进 行分析后进行权衡。 真实模型为 y 0 1 x1 2 x2 u ˆ ˆ x ˆ x 估计1： ˆ y 0 1 1 2 2 估计2： x ˆ y 0 1 1
偏效应（partial effect)或其他情况不变效应的解释： ˆ 在控制了 x2 , xk的影响下，x1对y的影响为: 1 例3.1 3.2
湖北大学商学院chen qianli 6
3.2 OLS的机理和解释
多元回归中“保持其他因素不变”的含义： 多元回归分析的功能在于：尽管不能在其他条件不变的情况 下收集数据，但它提供的系数仍可作为其他条件不变的解 释，它使我们有效地模拟了在不限制自变量的取值下此种 情形。多元回归分析使我们能在非实验环境中去做自然科 学家在受控实验中所做的事情：保持其他因素不变。 OLS的拟合值和残差：
sd ˆ
j
ˆ ˆ2
SST j 1 R 2 j
系数估计量的标准误为：
ˆ se j
SST j 1 R 2 j
ˆ
以上公式均是在同方差假设MLR.5下才成立。
湖北大学商学院chen qianli
湖北大学商学院chen qianli 3
3.1 多元回归的动因
K个自变量的模型 多元回归分析允许影响Y的多个可观测的因素以自变量形式 进入模型，以对其进行控制。 y 0 1 x1 2 x2 k xk u 多元线性回归模型的术语：截距、斜率、扰动项 如何解释模型参数：弹性、百分数
湖北大学商学院chen qianli
2
3.1 多元回归的动因
多元回归分析对推广变量之间的函数关系有帮助 例： 2
cons 0 1inc 2inc u
参数的解释与上例是不同的：边际消费倾向为
cons inc
1
2 2 inc
两个模型的关键假设：
E u educ, exp er 0 E u inc, inc 2 E u inc 0
R2 SSE SSR 1 SST SST n ˆ yi y yi y i 1 n n 2 2 ˆ y y y y i i chen qianli 1 i 湖北大学商学院 i 1
2
2 R 2 ry ˆ ,y
11
3.2 OLS的机理和解释
R2的一个重要性质是，在回归中多增加一个自变量， 其值不会减小，通常会增加。 使用R2作为决定在模型中增加一个或几个变量的手 段很不适当，决定一个解释变量是否应放入模型 取决于在总体中对y的偏效应是否为0。 过原点的回归： 对过原点回归，采用最小化残差平方和的OLS估计 值往往不具有以前推断的性质， 通常定义的R2可 能为负，尽管有人提出用实际值与拟合值的相关 系数的平方作为R2，但目前没有大家认可的指标。 实证一般尽量少用过原点回归。
ˆ u
i 1 n i
ˆi xij 0( j 1, 2, k ) 0, u
i 1
n
ˆ ˆ x ˆ x y 0 1 1 k k
“排除（partialling out)”的解释：以k=2的多元回归模型为 例 ˆ ˆ x ˆ x ˆ y
log salary 0 1 log sales 2ceoten 3ceoten2 u
线性性含义：指模型是参数的线性函数（不是自变量） 关键假设： E u x1 , x2 , xk 0
湖北大学商学院chen qianli
4
例：双对数模型
湖北大学商学院chen qianli
第三章 多元回归分析：估计
简单回归分析缺陷：关键假设SLR.3通常不现实 多元回归分析的优点： 可以明确地控制其他影响因变量的因素，更适合 于其他条件不变情况下的分析。 可以用以添加相当一般化的函数关系。 多元回归模型是经济学和其他社会科学进行经 验分析时使用得最广泛的一个工具。
湖北大学商学院chen qianli 1
5
3.2 OLS的机理和解释
OLS估计量获得： 残差平方和达到最小的准则：
min 0 ,1 ,k
n i
ˆ ˆ x x yi 0 1 i1 k ik
2
OLS回归方程的解释：
ˆ x ˆ x ˆ x ˆ y 1 1 2 2 k k
2
定理（OLS斜率估计量的方差）在假定MLR.1-MLR.5下，
var ˆ
jห้องสมุดไป่ตู้
SST j
2 2 j
1 R
, j 1, 2, , k
式中，SSTj为xj的总样本变差，R2j为xj对所有其余自变量进 行回归所得到的决定系数。 OLS方差的成分：多重共线性 OLS估计量的方差取决于三个因素： 误差项的方差：给定因变量y,增加更多解释变量可减少误 差项的方差，但同时可能引起多重共线性。 xj的总样本变差SSTj：扩大样本容量可增大此项。