多元线性回归分析估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 简单回归模型，只包含一个解释变量，有时只能 解释y的变动的很小部分。(如，拟合优度很低)
• 多元回归模型由于可以控制更多地揭示变量，因 此，可以解释更多的因变量变动。
12
为什么使用多元回归？ 3. 表达更多的函数关系
• 多元回归模型，可以包含多个解释变量， 因此，可以利用变量的函数变换，在模型 中表达多种函数关系。
• 因此，多元线性回归模型，是实证分析中 应用最广泛的分析工具。
13
为什么使用多元回归模型？ 例1: 教育对工资的影响
• 教育educ对工资wage的影响 • 一个简单回归模型:
Wage= 0 + 1 • educ +u
• 然而，上述工资方程中，许多影响工资，同时又与教 育年限相关的变量，被包含于误差项u中，如劳动力 市场经验等。一方面，他们影响工资，但又不同于教 育，故包含于u中。另一方面，他们又与教育相关。 如教育年限越长，则参与劳动市场的时间就相对越短。 因此，零值条件期望假定不成立，会导致OLS估计量
^1 有偏。
14
例1: 教育对工资的影响
• 一个策略就是，最好能够将这些与教育相关的变 量找出来，放在模型中，进行控制。
• 一个多元回归模型：
Wage= 0 + 1 • educ + 2 • exper+ u
• wage: 工资对数；educ: 教育年限; exper: 劳动 力市场经验(年)。
• 在此例中，劳动力市场经验exper，由于与感兴趣 变量教育educ相关，ห้องสมุดไป่ตู้被从误差项u中取出。
第2章内容回顾
• 1. Definition of the Simple Regression Model 简单回归模型的定义
• 2. Deriving the Ordinary Least Squares Estimates 推导普通最小二乘估计量
• 3. Mechanics of OLS OLS相关的代数性质
• 如果影响y的其它因素，与x1不相关，则改变x1，可以确保
u(均值)不变，从而识别出在其它条件不变情况下x对y的影响。 • 不幸的是，影响y的其它因素(包含在u中)，往往与x1相关：改
变x1，u(均值)也往往发生变化，从而使得仅仅利用简单回归
模型，无法识别出在其它条件不变情况下x1对y的影响。
10
• 多元回归模型能容许很多解释变量，而这些变量可以是相关的。 • 在使用非实验数据时，多元回归模型对推断y与解释变量x间的因
果关系很重要。
11
为什么使用多元回归？ 2. 更好地预测
• 一个变量y的变化，不仅与一种因素有关，可能 决定于许多因素。
• 预测一个变量的变化，往往需要尽可能多地知道 影响该变量变化的因素。
为什么使用多元回归？ 1. 控制更多的因素
• 一个策略就是，将与x1相关的其他因素从误差项u中取出来，放在 方程里，作为新的解释变量，这就构成多元回归模型。
• 多元回归分析可以明确地控制许多其它同时影响因变量的因素，
而不是放在不可观测的误差项中，故多元回归分析更适合于其它 条件不变情况下（ceteris paribus）的特定因素x对y的影响。
• 4. Unites of Measurement and Functional Form 测量单位和函数形式
• 5. Expected Values and Variances of the OLS estimators OLS估计量的期望值和方差
• 6. Regression through the Origin 过原点的回归
8
2. 为什么使用多元回归模型？
9
为什么使用多元回归？ 1. 为获得其它因素不变的效应，控制更多的因素
• 在实证工作中使用简单回归模型,首要的困难在于：要得到在 其它因素不变的情况下， x1对y的影响(ceteris paribus effect)， 非常困难。
• 在简单线性回归中，是否能够获得在其它条件不变情况下， x1对y的影响(ceteris paribus effects of x on y)，完全取决于 零值条件期望假设是否符合现实。
3
1. 多元线性回归模型结构：
4
多元线性回归模型结构： 含有k个自变量的模型
• 多元线性回归模型一般可以写作：
y 0 1x1 2 x2 L k xk u
• x1…xk，k=2,…K，多个解释变量。
5
多元回归模型的结构
• 0 仍是截距(intercept)
• 1到k仍然都称为斜率参数(slope
• 4. OLS估计量的方差 The Variance of the OLS Estimators
• 5. OLS的有效性：高斯－马尔科夫定理 Efficiency of OLS: The Gauss-Markov Theorem
2
本课大纲
• 1. 多元回归模型的结构 • 2. 为什么使用多元回归 • 3.多元回归模型中的零值条件期望假定 • 4.多元回归模型的OLS 估计及代数性质 • 5.解释多元回归模型参数 • 6. 简单回归模型与多元回归模型的比较
parameters)
• u仍是误差项(或干扰项) ( error term (or disturbance) )：除了x1…xk之外，影响y的 其他因素。
6
多元回归模型的结构
因变量
被解释 变量 响应 变量
被预测 变量
回归子
自变量
解释 变量 控制 变量 预测元变 量
回归元
7
多元回归模型的结构
• 线性： • 参数线性：对于回归模型参数是线性的。
15
例2：预测高考成绩
• 预测高考成绩： • 一个简单模型：
成绩= 0 + 1 •师资 +u
• 一个学生的期末成绩不仅决定于师资，还 决定于其他多种因素：
成绩= 0 + 1 •师资 + 2 •心理+ 3 •方法+ 4 • 内在能力+ 5 •家庭+6 •早恋+u
1
本章大纲
• 1. 为什麽使用多元回归 Motivation for Multiple Regression
• 2. 普通最小二乘法的操作和解释 Mechanics and Interpretation of Ordinary Least Squares
• 3. OLS估计量的期望值 The Expected Values of the OLS Estimators
• 多元回归模型由于可以控制更多地揭示变量，因 此，可以解释更多的因变量变动。
12
为什么使用多元回归？ 3. 表达更多的函数关系
• 多元回归模型，可以包含多个解释变量， 因此，可以利用变量的函数变换，在模型 中表达多种函数关系。
• 因此，多元线性回归模型，是实证分析中 应用最广泛的分析工具。
13
为什么使用多元回归模型？ 例1: 教育对工资的影响
• 教育educ对工资wage的影响 • 一个简单回归模型:
Wage= 0 + 1 • educ +u
• 然而，上述工资方程中，许多影响工资，同时又与教 育年限相关的变量，被包含于误差项u中，如劳动力 市场经验等。一方面，他们影响工资，但又不同于教 育，故包含于u中。另一方面，他们又与教育相关。 如教育年限越长，则参与劳动市场的时间就相对越短。 因此，零值条件期望假定不成立，会导致OLS估计量
^1 有偏。
14
例1: 教育对工资的影响
• 一个策略就是，最好能够将这些与教育相关的变 量找出来，放在模型中，进行控制。
• 一个多元回归模型：
Wage= 0 + 1 • educ + 2 • exper+ u
• wage: 工资对数；educ: 教育年限; exper: 劳动 力市场经验(年)。
• 在此例中，劳动力市场经验exper，由于与感兴趣 变量教育educ相关，ห้องสมุดไป่ตู้被从误差项u中取出。
第2章内容回顾
• 1. Definition of the Simple Regression Model 简单回归模型的定义
• 2. Deriving the Ordinary Least Squares Estimates 推导普通最小二乘估计量
• 3. Mechanics of OLS OLS相关的代数性质
• 如果影响y的其它因素，与x1不相关，则改变x1，可以确保
u(均值)不变，从而识别出在其它条件不变情况下x对y的影响。 • 不幸的是，影响y的其它因素(包含在u中)，往往与x1相关：改
变x1，u(均值)也往往发生变化，从而使得仅仅利用简单回归
模型，无法识别出在其它条件不变情况下x1对y的影响。
10
• 多元回归模型能容许很多解释变量，而这些变量可以是相关的。 • 在使用非实验数据时，多元回归模型对推断y与解释变量x间的因
果关系很重要。
11
为什么使用多元回归？ 2. 更好地预测
• 一个变量y的变化，不仅与一种因素有关，可能 决定于许多因素。
• 预测一个变量的变化，往往需要尽可能多地知道 影响该变量变化的因素。
为什么使用多元回归？ 1. 控制更多的因素
• 一个策略就是，将与x1相关的其他因素从误差项u中取出来，放在 方程里，作为新的解释变量，这就构成多元回归模型。
• 多元回归分析可以明确地控制许多其它同时影响因变量的因素，
而不是放在不可观测的误差项中，故多元回归分析更适合于其它 条件不变情况下（ceteris paribus）的特定因素x对y的影响。
• 4. Unites of Measurement and Functional Form 测量单位和函数形式
• 5. Expected Values and Variances of the OLS estimators OLS估计量的期望值和方差
• 6. Regression through the Origin 过原点的回归
8
2. 为什么使用多元回归模型？
9
为什么使用多元回归？ 1. 为获得其它因素不变的效应，控制更多的因素
• 在实证工作中使用简单回归模型,首要的困难在于：要得到在 其它因素不变的情况下， x1对y的影响(ceteris paribus effect)， 非常困难。
• 在简单线性回归中，是否能够获得在其它条件不变情况下， x1对y的影响(ceteris paribus effects of x on y)，完全取决于 零值条件期望假设是否符合现实。
3
1. 多元线性回归模型结构：
4
多元线性回归模型结构： 含有k个自变量的模型
• 多元线性回归模型一般可以写作：
y 0 1x1 2 x2 L k xk u
• x1…xk，k=2,…K，多个解释变量。
5
多元回归模型的结构
• 0 仍是截距(intercept)
• 1到k仍然都称为斜率参数(slope
• 4. OLS估计量的方差 The Variance of the OLS Estimators
• 5. OLS的有效性：高斯－马尔科夫定理 Efficiency of OLS: The Gauss-Markov Theorem
2
本课大纲
• 1. 多元回归模型的结构 • 2. 为什么使用多元回归 • 3.多元回归模型中的零值条件期望假定 • 4.多元回归模型的OLS 估计及代数性质 • 5.解释多元回归模型参数 • 6. 简单回归模型与多元回归模型的比较
parameters)
• u仍是误差项(或干扰项) ( error term (or disturbance) )：除了x1…xk之外，影响y的 其他因素。
6
多元回归模型的结构
因变量
被解释 变量 响应 变量
被预测 变量
回归子
自变量
解释 变量 控制 变量 预测元变 量
回归元
7
多元回归模型的结构
• 线性： • 参数线性：对于回归模型参数是线性的。
15
例2：预测高考成绩
• 预测高考成绩： • 一个简单模型：
成绩= 0 + 1 •师资 +u
• 一个学生的期末成绩不仅决定于师资，还 决定于其他多种因素：
成绩= 0 + 1 •师资 + 2 •心理+ 3 •方法+ 4 • 内在能力+ 5 •家庭+6 •早恋+u
1
本章大纲
• 1. 为什麽使用多元回归 Motivation for Multiple Regression
• 2. 普通最小二乘法的操作和解释 Mechanics and Interpretation of Ordinary Least Squares
• 3. OLS估计量的期望值 The Expected Values of the OLS Estimators