2019年第三章多元线性回归分析4.ppt

参数解释：
1
在x2不变的条件下，x1每增加一个单位 ，y平均增加（或减少） 1 个单位
在x1不变的条件下，x2每增加一个单位 ，y平均增加（或减少） 2 个单位
2
也叫做偏回归参数。
（2）随机误差向 u
随机误差项主要包括下列因素的影响： 在解释变量中被忽略的因素的影响； 变量观测值的观测误差的影响； 模型关系的设定误差的影响； 其他随机因素的影响；
很明显，工作经历，个人能力等对工资的影 响也相当重要
（2） 巴特勒公司面临的问题

（2）
模型假设
ቤተ መጻሕፍቲ ባይዱ
y 0 1 x
采用最小二乘法估计，得到估计方程：
ˆ 1.27 0.0678x y
F=15381 ,p(F)=0.004 R2=0.664 在0.05的水平下，方程显著。且司机每天行驶时 间变异性的62.4%可被行驶英里数的线性影响解 释。 问如果管理人员希望知道剩余的变异主要由谁 决定的，该如何办 ？-------增加第二个自变量
选择运输货物的次数x2,数据见15-2
模型设定为：
y 0 1x1 2 x2
二元回归模型
估计方程为：
ˆ 0.869 0.061x1 0.923x2 y
二、多元回归模型
1. 基本概念 假定因变量y 与K个字变量x1，x2……xk 之间的回归关系可用线性函数来近似反映， 多元线性总体回归模型的一半形式为：
第三章 多元线性回归分析
第一节
多元线性回归模型 第二节 最小二乘参数估计及性 质 第三节回归方程的统计检验 第四节回归中注意的一些问题 第五节 预测与案例分析
第一节
多元线性回归模型
一、问题的提出

1.问题的提出 现实生活中引起被解释变量变化的因素并非仅只一 个解释变量，可能有很多个解释变量。 例如，产出往往受各种投入要素——资本、劳动、 技术等的影响；销售额往往受价格和公司对广告费 的投入的影响等。 所以在一元线性模型的基础上，提出多元线性模 型——解释变量个数≥ 2
1 Y1 X 1n Y2 X kn Yn
即:
由于X’X满秩，故有
ˆ X Y (X X) β
ˆ ( X X) 1 X Y β
例题3.1
某地区通过一个样本容量为722的调查数据得 到劳动力受教育的一个回归方程为 edu 10.36 0.094sibs 0.131 medu 0.210 fedu ， R2=0.214

对参数如何解释？

首先β0＝1.29是在x1=0.x2=0时y的预测值 由于无人能在高中平均成绩为0及能力测验为0的情形 下进入大学，所以截距β0本身无意义。 β1 ＝0.453，表明二者之间存在局部正相关： 保持x2不变，如果x1提高1分，则大学平均成绩y平均 会提高0.453分（注） β2 ＝0.0094，虽然表明二者之间也存在局部正相关； 且保持x1不变时，如果x2提高1分，大学平均成绩y平 均会提高0. 0094分，但由于该值很小，说明与x1相比， 其对大学成绩的影响很小，几乎可以忽略。（后面会 用统计手段检验该系数不显著）
第二节
最小二乘参数估计及性质
1.最小二乘估计 对于随机抽取的n组观测值 (Y , X 如果参数估计值已经得到，则
i
ji
), i 1,2, , n, j 0,1,2, k
ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki Ki
回归残差平方和 ˆ ˆ X ˆ X Q i2 Yi 0 1 1i K Ki

式中，edu为劳动力受教育年数，sibs为该劳动力家庭中兄 弟姐妹的个数，medu与fedu分别为母亲与父亲受到教育的年 数。 （1）请对sibs与medu的系数给予适当的解释。 （2）如果两个劳动力都没有兄弟姐妹，但其中一个的父母 受教育的年数为12年，另一个的父母受教育的年数为16年， 则两人受教育的年数预期相差多少？
残差
ˆi i yi y
i 0, 则意味着yi 被预测过低， i 0, 则意味着yi 被预测过高。


2.例子说明： （1）工资＆教育模型

考虑一个人工资水平(元/小时)与其可测教育水平(年 数)及其他非观测因素的关系.
wage 0 1educ u
β1度量了在其他条件不变情况下每增加一年教育所获得的 小时工资增长量，其他非观测因素则包括工作经历，天生的 素质，供职时间以及其他因素。 在这里假设u与educ无关。 也即假设工作经历与教育水平无关，但事实上真如此吗 ？
-----------样本（经验）回归方程
2.几点说明： （1）总体回归方程参数的解释：二元为例
E（y / x） 0 1x1 2 x2
0 是在x1=0,x2=0时y的拟合值，虽然x1,x2都为0是一个有意
1
的解释： E( y / x) 1x1 2 x 2 义的情况，但在多数情况下都没有什么意义，但为了得 到y的预测值，总是需要截距项。


2
i
i
根据最小二乘原理，参数估计值应该是下列方程组的解
Q0 ˆ 0 Q0 ˆ 1 ˆ Q0 2 Q0 ˆ k
于是得到关于待估参数估计值的正 规方程
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X 1i Yi X 1i ˆ ˆ ˆ X ˆ X ) X Y X ( 0 1 X 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
---------多元线性总体回归方程
特别对只有两个自变量的线性总体方程：
E（y / x1，x2 ) 0 1x1 2 x2

ˆ 假设给出了n次观察值，得到 i 的估计值 i
则称如下估计方程：
ˆ ˆ x ˆ x .... ˆx ˆ y 0 1 1 2 2 k k

(3）总体回归方程的矩阵形式 对 n组数据, 上述方程实际上包括了n个方程



y = + x + x +…+ x + u , y = + x + x +…+ x + u , ……….. yn = + x + x +…+ x + u
1 0 1 11 2 21 k k1 1 2 0 1 12 2 22 k k2 2 0 1 1n 2 2n k k n n
进一步可写成矩阵形式
y 1 1 y 1 2 1 yn
X X

11 12
X X

21 22
X
1n
X
2n
X k1 0 u1 X k 2 1 u 2 2 X kn u n k
y 0 1 x1 2 x2 .... k xk u
y 0，1， ......k
是k+1个总体回归 参数,
y是可观测的被解释变量,μ是不可测的随机误差 Y的条件数学期望为：
E（y / x) 0 1 x1 2 x2 .... k xk


2. 参数估计量的性质
（1）线性性
（2）无偏性 （3） 最小方差性
（1）线性性

估计量都是被解释变量观测值的线性组合
ˆ ( X X) 1 X Y CY β
（2）无偏性
ˆ) E(
（3）有效性（最小方差性）
高斯—马尔可夫定理:
若前述假定条件成立，OLS估计量是最佳线性 无偏估计量。
给定x1与x2 的变化，可以预测y的变化，特别当x2的变化 为0时 即 x 2 0 ，有
E（y / x) 1x1

1 E（y / x) / x1
在其他条件不变下的影响，x1每增加一 个单位，y平均增加（或减少） 1 个 单位，这正是多元回归分析如此有用 的原因所在。
2 E（y / x) / x2 类似地 x1 0 ，
X
1n
X
2n
k2 X kn
k1


u1 U u2 un
三、模型的假设

为保证得到最优估计量，回归模型应满足如 下假定条件。
1) Eui 0 对任意 i 都成立 2 V u i u 即所有随机误差项的方差都相等 2) 3)不同期的两个随机误差项彼此不相关,即
简化为 Y X U 其中
y 1 y Y 2 y n 0 1 B 2 k 1 1 X 1
X X

11 12
X X

21 22

X X
3.拟合值与残差

ˆ ˆ x ˆ x ........ ˆ x ˆ 得到样本回归方程 y 0 1 1 2 2 k k

对每次观察值都能得到一个拟合值或预测 值，对观察i, 其拟合值为：
ˆ ˆ x ˆ x ........ ˆx ˆi y 0 1 1i 2 2i k ki

i j

cov ui , u j 0


4) 解释变量与随机误差项不相关,即 cov(x j , ui ) 0 5)解释变量都是确定性的而非随机变量，且 解释变量之间不存在线性关系(无多重共线 性性) 2 N ( 0 , u ) 6)随即误差项服从正态分布,
--------符合基本假定的多元线性回归模型称为标准的多元线性回归模型。
正规方程组的矩阵形式
n X 1i X ki
X X

1i 2 1i

X X X
ki
X
ki
X 1i
ˆ 1 1 0 ˆ X 12 1i ki 1 X 11 2 ˆ X ki k X k1 X k 2

（2）首先计算两人受教育的年数分别为 10.36+0.13112+0.21012=14.452和 10.36+0.13116+0.21016=15.816，因此， 两人的受教育年限的差别为 15.816-14.452=1.364

例3.2 大学平均成绩决定模型
为了研究高中平均成绩（x1)及大学能力测验 分数(x2)对大学学生平均成绩（y）的影响， 从一所规模较大的大学抽取调查了141名学生， 得到如下oLs估计的回归模型： y=1.29+0.453x1+0.0094x2
（1）预期sibs对劳动者受教育的年数有影响。 在收入及支出预算约束一定的条件下，子女越 多的家庭，每个孩子接受教育的时间会越短。 根据多元回归模型偏回归系数的含义，sibs前 的参数估计值-0.094表明，在其他条件不变的 情况下，每增加1个兄弟姐妹，受教育年数平 均会减少0.094年， medu的系数表示当兄弟姐妹数与父亲受教育 的年数保持不变时，母亲每增加1年受教育的 机会，其子女作为劳动者就会预期增加0.131 年的教育机会。