第六讲 多元线性回归模型的参数估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
注意：模型中的 j （j=1,2,---k）是偏回归系数
样本容量为n
偏回归系数：
控制其它解释量不变的条件下，第j个解释变量的单 位变动对被解释变量平均值的影响，即对Y平均值“直接”
或“净”的影响。 7
多元线性回归中的“线性”
指对各个回归系数而言是“线性”的，对变量则 可以是线性的，也可以是非线性的
或回归剩余（残差）： ei Yi Yˆ i
Yi ˆ 0 ˆ1 X1i ˆ 2 X 2i L ˆ k X ki ei
其中 i 1, 2,L n
10
二、多元线性回归模型的矩阵表示
多个解释变量的多元线性回归模型的n组样本观测值，可
表示为
Y1 1 2 X 21 3 X 31 k X k1 u1 Y2 1 2 X 22 3 X 32 k X k 2 u2
5
第三章多元线性回归 主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
6
一、多元线性回归模型的基本概念
一般形式：对于有K-1个解释变量的线性回归模型
Yi 0 1X1i 2 X 2i L k X ki ui
(i 1, 2,L n)
中国社会科学院《中国汽车社会发展报告2012-2013》 显示，中国国内汽车产销量已近2000万辆。从2000年开 始，中国汽车市场进入到黄金10年。汽车保有量从1600 万辆攀升到1亿多辆。2010年成为全球第一大汽车市场， 中国的汽车保有量已经超过日本，成为仅低于美国的世界 第二大汽车保有国。业内预计，2020年我国汽车保有量 将突破2亿辆。
三、多元线性回归模型的基本假定
假定1：零均值假定
E(ui ) 0 （ i=1，2，---n） 或 E(u)=0
假定2和假定3：同方差和无自相关假定：
2
Cov(ui , u j ) E[(ui Eui )(u j Eu j )] E(uiu j ) 0
(i=j) (i≠j)
或用方差-协方差矩阵表示为:
例如：生产函数
Y AL K u
取对数
ln Y ln A ln L ln K ln u
这也是多元线性回归模型，只是这时变量为lnY、 lnL、lnK
8
多元总体回归函数
条件期望表现形式：
将Y的总体条件期望表示为多个解释变量的函数，如:
E(Yi X1i , X2i ,L Xki ) 0 1X2i 2 X3i L k Xki (i 1, 2,L n)
是什么因素导致中国汽车数量的增长? 影响中国汽车行业发展的因素并不是单一的，经济增 长、消费趋势、市场行情、业界心态、能源价格、道路发 展、内外环境，都会使中国汽车行业面临机遇和挑战。
4
怎样分析多种因素的影响？
分析中国汽车行业未来的趋势，应具体分析这样一些问题： ➢ 中国汽车市场发展的状况如何？（用销售量观测） ➢ 影响中国汽车销量的主要因素是什么？
（如收入、价格、费用、道路状况、能源、政策环境等）
➢ 各种因素对汽车销量影响的性质怎样？（正、负） ➢ 各种因素影响汽车销量的具体数量关系是什么？ ➢ 所得到的数量结论是否可靠？ ➢ 中国汽车行业今后的发展前景怎样？应当如何制定汽车
的产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展， 还需要寻求有更多个解释变量情况的回归分析方法。
M M M M M M
L
E
(unun
)
0 0 L 1
14
假定4：随机扰动项与解释变量不相关
Cov( X ji , ui ) 0
( j 1, 2,L , k)
假定5: 无多重共线性假定 (多元中增加的)
假定各解释变量之间不存在线性关系，或各个解
释变量观测值之间线性无关。或解释变量观测值
矩阵X的秩为K(注意X为n行K列)。
练习
亚洲各国人均寿命（Y）、人均GDP （X1）、成人识字率（X2）、一岁儿童疫 苗接种率（X3）数据
1.填空 2.写出样本回归函数 3.分析各国人均寿命与人均GDP、成 人识字率、一岁儿童疫苗接种率的数 量关系 4.对所建回归模型进行检验
第六讲 多元线性回归模型的参数估计
引子:中国已成为世界汽车产销第一大国
注意：这时Y总体条件期望的轨迹是K维空间的一条线 个别值表现形式： 引入随机扰动项 ui Yi E(Yi X1i , X2i L Xki )
或表示为 Yi 0 1X1i 2 X 2i L k X ki ui
(i 1, 2,L n)
9
多元样本回归函数
Y 的样本条件均值可表示为多个解释变量的函数 Yˆi ˆ 0 ˆ1 X1i ˆ 2 X 2i L ˆ k X ki
样本回归函数 Yˆ = Xβˆ 或 Y = Xβˆ + e
其中： Y,Yˆ,u,e 都是有n个元素的列向量
β, βˆ 是有k 个 元素的列向量
（ k = 解释变量个数 + 1 ）
X 是第一列为1的n×k阶解释变量数据矩阵 ，
(截距项可视为解释变量总是取值为1）
12
多元线性回归模型与回归方程的表达式
Cov(ui , u j ) E{[ui E(ui )][u j E(u j )]} E(uu) (i 1, 2,L n j 1, 2,L n)
E(u1u1)
E
(u2u1
)
M
E(unu1
)
E(u1u2 ) E(u2u2 )
M E(unu2 )
L E(u1un ) 1 0 L 0
L E(u2un ) 2 0 1 L 0 2I
Yn 1 2 X 2n 3 X 3n k X kn un
用矩阵表示
Y1 1 X 21
Y2
1
X 22
Yn
1 X 2n
Y
X
n 1
nk
X k1 1 u1
X
k
2
2
u
2
X
kn
wk.baidu.com
k
un
βu
k 1 n1
11 11
矩阵表示方式
总体回归函数 E(Y) = Xβ 或 Y = Xβ + u
Ran(X)= k+1 即 (X'X) 可逆 假定6:正态性假定
Ran(X'X)=k+1
ui ~ N (0, 2 )
u ~ N (0, 2I)
15
四、多元线性回归模型的估计
普通最小二乘法（OLS）
原则：寻求剩余平方和最小的参数估计式 min : ei2 (Yi Yˆi )2
样本容量为n
偏回归系数：
控制其它解释量不变的条件下，第j个解释变量的单 位变动对被解释变量平均值的影响，即对Y平均值“直接”
或“净”的影响。 7
多元线性回归中的“线性”
指对各个回归系数而言是“线性”的，对变量则 可以是线性的，也可以是非线性的
或回归剩余（残差）： ei Yi Yˆ i
Yi ˆ 0 ˆ1 X1i ˆ 2 X 2i L ˆ k X ki ei
其中 i 1, 2,L n
10
二、多元线性回归模型的矩阵表示
多个解释变量的多元线性回归模型的n组样本观测值，可
表示为
Y1 1 2 X 21 3 X 31 k X k1 u1 Y2 1 2 X 22 3 X 32 k X k 2 u2
5
第三章多元线性回归 主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
6
一、多元线性回归模型的基本概念
一般形式：对于有K-1个解释变量的线性回归模型
Yi 0 1X1i 2 X 2i L k X ki ui
(i 1, 2,L n)
中国社会科学院《中国汽车社会发展报告2012-2013》 显示，中国国内汽车产销量已近2000万辆。从2000年开 始，中国汽车市场进入到黄金10年。汽车保有量从1600 万辆攀升到1亿多辆。2010年成为全球第一大汽车市场， 中国的汽车保有量已经超过日本，成为仅低于美国的世界 第二大汽车保有国。业内预计，2020年我国汽车保有量 将突破2亿辆。
三、多元线性回归模型的基本假定
假定1：零均值假定
E(ui ) 0 （ i=1，2，---n） 或 E(u)=0
假定2和假定3：同方差和无自相关假定：
2
Cov(ui , u j ) E[(ui Eui )(u j Eu j )] E(uiu j ) 0
(i=j) (i≠j)
或用方差-协方差矩阵表示为:
例如：生产函数
Y AL K u
取对数
ln Y ln A ln L ln K ln u
这也是多元线性回归模型，只是这时变量为lnY、 lnL、lnK
8
多元总体回归函数
条件期望表现形式：
将Y的总体条件期望表示为多个解释变量的函数，如:
E(Yi X1i , X2i ,L Xki ) 0 1X2i 2 X3i L k Xki (i 1, 2,L n)
是什么因素导致中国汽车数量的增长? 影响中国汽车行业发展的因素并不是单一的，经济增 长、消费趋势、市场行情、业界心态、能源价格、道路发 展、内外环境，都会使中国汽车行业面临机遇和挑战。
4
怎样分析多种因素的影响？
分析中国汽车行业未来的趋势，应具体分析这样一些问题： ➢ 中国汽车市场发展的状况如何？（用销售量观测） ➢ 影响中国汽车销量的主要因素是什么？
（如收入、价格、费用、道路状况、能源、政策环境等）
➢ 各种因素对汽车销量影响的性质怎样？（正、负） ➢ 各种因素影响汽车销量的具体数量关系是什么？ ➢ 所得到的数量结论是否可靠？ ➢ 中国汽车行业今后的发展前景怎样？应当如何制定汽车
的产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展， 还需要寻求有更多个解释变量情况的回归分析方法。
M M M M M M
L
E
(unun
)
0 0 L 1
14
假定4：随机扰动项与解释变量不相关
Cov( X ji , ui ) 0
( j 1, 2,L , k)
假定5: 无多重共线性假定 (多元中增加的)
假定各解释变量之间不存在线性关系，或各个解
释变量观测值之间线性无关。或解释变量观测值
矩阵X的秩为K(注意X为n行K列)。
练习
亚洲各国人均寿命（Y）、人均GDP （X1）、成人识字率（X2）、一岁儿童疫 苗接种率（X3）数据
1.填空 2.写出样本回归函数 3.分析各国人均寿命与人均GDP、成 人识字率、一岁儿童疫苗接种率的数 量关系 4.对所建回归模型进行检验
第六讲 多元线性回归模型的参数估计
引子:中国已成为世界汽车产销第一大国
注意：这时Y总体条件期望的轨迹是K维空间的一条线 个别值表现形式： 引入随机扰动项 ui Yi E(Yi X1i , X2i L Xki )
或表示为 Yi 0 1X1i 2 X 2i L k X ki ui
(i 1, 2,L n)
9
多元样本回归函数
Y 的样本条件均值可表示为多个解释变量的函数 Yˆi ˆ 0 ˆ1 X1i ˆ 2 X 2i L ˆ k X ki
样本回归函数 Yˆ = Xβˆ 或 Y = Xβˆ + e
其中： Y,Yˆ,u,e 都是有n个元素的列向量
β, βˆ 是有k 个 元素的列向量
（ k = 解释变量个数 + 1 ）
X 是第一列为1的n×k阶解释变量数据矩阵 ，
(截距项可视为解释变量总是取值为1）
12
多元线性回归模型与回归方程的表达式
Cov(ui , u j ) E{[ui E(ui )][u j E(u j )]} E(uu) (i 1, 2,L n j 1, 2,L n)
E(u1u1)
E
(u2u1
)
M
E(unu1
)
E(u1u2 ) E(u2u2 )
M E(unu2 )
L E(u1un ) 1 0 L 0
L E(u2un ) 2 0 1 L 0 2I
Yn 1 2 X 2n 3 X 3n k X kn un
用矩阵表示
Y1 1 X 21
Y2
1
X 22
Yn
1 X 2n
Y
X
n 1
nk
X k1 1 u1
X
k
2
2
u
2
X
kn
wk.baidu.com
k
un
βu
k 1 n1
11 11
矩阵表示方式
总体回归函数 E(Y) = Xβ 或 Y = Xβ + u
Ran(X)= k+1 即 (X'X) 可逆 假定6:正态性假定
Ran(X'X)=k+1
ui ~ N (0, 2 )
u ~ N (0, 2I)
15
四、多元线性回归模型的估计
普通最小二乘法（OLS）
原则：寻求剩余平方和最小的参数估计式 min : ei2 (Yi Yˆi )2