多元线性回归模型(6)

k个解释变量的多元线性回归模型的 个n观测
样本，可表示为
Y1 1 2 X 21 3 X31 ... k X k1 u1 Y2 1 2 X 22 3 X32 ... k X k2 u2
Yn 1 2 X 2n 3 X3n ... k X kn un
11
用矩阵表示
Y1 1
即 X可X逆
假定6：正态性假定 ui ~ N(0,σ2)
15
第二节 多元线性回归模型的估计
本节基本内容:
● 普通最小二乘法（OLS） ● OLS估计式的性质 ● OLS估计的分布性质
● 随机扰动项方差 的估2 计
● 回归系数的区间估计
16
一、普通最小二乘法（OLS）
最小二乘原则
剩余平方和最小： min ei2 (Yi -Yˆi)2
1 X 22
X kiei
X
k1
Xk2
1 e1
0
X
2n
e2
=
XБайду номын сангаас
e
=
0
X
kn
en
0
X
e
因为样本回归函数为 Y = Xβˆ + e
两边乘 X有 ：
X Y = X Xβˆ + X e
因为 Xe，= 0则正规方程为：
X Xβˆ = X Y
19
OLS估计式
由正规方程 多元回归中 二元回归中
或取固定值的矩阵
2.无偏特性:
E(βˆk ) βk
21
3. 最小方差特性
在 βk所有的线性无偏估计中，OLS估计 β具ˆk 有
最小方差
结论：在古典假定下，多元线性回归的 OLS估计 式是最佳线性无偏估计式（BLUE）
22
三、OLS估计的分布性质
基本思想 ●行区βˆ间是i 估随计机和变假量设，检必验须确定其分布性质才可能进
26
五、回归系数的区间估计
由于
t*
=
βˆ j - β
^
SE(
βˆ
j
j
)
=
βˆ j σˆ
- βj c jj
~ t(n - k)
给定 ，查t分布表的自由度为 n的临k 界值 t 2 (n - k)
P[-tα
2
(n
-
k)
t*
βˆ j - β j
^
SE(
βˆ
j
)
tα
2
(n
-
k )]
1-
α
( j 1,..., k)
因 2是未知的，可用 ˆ 2代替 2去估计参数 βˆ的标
准误差:
● 当为大样本时，用估计的参数标准误差对 βˆ作标
准化变换，所得Z统计量仍可视为服从正态分布
●当为小样本时，用估计的参数标准误差对 βˆ 作标
准化变换，所得的t统计量服从t分布：
t
βˆk - βk
^
~ t(n - k)
SE( βˆk )
例如:有两个解释变量的电力消费模型
Yi 1 2 X 2 3 X3 ui
其中: Yi为各地区电力消费量； X为2 各地区国内生产总值（GDP）； X为3 各地区电力价格变动。
模型中参数的意义是什么呢?
6
多元线性回归模型的一般形式
一般形式：对于有 k个解释变量的线性回归模型
Yi 1 2 X 2i 3 X 3i ... k X ki ui
修正的可决系数 R2与可决系数 R2的关系：
2
R
1- (1-
R2 )
n -1
n-k
特点
可决系数 R2必定非负，但修正的可决系数 R2 可能为负值，这时规定 R2 0
33
二、回归方程显著性检验（F检验
基本思想
在多元回归中有多个解释变量，需要说明所有解 释变量联合起来对应变量影响的总显著性,或整个 方程总的联合显著性。对方程总显著性检验需要 在方差分析的基础上进行F检验。
ˆ3 (
yi x3i )( x22i ) - ( yi x2i )( x2i x3i ) ( x22i )( x32i ) - ( x2i x3i )2
注意： x 和 y为 X,Y 的离差
20
二、OLS估计式的性质
OLS估计式
1.线性特征:
βˆ = (X X)-1 X Y
是 的βˆ线性Y函数，因 是非( X随X机)-1 X
27
第三节 多元线性回归模型的检验
本节基本内容:
●多元回归的拟合优度检验 ●回归方程的显著性检验（F检验） ●各回归系数的显著性检验（t检验）
28
一、多元回归的拟合优度检验
多重可决系数：在多元回归模型中，由各个解释变量联合
解释了的 Y的变差，在 的Y 总变差中占的比重，用 表R2
示
与简单线性回归中可决系数 R的2 区别只是 不Yˆ同i ，多元
i 1
自由度为 n -1
解释了的变差 ESS (Yˆi -Y )2＝ yi2 自由度为 k -1 剩余平方和RSS (Yi -Yˆi )2 ei2 自由度为 n- k
修正的可决系数为
2
R 1-
ei2 (n - k) 1- n -1
ei2
yi2 (n -1)
n - k yi2
32
min ei2 [Yi - (ˆ1 ˆ2X2i ˆ3X3i ... ˆk Xki )]2
求偏导,令其为0:
( ei2 )
ˆ j
0
17
即
-2 Yi - (ˆ1 ˆ2 X2i ˆ3X3i ... ˆki Xki ) 0 -2 X2i Yi - (ˆ1 ˆ2X2i ˆ3X3i ... ˆki Xki ) 0
故有：βˆ j ~ N(βj ,σ2cjj ) j 1, 2,..., k
24
四、随机扰动项方差 2的估计
多元回归中 σ的2 无偏估计为：
σˆ或2 表示e为i2
n-k
σˆ2 ee
n-k
将 作βˆk标准化变换：
zk
βˆk - βk SE( βˆk )
βˆk σ
- βk c jj
~
N (0,1)
25
模型中参数 j ( j 1, 2,..., k是) 偏回归系数，样本容量
为n
偏回归系数：控制其它解释量不变的条件下，第
j 个解释变量的单位变动对应变量平均值的影响。
7
多元线性回归
指对各个回归系数而言是“线性”的，对变量则 可是线性的，也可是非线性的 例如：生产函数
Y AL K u
取自然对数
假定4：随机扰动项与解释变量不相关
2 i= j
0 (i j)
Cov(X ji,ui ) 0 j 2,3, , k
14
假定5:无多重共线性假定 (多元中) 假定各解释变量之间不存在线性关系，或各个
解释变量观测值之间线性无关。或解释变量观
测值矩阵X列满秩( 列k)。
Rank(X ) k Rank(XX ) K
R2
ESS TSS
βˆ XY - nY 2 Y Y - nY 2
可以证明：R2 βˆ 2 x2i yi βˆ3 x3i yi ... βˆ k xki yi
特点：
yi2
多重可决系数是模型中解释变量个数的不减函数，
这给对比不同模型的多重可决系数带来缺陷，所以
需要修正。
30
修正的可决系数
中国经济的快速发展，使居民收入不断增加，数以百万 计的中国人开始得以实现拥有汽车的梦想，中国也成为世界 上成长最快的汽车市场。
中国交通部副部长在中国交通可持续发展论坛上做出预 测 :“2020年，中国的民用汽车保有量将比2003年的数字 增长６倍，达到1.4亿辆左右”。
是什么因素导致中国汽车数量的增长? 影响中国汽车行业发展的因素并不是单一的，经济增长、 消费趋势、市场行情、业界心态、能源价格、道路发展、内 外环境，都会使中国汽车行业面临机遇和挑战。
3
第三章 多元线性回归模型
本章主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
4
第一节 多元线性回归模型及古典假定
本节基本内容:
一、多元线性回归模型的意义 二、多元线性回归模型的矩阵表示 三、多元线性回归中的基本假定
5
一、多元线性回归模型的意义
P[ βˆ j - tα
^
SE
(
βˆ
j
)
βj
βˆ j
tα
^
SE(
βˆ
j
)]
1
-
α
或:
2
2
P[ βˆ j - tα σˆ c jj β j βˆ j tα σˆ c jj ] 1- α
2
2
或表示为: β j ( βˆ j - t 2(n-k)σˆ cjj , βˆ j t 2(n-k)σˆ cjj )
回归中 Yˆi = βˆ1+ βˆ2 X 2i + βˆ 3 X 3i + ...+ βˆ k X ki
多重可决系数也可表示为
R2 ESS TSS
(Yˆi -Y )2 (Yi -Y )2
TSS - RSS TSS
1-
ei2 yi2
29
多重可决系数的矩阵表示
TSS Y Y nY 2
ESS βˆ X Y - nY 2
思想
可决系数只涉及变差，没有考虑自由度。如果用 自由度去校正所计算的变差，可纠正解释变量个 数不同引起的对比困难。
自由度
统计量的自由度指可自由变化的样本观测值个数， 它等于所用样本观测值的个数减去对观测值的约 束个数。
31
可决系数的修正方法
n
n
总变差 TSS (Yi Y )2 Yi2
i 1
Y2
1
Yn
1
Y
n1
X 21 X 22
X 2n
X
nk
X k1 β1 u1
X
k
2
β2
u2Y
X
kn
βk
un
βu
k 1 n1
12
总体回归函数 E(Y) = Xβ 或 Y = Xβ + u
样本回归函数 Yˆ = Xβˆ
或 Y = Xβˆ + e
其中：Y,Yˆ,u,e 都是有n 个元素的列向量
9
多元样本回归函数
Y的样本条件均值表示为多个解释变量的函数
或 其中
Yˆi ˆ1 ˆ2X2i ˆ3X3i ... ˆk Xki Yi ˆ1 ˆ2X2i ˆ3X3i ... ˆk Xki ei
i 1,2,, n
回归剩余（残差）： ei Yi -Yˆi
10
二、多元线性回归模型的矩阵表 示
lnY ln A ln L ln K ln u
8
多元总体回归函数
Y的总体条件均值表示为多个解释变量的函数
E(Yi X2i , X3i ,..., Xki ) 1 2 X2i 3X3i ... k Xki
总体回归函数也可表示为:
Yi 1 2 X2i 3X3i ... k Xki ui
ei 0 X2iei 0
-2 Xki Yi - (ˆ1 ˆ2X2i ˆ3X3i ... ˆki Xki ) 0
Xkiei 0
注意到 Yi - (ˆ1 ˆ2 X2i ˆ3X3i ... ˆki Xki ) ei
18
用矩阵表示
ei X 2i ...
ei
=
1 X 21
34
1.什么是传统机械按键设计？
传统的机械按键设计是需要手动按压按键触动PCBA上的开关按键来实现功 能的一种设计方式。
传统机械按键结构层图：
按键
PCBA
开关键
传统机械按键设计要点：
● u是i 服从正态分布的随机变量, 决定了
从正态分布的随机变量
也Y是i 服
● β是ˆi 的Y线i 性函数，决定了 也是βˆi 服从正态分布
的随机变量
23
β的ˆ 期望 E(βˆ)(由β无偏性)
的βˆ方差和标准误差： 可以证明 的βˆ方差-协方差矩阵为
Var - Cov(βˆ) σ2(X X )-1 Var(βˆ j ) σ2cjj SE(βˆ j ) σ cjj 这里是 c矩jj 阵 ( X 中X )第-1 行第j 列的j元素
由于存在随机扰动的影响的平均值并不等于的个别值为了对的个别值作区间预测需要寻找与预测值和个别值有关的统计量并要明确其概率分布已知剩余项是与预测值和个别值都有关的变量并且已知服从正态分布且可证明当用代替因此多元回归时的个别值的置信度52案例
计量经济学
第三章 多元线性回归模型
1
引子:
中国汽车的保有量会达到1.4亿辆吗 ?
β, βˆ 是有 k 个元素的列向量
X 是第一列为1的 nk 阶解释变量
数据矩阵 (截距项可视为解释变量
取值为1)
13
三、多元线性回归中的基本假 定
假定1：零均值假定 E(ui ) 0 ( i 1, 2, , n)
或
E(u) = 0
假定2和假定3：同方差和无自相关假定
Cov(ui,uj ) E[(ui - Eui )(uj - Eu j )] E(uiu j )
X Xβˆ = X Y ( X X )kk 是满秩矩阵,其逆存在
βˆ = (X X)-1 X Y
ˆ1 Y - βˆ2 X2 - βˆ3X3
ˆ2 (
yi x2i )( x32i ) - ( yi x3i )( x2i x3i ) ( x22i )( x32i ) - ( x2i x3i )2
2
怎样分析多种因素的影响？
分析中国汽车行业未来的趋势,应具体分析这样一些问题： 中国汽车市场发展的状况如何？（用销售量观测） 影响中国汽车销量的主要因素是什么？
（如收入、价格、费用、道路状况、能源、政策环境等）
各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的 产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。