多元线性回归模型 ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
由于习惯上把常数项看成为一个虚变量的系数，在 参数估计过程中该虚变量的样本观测值始终取1。这 样，模型中解释变量的数目为（K+1）。
ui 代表众多影响变化的微小因素。
3
Yi 0 1X1i 2 X 2i k X ki ui
经济意义：X ji 是Yi 的重要解释变量。 j 可以解释为
第二章 多元线性回归模型
1
第一节 第二节 第三节 第四节 第五节 第六节
多元线性回归模型及假定 多元线性回归模型的参数估计 多元线性回归模型的检验 多元线性回归模型的置信区间 可线性化的非线性回归模型 受约束回归
2
第一节 多元线性回归模型及假定
一、多元线性回归模型
其一般形式为：
Yi 0 1X1i 2 X 2i k X ki ui i 1,2,,n
2 X 22
k Xk2
u2
多元线性回归Y模n 型 表0示的1nX个1n随 机2方X 2程n 的矩阵表k X达k式n 为un：
Y X u
其中，
Y1
1 X11 X 21 X k1
0
u1
Y
Y2
X
1
Y2
0
1 X 12
2 X 22
k Xk2
u2
Yn 0 1X1n 2 X 2n k X kn un
5
Y1 0 1X11 2 X 21 k X k1 u1
Y2
0
1 X12
0
0
2In
2
11
假定4：随机干扰项服从正态分布。即
ui ~ N (0, 2 ) i 1,2,, n
用矩阵形式表示
u ~ N (0, 2I )
12
假定5：正确设定回归模型。 与一元回归模型一样，多元回归模型的正确设定也 有三个方面的要求： 1.选择正确的变量进入模型； 2.对模型的形式进行正确的设定；3.对模型的解释 变量被解释变量及随机干扰项做了正确的假定。 上述假定条件称为多元线性回归模型的经典假定。
Cov(ui ,u j ) E(ui ,u j ) 0, i j, i, j 1,2,, n
用矩阵形式表示 随机干扰项的方差—协方差矩阵
u1
E(uu)
E
来自百度文库
u2
u1
u2
un
2 0
un
0
2
0 0
8
假定2：随机干扰项与解释变量之间不相关。
Cov(ui , X ji ) 0 j 1,2,,k;i 1,2,,n
这个假定说明 Xji与随机干扰项ui相互独立，互不相
关，它们对被解释变量Yi的影响同样也是独立的。
用矩阵表示为
1 X11 X 21 E( X u) E 1 X12 X 22
Y X ˆ e
多元线性样本回归函数的矩阵表达式分别为
Yˆ X ˆ
ˆ ˆ0 ˆ1
e e1 e2
ˆk
(
k
为回归系数估计值向量
1)1
en
n1
为模型的残差向量
7
二、多元线性回归模型的若干经典假定
假定1：解释变量是非随机的，即在重复抽样中， 解释变量 X1i , X 2i ,, X ki 取固定值，且相互之间互不 相关。这表明模型中的解释变量和随机干扰项对被 解释变量的影响是完全独立的。
13
第二节 多元线性回归模型的参数估计
一、 普通最小二乘法
(一) 普通最小二乘估计
对于多元线性回归模型，利用最小二乘法估计模 型的参数，同样应该使残差平方和达到最小，即 RSS :Q ei2 (Yi Yˆi )2 (Yi ˆ0 ˆ1X1i ˆ2X2i ˆk Xki )2 取最小值。
在其他因素（变量）不变的条件下，变量 X j 每变
动一个单位，因变量变动 j 个单位。
4
当给定一个样本(Yi , X1i , X 2i ,, X ki), i 1,2,, n 时，上 述模型表示为
Y1 0 1X11 2 X 21 k X k1 u1
2(Yi ˆ0 ˆ1X1i ˆ2 X 2i
ˆk X ki )(1) 2 ei 0 ˆk X ki )( X1i ) 2 ei X1i 0
根据多元函数的极值原理，Q 分别对ˆ0, ˆ1, ˆ2,, ˆk
求一阶偏导数，并令其为零。
14
即：Qˆj 0, j 0,1, 2, , k 得到下列方程组：
2(Yi 2(Yi
ˆ0 ˆ0
ˆ1 X1i ˆ1 X1i
ˆ2 X 2i ˆ X 2i
E(ui ) 0 i 1,2,,n 用矩阵形式表示
u1 E(u1)
E(u)
E
u2
E
(u2
)
0
un
E
(un
)
10
假定3：随机干扰项服从零均值，同方差，零协方差。 E(ui ) 0 i 1,2,,n
Var (ui ) E(ui2 ) 2, i 1,2,, n
X12
X 22
X
k
2
1
u
u2
Yn
n1
1 X1n
X2n
X
kn
n(
k 1)
k
(
k
1)1
un
n1
6
多元总体回归函数可用矩阵形式表示为
E(Y X ) X
多元线性样本回归模型的矩阵表达式为
1 X1n X 2n
X
k1
u1
X
k
2
u2
0
X
kn
un
9
假定3：随机干扰项服从零均值，同方差，零协方差。 E(ui ) 0 i 1,2,,n
Var (ui ) E(ui2 ) 2, i 1,2,, n
Cov(ui ,u j ) E(ui ,u j ) 0, i j, i, j 1,2,, n
ui 代表众多影响变化的微小因素。
3
Yi 0 1X1i 2 X 2i k X ki ui
经济意义：X ji 是Yi 的重要解释变量。 j 可以解释为
第二章 多元线性回归模型
1
第一节 第二节 第三节 第四节 第五节 第六节
多元线性回归模型及假定 多元线性回归模型的参数估计 多元线性回归模型的检验 多元线性回归模型的置信区间 可线性化的非线性回归模型 受约束回归
2
第一节 多元线性回归模型及假定
一、多元线性回归模型
其一般形式为：
Yi 0 1X1i 2 X 2i k X ki ui i 1,2,,n
2 X 22
k Xk2
u2
多元线性回归Y模n 型 表0示的1nX个1n随 机2方X 2程n 的矩阵表k X达k式n 为un：
Y X u
其中，
Y1
1 X11 X 21 X k1
0
u1
Y
Y2
X
1
Y2
0
1 X 12
2 X 22
k Xk2
u2
Yn 0 1X1n 2 X 2n k X kn un
5
Y1 0 1X11 2 X 21 k X k1 u1
Y2
0
1 X12
0
0
2In
2
11
假定4：随机干扰项服从正态分布。即
ui ~ N (0, 2 ) i 1,2,, n
用矩阵形式表示
u ~ N (0, 2I )
12
假定5：正确设定回归模型。 与一元回归模型一样，多元回归模型的正确设定也 有三个方面的要求： 1.选择正确的变量进入模型； 2.对模型的形式进行正确的设定；3.对模型的解释 变量被解释变量及随机干扰项做了正确的假定。 上述假定条件称为多元线性回归模型的经典假定。
Cov(ui ,u j ) E(ui ,u j ) 0, i j, i, j 1,2,, n
用矩阵形式表示 随机干扰项的方差—协方差矩阵
u1
E(uu)
E
来自百度文库
u2
u1
u2
un
2 0
un
0
2
0 0
8
假定2：随机干扰项与解释变量之间不相关。
Cov(ui , X ji ) 0 j 1,2,,k;i 1,2,,n
这个假定说明 Xji与随机干扰项ui相互独立，互不相
关，它们对被解释变量Yi的影响同样也是独立的。
用矩阵表示为
1 X11 X 21 E( X u) E 1 X12 X 22
Y X ˆ e
多元线性样本回归函数的矩阵表达式分别为
Yˆ X ˆ
ˆ ˆ0 ˆ1
e e1 e2
ˆk
(
k
为回归系数估计值向量
1)1
en
n1
为模型的残差向量
7
二、多元线性回归模型的若干经典假定
假定1：解释变量是非随机的，即在重复抽样中， 解释变量 X1i , X 2i ,, X ki 取固定值，且相互之间互不 相关。这表明模型中的解释变量和随机干扰项对被 解释变量的影响是完全独立的。
13
第二节 多元线性回归模型的参数估计
一、 普通最小二乘法
(一) 普通最小二乘估计
对于多元线性回归模型，利用最小二乘法估计模 型的参数，同样应该使残差平方和达到最小，即 RSS :Q ei2 (Yi Yˆi )2 (Yi ˆ0 ˆ1X1i ˆ2X2i ˆk Xki )2 取最小值。
在其他因素（变量）不变的条件下，变量 X j 每变
动一个单位，因变量变动 j 个单位。
4
当给定一个样本(Yi , X1i , X 2i ,, X ki), i 1,2,, n 时，上 述模型表示为
Y1 0 1X11 2 X 21 k X k1 u1
2(Yi ˆ0 ˆ1X1i ˆ2 X 2i
ˆk X ki )(1) 2 ei 0 ˆk X ki )( X1i ) 2 ei X1i 0
根据多元函数的极值原理，Q 分别对ˆ0, ˆ1, ˆ2,, ˆk
求一阶偏导数，并令其为零。
14
即：Qˆj 0, j 0,1, 2, , k 得到下列方程组：
2(Yi 2(Yi
ˆ0 ˆ0
ˆ1 X1i ˆ1 X1i
ˆ2 X 2i ˆ X 2i
E(ui ) 0 i 1,2,,n 用矩阵形式表示
u1 E(u1)
E(u)
E
u2
E
(u2
)
0
un
E
(un
)
10
假定3：随机干扰项服从零均值，同方差，零协方差。 E(ui ) 0 i 1,2,,n
Var (ui ) E(ui2 ) 2, i 1,2,, n
X12
X 22
X
k
2
1
u
u2
Yn
n1
1 X1n
X2n
X
kn
n(
k 1)
k
(
k
1)1
un
n1
6
多元总体回归函数可用矩阵形式表示为
E(Y X ) X
多元线性样本回归模型的矩阵表达式为
1 X1n X 2n
X
k1
u1
X
k
2
u2
0
X
kn
un
9
假定3：随机干扰项服从零均值，同方差，零协方差。 E(ui ) 0 i 1,2,,n
Var (ui ) E(ui2 ) 2, i 1,2,, n
Cov(ui ,u j ) E(ui ,u j ) 0, i j, i, j 1,2,, n