第三章 多元线性回归模型PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
假定5：正确设定回归模型。 与一元回归模型一样，多元回归模型的正确设定也 有三个方面的要求： 1.选择正确的变量进入模型； 2.对模型的形式进行正确的设定；3.对模型的解释 变量被解释变量及随机干扰项做了正确的假定。
上述假定条件称为多元线性回归模型的经典假定。
第二节 多元线性回归模型的参数估计
一、 普通最小二乘法
C(o ui,u v j)E (ui,uj)0 ,i j, i,j1,2, ,n
用矩阵形式表示就是随机干扰项的方差—协方差矩阵
形如： u1
E(uu)
E
u2
u1
u2
un
2 0 0
un
0
2
0
2In
0
0
2
假定4：随机干扰项服从正态分布。即
ui ~N(0,2) i1,2,,n
X2i X2iX1i
X2i Xki
XX XkiXkk2ii1iˆˆˆˆ1k20 XXY1kiiYYiii
得出 (XX)ˆXY.叫做正规方程组；
因而ˆ(XX)1XY，这就是向量 的OLS估计值 。
(二) 随机干扰项方差估计值 ˆ的2 普通最小二乘估计
随机干扰项的方差的无偏估计为 ˆ2 ei2
nk 1
其中，(nk1)为自由度，这是因为在估计
RSS ei2 时，必须先求出 0,1,2, ,k，
即消耗了(k 1)个自由度。
三、参数估计量的性质
（一）线性性 参数估计量是线性估计量，即是随机变量的线性函数。 由于
ˆ(XX)1XYCY
可见，参数估计量是被解释变量 Y 的线性组合。
（二）无偏性
多元总体回归函数：Y 的总体条件均值表示为多个解
释变量 X ji 的函数；
E ( Y iX 1 i,X 2 i, ,X k ) i 0 1 X 1 i 2 X 2 i k X ki
该方程被称为条件期望函数或总体回归函数或简称
总体回归。它仅仅表明在给定 X ji 下的 Y 分布的均值
与 X ji 存在着函数关系。
第三章 多元线性回归模型
学习目标：
• 熟悉多元线性回归模型的设定。 • 掌握多元线性回归的普通最小二乘估计法和极大似然估计法
的原理。 • 掌握多元线性回归参数估计量的性质和模型的各种统计检验
方法。 • 了解多元线性回归模型的置信区间的计算方法。 • 熟悉受约束回归的检验方法与检验步骤。 • 熟悉EViews软件进行多元线性回归模型估计的详细步骤。
0
C
X j1
(C为 常 数 )
X
j
X
j2
( j 1,2,
, k.)
u1
u
u
2
Y
n
n1
C
n1
X
j
n
n1
u
n
n1
二、多元线性回归模型的若干假定
假定1：解释变量是非随机的，即在重复抽样中， 解释变量 X1i,X2i,,Xki取固定值，且相互之间互不 相关。这表明模型中的解释变量和随机干扰项对被 解释变量的影响是完全独立的。
(一) 普通最小二乘估计
对于多元线性回归模型，利用最小二乘法估计模 型的参数，同样应该使残差平方和达到最小，即
R S S : Q e i 2 ( Y i Y ˆ i ) 2 ( Y i ˆ 0 ˆ 1 X 1 i ˆ 2 X 2 i ˆ k X k i ) 2
取最小值。
根据多元函数的极值原理，Q 分别对ˆ0,ˆ1,ˆ2,,ˆk
n1
1 X1n
X2n
Xknn(k1)
k
(k
1 )1
u
n
n
1
Y1 0 1X112X21kXk1 u1 以上多元Y Y2n线性回00 归模11X X型11n2也可22 表X X22示n2向 量表达kkX X式kk2的n形uun2式
其中， Y 01 X 1kX k u
Y1
Y
Y
2
C
第一节 第二节 第三节 第四节 第五节 第六节
多元线性回归模型及假定 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的置信区间 受约束回归 案例分析
第一节 多元线性回归模型及假定
一、多元线性回归模型
其一般形式为：
Y i 0 1 X 1 i 2 X 2 i k X k iu i i1,2,,n
Y2
0
1X122X22kXk2
u2
Yn 0 1X1n 2X2n kXknun
Y1 0 1X112X21kXk1u1
Y2
0
1X1
22X22kXk2
u2
Yn 0 1X1n 2X2n kXknun
经济意义：Y i 与 X ji 存在线性关系,X ji是Y i 的重要解释
变量。
代数意义：Y i 与 X ji 存在线性关系。 几何意义：Y i表示一个多维平面。
Y1 0 1X112X21kXk1 u1 多元线Y Y性2n回归00模型11表X X11示n2的n22 个X X2随2n2机 方程的kkX X 矩kk2阵n表uun2达式为：
YXu
其中，
Y1
1 X11 X21 Xk1
0
u1
Y
Y
2
X
1
X12
X22
Xk2
1
u
u
2
Y
n
将YX u,E (u)0代入 E (ˆ ) ，得
E(ˆ)E(XX)1XY
E ( X X ) 1 X ( X u )
由于习惯上把常数项看wk.baidu.com为一个虚变量的系数，在 参数估计过程中该虚变量的样本观测值始终取1。这 样，模型中解释变量的数目为（K+1）。
u i 代表众多影响变化的微小因素。
当给定一个样本 (Y i,X 1 i,X 2 i, ,X k)ii ,1 ,2 , ,n 时，上 述模型表示为
Y1 0 1X112X21kXk1u1
假定2：随机干扰项与解释变量之间不相关。
Co(uvi,Xji)0 j 1 ,2 , ,k;i 1 ,2 , ,n
这个假定说明 Xji与随机干扰项ui相互独立，互不相 关，它们对被解释变量yi的影响同样也是独立的。
假定3：随机干扰项服从零均值，同方差，零协方差。
E(ui ) 0 i1,2,,n
V(u ai)rE(ui2)2, i1,2,,n
求一阶偏导数，并令其为零。
即：Q0, j0,1,2,,k
j
得到下列方程组：
(Y(iYi ˆ0ˆ0 ˆ1ˆX1X1i1i ˆX ˆ22iX2 i ˆkˆXkXki)kXi)1i 00 (Yi ˆ0 ˆ1X1i ˆ2X2i ˆkXki)Xki0
可写成矩阵形式：
n
X1i Xki
X1i X12i
X1iXki
上述假定条件称为多元线性回归模型的经典假定。
第二节 多元线性回归模型的参数估计
一、 普通最小二乘法
C(o ui,u v j)E (ui,uj)0 ,i j, i,j1,2, ,n
用矩阵形式表示就是随机干扰项的方差—协方差矩阵
形如： u1
E(uu)
E
u2
u1
u2
un
2 0 0
un
0
2
0
2In
0
0
2
假定4：随机干扰项服从正态分布。即
ui ~N(0,2) i1,2,,n
X2i X2iX1i
X2i Xki
XX XkiXkk2ii1iˆˆˆˆ1k20 XXY1kiiYYiii
得出 (XX)ˆXY.叫做正规方程组；
因而ˆ(XX)1XY，这就是向量 的OLS估计值 。
(二) 随机干扰项方差估计值 ˆ的2 普通最小二乘估计
随机干扰项的方差的无偏估计为 ˆ2 ei2
nk 1
其中，(nk1)为自由度，这是因为在估计
RSS ei2 时，必须先求出 0,1,2, ,k，
即消耗了(k 1)个自由度。
三、参数估计量的性质
（一）线性性 参数估计量是线性估计量，即是随机变量的线性函数。 由于
ˆ(XX)1XYCY
可见，参数估计量是被解释变量 Y 的线性组合。
（二）无偏性
多元总体回归函数：Y 的总体条件均值表示为多个解
释变量 X ji 的函数；
E ( Y iX 1 i,X 2 i, ,X k ) i 0 1 X 1 i 2 X 2 i k X ki
该方程被称为条件期望函数或总体回归函数或简称
总体回归。它仅仅表明在给定 X ji 下的 Y 分布的均值
与 X ji 存在着函数关系。
第三章 多元线性回归模型
学习目标：
• 熟悉多元线性回归模型的设定。 • 掌握多元线性回归的普通最小二乘估计法和极大似然估计法
的原理。 • 掌握多元线性回归参数估计量的性质和模型的各种统计检验
方法。 • 了解多元线性回归模型的置信区间的计算方法。 • 熟悉受约束回归的检验方法与检验步骤。 • 熟悉EViews软件进行多元线性回归模型估计的详细步骤。
0
C
X j1
(C为 常 数 )
X
j
X
j2
( j 1,2,
, k.)
u1
u
u
2
Y
n
n1
C
n1
X
j
n
n1
u
n
n1
二、多元线性回归模型的若干假定
假定1：解释变量是非随机的，即在重复抽样中， 解释变量 X1i,X2i,,Xki取固定值，且相互之间互不 相关。这表明模型中的解释变量和随机干扰项对被 解释变量的影响是完全独立的。
(一) 普通最小二乘估计
对于多元线性回归模型，利用最小二乘法估计模 型的参数，同样应该使残差平方和达到最小，即
R S S : Q e i 2 ( Y i Y ˆ i ) 2 ( Y i ˆ 0 ˆ 1 X 1 i ˆ 2 X 2 i ˆ k X k i ) 2
取最小值。
根据多元函数的极值原理，Q 分别对ˆ0,ˆ1,ˆ2,,ˆk
n1
1 X1n
X2n
Xknn(k1)
k
(k
1 )1
u
n
n
1
Y1 0 1X112X21kXk1 u1 以上多元Y Y2n线性回00 归模11X X型11n2也可22 表X X22示n2向 量表达kkX X式kk2的n形uun2式
其中， Y 01 X 1kX k u
Y1
Y
Y
2
C
第一节 第二节 第三节 第四节 第五节 第六节
多元线性回归模型及假定 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的置信区间 受约束回归 案例分析
第一节 多元线性回归模型及假定
一、多元线性回归模型
其一般形式为：
Y i 0 1 X 1 i 2 X 2 i k X k iu i i1,2,,n
Y2
0
1X122X22kXk2
u2
Yn 0 1X1n 2X2n kXknun
Y1 0 1X112X21kXk1u1
Y2
0
1X1
22X22kXk2
u2
Yn 0 1X1n 2X2n kXknun
经济意义：Y i 与 X ji 存在线性关系,X ji是Y i 的重要解释
变量。
代数意义：Y i 与 X ji 存在线性关系。 几何意义：Y i表示一个多维平面。
Y1 0 1X112X21kXk1 u1 多元线Y Y性2n回归00模型11表X X11示n2的n22 个X X2随2n2机 方程的kkX X 矩kk2阵n表uun2达式为：
YXu
其中，
Y1
1 X11 X21 Xk1
0
u1
Y
Y
2
X
1
X12
X22
Xk2
1
u
u
2
Y
n
将YX u,E (u)0代入 E (ˆ ) ，得
E(ˆ)E(XX)1XY
E ( X X ) 1 X ( X u )
由于习惯上把常数项看wk.baidu.com为一个虚变量的系数，在 参数估计过程中该虚变量的样本观测值始终取1。这 样，模型中解释变量的数目为（K+1）。
u i 代表众多影响变化的微小因素。
当给定一个样本 (Y i,X 1 i,X 2 i, ,X k)ii ,1 ,2 , ,n 时，上 述模型表示为
Y1 0 1X112X21kXk1u1
假定2：随机干扰项与解释变量之间不相关。
Co(uvi,Xji)0 j 1 ,2 , ,k;i 1 ,2 , ,n
这个假定说明 Xji与随机干扰项ui相互独立，互不相 关，它们对被解释变量yi的影响同样也是独立的。
假定3：随机干扰项服从零均值，同方差，零协方差。
E(ui ) 0 i1,2,,n
V(u ai)rE(ui2)2, i1,2,,n
求一阶偏导数，并令其为零。
即：Q0, j0,1,2,,k
j
得到下列方程组：
(Y(iYi ˆ0ˆ0 ˆ1ˆX1X1i1i ˆX ˆ22iX2 i ˆkˆXkXki)kXi)1i 00 (Yi ˆ0 ˆ1X1i ˆ2X2i ˆkXki)Xki0
可写成矩阵形式：
n
X1i Xki
X1i X12i
X1iXki