计量经济学 多元线性回归模型及参数估计ppt课件

解 该 （ k+ 1） 个 方 程 组 成 的 线 性 代 数 方 程 组 ， 即 可 得 到 (k+ 1)个 待 估 参 数 的 估 计 值 j,j0,1 ,2, ,k。
问题：我们无法象一元回归那样，用小代数 公式来表达多元线性回归模型的参数估计量！
精选课件
16
上述估计过程的矩阵表示 对于模型Y X ，如果模型的参数估计值 Bˆ
i1
i1
精选课件
17
根 据 最 小 二 乘 原 理 ， 参 数 估 计 值 应 该 是 下 列 方 程 组 的 解 ：
(YX )(YX )0
求解过程如下： （教材P66）
ˆ
(Y
ˆ
X
)(
Y
Xˆ )
0
注意：一个函数关于列 向量求导，是指这个函 数关于列向量中的每个 元素求导，其结果仍应 写成列向量的形式。
ˆ
( Y Y
ˆ XY
Y
Xˆ
ˆ XXˆ )
0
ˆ
( Y Y
2 Y X ˆ
ˆ XXˆ )
0
XY XXˆ 0
要点：若A、X均为列向 量，则 A’X 关于列向 量X的导数为A。
精选课件
18
于是，得到正规方程组：
XYXX
该式等价于P66 的（3.2.3）式
由于假定解释变量之间不存在多重共线性， X’X为 (k+1)阶满秩矩阵，可得参数的最小二乘估计值为：
（3）各个解释变量Xj在所抽取的样本中具有变异性， 而且随着样本容量的无限增加，各个解释变量Xj的样
本方差趋于一个非零的有限常数Qj。即当n→∞时，
1 ni n1(XijXj)2 精选Q 课j件, j1,2, ,k
8
（4）随机误差项具有零均值和同方差；随机 误差项在不同样本点之间是独立的，不存在序 列相关：
• 多元线性回归模型的一般形式为：
Y i 0 1 X i 1 2 X i2 k X i k i i=1,2,…,n
习惯上，把常数项看成为一个虚变量（记作Xio） 的系数，在参数估计过程中该虚变量的样本观测值 始终取1（即Xi0 ≡1）。
这样： 模型中解释变量的数目为（k+1）。
精选课件
(X 'X ) X 1 1
1 X 2
X 1 n 1 1 1 X X X 1 n 2
n X i
X X i2 i 21105 52 0 31 0 65 5000
XY X 11
1 X2
X 1n Y Y Y1 n 2
i1
i 1
i1
0
精选课件
13
二、多元线性回归模型的参数估计
1.普通最小二乘估计
随机抽取被解释变量和解释变量的n组样本观测值
X i 1 ,X i 2 , ,X i, k Y i i 1 , 2 , ,n
如 果 模 型 的 参 数 估 计 值 ˆ 已 经 求 得 ， 则 有 ： j Y ˆ i ˆ0 ˆ 1 X i1 ˆ2 X i2 ˆk X ik（i=1,2,…,n ）
X Y iiYi 31954667 84400
可求得：
XX
1 (XX) XX
52 31 65 50 0 21 0 010 05 0021 0105502301655000
5 2 31 65 5 2 0 1 01 0 0 5 7 00 4 00 2 5 0 0 0 ..7 00 2 00 2 00 0 5 2 .0 0 .0 5 8 00 9 9 00 6 0208
1 X n1
1 2
X
nk
n
E
n
i
i 1 n
X i1 i
i 1
n
X ik i
n
E( i)
i 1
n
E(
X
i1
i
)
E
(
i 1 n
X
ik
i
)
n
E (i)
i 1
n
E
(
X
i1
i
)
i 1 n
E
(X
ik
i )
0 0 0
(XX)1XY 0 0 ..7 02 0 精选2 0 课件0 5 .2 0 0 .0 5 8 00 9 9 00 6 0 3 2 1 0 9 8 5 0 4 9 6 1 6 6 7 0 3 1 8 .27 24 4 .0 6 4 4 4 6 0 9
例3.2.1Biblioteka X ik e i 0(*) (*)或（**）是多 元线性回归模型正
• 对于第三版P37例2.3.1的家庭可支配收入-消费支 出数据，如果用矩阵公式求解，那么过程如下：
– 见教材P67，略
精选课件
23
⃟ 正规方程组 的另一种写法： (教材P67)
对于正规方程组 XYXX 将Y XBˆe代入，得： XX B ˆXeXX B ˆ
于是 或
Xe0
ei 0
X i1e i 0 X i 2 e i 0
精选课件
3
一、多元线性回归模型及其基本假定
• 由于：
– 在实际经济问题中，一个变量往往受到多个原 因变量的影响；
– “从一般到简单”的建模思路。
• 所以，线性回归模型中的解释变量往往有 多个（至少开始是这样）。这样的模型被 称为多元线性回归模型。
精选课件
4
1.多元线性回归模型的形式 (见教材P62-63)
800 1100 1400 1700 2000 2300 2600 2900 3200 3500 21500 2150
594 638 1122 1155 1408 1595 1969 2078 2585 2530 15674 1567
-1350 -1050
-750 -450 -150
150 450 750 1050 1350
5
• 多元线性回归模型的矩阵表达式为： 注意这里的符号
YX
和教材P63的对 应关系。
其中
Y
Y Y
1 2
Y
n
n
1
1 X 1
1
X11 X21
Xn1
X12 X22
X1k X2k
Xn2
Xnk
n(k1)
0
1
2
k ( k 1 ) 1
1
2
n
n
1
精选课件
6
YYYiiXXi ii21(ˆ((0ˆˆ00ˆ1Xˆˆ11i1XXii11ˆ2Xˆˆ22iXX2 ii22 ˆkXˆˆkkikXX)iikk))XXii12
YiXik (ˆ0 ˆ1Xi1 ˆ2Xi2 ˆkXik)Xik
ei
0
e i X i1 0
eiX i2 0
e i X ik 0
精选课件
20
小代数解法：
ˆ1
xiyi 576930.0 70 77 xi2 7425000
ˆ 0 Y ˆ 1 X 15 0 .7 6 7 2 77 1 1 5 .1 0 0 7 3
因此，由该样本估计的回归方程为：
Y ˆi 10 .137 0 2 .77 Xi7
精选课件
21
对于该例题，如果用矩阵公式求解，那么过程如下：
Y X 1 , X 2 ,, X k ~ N 0 精 选课1 件X 1 2 X 2 k X k ,2 10
2.多元线性回归模型的基本假定（矩阵形式）
• 关于多元线性回归模型的基本假定2~6，也可以写成
矩阵形式。
– 见教材P64-65，一定要熟记。如：
秩(X)=k+1，即Xn×(k+1)为列满秩矩阵。
E(i)=0 Var (i)=2 Cov(i, j)=0
i=1,2, …,n i=1,2, …,n i≠j i,j= 1,2, …,n
注意：严格讲，这里应该是条件期望、条件方差和条 件协方差的形式。教材P65指出：这里的条件期望、 条件方差和条件协方差均可以简写为非条件的形式。
精选课件
9
（5）随机误差项与解释变量之间不相关： 严格讲，这里
511 382950 562500 260712
1018 1068480 1102500 1035510
963 1299510 1822500 926599
5769300 7425000 4590020
640000 352836 1210000 407044 1960000 1258884 2890000 1334025 4000000 1982464 5290000 2544025 6760000 3876961 8410000 4318084 10240000 6682225 12250000 6400900 53650000 29157448
-973 1314090 1822500 947508
-929 975870 1102500 863784
-445 334050 562500 198381
-412 185580 202500 170074
-159 23910 22500 25408
28 4140 22500
762
402 180720 202500 161283
Cov
(
N
)
E
N
E(N
)N
E
(
N
)
E
(
NN
)
1
12 12 1n
E
2
n
1
2
n
E
2 1
n1
2 2
n2
2n
2 n
2
0 0
0
2
0
2
I
0
0
2
精选课件
12
2.多元线性回归模型的基本假定（矩阵形式）
1
E(X
N
)
E
X 11
X
1k
1 X 21
X 2k
如果多元线性回归模型的样本回归模型为： (教材P63)
Y i ˆ 0 ˆ 1 X i 1 ˆ 2 X i2 ˆ k X i ke i i=1,2,…,n
则有
YX ˆe
其中
Y 1
Y
Y2
Y n
1 X 1
X11
X21
X12
X22
X1k X2k
1 Xn1
Xn2
Xn
k
n(k1)
也应该是条件
Cov(Xij, i)=0 i=1,2,…,n；j=1,2,…,k
协方差形式。
（6）随机误差项服从零均值、同方差、零
协方差的正态分布：
严格讲，这里
i~N(0, 2 ) i=1,2,…,n
也应该是条件 分布形式。
注意：
• 以上假设也称为线性回归模型的经典假设或高斯（Gauss） 假设。满足这些假设的线性回归模型，也称为经典线性回归 模型（Classical Linear Regression Model, CLRM）。 • 在经典假设下，
1 E(1) 0
E(N)
E2
E(2)
0
0
n E(n) 0
因为各个解释变 量之间不存在严 格的线性关系， 也即任何一个解 释变量都不能用 其它解释变量的 线性组合来表示， 这样，矩阵X的 任何一列都不可 能通过线性变换 变成全为0。
精选课件
11
2.多元线性回归模型的基本假定（矩阵形式）
Var
(XX)1XY
精选课件
19
例 利用第二版P28表2.1.3中的家庭可支配收入（X）和 消费支出（Y），估计一元线性回归模型，参数估计的计 算可通过下面的表2.2.1进行。
表 2.2.1 参数估计的计算表
X i Yi
xi
yi
xi yi
x i2
y i2
X
2 i
Yi 2
1 2 3 4 5 6 7 8 9 10 求和 平均
已经得到，则有：
YX ˆe
其中
Y 1
Y
Y2
Y n
1 X 1
X11
X21
X12
X22
X1k X2k
1 Xn1
Xn2
Xn
k
n(k1)
ˆ 0
Bˆ
ˆ1
ˆ k
e 1
e
e2
e n
从而，被解释变量的观测值与估计值之差的平方和为：
Q n(YiYˆi)2 nei2ee(Y X ˆ)(Y X ˆ)
精选课件
14
根据最小二乘原理，参数估计值应该是下列方程组的
解：
0
Q
0
1
Q
0
2
Q
0
k
Q
0
其中
Qi n1ei2i n1(Yi Y ˆi)2
nY iˆ0ˆ1 X i1ˆ2 X i2 ˆkX ik2 i 1 精选课件
最小
15
于是得到关于待估参数估计值的正规方程组：
第三章 经典单方程计量经济学模型：
多元线性回归模型
精选课件
1
本章主要内容
§3.1 多元线性回归模型及其参数估计 §3.2 多元线性回归模型的统计检验 §3.3 多元线性回归模型的区间估计
精选课件
2
§3.1 多元线性回归模型 及其参数估计
一、多元线性回归模型及其基本假定 二、多元线性回归模型的参数估计 三、OLS参数估计量的统计性质 四、样本容量问题 五、多元线性回归模型实例
ˆ 0
Bˆ
ˆ1
ˆ k
e 1
e
e2
e n
精选课件
7
2.多元线性回归模型的基本假定(见教材P64-65)
为使参数的普通最小二乘估计量具有良好的统计性质， 对多元线性回归模型提出下列基本假定：
（1）回归模型是正确设定的。
（2）解释变量Xj(j=1,2,…,k)是确定性变量，不是随机 变量，在重复抽样中取固定值；解释变量之间不存在 严格的线性相关性（无完全多重共线性）。