多元回归模型

ˆ e Y Xβ
e1 e2 e e n
9
二、多元线性回归模型的基本假设
10
1、关于模型关系的假设
• 假设1：回归模型是正确设定的
（1）模型选择了正确的变量 （2）模型选择了正确的函数形式
11
2、关于解释变量的假设
• 假设2：解释变量X1, X2, … , Xk是非随机的或 固定的，且各Xj之间不存在严格线性相关性 （无完全多重共线性）。 若用矩阵表示，X为满秩矩阵，即r(X) = k+1。
μ X( XX) 1 Xμ
1 (I X( X X) X)μ Mμ
ee μMMμ μMμ
M为幂等矩阵
25
(I X( XX) 1 X)μ) E (ee) E (μ 2 tr (I X( XX) 1 X)
1 (trI tr ( X( X X) X)) 2
14
• 假设5：解释变量与随机项不相关
Cov( X ij , i X 1 , X 2 , , X k ) 0 或 E ( Xμ X) 0 j 1, 2, , k
• 假设6：随机项满足正态分布
i X 1 , X 2 ,, X k N (0, 2 )
或 μ X N (0, 2I n )
• 基本原理：当从模型总体随机抽取n组样本观 测值后，最合理的参数估计量应该使得从模型 中抽取该n组样本观测值的概率最大。 • ML必须已知随机项的分布。
28
2、估计步骤:以一元模型为例
ˆ ˆ X , ) Yi ~ N ( 0 1 i
2
Yi的分布
P (Yi )
1

1 2
2
e
20
ˆ0 ˆ1 X1i ˆ2 X 2i ˆ k X Ki ˆi Y
ˆ )2 Q ei2 (Yi Y i
i 1 i 1 n n
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
n 2 n 2
i ~ N (0, 2 )

1 2
2
e

ˆ ˆ X ˆ X ˆ X )) 2 (Yi ( 0 1 1i 2 2i k ki
1 2
2

ˆ )( Y Xβ ˆ) ( Y Xβ
e
32
4、ML估计量
• 由对数似然函数求极大，得到参数估计量
ˆ , j 0,1,2,, k j
21
•正规方程组的矩阵形式
n X 1i X ki
X X

1i 2 1i

X X X
ki
X
ki
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 X ˆ X ki k k1
Max L* Ln( L) nLn( 2 ) 1 2 ˆ ) (Y Xβ ˆ) (ቤተ መጻሕፍቲ ባይዱY X β 2
j也被称为偏回归系数(partial regression
coefficients)，表示在其他解释变量保持不变 的情况下，Xj每变化1个单位时，Y的均值 E(Y)的变化。 或者说j给出了Xj的单位变化对Y均值的 “直接”或“净”（不含其他变量）影响。
6
总体回归模型的矩阵表示
Y X β μ
29
L* ln(L) n ln( 2 ) 1 2
2
ˆ ˆ X )2 (Yi 0 1 i
对数似然 函数
ˆ ˆ X )2 0 ( Y i 0 1 i ˆ 0 ˆ ˆ X )2 0 (Yi 0 1 i ˆ 1
一、多元线性回归模型 二、多元线性回归模型的基本假设
3
一、多元线性回归模型
4
总体回归模型
• 总体回归模型：总体回归函数的随机表达形式
Yi 0 1 X 1i 2 X 2 i k X ki i
i=1,2…,n
k为解释变量的数目。习惯上，把常数项看成 为虚变量的系数，该虚变量的样本观测值始终 取1。于是，模型中解释变量的数目为（k+1）。
ˆ XY XXβ
ˆ X e X Xβ ˆ X Xβ
Xe 0
ei 0 i X ij ei 0 j 1, 2, , k i
24
3、随机误差项的方差的无偏估计
ˆ e Y Xβ 1 Xβ μ X( X X) X( Xβ μ )
i 1
n
2
Min Q
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X 1i Yi X 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
第三章
经典单方程计量经济学模型： 多元线性回归模型 Multiple Linear Regression Model
1
本章内容
• • • • • • 多元线性回归模型概述 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 可化为线性的非线性模型 受约束回归
2
§3.1 多元线性回归模型概述 (Regression Analysis)
1 X 12 X k2
1 Y1 X 1n Y2 Y X kn n
ˆ X Y (X X) β
条件？
ˆ ( X X) 1 X Y β
22
• OLS估计的矩阵表示
ˆ )(Y Xβ ˆ) Q ei2 ee (Y Xβ
12
• 假设3：各解释变量Xj在所抽取的样本中具有 变异性，而且随着样本容量的无限增加，各解 释变量的样本方差趋于一个非零 的有限常数， 即 n 时，
1 n 2 1 n 2 x ( X X ) Qj ij ij j n i 1 n i 1 1 或 xx Q n
其中，Q为非奇异固定矩阵，矩阵x是由 各解释变量的离差为元素组成的n×k阶矩阵
i 1 n
ˆ ) ( Y Xβ ˆ)0 ( Y Xβ ˆ β
ˆ X Y Y Xβ ˆ β ˆ X Xβ ˆ)0 (Y Y β ˆ β
ˆ 0 X Y X Xβ
ˆ XY XXβ
ˆ ( X X) 1 X Y β
23
2、正规方程组的另一种表达
2 2
1 ˆ ˆ X )2 ˆ (Yi 0 1 i n
2
2 e i
n
分布参数的 ML估计量
31
3、似然函数
Yi 0 1 X 1i 2 X 2 i k X ki i
Yi ~ N (Xi β , 2 )
ˆ , 2 ) P (Y1 , Y2 , , Yn ) L (β 1 ( 2 ) n 1 ( 2 ) n
j称为回归参数（regression coefficient）。
5
总体回归函数
• 总体回归函数：描述在给定解释变量Xi条件下 被解释变量Yi的条件均值。
E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki
• 最小二乘原理：根据被解释变量的所有观测值 与估计值之差的平方和最小的原则求得参数估 计量。
19
• 步骤：
( X ij , Yi ), i 1, 2,, n, j 1, 2,, k
已知 假定
ˆ 0 ˆ 1 ˆ 2 ˆ k Q0 Q0 Q0 Q0
ˆ X i2 Yi X i Yi X i 0 nX i2 (X i ) 2 ˆ nYi X i Yi X i 1 2 2 n X ( X ) i i
对数似然函 数极大化的 一阶条件
结构参数的 ML估计量
30
* n 1 ˆ ˆ X )2 0 L ( Y i 0 1 i 2 2 2
1 μ 2 n n 1
7
样本回归函数与样本回归模型
• 从一次抽样中获得的总体回归函数的近似，称为样 本回归函数（sample regression function）。 • 样本回归函数的随机形式，称为样本回归模型 （sample regression model）。
13
3、关于随机项的假设
• 假设4：随机误差项具有条件零均值、同方差 及不序列相关性
E ( i X 1 , X 2 ,, X k ) 0 或 E (μ X) 0 Var ( i X 1 , X 2 ,, X k ) 2 12 1n 或 Var (μ X) E (μμ X) E (μμ X) E X 2I 2 n 1 n Cov( i , j X 1 , X 2 , , X k ) 0 i j
ˆ ˆ X )2 ( Y i 0 1 i 2
Yi的概率函数
ˆ , ˆ , 2 ) P(Y , Y , , Y ) L( 0 1 1 2 n

1 (2 ) n
n 2

1 2
e
ˆ ˆ X )2 ( Y i 0 1 i 2
Y的所有样 本观测值的 联合概率— 似然函数
15
§3.2 多元线性回归模型的估计
一、普通最小二乘估计
二、最大或然估计
四、参数估计量的性质 五、样本容量问题 六、估计实例
16
说 明
估计方法： – 三大类方法：OLS、ML、MM
– 在经典模型中多应用OLS
– 在非经典模型中多应用ML或者MM
17
一、普通最小二乘估计(OLS)
18
1、普通最小二乘估计
2 (n (k 1))
E (ee) n k 1
2
ee ˆ n k 1
2
26
二、最大似然估计
27
1、最大似然法
• 最大似然法(Maximum Likelihood,ML)，也称 最大或然法，是不同于最小二乘法的另一种参 数估计方法，是从最大或然原理出发发展起来 的其它估计方法的基础。
ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki ki ˆ ˆ X ˆ X ˆ X e Yi 0 1 1i 2 2i ki ki i
8
样本回归函数的矩阵表示
ˆ Xβ ˆ Y
ˆ 0 ˆ ˆ 1 β ˆ k
1 X 11 1 X 12 X 1 X 1 n X 21 X 22 X 2n X k1 X k2 X kn n ( k 1 )
Y1 Y Y 2 Yn n1
0 1 β 2 k ( k 1)1