计量经济学第三章 多元线性回归方程 1

Y X β μ
其中
1 1 X 1 X 11 X 12 X 1n X 21 X 22 X 2n X k1 X k2 X kn n ( k 1 )
0 1 β 2 k ( k 1)1
2 2 e i
*二、最大或然估计
对于多元线性回归模型
Yi 0 1 X 1i 2 X 2 i k X ki i
易知
Yi ~ N ( X i β , 2 )
ˆ , 2 ) P (Y1 , Y2 , , Yn ) L (β 1 ( 2 ) 1 ( 2 )
4
一、多元线性回归模型

总体回归函数的随机表达形式。
Yi 0 1 X 1i 2 X 2 i k X ki i

它 的非随机表达式为:
E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki
3.2 多元线性回归模型的参数估计
一、普通最小二乘估计 *二、最大或然估计 *三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例
11



一、普通最小二乘估计
对于随机抽取的n组观测值 (Y , X
i ji
), i 1,2, , n, j 0,1,2, k
ˆ β ˆ X Xβ ˆ) 0 ( Y Y 2Y Xβ ˆ β
ˆ 0 X Y X Xβ
得到：
ˆ XY XXβ
ˆ ( X X) 1 X Y β
于是：
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
1 ( X ' X) X 1 1 X2 1 X1 1 1 X 2 n X Xn i 1 X n


方程表示：各变量X值固定时Y的平均响应。 j 也被称为偏回归系数，表示在其他解释变量保 持不变的情况下， Xj 每变化1 个单位时， Y 的均值 E(Y)的变化; 或者说j给出了Xj的单位变化对Y均值的“直接” 或“净”（不含其他变量）影响。
5
一、多元线性回归模型
总体回归模型n个随机方程的矩阵表达式为
n n
其中
n i 1
ˆ )2 Q e (Yi Y i
i 1 2 i i 1
2
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
一、普通最小二乘估计
于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X 1i Yi X 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
1 μ 2 n n 1
一、多元线性回归模型

样本回归函数：用来估计总体回归函数 ˆ ˆ X ˆ X ˆ X ˆ Y
其随机表示式:
i 0 1 1i 2 2i ki ki

ˆ ˆ X ˆ X ˆ X e Yi 0 1 1i 2 2i ki ki i
1

可求得
0.0003 0.7226 ( XX) 0.0003 1.35 E 07
ˆ 0.7226 0.0003 15674 103 .172 1 ˆ β ˆ 2 0.0003 1.35 E 07 39648400 0.7770

ei称为残差或剩余项(residuals)，可看成是总体回归函数中 随机扰动项i的近似替代。
样本回归函数的矩阵表达:
ˆ Xβ ˆ Y

或
ˆ e Y Xβ
其中：
ˆ 0 ˆ ˆ β 1 ˆ k
e1 e e 2 e n
7
二、多元线性回归模型的基本假定


假设1，回归模型的设定是正确的 假设2，解释变量是非随机的或固定的，且各X之间互 不相关（无多重共线性）。 假设3，样本容量趋于无穷时，各解释变量的方差趋于 有界常数，即n∞时，
1 1 2 x ( X ji X j ) 2 Q j ji n n
y1 y y 2 y n
i=1,2…n
ˆ e y xβ
x11 x x 12 x 1n x 21 x k 1 x 22 x k 2 x 2 n x kn
ˆ 1 ˆ ˆ 2 β ˆ k
《计量经济学》
《Econometrics》 《经济计量学》
1
第三章 多元线性回归模型
多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 回归模型的其他形式 回归模型的参数约束

2
3.1多元线性回归模型

一、多元线性回归模型 二、多元线性回归模型的基本假定
如果样本函数的参数估计值已经得到，则有：
ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki Ki
i=1,2…n
根据最小二乘原理，参数估计值应该是下列方程组的解
Q0 ˆ 0 Q0 ˆ 1 ˆ Q0 2 Q0 ˆ k
在离差形式下，参数的最小二乘估计结果为
ˆ ( x x) 1 x Y β
ˆ Y ˆ X ˆ X 0 1 1 k k
一、普通最小二乘估计
随机误差项μ的方差σ的无偏估计 可以证明，随机误差项的方差的无偏估计量为
e e ˆ n k 1 n k 1
n 2 n 2
Y的随机抽取的n组样本观测值的联合概率
n 1 2
2
e

ˆ ˆ X ˆ X ˆ X )) 2 (Yi ( 0 1 1i 2 2i k ki
i ~ N ( 0, 2 )
上述假设的矩阵符号表示 式： 二、多元线性回归模型的基本假定


假设2，n(k+1)矩阵X是非随机的，且X的秩=k+1， 即X满秩。 1 E ( 1 ) 假设4 E (μ) E 0
E ( ) n n 1 12 1 n ) E 1 n E E (μ μ 2 n n 1 n
Var ( i ) E ( i2 ) 2
Cov ( i , j ) E ( i j ) 0
i j i, j 1,2,, n

假设5，解释变量与随机项不相关
Cov ( X ji , i ) 0
j 1,2, k

假设6，随机项满足正态分布
解该（k+1）个方程组成的线性代数方程组，即可得到 (k+1)个待估参数的估计值 j , j 0,1,2,, k 。
一、普通最小二乘估计
正规方程组的矩阵形式
n X 1i X ki
X X

1i 2 1i

X X X
ki
X
ki
X 1i
3
一、多元线性回归模型

多元线性回归模型 :表现在线性回归模型中的解释 变量有多个。一般表现形式：
Yi 0 1 X 1i 2 X 2 i k X ki i
i=1,2…,n



其中:k为解释变量的数目，i称为回归参数 （regression coefficient）。 习惯上：把常数项看成为一虚变量的系数，该虚 变量的样本观测值始终取1。这样： 模型中解释变量的数目为（k+1）
即
ˆ X Y (X X) β
由于X’X满秩，故有
ˆ ( X X) 1 X Y β
将上述过程用矩阵表示如下：
即求解方程组：
ˆ ) ( Y Xβ ˆ)0 ( Y Xβ ˆ β
ˆ X Y Y Xβ ˆ β ˆ X Xβ ˆ)0 (Y Y β ˆ β
或
1 xx Q n

其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量 的离差为元素组成的nk阶矩阵
x11 x k 1 x x 1n x kn
二、多元线性回归模型的基本假定

假设4，随机误差项具有零均值、同方差及不序列相关 性 E ( i ) 0
var( 1 ) cov( 1 , n ) 2 cov( , ) 0 var( ) n 1 n

假设5，E(X’)=0，即
0 2I 2
i E ( i ) X 1i i X 1i E ( i ) E 0 X X E ( ) Ki i Ki i
ˆ 1 0 ˆ X 11 1i ki 1 2 ˆ X ki k X k 1
1 X 12 X k2
1 Y1 X 1n Y2 X kn Yn
X X
i 2 i
10 21500
21500 53650000
1 X Y X 1
1 X2
Y1 1 Y2 Yi 15674 X Y 39468400 Xn i i Y n
于是
一、普通最小二乘估计
对于正规方程组
ˆ XY XXβ
ˆ X e X Xβ ˆ X Xβ
于是
或
Xe 0
(*) (**)
e
i
i
0
ji i
X
e 0
(*)或（**）是多元线性回归模型正规方程组的另一 种写法
一、源自文库通最小二乘估计
样本回归函数的离差形式 ˆ x ˆ x ˆ x e yi 1 1i 2 2i k ki i 其矩阵形式为 其中 ：