计量经济学多元线性回归

矩阵形式
总体回归函数 : E (Y | X ) X 总体回归模型 : Yn1 X n( k 1) ( k 1)1 U n1 ˆ ˆ X 样本回归函数 :Y ˆ e 样本回归模型 : Y X
2、多元线性回归模型的基本假定
(1) E (U ) 0
2 ( 2) E (UU ) I n
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。 一பைடு நூலகம்表现形式：
i=1,2…,n
其中:k为解释变量的数目，j称为回归参数 （regression coefficient）。
习惯上：把常数项看成为一虚变量的系 数，该虚变量的样本观测值始终取1。于是： 模型中解释变量的数目为（k+1）
也被称为总体回归函数的随机表达形式。它 的 非随机表达式为:
ˆ ˆ X ˆ X ˆ X e 其随机表示式: Yi 0 1 1i 2 2i ki ki i
ei称为残差或剩余项(residuals)，可看成是 总体回归函数中随机扰动项ui的近似替代。
样本回归函数的矩阵表达:
ˆ Xβ ˆ Y
或
e1 e2 e e n
i 1 2 i i 1
n
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
i 1
n
2
• 于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ ˆ X ˆ X ) X Y X ( X 0 1 1i 2 2i k ki 1i i 1i ˆ ˆ ˆ X ˆ X ) X Y X ( 0 1 X 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
i=1,2…n
n
• 根据最 小二乘原 理，参数 估计值应 该是右列 方程组的 解
ˆ 0 ˆ 1 ˆ 2 ˆ k
Q 0 Q 0 Q 0 Q 0
其 中
ˆ )2 Q e (Yi Y i
第四章
经典单方程计量经济学模型： 多元线性回归模型
一、多元线性回归模型的概念 二、多元线性回归模型的估计 三、拟合优度 四、非线性关系的处理 五、假设检验 六、预测 七、参数的稳定性检验 八、虚拟变量
一、 多元线性回归模型的概念
1、多元线性回归模型
2、多元线性回归模型的基本假定
1、多元线性回归模型
e e ˆ n k 1 n k 1
2
2 e i
2、极大似然估计
• 对于多元线性回归模型 易知
Yi ~ N ( X i β , 2 )
• Y的随机抽取的n组样本观测值的联合概率
ˆ , 2 ) P (Y1 , Y2 , , Yn ) L (β 1 ( 2 ) n 1 ( 2 ) n
n 2 n 2

1 2
e

ˆ ˆ X ˆ X ˆ X )) 2 ( Y ( i 0 1 1 i 2 2 i k ki 2
1 2
2

ˆ )( Y Xβ ˆ) ( Y Xβ
e
即为变量Y的似然函数 • 对数似然函数 为 *
L ln(L) n ln( 2 ) 1 2 ˆ )(Y X ˆ) ( Y X 2
ˆ ˆ X Y ˆ X X ˆ) (Y Y Y X ˆ
ˆ (Y X ) X Y [( X X ) X X ] ˆ 0 2 X Y 2 X X
得到： 于是：
ˆ XY XXβ
ˆ ( X X) 1 X Y β
–
–
在经典模型中多应用OLS
在非经典模型中多应用ML
–
在本节中， ML为选学内容
1、普通最小二乘估计
• 对于随机抽取的n组观测值 (Yi , X ji ), i 1,2,, n, j 0,1,2, k 如果样本函数的参数估计值已经得到，则有：
ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki Ki
例：利用下表数据，计算
ˆ 0
和
ˆ 1
售价X
销售量Q
2.0 2.5 3.0 3.5 4.0 4.5 5.0 5.5 6.0
41 38 34 32 29 28 25 22 20
9 36 269 X X 36 159 | X X | 135 X Y 999 1 159 36 ( X X ) 1 | X X | 36 9 ˆ 50.42222 0 ˆ X ) 1 X Y ( X 5.13333 ˆ 1
i=1,2…n
ˆ e 其矩阵形式为： y xβ
其中 ：
y1 y2 y y n
x11 x 21 x12 x 22 x x x 1n 2 n x k1 xk 2 x kn
同时，随着样本容量增加，参数估计量具有： 一致性。
（1）线性性
ˆ ( X X) 1 X Y CY β
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行 向量。
（2）无偏性
ˆ ) E (( X X ) 1 X Y ) E (β
U)) )) E (( X X ) 1 X ( Xβ μ
正规方程组 的另一种写法
对于正规方程组
ˆ XY XXβ
ˆ X e X Xβ ˆ X Xβ
于是
Xe 0
(*)
或
e
i
i
0
ji i
X
e 0
(**)
(*)或（**）是多元线性回归模型正规方程组 的另一种写法。
样本回归函数的离差形式
ˆ x ˆ x ˆ x e yi 1 1i 2 2i k ki i
总体回归模型n个随机方程的矩阵表达式为:
Y X U
其中
1 1 X 1
X 11 X 12 X 1n
X 21 X 22 X 2n

X k1 Y1 Y X k2 2 Y Yn n1 X kn n ( k 1 )
E(Yi | X1i , X 2i , , X ki ) 0 1 X1i 2 X 2i k X ki
表示：各变量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变
量保持不变的情况下，X j每变化1个单位时，Y的 均值E(Y)的变化; 或者说j给出了X j的单位变化对Y均值的 “直接”或“净”（不含其他变量）影响。
0 1 β 2 k
( k 1 )1
u1 u 2 U un n1
用来估计总体回归函数的样本回归函数为：
ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki ki
ˆ 1 ˆ ˆ β 2 ˆ k
在离差形式下，参数的最小二乘估计结果为
ˆ ( x x) 1 x Y β
ˆ Y ˆ X ˆ X 0 1 1 k k
随机误差项u的方差2的无偏估计
可以证明，随机误差项u的方差的无偏估 计量为：
1 Y1 X 1n Y2 Y X kn n
即
ˆ X Y (X X) β
由于X’X满秩，故有 1 ˆ β ( X X) X Y
• 将上述过程用矩阵表示如下：
即求解方程组：
ˆ )(Y Xβ ˆ)0 (Y Xβ ˆ β
解该（k+1） 个方程组成的线性代数方程组，即
$ , j 012 , , ,, k 。 可得到(k+1) 个待估参数的估计值 j
正规方程组的矩阵形式
n X 1i X ki
X X

1i 2 1i

X X X
ki
X
ki
X 1i
ˆ 1 1 0 ˆ X 11 X 12 1i ki 1 2 ˆ X X ki k k1 X k 2
和
E(UU ) 2 I n
( 3 ) X是 非 随 机 的 ( 4) rankX k 1( n) ( 5 ) U ~ N ( 0, 2 I n )
例：在一项调查大学生一学期平均成绩Y与每周在学习 （X1）、睡觉 （X2）、娱乐 （X3）和其它活动 （X4） 所用时间关系的研究中，建立了如下模型：
Yi 0 1 X1i 2 X 2i 3 X 3i 4 X 4i ui
ˆ e Y Xβ
其中：
ˆ 0 ˆ ˆ β 1 ˆ k

基本形式小结
总体回归函数 : E (Yi | X 1 X 1i ,..., X k X ki ) 0 1 X 1i ... k X ki 总体回归模型: Yi 0 1 X 1i ... k X ki ui ˆ ˆ X ... ˆ X ˆ 样本回归函数 : Y i 0 1 1i k ki ˆ ˆ X ... ˆ X e 样本回归模型: Yi 0 1 1i k ki i
即
ˆ ˆ X Y ˆ X X ˆ) 0 (Y Y Y X ˆ
补充： 设A为n阶 方 阵 ， t和a均 为n维 向 量 ， 则 有 （ 1 ） ( t At ) ( A A)t t （2 ） (a t ) ( t a ) a t t
如果这些活动所用时间的总和为一周的总小时数168小 时。问：保持其它变量不变，而改变其中一个变量的说 法是否有意义？该模型是否有违背基本假定的情况？如 何修改此模型使其更合理？
二、多元线性回归模型的估计
1、普通最小二乘估计
2、极大似然估计
3、参数估计量的性质 4、样本容量问题
说 明
估计方法： 两大类方法：OLS、ML
β ( X X ) 1 E ( X XU μ)) β
这里利用了假设: E(X’u)=0
（3）有效性（最小方差性）
UU UU UU
其中利用了
ˆ ( X X) 1 X Y β
U) ( X X ) 1 X ( Xβ μ
β ( X X ) 1 X μ U
对对数似然函数求极大值，也就是对
ˆ ) ( Y Xβ ˆ) (Y Xβ
求极小值。
• 因此，参数的极大似然估计为
ˆ ( X X) 1 X Y β
结果与参数的普通最小二乘估计相同。
3、参数估计量的性质
在满足基本假设的情况下，其结构参数的 普通最小二乘估计及最大或然估计仍具有： 线性性、无偏性、有效性。