3 多元线性回归模型参数估计

“无完全共线性假定”的说明
cons 0 1 inc 2 inc2
ln cons 0 1 ln inc 2 ln inc2
cons: 消费，inc: 收入 cons 1 2 2inc inc
其随机表示式: ˆ ˆ X ˆX Yi 0 1 1i 2 2i
ˆ X e k ki i
ei称为残差或剩余项(residuals)，可看成是总 体回归模型中随机扰动项i的近似替代。 样本回归函数和样本回归模型的矩阵表达: ˆ ˆ e ˆ X 或 Y Y X
i ~ N ( 0, 2 )
假设5，解释变量之间不存在严格的线性关系， 即不存在完全共线性。
上述假设的矩阵符号表示式： 假设2， 1 E ( 1 ) 0 E( ) E n E ( n )
E ( ) E 1 n 1
ˆ 0 ˆ 1 ˆ 2 ˆ k Q0 Q0 Q0 Q0
ˆ )2 其中Q e (Yi Y i
i 1
n
n
2 i
n
i 1
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
解得( k 1)个方程组成的线性代数方程组,即可得到 ˆ , j 0,1,2, , k ( k 1)个待估参数的估计值
j
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X 1i Yi X 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
2 1 n E n 1
1n
2 n
var( 1 ) cov( n , 1 )
cov( 1 , n ) 2 var( n ) 0
0 2 I 2
其中：
ˆ 0 ˆ ˆ 1 ˆ k
e1 e 2 e en
2.多元线性回归模型的基本假定
假设1，解释变量是非随机的。
假设2，随机误差项具有零均值、同方差及不序列 相关性。 E ( ) 0
ln cons 0 1 ln inc 2 ln inc
2
一个问题：在什么情况下由多元线性模型估计得 到的偏回归系数与仅用该变量作为解释变量构成 的一元回归模型的估计结果是相同的？
重要提示：



几乎没有哪个实际问题能够同时满足所有基本假定； 通过模型理论方法的发展，可以克服违背基本假设带 来的问题； 违背基本假设的处理构成了线性单方程计量经济学理 论方法的主要内容。 异方差问题 （违背同方差假设） 序列相关性 （违背序列不相关假设） 共线性问题 （违背解释变量之间不相关假设） 随机解释变量问题 （违背了解释变量和随机误差项 之间不相关假设） 零均值、正态性假定是由模型的数理统计理论决定。
在线性回归模型中解释变量有多个，这样的模型 被称为多元线性回归模型。

多元线性回归模型的一般形式：
Yi 0 1 X 1i 2 X 2 i k X ki i
i =1,2…, n
其中: k 为解释变量的数目，j 称为回归系 数（regression coefficient）。
j也被称为偏回归系数。
总体回归模型n个随机方程的矩阵表达式为
Y X
其中
Y1 1 X 11 Y 1 X 12 Y 2 X Y n n1 1 X 1n
X 21 X 22 X 2n X k1 Xk2 X kn n ( k 1)
假设3，E(X′)= 0，即
i E ( i ) X 1i i X 1i E ( i ) E 0 X ki i X ki E ( i )
假设4，向量 有一多维正态分布，即
i 1 n
即求解方程组：
ˆ X Y Y X ˆ ˆ X X ˆ) 0 (Y Y ˆ ˆ ˆ X X ˆ) 0 (Y Y Y X ˆ
ˆ )(Y X ˆ) 0 (Y X ˆ
ˆ X Y X X ˆ X Y X X
习惯上：把常数项看成为一个虚变量的系 数，该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（k +1）。
总体回归函数的随机表达形式:
Yi 0 1 X 1i 2 X 2 i k X ki i
总体回归函数的非随机表达式:
E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki
1 X 12 X k2
1 Y1 X 1n Y2 Y X kn n
即
ˆ X Y ( X X )
由于Xʹ X满秩，故有
ˆ ( X X )1 X Y
将上述过程用矩阵表示如下：
ˆ 使得残差平方和最小 寻找一组参数估计值 ˆ )(Y X ˆ) Q ei2 ee = (Y X
( x x ) x ˆ Y ˆX 0 1 1
ˆ X k k
2、最大似然估计
Y 的随机抽取的n 组样本观测值的联合概率
2 ˆ L( , ) P(Y1, Y2 ,
, Yn ) e
n 1 2 2 ˆ ˆ X ˆ X ( Y ( i 0 1 1 i 2 2i 2 2 1 ˆ X )2 k ki
i 1
2
ˆ ˆ X ˆ X Q (Yi ( 0 1 1i 2 2i
i 1
n
ˆ X ))2 k ki
于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2 2i k ki 1i i 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
得到：
于是：
ˆ ( X X )1 X Y
样本回归函数的离差形式:
ˆ ˆ x ˆx yi 0 1 1i 2 2i
其矩阵形式为
ˆ x e k ki i
x21
(i 1,2,..., n)
ˆ e y x
其中 ：
ˆ xk 1 1 ˆ x22 xk 2 ˆ 2 x2 n xkn ˆ k 在离差形式下，参数的最小二乘估计结果 为 1 ˆ y1 x11 y x 2 12 y x y n x1n

1
2
1
n 2

2
n 2
e
n

ˆ Y X ˆ Y X


即为变量Y 的似然函数。
对数似然函数为：
二、多元线性回归模型的估计

普通最小二乘法


最大似然法
矩估计方法
1、普通最小二乘估计 2 ˆ ˆ 估计目标：结构参数 j 及随机误差项的方差
对于随机抽取的n组观测值： (Yi , X ji ), i 1,2, , n, j 0,1,2, , k 如果样本函数的参数估计值已经得到，则有： ˆ ˆ X ˆ X ˆX ˆ Y (i 1,..., n) i 0 1 1i 2 2i k ki 根据最小二乘原理，参数估计值应该是下列方程组的解
§2.3 多元线性回归模型的 参数估计
一、多元线性回归模型概述 二、多元线性回归模型的参数估计 三、OLS估计量的统计性质 四、参数估计量的方差、协方差矩阵 和随机误差项方差的估计 五、样本容量问题 六、多元线性回归模型的实例
一、多元线性回归模型
1. 多元线性回归模型的形式

由于： 在实际经济问题中，一个变量往往受到多个 原因变量的影响； 从一般到简单的建模思路；

N (0, 2 I )
假设5 ，n(k+1)矩阵X 的秩 =k+1，即X 满秩。
例：测度教育的回报问题 wage 0 1educ 2exper u wage: 小时工资(元)，educ: 受教育的年数，exper: 以 年数计的工作经历。 其他非观测因素：天生能力、职业道德等。 • E(μ|educ,exper) = 0 影响wage的其它因素与educ和exper无关。比如，如果 μ是天生能力，这个假定就是要求，员工总体中受教育 和工作经历的各种组合，其平均能力都相同。 • Var(μ|educ,exper) =σ2，Var(wage|educ,exper)=σ2， 如果这个方差随着两个解释变量中的任何一个变化， 就出现了异方差。
Cov ( i , j ) E ( i j ) 0 i j i, j 1,2,, n
Var ( i ) E ( )
2 iຫໍສະໝຸດ Baidu
i
2
假设3，解释变量与随机误差项不相关。 j 1,2, k Cov ( X ji , i ) 0 假设4，随机误差项满足正态分布
正规方程组的矩阵形式:
n X 1i X ki
X X

ki
1i 2 1i

X X X
ki
X
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 ˆ X ki k X k1
0 1 2 k ( k 1)1
1 2 n n1
样本回归函数：用来估计总体回归函数 ˆ ˆ X ˆ X ˆX ˆ Y
i 0 1 1i 2 2i k ki