(多元线性回归的向量表述)

S ˆ=0 = - 2X 'Y + 2X 'X ˆ
ˆ X 'Y = X 'X
' 因为 因此，回归参数的 (X 'X) 是一个非退化矩阵（假定（ 5 ） ） ，所以有 OLS估计量为：
ˆ ( X X )1 X 'Y
ˆ = (X 'X)-1 X 'Y
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。 6
E (Q ) E{tr[( I X ' ( X ' X ) 1 X )uu ' ]} tr[( I X ' ( X ' X ) 1 X ) E (uu ' )] 2 [tr ( I ) tr ( X ' ( X ' X ) 1 X )] 2 [tr ( I ) tr (( X ' X ) 1 X ' X )] 2 [ N tr ( I K 1 )] 2 ( N K 1)
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行向量。 ˆ ) E (( X X ) 1 X Y ) E (β 2、无偏性 E (( X X ) 1 X ( Xβ μ ))
β ( X X ) 1 E ( X μ ) β
这里利用了假设:
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。 E(X’ )=0
一致估计量是指对于回归参数的真实值
ˆ 估计量记为 N
，样本容量为N时的OLS
，随着样本容量N的逐步增大， 即：
ˆ ) p lim( N
N
2.OLS估计量的正态性 正态性是指，在大样本下， OLS 估计量的分布收敛到正态分布。
1 (N X ' X ) 1 Q 1 设 Nlim
ˆ 'u ˆ Q u E( ) E( ) 2 N K 1 N K 1
即：
所以 2 的无偏估计量是：
ˆ2 Q RSS N K 1 N K 1
9
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
OLS估计量 ˆ 的方差-协方差估计
因为：
ˆ ( X ' X )1 X 'Y ( X ' X )1 X ' ( X u) ( X ' X )1 X 'u
ˆ = (X 'X)-1X 'Y
' 高斯 — 马尔可夫定理：若前述假定条件成立， OLS X 0 ,只要模型及样本数 注：OLS估计量中隐含了一个假设条件 X 估计量是 ˆ 最佳线性无偏估计量。 据满足第四章的假定 7具有无偏性，最小方差特性，一致性。 ，则 X ' X 0 一定成立。
M I X ( X ' X )1 X '
M2 M
矩阵 是对称的幂等矩阵，幂等矩阵是指自身相乘后 ' ˆ 'u ˆ u' M 仍等于自身的矩阵，即 。 Qu Mu u ' Mu 因此残差平方和可以表示为：
E(Q) E[u' ( I X ' ( X ' X )1 X )u]
5
6.2 OLS估计量的向量表述
最小二乘 (OLS) 法的原理是求残差平方和最小。代数上是求极值问题。
ˆ )' (Y - X ˆ ) = Y 'Y - ˆ 'X 'Y - Y ' X ˆ + ˆ 'X 'X ˆ minS = (Y - X ˆ 'X 'Y + ˆ 'X 'X ˆ = Y 'Y - 2 ˆ 是一个标量，所以有 Y 'X ˆ = ˆ 'X 'Y。上式的一阶条件为： 因为 Y 'X
10
6.3 最小二乘（OLS）估计量的性质
一、OLS估计量的有限样本性质
在满足基本假设的情况下，其结构参数 的普通最小二乘估计 (OLS) 具有：线性性、无偏性、有效性。同时，随着样本容量增加， 参数估计量具有：一致性、渐近正态性。 1、线性性
ˆ ( X X) 1 X Y CY β
这个模型相应的矩阵表达式简记为
Y X
其中：
1 X 11 Y 1 X 1 12 Y Y2 , X Y n n1 1 X 1n X 21 X 22 X 2n 0 X k1 1 1 Xk2 , 2 , 2 X kn n( k 1) n n1 k ( k 1)1
，则：
d ˆ ) N ( N (0, 2Q1 )
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
14
补充：样本容量问题
⒈ 最小样本容量 所谓“最小样本容量”，即从最小二乘原理和最大似然原理出 发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下 限。 样本最小容量必须不少于模型中解释变量的数目（包括常数项） ,即
ˆ ，估计的回归模型写为 求出
ˆ +u ˆ +u ˆ =Y ˆ Y=X
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
7
随机误差项的方差 2 的估计
因为残差可以表示为：
ˆ Y X (( X ' X ) 1 X 'Y ) ˆ Y X u ( I X ( X ' X ) 1 X ' )Y ( I X ( X ' X ) 1 X ' )( X u ) ( I X ( X ' X ) 1 X ' )u Mu
模型的一般形式如下：
Yi 0 1 X 1i 2 X 2 i k X ki i
其中：K为解释变量个数；K+1为未知参数个数
i=1,2,…,n (2.3.1)
其中：k 为解释变量的数目；
ˆ 的数值结果表明，当其 模型中的未知参数 称为偏回归系数， 1
ˆ, 其中
ˆ ) ln LF ( )] LR 2[ln LF (
分别表示模型中参数向量的无约束和有约束的极大似然估计结
为了满足无偏性，AX=I必须成立，I是单位矩阵。
C A ( X ' X )1 X '
ˆ ，所以： 上式可以得到CX=0，同时意味着 CY C( X u) Cu
ˆ )( ˆ )' ] E[( X ' X ) 1 X 'uu 'C ' ] E[( 2 ( X ' X ) 1 X ' C ' 0
ˆ 个单位； 他变量保持不变的情况下，X1 增加一个单位，Y 平均增加 1
ˆ 的数值表明，当其他变量保持不变时， X 增加一个单位，Y平均增 2 2 ˆ 个单位，以此类推。 加 2
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。 2
第6章 多元线性回归的向量表述
6.1 多元线性回归模型的向量表述
Yi 0 1x1i 2 x2i
k xki i
i 1, 2,
n
上式是由n个方程，k+1个未知参数组成的一个线性方程组，即：
Y1 0 1 x11 2 x21 k xk1 1 Y x x x 2 0 1 12 2 22 k k2 2 Yn 0 1 x1n 2 x2 n k xkn n
n k+1
因为，无多重共线性要求：秩(X)=k+1
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
15
2、满足基本要求的样本容量
从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定 一般经验认为: 当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。 模型的良好性质只有在大样本下才能得到理论上的证明。
把线性方程组写成矩阵的形式：
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
3
1 X 11 Y1 1 X 12 Y 2 Yn 1 X 1n
X 21 X 22 X 2n
X k1 0 1 1 Xk2 2 2 X kn n k
则：
ˆ ) E[( ˆ )( ˆ )' ] var( E{[( X ' X )1 X 'u ][( X ' X ) 1 X 'u ] } ( X ' X )1 X ' E (uu ' ) X ( X ' X )1 2 ( X ' X )1
'
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
11
3、有效性（最小方差性）
所谓有效性是指在所有线性无偏估计量中，OLS估计量具有 最小方差。为了证明OLS估计量的有效性，现假设有另一任意的 线性无偏估计量：
1 AY ( X ' X ) X ' C Y
其中矩阵A和C是与X矩阵有关的(K+1)×N阶矩阵，上式：
AY A( X u) AX Au
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。 12
因此估计量 的方差-协方差矩阵为：
ˆ ˆ ) var(CY ) var( ˆ) var( ) var(
显然要使得 的方差最小，必须使C=0，所以 量中方差最小的，即OLS估计量具有有效性。
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
16
6.4 LR、Wald和LM检验
1.似然比(LR)检验
似然比检验是三种检验中最简单的，其原假设和备选假设分别为：
H0 : f ( ) 0
HA：原假设的约束条件中至少有一个不成立 LR检验统计量等于似然函数的无约束极大值和有约束极大值之差的两倍， 即：
两边求期望得：
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。 8
随机误差项的方差 的估计
2
由于残差的平方和是标量(Scalar)，可以采用迹(Trace)，即：
E(Q) E{tr[u ' ( I X ' ( X ' X )1 X )u]}
根据迹运算的性质tr(AB)=tr(BA),上式为：
ˆ 是所有无偏估计
总结：
高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是 具有最小方差的线性无偏估计量,即OLS估计量是BLUE估 计量。
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
13
二、OLS估计量的渐近性质
1.OLS估计量是一致估计量
第6章 多元线性回归的向量表述
多元线性回归模型的向量形式 最小二乘法（OLS）的向量表述 最小二乘估计量的性质 LR、Wald和LM检验 案例分析
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
1
多元线性回归模型的一般形式
在实际经济问题中，一个变量往往受到多个原因变量的影 响，在线性回归模型中则表现为有多个解释变量，这样的模型被称 为多元线性回归模型。
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
4
多元线性回归模型的四种向量表述

真实的回归模型：Y X

估计的回归模型：
ˆ ˆ Y X
Y X
Βιβλιοθήκη Baidu
真实的回归线：
ˆ ˆ X Y

样本回归线：
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
6.2 OLS估计量的向量表述
ˆ 的最小二乘 (OLS)估计公式也可以用下面的方式推导。 ˆ +u ˆ 左乘一个 X '， 对估计的回归模型 Y = X
ˆ X 'Y = X 'X ˆ + X ' u ˆ=0有 根据（最小二乘）估计的回归函数的性质（4） ，X ' u
X 'Y = X 'X ˆ