线性回归模型高级计量经济学清华大学潘文清

因此，其最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值0。
即，min E(Y-X’)2 的解为
*=0=[E(XX’)]-1E(XY)
由类比法，对样本回归模型
Yi=Xi’b+ei i=1,2,…,n 其中，Xi=(1, X1i, …,Xki)’, b=(b0, b1, …,bk)’ 需求解极值问题 min (1/n)(ei)2
上述问题相当于求解残差平方和(sum of squared residuals, SSR)的极小值
min SSR(b)=ei2=(Yi-Xi’b)2=e’e=(Y-Xb)’(Y-Xb) 其中，e=(e1,e2,…,en)’
在假设3下，解为： b=(X’X)-1(X’Y)
该方法称为普通最小二乘法(ordinary Least Squares)
注意： (1) 1阶偏导： SSR/b= -2X’(Y-Xb)
2阶偏导： 2SSR/2b=2X’X 由min(X’X)>0 知2X’X>0, 从而b=(X’X)-1(X’Y)是最小值 (2) 由1阶极值条件可以得到所谓正规方程(normal equations):
X’(Y-Xb)=X’e=0 正规方程是OLS所特有的，而不论是否有E(i|X)=0
如果X是非随机的，则假设2变成
E(i|X)=E(i)=0
(4)假设2的向量形式：
E(|X)=0
注意：
(1)本假设排除了解释变量间的多重共线性 (multicollinearity)
(2) 本假设意味着X’X是非奇异的，或者说X必须 满秩于k+1。因此应有k+1≤n。
(3) 由于λ表述了矩阵X’X的相关信息，因此本假 设意味着当n∞时应有新信息进入X，即Xi不能老 是重复相同的值。
SSR(b)=e’e=Y’MY=’M
三、高斯-马尔科夫定理 Gauss-Markov Theorem
•Question: OLS估计量的统计性质如何？ (1)[Unbiaseness] E(b|X)=, E(b)= E(b|X)=E[(+(X’X)-1X’)|X]=+(X’X)-1X’E(|X)= (2)[Vanishing Variance] Var(b|X)=E[(b-)(b-)’|X] =E[(X’X)-1X’’X(X’X)-1|X] =(X’X)-1E(’|X) =(X’X)-12I =2(X’X)-1
注意： 这里的线性性指Y关于参数是线性的。
假设2（strict Exogeneity）: E(i|X)=E(i|X1,X2,…Xn)=0, (i=1,2,…n)
注意： (1) 由E(i|X)=0 易推出：E()=0, E(Xji)=0 或有： Cov(Xj, i)=0 (i, j=1,2,…n) (2) 由于可以有j≤i, 或j>i, 意味着i既不依赖过去的X，
中b主中对第角i个线元第素i个的元方素差。：Var(bi)= 2cii, cii为(X’X)-1
对任何其元素平方和为1的(k+1)1向量, ’=1 ’Var(b|X) = 2’(X’X)-1 2max[(X’X)-1] = 2{min[(X’X)]}-1
• 一些有用的等式
(1) (2) 因为 (3)
则
且 (4)
X’e=0 b-=(X’X)-1X’ b=(X’X)-1X’Y=(X’X)-1X’(X+)=+(X’X)-1X’ 定义nn方阵： P=X(X’X)-1X’ , M=In-P
P=P’ ， M=M’ P2=P， M2=M
PX=X, MX=On(k+1) e=MY=M
也不依赖于未来的X。因此排除了动态模型。 例：对AR(1)模型： Yi=0+1Yi-1+i=Xi’+i
这里Xi=(1, Yi-1)’，显然E(Xii)=E(Xi)E(i)=0，但 E(Xi+1i)≠0。因此，E(i|X)≠0
(3) 计量经济学中，关于严格外生性有其他的定义。 如定义为i独立于X，或X是非随机的。这一定义排 除了条件异方差性。而我们这里的假设2是允许存在 条件异方差性的。
第四章 经典线性回归模型(I)
Classical Linear Regression Model (I)
§4.1 经典线性回归模型 Classical Linear Regression Models
一、经典回归模型 Classical Regression Model
假设随机抽取一容量为n的样本(Yi, Xi), i=1,…,n， 其中，Yi是标量，Xi=(1,X1i,X2i,…,Xki)’，或
假设4（Spherical error variance） (a) [conditional homoskedasticity]: E(i2|X)=2>0, i=1,2,…,n (b) [conditional serial uncorrelatedness]: E(ij|X)=0, i, j=1,2,…,n
类似地，
var(i)=2 Cov(i, j)=0
(4) 假设4并不意味着i与X是独立的。它充许i的 条件高阶矩（如：偏度、峰度）可依赖于X。
二、参数的估计 Estimation of
由假设1与假设2知： E(Y|X)=0+1X1+…+kXk=X’
其中，X=(1, X1, …,Xk)’ 即线性模型Y=X’+关于E(Y|X) 正确设定。注意： (1) Nhomakorabea假设4可写成
E(ij|X)=2ij, 其中， i= j时，ij=1； i≠j时，ij=0
矩阵形式： E(’)=2I
(2)由假设2，
Var(i|X)=E(i2|X)-E[(i|X)]2=E(i|X)=2
同理， Cov(i,j|X)=E(ij|X)=0
(3) 假设4意味着存在非条件同方差性：
Y1
Y
Y2
Yn
1
X
1 1
X11 X12 X1n
X k1
Xk2
X kn
经典回归模型(classical regression model)建立在 如下假设之上：
假设1(linearity):
Yi=0+1X1i+…+kXki+i
=Xi’+i
或
Y=X+
(i=1,2,…n)
其中，=(0, 1,…,k)’, =(1,2,…,n)’