第四章 经典线性回归模型(高级计量经济学清华大学 潘文清)概要

注意：
(1) 1阶偏导： SSR/b= -2X’(Y-Xb)
2阶偏导： 2SSR/2b=2X’X
由min(X’X)>0 知2X’X>0, 从而b=(X’X)-1(X’Y)是最小值 (2) 由1阶极值条件可以得到所谓正规方程(normal equations): X’(Y-Xb)=X’e=0 正规方程是OLS所特有的，而不论是否有E(i|X)=0
假设4（Spherical error variance） (a) [conditional homoskedasticity]: E(i2|X)=2>0, i=1,2,…,n (b) [conditional serial uncorrelatedness]: E(ij|X)=0, i, j=1,2,…,n
(i=1,2,…n)
(1) 由E(i|X)=0 易推出：E()=0, E(Xji)=0 或有： Cov(Xj, i)=0 (i, j=1,2,…n) (2) 由于可以有j≤i, 或j>i, 意味着i既不依赖过去的X， 也不依赖于未来的X。因此排除了动态模型。 例：对AR(1)模型： Yi=0+1Yi-1+i=Xi’+i 这里Xi=(1, Yi-1)’，显然E(Xii)=E(Xi)E(i)=0，但 E(Xi+1i)≠0。因此，E(i|X)≠0
第四章 经典线性回归模型(I)
Classical Linear Regression Model (I)
§4.1 经典线性回归模型 Classical Linear Regression Models
一、经典回归模型 Classical Regression Model
假设随机抽取一容量为n的样本(Yi, Xi), i=1,…,n， 其中，Yi是标量，Xi=(1,X1i,X2i,…,Xki)’，或
注意： (1) 假设4可写成
E(ij|X)=2ij,
其中， i= j时，ij=1； i≠j时，ij=0
矩阵形式： E(’)=2I
(2)由假设2，
Var(i|X)=E(i2|X)-E[(i|X)]2=E(i|X)=2
同理， Cov(i,j|X)=E(ij|X)=0
三、高斯-马尔科夫定理 Gauss-Markov Theorem
•Question: OLS估计量的统计性质如何？ (1)[Unbiaseness] E(b|X)=, E(b)= E(b|X)=E[(+(X’X)-1X’)|X]=+(X’X)-1X’E(|X)= (2)[Vanishing Variance] Var(b|X)=E[(b-)(b-)’|X] =E[(X’X)-1X’’X(X’X)-1|X] =(X’X)-1E(’|X) =(X’X)-12I =2(X’X)-1 b中第i个元素的方差：Var(bi)= 2cii, cii为(X’X)-1 中主对角线第i个元素。
(3) 假设4意味着存在非条件同方差性wenku.baidu.com var(i)=2 类似地， Cov(i, j)=0 (4) 假设4并不意味着i与X是独立的。它充许i的 条件高阶矩（如：偏度、峰度）可依赖于X。
二、参数的估计 Estimation of
由假设1与假设2知： E(Y|X)=0+1X1+…+kXk=X’ 其中，X=(1, X1, …,Xk)’ 即线性模型Y=X’+关于E(Y|X) 正确设定。 因此，其最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值0。 即，min E(Y-X’)2 的解为 *=0=[E(XX’)]-1E(XY)
假设1(linearity): Yi=0+1X1i+…+kXki+i =Xi’+i (i=1,2,…n) 或 Y=X+ 其中，=(0, 1,…,k)’, =(1,2,…,n)’ 注意： 这里的线性性指Y关于参数是线性的。
假设2（strict Exogeneity）: E(i|X)=E(i|X1,X2,…Xn)=0, 注意：
Y1 Y2 Y Y n
1 X 11 1 X 12 X 1 X 1n X k1 X k2 X kn
经典回归模型(classical regression model)建立在 如下假设之上：
(3) 计量经济学中，关于严格外生性有其他的定义。 如定义为i独立于X，或X是非随机的。这一定义排 除了条件异方差性。而我们这里的假设2是允许存在 条件异方差性的。 如果X是非随机的，则假设2变成
E(i|X)=E(i)=0
(4)假设2的向量形式：
E(|X)=0
注意： (1)本假设排除了解释变量间的多重共线性 (multicollinearity) (2) 本假设意味着X’X是非奇异的，或者说X必须 满秩于k+1。因此应有k+1≤n。 (3) 由于λ表述了矩阵X’X的相关信息，因此本假 设意味着当n∞时应有新信息进入X，即Xi不能老 是重复相同的值。
由类比法，对样本回归模型 Yi=Xi’b+ei i=1,2,…,n 其中，Xi=(1, X1i, …,Xki)’, b=(b0, b1, …,bk)’ 需求解极值问题 min (1/n)(ei)2 上述问题相当于求解残差平方和(sum of squared residuals, SSR)的极小值 min SSR(b)=ei2=(Yi-Xi’b)2=e’e=(Y-Xb)’(Y-Xb) 其中，e=(e1,e2,…,en)’ 在假设3下，解为： b=(X’X)-1(X’Y) 该方法称为普通最小二乘法(ordinary Least Squares)
• 一些有用的等式 (1) X’e=0 (2) b-=(X’X)-1X’ 因为 b=(X’X)-1X’Y=(X’X)-1X’(X+)=+(X’X)-1X’ (3) 定义nn方阵： P=X(X’X)-1X’ , M=In-P 则 P=P’ ， M=M’ P2=P， M2=M 且 PX=X, MX=On(k+1) (4) e=MY=M SSR(b)=e’e=Y’MY=’M