第一讲 经典线性回归模型

(2)本假设排除了解释变量间的多重共线性(multicollinearity)
(3) (1/n)X′X中的元素为(1/n)t=1nXtiXtj，QXX的存在意味着当
n∞时，Plim (1/n)t=1nXtiXtj存在（LLN）。
2018年11月25日
暑期学校-陈耀辉
8
假设4（Spherical error variance） (a) [conditional homoskedasticity]: E(t2|X)=2>0, t=1,2,…,n (b) [conditional serial uncorrelatedness]: E(tj|X)=0, t, j=1,2,…,n
2018年11月25日
暑期学校-陈耀辉
12
2.OLS估计的数值性质
(1) 对残差平方和： SSR(b)= et2=e′e=(Y-Xtb)′(Y-Xtb) 1阶偏导： SSR/b= -2X′ (Y-Xb)
2阶偏导： 2SSR/bb′= 2X′X 由于X′X为正定矩阵(Why?), 从而b=(X′X)-1(X′Y)是最小值 (2) 由1阶极值条件可以得到正规方程(normal equations):
(3) 假设4意味着存在非条件同方差性： var(t)=2 类似地： Cov(t, j)=0 (4) 假设4并不意味着t与X是独立的。它充许t的 条件高阶矩（如：偏度、峰度）可依赖于X。
2018年11月25日
暑期学校-陈耀辉
10
二、参数的估计
1.OLS估计 由假设1与假设2知： E(Y|X)=0+1X1+…+kXk=X 其中：X=(1, X1, …,Xk)。 E(Y|X)是MSE最小化问题的解：minE[Y-X]2
PX+MX=I, PXMX=O Y=PXY+MXY
2018年11月25日
暑期学校-陈耀辉
19
2.部分/分块回归（Partial regression）
两个问题：对二元回归模型 Y= 0+1X1+2X2+ a. 1的二元估计与简单的一元估计相同吗？ b. 如何理解1为X2不变时X1的变化对Y的“净”影响？
X′ (Y-Xb)=X′e=0
当模型含有值恒为1的常数项时， et=0 正规方程是OLS所特有的，而不论是否有E(t|X)=0
2018年11月25日
暑期学校-陈耀辉
13
（4）一些有用的等式 a. X′e=0 b. b=(X′X)-1X′ 因为：b=(X′X)-1X′Y=(X′X)-1X′ (X+)=+(X′X)-1X′ c. 定义两个nn方阵：PX=X(X′X)-1X′ , MX=InPX 则： PX=P′X ， MX=M′X PX2=PX， MX2=MX 且 PXX=X, MXX=On(k+1) d. e=MXY=MX SSR(b)=e′e=Y′MXY=′MX
根据OLS估计的特点：Y对X进行OLS回归，残 差项e可记为： e=Y-Xb=MXY e中不包含X对Y的影响的成份，因此是排除了X的 其他因素对Y的“净”影响
二元回归的示例图
2018年11月25日
暑期学校-陈耀辉
16
右图表明：记b为OLS估计，则 ||Y||2=||Xb||2+||e||2 或 Y′Y=b′X′Xb+e′e The total sum of squares (TSS) is equal to the explained sum of squares (ESS) plus the sum of squared residuals (SSR): TSS=ESS+SSR
回归分析： 寻找正确的(总体)回归函数:E(Y|X)=f(X1、…、Xk)
2018年11月25日 暑期学校-陈耀辉 3
回归分析是在随机抽样的基础上进行的。 假设随机抽取一容量为n的样本(Yt, Xt), t=1,…,n， 其中，Yt是标量，Xt=(1,Xt1,Xt2,…,Xtk)，或
Y1 Y2 Y Y n
2018年11月25日
暑期学校-陈耀辉
11
上述求解残差平方和最小的方法称为普通最小二乘法
(ordinary Least Squares，OLS)，解称为普通最小二乘估计 (OLS Estimate) 以下特将普通最小二乘估计记为b：b=(X′X)-1X′Y
对应的样本回归模型记为：Yt=Xtb+et
2018年11月25日
暑期学校-陈耀辉
5
假设2（strict Exogeneity）: E(t|X)=E(t|X1,X2,…Xn)=0,
(t=1,2,…n)
注意： (1) 由E(t|X)=0 易推出：E()=0, E(X′tt)=0
或有： Cov(X′j, t)=0 (t, j=1,2,…n) (2) 由于可以有j≤t, 或j>t, 意味着t既不依赖过去的X， 也不依赖于未来的X。因此排除了动态模型。 例：对AR(1)模型： Yt=0+1Yt-1+t=Xt+t 这里Xt=(1, Yt-1)，显然可假设E(X′tt)=0，但 E(X′t+1t)≠0。因此，E(t|X)≠0
2018年11月25日 4
暑期学校-陈耀辉
假设1(linearity): Yt=0+1Xt1+…+kXtk+t =Xt+t (t=1,2,…n)
或:
Y=X+
其中， Xt=(X1, X2,…,Xk), =(0, 1,…,k)′, =(1,2,…,n) ′ 注意：这里的线性性指Y关于参数是线性的，即每 个解释变量对被解释变量的边际效应为常数。
(X)
(X)
2018年11月25日
暑期学校-陈耀辉
18
记PX为Y关于(X)的投影矩阵(projection matrix): PXY=Xb MX为Y关于(X)的投影矩阵(projection matrix):MXY=e
则：PX=X(X′X)-1X′ MX=I-PX=I-X(X′X)-1X′ 显然：PXX=X， MXX=O,
一、经典线性回归模型 一般地, 如下表征变量Y与X1、…、Xk的关系式 Y=f(X1、…、Xk)+ =0+1X1+…+kXk+ 称为(多元)线性回归模型((multiple) linear regression model)。Y称为被解释变量(explained variable)， X1、…、Xk称为解释变量(explantory vaiable)。
(4)假设2的向量形式： E(|X)=0
源自文库
2018年11月25日
暑期学校-陈耀辉
7
假设3（Nonsingularity/stability) 对有限样本：X′X非奇异 对无限样本：Plim(1/n)X′X=QXX 其中， QXX为KK阶有限非随机非奇异矩阵
注意： (1) X′X非奇异意味着X满秩于K=k+1。因此应有K=k+1≤n；
(**)
1) 回归模型(*) 中2的 OLS 估计等于回归模型 (**)中 2的 OLS 估计。 2) 回归模型 (*)中残差的估计等于 (**)中残差*的 估计。
2018年11月25日
暑期学校-陈耀辉
24
FWL定理的几何意义
由于MX1X2是X2在X1垂 面上的投影；
MX1Y是Y在X1垂 面上的投影 而回归： MX1Y=MX1X22 + *
代入(2)得： b2=(X′2M1X2)-1X′2M1Y
这里：M1=I-P1=I-X1(X′1X1)-1 X′1
2018年11月25日 暑期学校-陈耀辉 21
由于 b1=(X′1X1)-1X′1(Y-X2b2)
=(X′1X1)-1X′1Y- (X′1X1)-1X′1X2b2 显然，只有当X′1X2=0，即X1与X2正交时， b1=(X′1X1)-1X1Y 该估计恰为Y单独对X1的OLS回归的估计结果。 部分/分块回归： 在Y对两组解释变量X1与X2的多元线性回归中， 当该两组解释变量正交时，Y同时对它们回归的 参数估计与Y分别对X1与X2回归的参数估计相同。
一般地，对如下模型： Y=X11+X22+1 1=(1,,k1)′， 2=(k1+1,,K)′ (*) 其中，(X1)nk1=(X1,,Xk1), (X2)n(K-k1) =(Xk1+1,,XK)
2018年11月25日
暑期学校-陈耀辉
20
（1） （2）
由(1)得：
b1=(X′1X1)-1X′1(Y-X2b2)
则 e=M1e=M1Y-M1X1b1-M1X2b2=M1Y-M1X2b2=e*
2018年11月25日
暑期学校-陈耀辉
23
Theorem [Frisch-Waugh-Lovell Theorem]
对有两组回归元X1、X2的回归模型
Y=X11+X22+
记 MX1Y=MX1X22+ *
（ *）
X1 1 X2 1 X Xn 1 X 11 X 21 X n1 X 1k X 2k X nk
在下面假设下设定的线性回归模型称为经典线 性回归模型(classical regression model)。
2018年11月25日 暑期学校-陈耀辉 6
对动态模型，可以将该假设放松为：E(t|Xt)=0 即将任何时期的与任何时期的X不相关的假设放 松为与X只是同期不相关（可存在异期相关）。
(3) t与Xt无关，意味着与Xt中元素的任意组合也 无关， Xt 的任意组合，也往往称为 t 期的 信息集 (information set)，记为t。显然，信息集包含了 比模型中出现的变量更多的可能的变量（组合）。
2018年11月25日
暑期学校-陈耀辉
17
二、正交投影与部分/分块回归
1.正交投影（Orthogonal Projection) 记Y为n维空间一向量，则Xb为K维空间(X)的一向 量，而e为与(X)正交的n-K维空间(X)的一向量:
Xb为Y在(X)上的 (正交)投影； e为Y在(X)上的 (正交)投影。
相当于MX1Y在MX1X2上进行投影。 FWL定理的几何意义：
(**)
将X2投影到X1的垂（轴）面上，得：MX1X2
将Y投影到X1的垂（轴）面上，得：MX1Y 再将MX1Y在MX1X2上进行投影
2018年11月25日 暑期学校-陈耀辉 25
如何理解（*）式中的2为“当X1保持不变时，X2变 化一个单位对Y的“净”影响？” Y X1 X2 在X1与X2影响Y的同时，可能存 在着X1与X2间的相互影响。
2018年11月25日
暑期学校-陈耀辉
14
线性回归的几何解释 一、线性回归模型OLS估计的几何解释
Y=X+
在容量为n的样本下，样本回归模型为：
Y=Xb+e
OLS估计就是寻找适当的b，以使 ||e||2=e′e=(Y-Xb)′(Y-Xb)最小。 显然，当eXb时，||e||2最小。
2018年11月25日 暑期学校-陈耀辉 15
第一讲 经典线性回归模型
南京财经大学经济学院：陈耀辉
主要内容：
经典线性回归模型
模型与假设 参数估计（b）
线性回归的几何解释(数值性质)
OLS估计的几何解释 正交投影与部分回归（分块回归）
统计检验 虚拟变量的应用
2018年11月25日 暑期学校-陈耀辉 2
经典线性回归模型
注意： (1) 假设4可写成
E(tj|X)=2tj,
矩阵形式： E(′X)=2I
1 , t j tj= 0 , t j
2018年11月25日
暑期学校-陈耀辉
9
(2)由假设2，
Var(t|X)=E(t2|X)-{E[(t|X)]}2=E(t2|X)=2
同理： Cov(t,j|X)=E(tj|X)=0
2018年11月25日 暑期学校-陈耀辉 22
由于 b2=(X′2M1X2)-1X′2M1Y =[(M1X2) ′M1X2]-1(M1X2) ′M1Y 因此，b2可看成如下回归 M1Y=M1X22 + * 的参数的OLS估计。 又记e与e*分别为模型(*)与(**)的OLS估计的残差： e=Y-X1b1-X2b2 , e*=M1Y-M1X2b2 (**)