第四章 经典线性回归模型(高级计量经济学-清华大学 潘文清)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
假设1(linearity): Yi=0+1X1i+…+kXki+i =Xi’+i (i=1,2,…n) 或 Y=X+ 其中，=(0, 1,…,k)’, =(1,2,…,n)’ 注意： 这里的线性性指Y关于参数是线性的。
假设2（strict Exogeneity）: E(i|X)=E(i|X1,X2,…Xn)=0, 注意：
四、估计2及Var(b) Estimation of 2 and Var(b)
由于2未知，而Var(b)中也有2，故需估计。 由假设4，E(i2|X)=2，故可用E(ei2|X)来估计2。
Fra Baidu bibliotek
E(ei2|X)=E(e’e|X)= E(’M|X)=E(ijmijij|X)
= ijmijE(ij|X)= 2imii = 2trace(M) 而 trace(M)=trace(In-P)=trace(In)-trace[X(X’X)-1X’] =n-trace[(X’X)-1XX’]=n- trace[(X’X)-1X’X] =n-(k+1)
注意：
(1) 1阶偏导： SSR/b= -2X’(Y-Xb)
2阶偏导： 2SSR/2b=2X’X
由min(X’X)>0 知2X’X>0, 从而b=(X’X)-1(X’Y)是最小值 (2) 由1阶极值条件可以得到所谓正规方程(normal equations): X’(Y-Xb)=X’e=0 正规方程是OLS所特有的，而不论是否有E(i|X)=0
(3) [Orthogonality between e and b] Cov(b,e|X)=E[(b-)(e-E(e))’|X] 由于 b- =(X’X)-1X’ E(e|X)=E(M|X)=ME(|X)=0 故 Cov(b, e|X)=E[(X’X)-1X’e’|X] = E[(X’X)-1X’’M|X] = (X’X)-1X’E(’|X)M =2(X’X)-1X’M =Onn
Ruc2为非中心化多元相关系数的平方(Uncentered squared multi-correlation coefficient)
注意： (1) 0 Ruc21 (2) Ruc2 的含义：Y的变化中可以由X的变化解释的 部分所占的比重
称为Y的方差分解式(analysis of variance)：观测值的离差平方 和(SST)等于拟合值的离差平方和(SSE)加残差的平方(SSR): SST=SSE+SSR
Y1 Y2 Y Y n
1 X 11 1 X 12 X 1 X 1n X k1 X k2 X kn
经典回归模型(classical regression model)建立在 如下假设之上：
六、测度拟合优度 Measuring Goodness of Fit
Question: How well does the linear regression model fit the data? That is, how well does the linear regression model explain the variation of the observed data?
为避免将无解释力的解释变量纳入到X中去，引入 调整的决定系数(adjusted coefficient of determination):
(4)决定系数仅是对样本回归线拟合样本数据的程 度给予描述。而CR模型并不要求R2要有多高，CR 模型关心的是对总体回归参数的估计与检验。 (5) 有两个常用的判别是否有必要引入额外解释变 量的准则（在变量数目与模型简洁性间权衡）：
(3) 计量经济学中，关于严格外生性有其他的定义。 如定义为i独立于X，或X是非随机的。这一定义排 除了条件异方差性。而我们这里的假设2是允许存在 条件异方差性的。 如果X是非随机的，则假设2变成
E(i|X)=E(i)=0
(4)假设2的向量形式：
E(|X)=0
注意： (1)本假设排除了解释变量间的多重共线性 (multicollinearity) (2) 本假设意味着X’X是非奇异的，或者说X必须 满秩于k+1。因此应有k+1≤n。 (3) 由于λ表述了矩阵X’X的相关信息，因此本假 设意味着当n∞时应有新信息进入X，即Xi不能老 是重复相同的值。
于是
E(ei2|X)=E(e’e|X)= 2(n-k-1)
记s2=ei2/(n-k-1)=e’e/(n-k-1)，则s2为2的无偏估计量
五、估计条件期望及预测 Estimation of conditional Expectation, and Prediction 1、估计条件期望
2、Y个值的预测
注意：
(1) Gauss-Markov 定理表明OLS估计量b是的最 佳线性无偏估计量(best linear unbiased estimator, BLUE) ； (2)由性质(1)与性质(2)还可得出，OLS估计量b依 均方收敛于，因此依概率收敛于，从而是的一 致估计量。 (3)由性质(1)与性质(2)知： MSE(b|X)=E(b-)(b-)’|X) =Var(b|X)+[bias(b|X)]2 0 (n)
(i=1,2,…n)
(1) 由E(i|X)=0 易推出：E()=0, E(Xji)=0 或有： Cov(Xj, i)=0 (i, j=1,2,…n) (2) 由于可以有j≤i, 或j>i, 意味着i既不依赖过去的X， 也不依赖于未来的X。因此排除了动态模型。 例：对AR(1)模型： Yi=0+1Yi-1+i=Xi’+i 这里Xi=(1, Yi-1)’，显然E(Xii)=E(Xi)E(i)=0，但 E(Xi+1i)≠0。因此，E(i|X)≠0
(3) 假设4意味着存在非条件同方差性： var(i)=2 类似地， Cov(i, j)=0 (4) 假设4并不意味着i与X是独立的。它充许i的 条件高阶矩（如：偏度、峰度）可依赖于X。
二、参数的估计 Estimation of
由假设1与假设2知： E(Y|X)=0+1X1+…+kXk=X’ 其中，X=(1, X1, …,Xk)’ 即线性模型Y=X’+关于E(Y|X) 正确设定。 因此，其最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值0。 即，min E(Y-X’)2 的解为 *=0=[E(XX’)]-1E(XY)
三、高斯-马尔科夫定理 Gauss-Markov Theorem
•Question: OLS估计量的统计性质如何？ (1)[Unbiaseness] E(b|X)=, E(b)= E(b|X)=E[(+(X’X)-1X’)|X]=+(X’X)-1X’E(|X)= (2)[Vanishing Variance] Var(b|X)=E[(b-)(b-)’|X] =E[(X’X)-1X’’X(X’X)-1|X] =(X’X)-1E(’|X) =(X’X)-12I =2(X’X)-1 b中第i个元素的方差：Var(bi)= 2cii, cii为(X’X)-1 中主对角线第i个元素。
(3) R2是解释变量数目Xi的非递减函数。 Proof: 记 Yi=Xi’+ui (i) 对应 R2 Yi=Xi+’++vi (ii) 对应R+2 其中，Xi=(1,X1i,…Xki)’, Xi+=(1,X1i,…Xki,…Xk+q,i)’ 求解min SSR()可看成在k+1=…=k+q=0的约束下 求解min SSR(+)。 有约束的(i)的残差平方和不会小于无约束的(ii)的 残差平方和：e+’e+e’e
• 一些有用的等式 (1) X’e=0 (2) b-=(X’X)-1X’ 因为 b=(X’X)-1X’Y=(X’X)-1X’(X+)=+(X’X)-1X’ (3) 定义nn方阵： P=X(X’X)-1X’ , M=In-P 则 P=P’ ， M=M’ P2=P， M2=M 且 PX=X, MX=On(k+1) (4) e=MY=M SSR(b)=e’e=Y’MY=’M
由类比法，对样本回归模型 Yi=Xi’b+ei i=1,2,…,n 其中，Xi=(1, X1i, …,Xki)’, b=(b0, b1, …,bk)’ 需求解极值问题 min (1/n)(ei)2 上述问题相当于求解残差平方和(sum of squared residuals, SSR)的极小值 min SSR(b)=ei2=(Yi-Xi’b)2=e’e=(Y-Xb)’(Y-Xb) 其中，e=(e1,e2,…,en)’ 在假设3下，解为： b=(X’X)-1(X’Y) 该方法称为普通最小二乘法(ordinary Least Squares)
第四章 经典线性回归模型(I)
Classical Linear Regression Model (I)
§4.1 经典线性回归模型 Classical Linear Regression Models
一、经典回归模型 Classical Regression Model
假设随机抽取一容量为n的样本(Yi, Xi), i=1,…,n， 其中，Yi是标量，Xi=(1,X1i,X2i,…,Xki)’，或
E(b*|X)=E[C’(X+)|X]=C’X+C’E(|X)=C’X b*是无偏的当且仅当C’X=I 于是 b*=C’Y=C’(X+)=C’X+C’=+C’ b*-=C’ 则 Var(b*|X)=E[(b*-)(b*-)’|X]=E[C’’C|X] =C’E(’|X)C=C’2IC=2C’C 于是 Var(b*)-Var(b)= 2C’C- 2(X’X)-1 = 2[C’C-C’X(X’X)-1X’C] = 2C’[I-X(X’X)-1X’]C= 2C’MC = 2C’M’MC= 2(MC)’(MC) = 2D’D= positive semi-definite
(4) [Gauss-Markov theorem]
In the CR model, the LS coefficient vector b is the minimum variance linear unbiased estimator of parameter vector .
设b*是另一线性无偏估计：b*=C’Y 其中，C=C(X)为一n(k+1)只依赖于X的矩阵。 只需证明 Var(b*)-Var(b)是半正定的
注意： (1) 假设4可写成
E(ij|X)=2ij,
其中， i= j时，ij=1； i≠j时，ij=0
矩阵形式： E(’)=2I
(2)由假设2，
Var(i|X)=E(i2|X)-E[(i|X)]2=E(i|X)=2
同理， Cov(i,j|X)=E(ij|X)=0
假设4（Spherical error variance） (a) [conditional homoskedasticity]: E(i2|X)=2>0, i=1,2,…,n (b) [conditional serial uncorrelatedness]: E(ij|X)=0, i, j=1,2,…,n
对任何其元素平方和为1的(k+1)1向量, ’=1 ’Var(b|X) = 2’(X’X)-1 2max[(X’X)-1] = 2{min[(X’X)]}-1
注意： Var(b|X)0还可通过Chebycheff不等式来证明： 对b中的第i个元素：P{|bi-i|>}<Var(bi)/2=(2cii)/2 n时，(X’X)，则(X’X)-10 于是： lim P{|bi-i|>}=0 for all >0
假设2（strict Exogeneity）: E(i|X)=E(i|X1,X2,…Xn)=0, 注意：
四、估计2及Var(b) Estimation of 2 and Var(b)
由于2未知，而Var(b)中也有2，故需估计。 由假设4，E(i2|X)=2，故可用E(ei2|X)来估计2。
Fra Baidu bibliotek
E(ei2|X)=E(e’e|X)= E(’M|X)=E(ijmijij|X)
= ijmijE(ij|X)= 2imii = 2trace(M) 而 trace(M)=trace(In-P)=trace(In)-trace[X(X’X)-1X’] =n-trace[(X’X)-1XX’]=n- trace[(X’X)-1X’X] =n-(k+1)
注意：
(1) 1阶偏导： SSR/b= -2X’(Y-Xb)
2阶偏导： 2SSR/2b=2X’X
由min(X’X)>0 知2X’X>0, 从而b=(X’X)-1(X’Y)是最小值 (2) 由1阶极值条件可以得到所谓正规方程(normal equations): X’(Y-Xb)=X’e=0 正规方程是OLS所特有的，而不论是否有E(i|X)=0
(3) [Orthogonality between e and b] Cov(b,e|X)=E[(b-)(e-E(e))’|X] 由于 b- =(X’X)-1X’ E(e|X)=E(M|X)=ME(|X)=0 故 Cov(b, e|X)=E[(X’X)-1X’e’|X] = E[(X’X)-1X’’M|X] = (X’X)-1X’E(’|X)M =2(X’X)-1X’M =Onn
Ruc2为非中心化多元相关系数的平方(Uncentered squared multi-correlation coefficient)
注意： (1) 0 Ruc21 (2) Ruc2 的含义：Y的变化中可以由X的变化解释的 部分所占的比重
称为Y的方差分解式(analysis of variance)：观测值的离差平方 和(SST)等于拟合值的离差平方和(SSE)加残差的平方(SSR): SST=SSE+SSR
Y1 Y2 Y Y n
1 X 11 1 X 12 X 1 X 1n X k1 X k2 X kn
经典回归模型(classical regression model)建立在 如下假设之上：
六、测度拟合优度 Measuring Goodness of Fit
Question: How well does the linear regression model fit the data? That is, how well does the linear regression model explain the variation of the observed data?
为避免将无解释力的解释变量纳入到X中去，引入 调整的决定系数(adjusted coefficient of determination):
(4)决定系数仅是对样本回归线拟合样本数据的程 度给予描述。而CR模型并不要求R2要有多高，CR 模型关心的是对总体回归参数的估计与检验。 (5) 有两个常用的判别是否有必要引入额外解释变 量的准则（在变量数目与模型简洁性间权衡）：
(3) 计量经济学中，关于严格外生性有其他的定义。 如定义为i独立于X，或X是非随机的。这一定义排 除了条件异方差性。而我们这里的假设2是允许存在 条件异方差性的。 如果X是非随机的，则假设2变成
E(i|X)=E(i)=0
(4)假设2的向量形式：
E(|X)=0
注意： (1)本假设排除了解释变量间的多重共线性 (multicollinearity) (2) 本假设意味着X’X是非奇异的，或者说X必须 满秩于k+1。因此应有k+1≤n。 (3) 由于λ表述了矩阵X’X的相关信息，因此本假 设意味着当n∞时应有新信息进入X，即Xi不能老 是重复相同的值。
于是
E(ei2|X)=E(e’e|X)= 2(n-k-1)
记s2=ei2/(n-k-1)=e’e/(n-k-1)，则s2为2的无偏估计量
五、估计条件期望及预测 Estimation of conditional Expectation, and Prediction 1、估计条件期望
2、Y个值的预测
注意：
(1) Gauss-Markov 定理表明OLS估计量b是的最 佳线性无偏估计量(best linear unbiased estimator, BLUE) ； (2)由性质(1)与性质(2)还可得出，OLS估计量b依 均方收敛于，因此依概率收敛于，从而是的一 致估计量。 (3)由性质(1)与性质(2)知： MSE(b|X)=E(b-)(b-)’|X) =Var(b|X)+[bias(b|X)]2 0 (n)
(i=1,2,…n)
(1) 由E(i|X)=0 易推出：E()=0, E(Xji)=0 或有： Cov(Xj, i)=0 (i, j=1,2,…n) (2) 由于可以有j≤i, 或j>i, 意味着i既不依赖过去的X， 也不依赖于未来的X。因此排除了动态模型。 例：对AR(1)模型： Yi=0+1Yi-1+i=Xi’+i 这里Xi=(1, Yi-1)’，显然E(Xii)=E(Xi)E(i)=0，但 E(Xi+1i)≠0。因此，E(i|X)≠0
(3) 假设4意味着存在非条件同方差性： var(i)=2 类似地， Cov(i, j)=0 (4) 假设4并不意味着i与X是独立的。它充许i的 条件高阶矩（如：偏度、峰度）可依赖于X。
二、参数的估计 Estimation of
由假设1与假设2知： E(Y|X)=0+1X1+…+kXk=X’ 其中，X=(1, X1, …,Xk)’ 即线性模型Y=X’+关于E(Y|X) 正确设定。 因此，其最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值0。 即，min E(Y-X’)2 的解为 *=0=[E(XX’)]-1E(XY)
三、高斯-马尔科夫定理 Gauss-Markov Theorem
•Question: OLS估计量的统计性质如何？ (1)[Unbiaseness] E(b|X)=, E(b)= E(b|X)=E[(+(X’X)-1X’)|X]=+(X’X)-1X’E(|X)= (2)[Vanishing Variance] Var(b|X)=E[(b-)(b-)’|X] =E[(X’X)-1X’’X(X’X)-1|X] =(X’X)-1E(’|X) =(X’X)-12I =2(X’X)-1 b中第i个元素的方差：Var(bi)= 2cii, cii为(X’X)-1 中主对角线第i个元素。
(3) R2是解释变量数目Xi的非递减函数。 Proof: 记 Yi=Xi’+ui (i) 对应 R2 Yi=Xi+’++vi (ii) 对应R+2 其中，Xi=(1,X1i,…Xki)’, Xi+=(1,X1i,…Xki,…Xk+q,i)’ 求解min SSR()可看成在k+1=…=k+q=0的约束下 求解min SSR(+)。 有约束的(i)的残差平方和不会小于无约束的(ii)的 残差平方和：e+’e+e’e
• 一些有用的等式 (1) X’e=0 (2) b-=(X’X)-1X’ 因为 b=(X’X)-1X’Y=(X’X)-1X’(X+)=+(X’X)-1X’ (3) 定义nn方阵： P=X(X’X)-1X’ , M=In-P 则 P=P’ ， M=M’ P2=P， M2=M 且 PX=X, MX=On(k+1) (4) e=MY=M SSR(b)=e’e=Y’MY=’M
由类比法，对样本回归模型 Yi=Xi’b+ei i=1,2,…,n 其中，Xi=(1, X1i, …,Xki)’, b=(b0, b1, …,bk)’ 需求解极值问题 min (1/n)(ei)2 上述问题相当于求解残差平方和(sum of squared residuals, SSR)的极小值 min SSR(b)=ei2=(Yi-Xi’b)2=e’e=(Y-Xb)’(Y-Xb) 其中，e=(e1,e2,…,en)’ 在假设3下，解为： b=(X’X)-1(X’Y) 该方法称为普通最小二乘法(ordinary Least Squares)
第四章 经典线性回归模型(I)
Classical Linear Regression Model (I)
§4.1 经典线性回归模型 Classical Linear Regression Models
一、经典回归模型 Classical Regression Model
假设随机抽取一容量为n的样本(Yi, Xi), i=1,…,n， 其中，Yi是标量，Xi=(1,X1i,X2i,…,Xki)’，或
E(b*|X)=E[C’(X+)|X]=C’X+C’E(|X)=C’X b*是无偏的当且仅当C’X=I 于是 b*=C’Y=C’(X+)=C’X+C’=+C’ b*-=C’ 则 Var(b*|X)=E[(b*-)(b*-)’|X]=E[C’’C|X] =C’E(’|X)C=C’2IC=2C’C 于是 Var(b*)-Var(b)= 2C’C- 2(X’X)-1 = 2[C’C-C’X(X’X)-1X’C] = 2C’[I-X(X’X)-1X’]C= 2C’MC = 2C’M’MC= 2(MC)’(MC) = 2D’D= positive semi-definite
(4) [Gauss-Markov theorem]
In the CR model, the LS coefficient vector b is the minimum variance linear unbiased estimator of parameter vector .
设b*是另一线性无偏估计：b*=C’Y 其中，C=C(X)为一n(k+1)只依赖于X的矩阵。 只需证明 Var(b*)-Var(b)是半正定的
注意： (1) 假设4可写成
E(ij|X)=2ij,
其中， i= j时，ij=1； i≠j时，ij=0
矩阵形式： E(’)=2I
(2)由假设2，
Var(i|X)=E(i2|X)-E[(i|X)]2=E(i|X)=2
同理， Cov(i,j|X)=E(ij|X)=0
假设4（Spherical error variance） (a) [conditional homoskedasticity]: E(i2|X)=2>0, i=1,2,…,n (b) [conditional serial uncorrelatedness]: E(ij|X)=0, i, j=1,2,…,n
对任何其元素平方和为1的(k+1)1向量, ’=1 ’Var(b|X) = 2’(X’X)-1 2max[(X’X)-1] = 2{min[(X’X)]}-1
注意： Var(b|X)0还可通过Chebycheff不等式来证明： 对b中的第i个元素：P{|bi-i|>}<Var(bi)/2=(2cii)/2 n时，(X’X)，则(X’X)-10 于是： lim P{|bi-i|>}=0 for all >0