高级计量经济学 第二章 多元线性回归模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这三个方程构成求解三个未知参数的联立 线性方程组，我们称该方程组为正规方程 (Normal equations)。
最小二乘法估计
（多元回归模型）
将上述关系表示成矩阵形式得到：
N
X1i
X2i
即
X1i X12i X1iX2i
XX 1iX 2i2iˆˆ1 0 XY 1iiYi X22i ˆ2 X2iYi
第二章 线性回归模型
(Linear regression equations)
本章内容
古典线性回归(Ordinary Linear Squares)
模型估计方法和统计检验
其他模型估计方法
最大似然法（Maximum Likelihood） 广义矩法（Generalized Method of Moments）
E (ˆX ) (X 'X ) 1 X 'E (eX )
E ˆE X E ˆX
最小二乘法估计
（多元回归模型）
估计量的方差为：
Var(ˆ) E[(ˆ )(ˆ ) ']
E[( X ' X )1 X 'ee ' X ( X ' X )1] ( X ' X )1 X ' E[ee ']X ( X ' X )1
同样的方法可以用于检验有关多个估计参数之间 关系的联合假设。
用下标R和UR区分有约束和无约束的回归方程R2 ，q为约束条件的个数，相应的F统计值计算公式 为：
E[e1e1 X] E[e1e2 X] ... E[e1en X] E[e2e1 X] E[e2e2 X] ... E[e2en X]
...
E[ene1 X] E[ene2 X] ... E[enen X]
利用方差分解公式可以得到： V a r [ e ] E [ V a r [ e X ] ] V a r [ E [ e X ] ]2 I
对拟合优度的统计检验
检验拟合优度的虚假设是所有解释变量均不是真 正的解释变量，即：
H 0 : 12 .. .k 0
备择假设为至少有一个解释变量的参数不等于零 。相应的统计量为：
F k 1 ,N kE RSS K N S S 1 K 1 R R 22N K K 1
最小二乘法估计
（多元回归模型）
上式实现最小化的必要条件是：
ESˆ(ˆS)2X'Y2X'Xˆ0
得出上述结果需要利用以下矩阵算法性质：
a 'x a , A x A ', x 'A ( x A A ')x
x x
x
求解未知系数的最小二乘法正态方程为：
计算调整自由度后的R2时使用的方差与R2不同。
增加解释变量可能使ESS降低，但Var u 可以增大、不变
或下降，取决于新增加变量的解释能力。 当模型包括多个解释变量时，必然有R2 R2。 如果模型包括了一些不具有统计显著性的解释变量，那么
会出现 R 2 显著小于R2。删除不显著的变量会提高R 2，但会 降低R2。 是否应该增加或删除某个变量一般不应该根据R 2 或R2的数 值大小，而应该根据对变量之间因果关系的理论认识。 R 2 可能出现负值。
满足时，我们才能够得到参数估计结果。 该假定要求，至少对于K个观察值而言，解释变
量之间不应存在完全的线性关系。当不满足这一 条件时，我们遇到奇异矩阵。 一元回归模型不存在违反该假定的情况。 在遇到此问题时，计量经济软件通常给出“Near Singular matrix”。
假定3：解释变量X独立于误差项
如y果ˆ使xˆ12 , …x1,或 xk保持ˆ不1变 ，xyˆ1那么有
即每个估计的都反映出当其他因素不变时，该因
素产生的边际影响效果。
多元回归的拟合优度
多元回归方程的拟合优度同样可以用R2表示
R2RSS
TSS
Y Y ˆii Y Y2 21
引起R2下降，因而存在着通过不断增添解释变量使R2趋 近于1的可能； 当模型不包含常数项时，R2的值可能超出0-1这一区间 。 利用时间序列数据建立的模型R2通常较高，而利用截面 数据建立的模型R2通常较低。 当因变量不同（包括其数学表达形式不同）时，比较R2 大小没有任何意义。
调整自由度后的R2
X' Xˆ X'Y
如果 X'X存在逆矩阵(这是满秩假定所要求的)，
那么其解为： ˆ(X'X)1X'Y
最小二乘法估计
（多元回归模型）
如果将解释变量视作是非随机的，那么将X作为常 数矩阵，可以得知OLS估计量是线性无偏的： ˆ ( X ' X )1 X 'Y ( X ' X )1 X '( X e) ( X ' X )1 X 'e
鉴于R2是解释变量的非递减函数，这降低了 利用该指标对模型做比较时的价值。
使用调整自由度后的R2做比较，能够考虑增 加解释变量产生的影响。其计算公式为：
R2 1VVaarrYu 1Yiui2YN2 NK1
1(1R2) N1 NK
调整自由度后的R2
ui2 Yi Y2
拟合优度也可以表示为因变量的实际值与拟合值
的相关系数，即：
R2
yi yyˆi yˆ 2 yi y2 yˆi yˆ2
多元回归的拟合优度
在利用R2评价模型拟合优劣时需要注意以下问题:
模型设定必须是正确的； R2是解释变量数量的非递减函数，即增加解释变量不会
（多元回归模型）
利用矩阵形式可以将最小二乘法估计表示为：
n
Min ESS(ˆ) ui2 u'u i1 (Y Xˆ)'(Y Xˆ) Y'Y ˆ' X'Y Y' Xˆ ˆ' X' Xˆ Y'Y 2Y' Xˆ ˆ' X' Xˆ
注意 ˆ'X'YY'X ˆ2Y'X ˆ
e是理论模型的随机挠动项 u是估计模型的残差项
用方程形式，残差平方和可以表示为
E S S u i 2 Y i Y ˆ i2 Y i ˆ 0 ˆjX ij2
最小二乘法估计
（多元回归模型）
以包括两个解释变量的模型为例，对未知参数求一阶导数 得到：
ˆˆ1 0
N X1i
ˆ2 X2i
X1i X12i X1iX2i
XX 1iX 2i2i1 XY 1iiYi X2 2i X2iYi
思考：如果X1=2X2会出现什么情况？
最小二乘法估计
模型设定与设定误差 虚拟变量的使用 建立多元回归模型时应注意的问题
古典回归模型
当回归模型满足古典假定时，我们称 其为古典回归模型。
一元回归模型
Yi = β0 + β1Xi +ei
多元回归模型
Yi = β0 + β1X1i + β2X2i + . . .+ βKXKi +ei
不同数学函数的性质
模型 线性 双对数 左对数 右对数 倒数 对数倒数 二次函数 交叉项
数学方程
Y=β0+β1X lnY=β0+β1lnX lnY=β0+β1X Y=β0+β1lnX Y=β0+β1(1/X) lnY=β0+β1(1/X) Y=β0+β1X+β2X2 Y=β0+β1X+β2XZ
斜率(dY/dX)
当挠动项同时满足方差相同和无序列相关两个假定时，我们将其称做 球形扰动。
假定5：解释变量是非随机的
(Nonstochastic regressors)
古典模型要求X是一个n K 非随机矩阵，即不含 有随机误差；
在应用工作中可以放松这一假定，只要求当X为 随机变量时，其统计分布独立于误差项e，即X与 误差项不相关。
假定6：误差服从正态分布
假定误差服从以零为均值和具有不变方差 的正态分布。
e X~N[0,2I]
对于应用工作而言，正态分布假定并不是 必须的，只是为分析计算提供了便利。这 涉及到假定3和4。
最小二乘法估计
YXeXˆu
式中：
是理论模型的未知参数向量 ˆ 是的估计量
当F值大于选择的临界值时，我们拒绝H0。
对估计系数的统计检验
利用前述的估计量方差矩阵可以得到每个 估计参数的标准差sj，估计参数与该标准差 的比值为相应的t统计值。
利用t统计表（或相应的软件）可以得到与 模型自由度相对应的显著性水平，据此可 以判断结果在统计意义上的可靠性。
对模型参数的联合检验
假定1：参数线性函数
古典多元回归模型的可以表示为：
一般形式：Y = β0 + β1X1 + β2X2 + . . .+ βKXK +e 离差形式：y = β1x1 + β2x2 + . . .+ βKxK +e 矩阵形式：Y = Xβ +e
在矩阵形式中，Xi是矩阵X 中的一列，常数项被看作是一个取值恒为 0的变量。
( X ' X )1 X '[ 2I ]X ( X ' X )1 2 ( X ' X )1
19
对多元回归方程估计结果的解释
多元回归方程估计结果可以表达为
y ˆˆ1 x 1ˆ2 x 2 .. .ˆK x K
由方程可知：
y ˆ ˆ 1 x 1 ˆ 2 x 2 . .ˆ .K x K
假定3还意味着
C o v[x,e]C o v[x,E [eX ]]0
E[Y X]X
假定4：球形扰动
(Spherical Disturbances)
假定4与挠动项的方差和协方差有关，即： V a r [ e iX ] 2 和 C o v [ e i,e jX ] 0 ,i j E[ee' X]2I
根据这一假定，X的观察结果不含有与挠动 项期望值有关的信息，用公式表达为：
E [e1
X] 1
E[e
X]
E [e2
X 2]
0
E [en X n ]
假定3：解释变量X独立于误差项
条件均值为零意味着，无条件均值也等于 零。
E[ei]ExE[ei Xi]0
2
最小二乘法估计
（多元回归模型）
由三个方程可以解出：
Y i N ˆ 0 ˆ 1 X 1 i ˆ 2 X 2 i
X 1 i Y i ˆ 0 X 1 i ˆ 1X 1 2 i ˆ 2 X 1 iX 2 i X 2 i Y i ˆ 0 X 2 i ˆ 1 X 1 iX 2 i ˆ 2 X 2 2 i
需要注意的是，在计量经济学中，“线性”指的是估计参数可以表达为 样本观察值和误差项的线性函数，并不要求回归方程中变量之间的关 系为线性的。
例：CD函数 Ye0X1 1X2 2eu
对该函数两边取对数得到：LnY=0+1LnX1+2LnX2+u
即比：较：YY *= 0e+0X 1X1 11 *X +2 2 2X 2*u +u
E ˆ S 2SY iˆ0ˆ1X 1 iˆ2X 2 i 0
0
E ˆ S 2S Y iˆ0ˆ1 X 1 iˆ2 X 2 iX 1 i 0
1
E ˆ S 2S Y iˆ0ˆ1 X 1 iˆ2 X 2 iX 2 i 0
β1 β1Y/X β1Y β1/X -β1/X2 -β1Y/X2 β1+2β2X β1+β2Z
弹性(dY/dX)(X/Y)
β1X/Y β1 β1X β1/Y
-β1/(Xቤተ መጻሕፍቲ ባይዱ) -β1/X
(β1+2β2X)X/Y (β1+β2Z)X/Y
5
假定2：矩阵X是满秩的
X是一个n K 矩阵，X的秩应该等于K； 该假定也被称做识别条件。只有当识别条件得到
最小二乘法估计
（多元回归模型）
将上述关系表示成矩阵形式得到：
N
X1i
X2i
即
X1i X12i X1iX2i
XX 1iX 2i2iˆˆ1 0 XY 1iiYi X22i ˆ2 X2iYi
第二章 线性回归模型
(Linear regression equations)
本章内容
古典线性回归(Ordinary Linear Squares)
模型估计方法和统计检验
其他模型估计方法
最大似然法（Maximum Likelihood） 广义矩法（Generalized Method of Moments）
E (ˆX ) (X 'X ) 1 X 'E (eX )
E ˆE X E ˆX
最小二乘法估计
（多元回归模型）
估计量的方差为：
Var(ˆ) E[(ˆ )(ˆ ) ']
E[( X ' X )1 X 'ee ' X ( X ' X )1] ( X ' X )1 X ' E[ee ']X ( X ' X )1
同样的方法可以用于检验有关多个估计参数之间 关系的联合假设。
用下标R和UR区分有约束和无约束的回归方程R2 ，q为约束条件的个数，相应的F统计值计算公式 为：
E[e1e1 X] E[e1e2 X] ... E[e1en X] E[e2e1 X] E[e2e2 X] ... E[e2en X]
...
E[ene1 X] E[ene2 X] ... E[enen X]
利用方差分解公式可以得到： V a r [ e ] E [ V a r [ e X ] ] V a r [ E [ e X ] ]2 I
对拟合优度的统计检验
检验拟合优度的虚假设是所有解释变量均不是真 正的解释变量，即：
H 0 : 12 .. .k 0
备择假设为至少有一个解释变量的参数不等于零 。相应的统计量为：
F k 1 ,N kE RSS K N S S 1 K 1 R R 22N K K 1
最小二乘法估计
（多元回归模型）
上式实现最小化的必要条件是：
ESˆ(ˆS)2X'Y2X'Xˆ0
得出上述结果需要利用以下矩阵算法性质：
a 'x a , A x A ', x 'A ( x A A ')x
x x
x
求解未知系数的最小二乘法正态方程为：
计算调整自由度后的R2时使用的方差与R2不同。
增加解释变量可能使ESS降低，但Var u 可以增大、不变
或下降，取决于新增加变量的解释能力。 当模型包括多个解释变量时，必然有R2 R2。 如果模型包括了一些不具有统计显著性的解释变量，那么
会出现 R 2 显著小于R2。删除不显著的变量会提高R 2，但会 降低R2。 是否应该增加或删除某个变量一般不应该根据R 2 或R2的数 值大小，而应该根据对变量之间因果关系的理论认识。 R 2 可能出现负值。
满足时，我们才能够得到参数估计结果。 该假定要求，至少对于K个观察值而言，解释变
量之间不应存在完全的线性关系。当不满足这一 条件时，我们遇到奇异矩阵。 一元回归模型不存在违反该假定的情况。 在遇到此问题时，计量经济软件通常给出“Near Singular matrix”。
假定3：解释变量X独立于误差项
如y果ˆ使xˆ12 , …x1,或 xk保持ˆ不1变 ，xyˆ1那么有
即每个估计的都反映出当其他因素不变时，该因
素产生的边际影响效果。
多元回归的拟合优度
多元回归方程的拟合优度同样可以用R2表示
R2RSS
TSS
Y Y ˆii Y Y2 21
引起R2下降，因而存在着通过不断增添解释变量使R2趋 近于1的可能； 当模型不包含常数项时，R2的值可能超出0-1这一区间 。 利用时间序列数据建立的模型R2通常较高，而利用截面 数据建立的模型R2通常较低。 当因变量不同（包括其数学表达形式不同）时，比较R2 大小没有任何意义。
调整自由度后的R2
X' Xˆ X'Y
如果 X'X存在逆矩阵(这是满秩假定所要求的)，
那么其解为： ˆ(X'X)1X'Y
最小二乘法估计
（多元回归模型）
如果将解释变量视作是非随机的，那么将X作为常 数矩阵，可以得知OLS估计量是线性无偏的： ˆ ( X ' X )1 X 'Y ( X ' X )1 X '( X e) ( X ' X )1 X 'e
鉴于R2是解释变量的非递减函数，这降低了 利用该指标对模型做比较时的价值。
使用调整自由度后的R2做比较，能够考虑增 加解释变量产生的影响。其计算公式为：
R2 1VVaarrYu 1Yiui2YN2 NK1
1(1R2) N1 NK
调整自由度后的R2
ui2 Yi Y2
拟合优度也可以表示为因变量的实际值与拟合值
的相关系数，即：
R2
yi yyˆi yˆ 2 yi y2 yˆi yˆ2
多元回归的拟合优度
在利用R2评价模型拟合优劣时需要注意以下问题:
模型设定必须是正确的； R2是解释变量数量的非递减函数，即增加解释变量不会
（多元回归模型）
利用矩阵形式可以将最小二乘法估计表示为：
n
Min ESS(ˆ) ui2 u'u i1 (Y Xˆ)'(Y Xˆ) Y'Y ˆ' X'Y Y' Xˆ ˆ' X' Xˆ Y'Y 2Y' Xˆ ˆ' X' Xˆ
注意 ˆ'X'YY'X ˆ2Y'X ˆ
e是理论模型的随机挠动项 u是估计模型的残差项
用方程形式，残差平方和可以表示为
E S S u i 2 Y i Y ˆ i2 Y i ˆ 0 ˆjX ij2
最小二乘法估计
（多元回归模型）
以包括两个解释变量的模型为例，对未知参数求一阶导数 得到：
ˆˆ1 0
N X1i
ˆ2 X2i
X1i X12i X1iX2i
XX 1iX 2i2i1 XY 1iiYi X2 2i X2iYi
思考：如果X1=2X2会出现什么情况？
最小二乘法估计
模型设定与设定误差 虚拟变量的使用 建立多元回归模型时应注意的问题
古典回归模型
当回归模型满足古典假定时，我们称 其为古典回归模型。
一元回归模型
Yi = β0 + β1Xi +ei
多元回归模型
Yi = β0 + β1X1i + β2X2i + . . .+ βKXKi +ei
不同数学函数的性质
模型 线性 双对数 左对数 右对数 倒数 对数倒数 二次函数 交叉项
数学方程
Y=β0+β1X lnY=β0+β1lnX lnY=β0+β1X Y=β0+β1lnX Y=β0+β1(1/X) lnY=β0+β1(1/X) Y=β0+β1X+β2X2 Y=β0+β1X+β2XZ
斜率(dY/dX)
当挠动项同时满足方差相同和无序列相关两个假定时，我们将其称做 球形扰动。
假定5：解释变量是非随机的
(Nonstochastic regressors)
古典模型要求X是一个n K 非随机矩阵，即不含 有随机误差；
在应用工作中可以放松这一假定，只要求当X为 随机变量时，其统计分布独立于误差项e，即X与 误差项不相关。
假定6：误差服从正态分布
假定误差服从以零为均值和具有不变方差 的正态分布。
e X~N[0,2I]
对于应用工作而言，正态分布假定并不是 必须的，只是为分析计算提供了便利。这 涉及到假定3和4。
最小二乘法估计
YXeXˆu
式中：
是理论模型的未知参数向量 ˆ 是的估计量
当F值大于选择的临界值时，我们拒绝H0。
对估计系数的统计检验
利用前述的估计量方差矩阵可以得到每个 估计参数的标准差sj，估计参数与该标准差 的比值为相应的t统计值。
利用t统计表（或相应的软件）可以得到与 模型自由度相对应的显著性水平，据此可 以判断结果在统计意义上的可靠性。
对模型参数的联合检验
假定1：参数线性函数
古典多元回归模型的可以表示为：
一般形式：Y = β0 + β1X1 + β2X2 + . . .+ βKXK +e 离差形式：y = β1x1 + β2x2 + . . .+ βKxK +e 矩阵形式：Y = Xβ +e
在矩阵形式中，Xi是矩阵X 中的一列，常数项被看作是一个取值恒为 0的变量。
( X ' X )1 X '[ 2I ]X ( X ' X )1 2 ( X ' X )1
19
对多元回归方程估计结果的解释
多元回归方程估计结果可以表达为
y ˆˆ1 x 1ˆ2 x 2 .. .ˆK x K
由方程可知：
y ˆ ˆ 1 x 1 ˆ 2 x 2 . .ˆ .K x K
假定3还意味着
C o v[x,e]C o v[x,E [eX ]]0
E[Y X]X
假定4：球形扰动
(Spherical Disturbances)
假定4与挠动项的方差和协方差有关，即： V a r [ e iX ] 2 和 C o v [ e i,e jX ] 0 ,i j E[ee' X]2I
根据这一假定，X的观察结果不含有与挠动 项期望值有关的信息，用公式表达为：
E [e1
X] 1
E[e
X]
E [e2
X 2]
0
E [en X n ]
假定3：解释变量X独立于误差项
条件均值为零意味着，无条件均值也等于 零。
E[ei]ExE[ei Xi]0
2
最小二乘法估计
（多元回归模型）
由三个方程可以解出：
Y i N ˆ 0 ˆ 1 X 1 i ˆ 2 X 2 i
X 1 i Y i ˆ 0 X 1 i ˆ 1X 1 2 i ˆ 2 X 1 iX 2 i X 2 i Y i ˆ 0 X 2 i ˆ 1 X 1 iX 2 i ˆ 2 X 2 2 i
需要注意的是，在计量经济学中，“线性”指的是估计参数可以表达为 样本观察值和误差项的线性函数，并不要求回归方程中变量之间的关 系为线性的。
例：CD函数 Ye0X1 1X2 2eu
对该函数两边取对数得到：LnY=0+1LnX1+2LnX2+u
即比：较：YY *= 0e+0X 1X1 11 *X +2 2 2X 2*u +u
E ˆ S 2SY iˆ0ˆ1X 1 iˆ2X 2 i 0
0
E ˆ S 2S Y iˆ0ˆ1 X 1 iˆ2 X 2 iX 1 i 0
1
E ˆ S 2S Y iˆ0ˆ1 X 1 iˆ2 X 2 iX 2 i 0
β1 β1Y/X β1Y β1/X -β1/X2 -β1Y/X2 β1+2β2X β1+β2Z
弹性(dY/dX)(X/Y)
β1X/Y β1 β1X β1/Y
-β1/(Xቤተ መጻሕፍቲ ባይዱ) -β1/X
(β1+2β2X)X/Y (β1+β2Z)X/Y
5
假定2：矩阵X是满秩的
X是一个n K 矩阵，X的秩应该等于K； 该假定也被称做识别条件。只有当识别条件得到