计量经济学 回归模型

Ch2 回归模型
本章主要内容
普通最小二乘法的代数
普通最小二乘法估计量 普通最小二乘法假设检验
几个基本概念
函数关系、相关关系、因果关系
函数关系(确定性关系)
相关关系
相关关系是一种纯数学关系 统计关系式本身不可能意味着任何因果关系，看变量间 有 无 因 果 关 系 ， 要 从 经 济 理 论 上 去 分 析 。 nonsense correlation

iபைடு நூலகம்
0
1 i
(1)
ˆ
Q ˆ ˆ x )( x ) 0 2( yi 0 1 i i ˆ 1 ˆ ˆ x )x 0 (y
i
0

i
0
1 i
i
(2)
ˆ x
i i
0
普通最小二乘估计的数值性质
1．样本回归线必然经过样本均值点 2. 残差和为零 3．Y的真实值和拟合值有共同的均值
(六) 多元线性回归模型
如果一个变量受到多个因素的影响，那么线 性回归模型中就有多个解释变量。 yi 0 1x1i 2 x2i i 如何估计样本回归函数
ˆ ˆ x ˆx ˆ y 0 1 1 2 2
0 , 1, 2 i 1
Min ˆ ˆ ˆ
2 ˆ ( y y ) i i ˆMin ˆ ˆ
ˆ) ˆ ) Var ( Var ( y ) Var ( y
ˆ Var ( y ) Var ( y ˆ) 2Cov( y ˆ) ˆ ˆ ) Var ( ˆ, yy
ˆ ˆ x, ˆ Cov( x, ˆ) Cov( ˆ ˆ) 0 ˆ, Cov( y ) 0 1 1 ˆ) ˆ ) Var ( Var ( y ) Var ( y
Fi Di ( yi y )( xi x ) ˆ 1 2 2 Di ( xi x )
练习：
y
请验证：1
ˆy
ˆ, y ˆ) 0 2 Cov(
（五）拟合程度的判断
（一）方差分解及其R2的定义 对于模型 y 0 1 x ，可以验证：
练习：
ˆ ˆ x ˆ x 的残差的 ˆi 样本回归直线y 0 1 1i 2 2i 自由度是多少？
(六) 多元线性回归模型 1．样本回归线必然经过样本均值点 2. 残差和为零 3．Y的真实值和拟合值有共同的均值 4．估计残差与自变量不相关 5．估计残差与拟合值不相关
(六)多元线性回归模型
方差分解公式依旧成立：
ˆ) ˆ ) Var ( Var ( y ) Var ( y
ˆ) Var ( y R Var ( y )
求解
ˆ y ˆx 0 1
ˆ ( x x )]x 0 [ y y i 1 i i ˆ
1
( y y )x (x x )x
i i
i
i
课堂练习：
ˆ 1 ( y y ) x ( y y )( x x ) ( x x ) y (x x )x (x x ) (x x ) x y Nx y x Nx
（三）关于R2的基本结论 ˆ 的样本相关系数r的平方。 R2也是y与 y ˆ Cov( y, y ˆ, y ˆ ˆ ) Var ( y ˆ ) Cov( ˆ ) Var ( y ˆ) yy
2 ˆ) ˆ) Cov ( y, y Var ( y 2 r R2 ˆ ) Var ( y ) Var ( y )Var ( y
i i i i i 2 2 i i i i i i 2 i 2 i
β1估计值的统计意义
定义y与x的样本协方差、x的样本方差分别为
Var ( x) ( xi x ) 2 / N
2
Cov( x, y ) ( xi x )( yi y ) / N
Var (a bx) b Var ( x) Cov(a bx, y ) bCov( x, y )
对于简单线性回归模型： y 0 1 x ， R2 是y与x的样本相关系数的平方。（自己证明）
2 Var ( x ) ˆ R 1 Var ( y ) 2
拟合程度的判断
（三）利用R2判定系数的注意事项：
1.
采用的估计方法是OLS。
2.
拟合直线必须带有截距。为什么？
2 2 2 ˆ ˆ ( y y ) ( y y ) i i i
ˆ x
i 1
N
i i
0
1．样本回归线必然经过样本均值点
2. 残差和为零
3．Y的真实值和拟合值有共同的均值 4．估计残差与自变量不相关 5．估计残差与拟合值不相关
无截距回归性质
注意：估计残差之和不一定等于0！因此残差 估计量与解释变量不一定是不相关的。
ˆ, x) ( ˆi ˆ )xi x N cov(
TSS ( yi y ) 2 ˆi y ˆ )2 ( y ˆi y )2 ESS ( y ˆi ˆ )2 ˆi 2 RSS (
根据方差分解有： TSS=ESS+RSS
R 2 ESS / TSS 1 RSS / TSS
拟合程度的判断
ˆ, x ) 0 Cov(
5
ˆ ˆ y
i
i
0
普通最小二乘估计的数值性质
无论用何种估计方法，我们都希望残差 所包含的信息价值很小，如果残差还含 有大量的信息价值，那么该估计方法是 需要改进的！对模型 y 0 1 x 利 用OLS，至少我们能保证（1）：残差均 值为零；（2）残差与解释变量x不相关 【一个变量与另一个变量相关是一个重 要的信息】。
(七)自由度与调整的R2
如果单纯依据R2标准，我们应该增加解释变量 以使模型拟合得更好。 但增加解释变量将增加待估计的参数，在样本 容量有限的情况下，这并不一定是明智之举。 什么叫自由度？假设变量x可以自由地取N个值， 那么x的自由度就是N。然而，如果施加一个约 xi a 为常数，那么 a 束， ， x的自由度就减少了， 新的自由度就是N-1。
4．估计残差与自变量不相关
5．估计残差与拟合值不相关
普通最小二乘估计的数值性质
1 2 3 4
ˆ ˆx y 0 1
1 N x xi N i 1
1 y N
y
i 1
N
i
ˆ
i
0
ˆy y
ˆ x
i i
ˆi ˆ ) xi ( ˆi ˆ )( xi x ) 0 0 (
普通最小二乘法的代数
什么是回归？
案例1：孩子的身高 案例2：消费水平
回归分析：研究一个随机变量Y对另一个(X)或一组(X1， X2，…，Xk)变量的相依关系的统计分析方法。 计量经济学研究的是有因果关系的统计依赖关系!
(一)问题提出
假定y与x具有近似的线性关系：
其中 是随机误差项。我们对 0 , 1 这两个参数的值一无所知。 问题：一个样本容量为N的样本，其观测 ( y1 , x1 ),( y2 , x2 ),...,( y N , xN ) 值是： 如何利用该样本来猜测 0 , 1 ？
。
y 0 1 x
概念：总体回归模型与总体回归函数
为什么是线性的？ 总体回归模型 y 0 1 x E( y x) 0 1x E( x) 总体回归函数（方程）
E( y x) 0 1x
某一经济学理论认为x与y具有线性的因果关 系。
可得
Cov( x, y ) ˆ 1 Var ( x)
（四）无截距回归（过原点回归）
y x ˆx min yi i
i 1 N


2
ˆx x 0 yi i i
i 1
N


(1)
ˆ
yx
i 1 N
N
i i 2
x
i 1
i
无截距回归性质
只有一个正规方程（1）:
2
(七)自由度与调整的R2
如果在模型中增加解释变量，那么总的平方和不变， 但残差平方和至少不会增加，一般是减少的。为什 么？ N
0 , 1 , 2 i 1
2 ˆ ˆ ˆ min ( y x x ) i 0 1 1 i 2 2 i ˆ ˆ ˆ
令最后所获得的目标函数值（也就是残差平方和） 为RSS1。对该优化问题施加约束： 并求解，则 ˆ 0 2 2 。 得到目标函数值RSS RSS1 <= RSS2
因果关系(causation)
相关性强弱的经验判断
相关系数 0.3原则与0.7原则（0.3的平方=0.1，0.7的平方 =0.5） 0.4－0.7低度相关 0.8以上高度相关
计量经济学研究的是有因果关系的 统计依赖关系!
正相关 线性相关 不相关 相关系数 负相关 有因果关系：回归分析 相关关系 正相关 无因果关系：相关分析 非线性相关 不相关 负相关
0
距离最短。这可以归结为求解一个数学 问题：
2 2 ˆ ˆ ˆ Min ( y y ) Min ( y x ) i i i 0 1 i ˆ ˆ ˆ ˆ N N
1
0 , 1 i 1
0 , 1 i 1
，
两种思考方法b
ˆ i 越近越好（最近距离 给定 xi，看起来 yi 与 y ˆ i 距离最近可能使得yj 是0）。由于使得yi与 y ˆ j 距离扩大。一种简单的权衡方式是， 与 y 给定(x1,… xN)，拟合直线的选择应该使距离 的平均值是最小的。