一元线性回归分析

一、相关关系与回归分析 各种经济变量之间的关系可以分为两种： 函数关系 客观存在的完全确定的依存关系 相关关系 客观存在的一种非确定性的依存关系
二、一元线性回归模型及基本假定 变量y与变量x之间的相关关系可以用数学模 型表述为： y x u
0 1
对于第i个观测，有：
y i 0 1 x i u i
2 i i 2
^
( x x) x ( x x) 1 ( x x)
i
( x x) 0 ( x x) ( x x)( x x x ) ( x x)
i 2 i
( xi x ) =k i kiui 记 2 ( xi x)
LS
min ( yi y i )
i 1
^ ^ n
n
^
2
Q( 0 , 1 ) ( yi y i ) ( yi 0 1 xi )2
2 ^ ^ i 1 i 1
^
n
Q ^ 0 0 Q 0 ^ 1
2 ( yi 0 1 xi ) 0 ^ ^ 2 ( yi 0 1 xi ) xi 0
不存在序 列相关、 解释变量 是固定非 随机的 与其他线性无偏估计 量相比，且仅仅利用 样本信息
第一章 一元线性回归分析
★§1.1 ★§1.2 ★§1.3 ★§1.4
§1.5 §1.6 §1.7 §1.8
一元线性回归模型 模型参数的最小平方估计（板书） 参数估计量的统计性质 随机干扰项u的方差估计 一元线性回归参数的t检验与置信区间 拟合优度和相关系数 一元线性回归方程应用于预测 一元线性回归模型的建模步骤与实例
第一篇 单方程计量经济学模 型理论与方法
第一章 一元线性回归分析 第二章 多元线性回归分析 第三章 线性回归模型的扩展
第一章 一元线性回归分析
★§1.1
§1.2 §1.3 §1.4 §1.5 §1.6 §1.7 §1.8
一元线性回归模型 模型参数的最小平方估计 参数估计量的统计性质 随机干扰项u的方差估计 一元线性回归参数的t检验与置信区间 拟合优度和相关系数 一元线性回归方程应用于预测 一元线性回归模型的建模步骤与实例
2 i 1 i 1 ^ n ^ n ^
^
^
y 1xi ui
dQ d 1
^
0
^
2 (yi 1 xi ) xi 0
1
^
(y
i
xi ) xi 0
1
^
xy x
i 2 i
i
^ ( xi x)( yi y ) xi y i 2 2 1 ( x x ) i xi ^ ^ y x 1 0
x cov （ 0 ， 1） 2 （x i x）
^ ^ 2 u
几点说明：
2 1. u 较大时，估计量的方差增大。
2.自变量的观测值越集中，估计量的方差越大。 3.增加观测值，可以提高估计的精度。
^ ^
4. 协方差度量的是作为随机变量 和 是如何相互联系的。正的协方差 0 1 ^ ^ ^ 表明，当 高估了 0 时， 也可能高估了 。同理，当 1 低估了 0时，
y i 0 1 xi
u
^ 2 2 i
ui yi E( yi )
^
^
^
i yi yi yi ( 0 1 xi )
^
^
^
n2
u
^
^ 2

2 i
n2

( yi yi )
n2
^ ^
^
2

2 ( y y ) ( y y ) i i 2
^
( x x)( y y ) x y ^ ^ 0 y 1 x ( x x) x
i i i i 2 i 2 i


当常数项0 =0时： i
y i 1 xi
Q( 1 ) ( yi y i ) ( yi 1 xi )2
i i
i i i
2
2
i
i
i
2
i
2
yi
i
ki yi
( xi x ) 记 =k i 2 ( xi x)
1 ki yi
^
1 ki yi ki (0 1xi ui )
0 ki 1 ki xi
( xi x) ki ( x x ) 2 i ( xi x) xi ki xi ( x x)2 i
^ xi yi nx y 1 2 2 xi nx ^ ^ 0 y 1 x
例1：某市居民对西红柿的月需求量y与西 红柿价格x之间的9对调查数据见excel表 格，试确定y对x的样本回归直线。
第一章 一元线性回归分析
★§1.1 ★§1.2 ★§1.3
D(ui )
2 u 2 2 i 2 u
D(ui ) E(ui E(ui )) E(u )
E(
2 2 2 2 u u ) E(u u u ) u u un
2 i
2 1
2 2
2 n
u E( n
2 i
)
2 u
yi 0 1 xi ui
假定１：u (i 1,2,n)均为服从正态分布的实有随机 变量。 假定2： E(u i ) 0 2 D ( u ) 常数 i u 假定3： 假定4： Cov(ui , u j ) 0 (i j, i, j 1,2,n) 假定5： Cov(ui , x j ) 0 (i, j 1,2n) 在x是非随机变量时，该假定自动满足。
2 2 2
V u
2 t 2

(n 2) u
^ 2
u2
注意，V不是自由度为n的卡方分布，因为残差依赖于 最小二乘估计量，不是独立的。但是可以证明有n-2 ^ 2 个残差是独立的，有下式成立： (n 2) u
V
2 u
~ (2n2)
3.t分布
2 V ~ 如果Z~N（0，1）分布， ( m)
二、最小二乘估计量的统计性质

1.线性 2.无偏性 3.最佳性
最佳性
var （ 1 ）
^
^ 2 （ x x ） i 2 u
2 2 x 1 x i 2 2 var （ 0 ） u u 2 2 n （x i x） （x i x） n
（1）V是非负的
（2）V有一个长的尾巴拖向右方，或者说是右偏的。
（3）随着自由度的增大，分布越来越趋向于对称或钟型分布 （4）随着m的增大，分布收敛于正态分布
u
^ 2
的分布
u
ut ~ N (0,1)
2
ut 2 运用卡方分布的定义，有： ~ (1) u
u1 u 2 un 2 2 ( ) ~ 如果所有的误差项独立，有： (n) u u u u ut
一、最小二乘估计量的抽样分布
0 ~ N( 0 , D( 0 )) 1 ~ N( 1 , D( 1 ))
D( 1 )
^
^
^
^
^
（x
u2
i 2 x）
2 x i2 x 2 1 2 D（ 0 ） u u 2 2 n （ x x ） n （ x x ） i i ^
u
^ 2
2 i
n-2
二、区间估计的理论基础
1.
1 ~ N ( 1 ,
^ ^
(x i x) 2
~ N (0,1)
百度文库
2 u
)
Z
1 1
D( 1 )
^
2.如果 Z1 , Z2 ,Zm 表示m个独立的标准正态分 布的随机变量，那么有：
2 2 V Z12 Z2 Z m ~ (2m)
一、最小二乘估计量作为随机变量
^ ( xi x)( yi y ) 1 2 ( x x ) i ^ ^ 0 y 1 x
1
^
( x x) y ( x x) ( x x) ( x x)
i i
( x x)( y y ) ( x x) y y ( x x) ( x x) ( x x)
^ ^
( yi 0 1 xi ) 0 ^ ^ ( yi 0 1 xi ) xi 0
^ ^ ^ ^ yi n 0 1 xi ^ ^ 2 xi yi 0 xi 1 xi
1
1也可能低估了 1。协方差为零则表明两者没有线性相关关系。负的协
方差则表明当 高估了 0时， 可能低估了 1。
0 1 ^ ^
^
0
1
0
5.观测数据离x=0越远，越难以解释 0 。
Gauss-Markov theorem
在满足古典假定的条件下，最小二乘估 随机误差 计量在所有的线性无偏估计量中方差是 项零均值、 最小的，它们是最好的线性无偏估计量 同方差、 （BLUE）。
i
第一章 一元线性回归分析
★§1.1 ★§1.2
§1.3 §1.4 §1.5 §1.6 §1.7 §1.8
一元线性回归模型 模型参数的最小平方估计 参数估计量的统计性质 随机干扰项u的方差估计 一元线性回归参数的t检验与置信区间 拟合优度和相关系数 一元线性回归方程应用于预测 一元线性回归模型的建模步骤与实例
^
n2
2 2 2 ( y y ) ( x x ) ( x x ) i 0 1 i 0 1 1 i
^
^
^ 2
( x x)( y y ) ( x x) ( x x)( y y) ( x x) ( y y ) ( x x)( y y )
i
i
2
i
1 1 ki ui
^
0 y 1 x
^
^
^
y n
i
1 x ki yi ( xki ) yi n
1 0 ( xki )( 0 1 xi ui ) n 1 0 1 x ui x0 ki x1 ki xi x kiui n 1 0 1 x ui x1 x kiui n 1 0 ( xki )ui n
§1.4 §1.5 §1.6 §1.7 §1.8 一元线性回归模型 模型参数的最小平方估计（板书） 参数估计量的统计性质 随机干扰项u的方差估计 一元线性回归参数的t检验与置信区间 拟合优度和相关系数 一元线性回归方程应用于预测 一元线性回归模型的建模步骤与实例
一、最小二乘估计量作为随机变量 二、最小二乘估计量的统计性质 1.线性 2.无偏性 3.最佳性（最小方差性）
^ i i 2
^
1
2
i
1
i
i
i
^ 2 u
2
^
i
1
i
i
n2

( y n y ) 1 ( xi x)( yi y )
2 i
^
n2
y
2 i
1 xi y i n2
^


第一章 一元线性回归分析
★§1.1 ★§1.2 ★§1.3 ★§1.4 ★§1.5
一元线性回归模型 模型参数的最小平方估计（板书） 参数估计量的统计性质 随机干扰项u的方差估计（板书） 一元线性回归参数的t检验与置信区间 §1.6 拟合优度和相关系数 §1.7 一元线性回归方程应用于预测 §1.8 一元线性回归模型的建模步骤与实例