3 双变量线性回归模型

3 例子 例1 对于第一段中的消费函数，若根据数据得到：
n = 10 ,
2 ( X X ) 64,
X
=23, Y =20
( X X )(Y Y) 37
2
则有
( X X )( Y Y ) 37 i i 058 . ( Xi X ) 64 X 20 058 Y . (23) 670 . i 670 Y . 058 . Xi
设我们有Y和X的n对观测值数据，则根据(2)式， 变量Y的每个观测值应由下式决定：
Yi = + Xi + ui , i = 1, 2, ...,n (3)
(3)式称为双变量线性回归模型或简单线性回归模 型。其中 和 为未知的总体参数，也称为回归模型 的系数（ coefficients）。下标 i是观测值的序号。
一. 双变量线性回归模型的概念
设 Y = 消费, X = 收入, 我们根据数据画出散点图 Y * * * * 图1 X * 这意味着 Y = + X (1) 写出计量经济模型 Y = + X + u (2) 其中 u = 扰动项或 误差项 Y为因变量或被解释变量 X为自变量或解释变量 和 为未知参数
=β
ˆ 是β的无偏估计量。 这表明，
ˆ 无偏性的过程中, 我们仅用到(1)和(4)两 在证明 条假设条件。
ˆ X ，我们有： 由 ˆ Y
ˆX) ˆ ) E (Y E (
ˆX) E ( X u
ˆ) X E (u ) X E (
从而
x Y ˆ x
2 t
t t
x ( X x
t 2 t
t
ut )
ˆ
x Y x
2 t
t t
x ( X x
t 2 t
t
ut )
1 ( xt xt X t xt ut ) 2 xt 1 ( xt X t xt ut ) 2 xt
2 t 2 t
t t
t t
我们有：
ˆ ) (
2
xu ( x
t 2 t
t
)
2
1 2 ( x u x u ... x u ) 1 1 2 2 n n 2 2 ( xt )
1 2 2 ( x u xi x j uiu j ) 2 2 i i ( xt ) i j
此二式称为正规方程。解此二方程，得：
(3) (4)
ˆ
( X X )(Y Y ) x y (X X ) x
t t t 2 2 t t
t
(5) (6)
ˆX ˆ Y
Y 其中： Y
t
n xt X t X ,
,
X X n
t
样本均值 离差
y t Yt Y
估计方程为
ˆ 10.3 0.39 X Y t t
第二节 最小二乘估计量的性质
ˆ和 ˆ 的均值 一.
ˆ
由于
x y x
t 2 t
t
x (Y Y ) x Y x x
t t 2 t 2 t
t t

Y xt
2 x t
x (X
t
t
X ) Xt X nX nX 0
因而
例2 设Y和X的5期观测值如下表所示，试估计方程 Yt = + Xt + ut
序号
1 2 3 4 5
Yt Xt
14 10
18 20
23 30
25 40
30 50
解：我们采用列表法计算。计算过程如下：
Yt
1 2 3 4 5 Σ 14 18 23 25 30
Xt
10 20 30 40 50
2 ˆ e ( Y Y ) t t t 2
15
最小二乘法
最小二乘法就是选择一条直线，使其残差平方和达 ˆ ，使得 ˆ 和 到最小值的方法。即选择
S et
2
2 ˆ (Yt Yt )
ˆX ) 2 ˆ (Yt t
达到最小值。
运用微积分知识，使上式达到最小值的必要条件 为：
（2）E(uiuj) = 0, i≠j
即各期扰动项互不相关。也就是假定它们之间无 自相关或无序列相关。 实际上该假设等同于： cov( ui, uj) = 0, i≠j
这是因为：cov(ui, uj) = E{[ui - E(ui)][uj - E(uj)]} = E(uiuj) ——根据假设（1）
X X
ˆ 是 的无偏估计量。 即
ˆ 和 二. ˆ 的方差
ˆ ) E{[ ˆ E( ˆ )]2 } Var ( ˆ )2 E (
——根据定义
——由无偏性
ˆ) E (
x u ˆ 由上段结果： x x u ˆ 即 x
双变量线性回归模型的统计假设
(1). E(ut) = 0, t= 1, 2, ...,n 即各期扰动项的均值(期望值)为0. (2). E(uiuj) = 0 i j 即各期扰动项互不相关. (3). E(ut2 ) = 2 , t= 1, 2, ...,n 即各期扰动项方差是一常数. (4). 解释变量Xt 为非随机量 即Xt的取值是确定的, 而不是随机的. (5). ut ~ N( 0, 2 ) , t= 1, 2, ...,n 即各期扰动项服从正态分布。
双变量线性回归模型
（简单线性回归模型）
（Simple Linear Regression Model）
第一节 双变量线性回归模型的估计
第二节 最小二乘估计量的性质
第三节 拟合优度的测度
第四节 双变量回归中的区间估计和假 设检验
第五节 预测
第六节 有关最小二乘法的进一步讨论
第一节 双变量线性回归模型的估计
（5）ut ~ N( 0, 2 ) , t= 1, 2, ...,n 即扰动项服从正态分布。
满足条件（1）—（4）的线性回归模型称为古典线 性回归模型（CLR模型）。
2.最小二乘原理
我们的任务是， 在给定X和Y的一组观测值 (X1 , Y1), (X2 , Y2) , ..., (Xn , Yn) 的情况下, 求出 Yt = + Xt + ut 中 和 的估计值 ˆ , 使得拟合的直线为最佳。 ˆ 和 直观上看，也就是要求在X和Y的散点图上穿过 各观测点画出一条“最佳”直线，如下图所示 。
t=1,2,……,n
第二部分，et ，代表观测点对于回归线的误差，称为拟合 或预测的残差 （residuals）：
ˆ et Yt Y t
即
t=1,2,……,n t=1,2,……,n
ˆX ˆ et Yt t
残差平方和
我们的目标是使拟合出来的直线在某种意义上 是最佳的，直观地看，也就是要求估计直线尽可能地 靠近各观测点，这意味着应使残差总体上尽可能地小 。要做到这一点，就必须用某种方法将每个点相应的 残差加在一起，使其达到最小。理想的测度是残差平 方和，即
Y
Yt
* * *
** * *
ˆX ˆ ˆ Y
ˆ Y t
et
* *
*
* * * *
*
*
*
Xt 图2
X
残差
ˆX 称为拟合的回归线. ˆ ˆ 拟合的直线 Y
对于任何数据点 (Xt, Yt), 此直线将Yt 的总值 分成两部分。
ˆ： 第一部分是Yt的拟合值或预测值 Y t
ˆX , ˆ ˆ Y t t
ˆ的 ˆ 和 （5）式和（6）式给出了OLS法计算 ˆ称为线性回归模型 Yt = + Xt + ut ˆ和 公式， 的参数 和 的普通最小二乘估计量 (OLS estimators）。
这两个公式可用于任意一组观测值数据，以求出 截距和斜率的OLS估计值（estimates)，估计值是 从一组具体观测值用公式计算出的数值。 一般说来，好的估计量所产生的估计值将相当接 近参数的真值，即好的估计值。可ቤተ መጻሕፍቲ ባይዱ证明，对于 CLR模型，普通最小二乘估计量正是这样一个好 估计量。
当数据为时间序列时，往往用下标 t来表示观测 值的序号，从而（3）式变成 Yt = + Xt + ut , t = 1, 2, ...,n (3’)
为何要在模型中包括扰动项u
我们在上一章中已初步介绍了为什么要在模型中包 括扰动项u，下面进一步说明之： （1）真正的关系是Y = f (X1， X2，… X )，但X2, X3,…, X 相对不重要，用u代表之。 （2）两变量之间的关系可能不是严格线性的，u反 映了与直线的偏差。 （3）经济行为是随机的，我们能够用 Y=α+βX 解释“典型”的行为，而用u来表示个体偏差。 （4）总会出现测量误差， 使得任何精确的关系不 可能存在。
下面简单讨论一下上述假设条件。
（1）E(ut) = 0, t=1,2,…,n 即各期扰动项的均值（期望值）均为0。 均值为 0 的假设反映了这样一个事实：扰动项被假 定为对因变量的那些不能列为模型主要部分的微小影 响。没有理由相信这样一些影响会以一种系统的方式 使因变量增加或减小。因此扰动项均值为 0 的假设是 合理的。
1 2 ( x t X xt xt ut ) 2 xt
1 2 ( x t xt ut ) 2 xt
即
ˆ
x u x
t 2 t
t
两边取期望值，有：
x E ( u ˆ) E( x
t 2 t t
)
——假设（4） ——假设（1）
——根据假设（2）
2 1 2 2 所以 E ( ˆ )2 ( x 0) 2 2 i 2 ( xt ) x t
即
ˆ) Var (
yt Yt Y
-8 -4 1 3 8
xt X t X
-20 -10 0 10 20
xt yt
160 40 0 30 160
xt
2
400 100 0 100 400 1000
110
150
0
0
390
Y
X 150 Y 110 X 30 22 n 5 n 5 ˆX 22 0.39 30 10.3 ˆ xt yt 390 0.39 ˆ Y 2 xt 1000
（3）E(ut2)= 2, t=1,2,…,n
即各期扰动项的方差是一常数，也就是假定各扰 动项具有同方差性。 实际上该假设等同于： Var( ut) = 2, t=1,2,…,n 这是因为： Var(ut)=E{[ut-E(ut)]2}= E(ut2) ——根据假设（1）
（4） Xt为非随机量 即Xt的取值是确定的, 而不是随机的。 事实上，我们后面证明无偏性和时仅需要解释变 量X与扰动项u不相关，但不容易验证之，因而通常采 用非随机量的假设。
两边取期望值，得：
2 ˆ E ( )
1 2 2 [ x E (ui ) xi x j E (uiu j )] 2 2 i ( xt ) i j
由于
E (ut2 ) 2 , t 1, 2,......, n E (ui u j ) 0, i j
——根据假设（3）
二. 普通最小二乘法(OLS法, Ordinary Least squares)
1.双变量线性回归模型的统计假设 我们的模型是： Yt = + Xt + ut , t = 1, 2, ...,n 这里 和 为未知总体参数，下一步的任务是应 用统计学的方法，由Y和X的观测值（即样本数据） 来估计和 的总体值，常用的估计方法就是最小二 乘法。为了应用最小二乘法，得到好的估计量，双 变量线性回归模型需要满足一些统计假设条件，这 些统计假设是：
S S 0 ˆ ˆ
即
S ˆX ) 0 ˆ 2(1)(Yt t ˆ S ˆX ) 0 ˆ 2( X t )(Yt t ˆ
(1) (2)
整理，得：
ˆ X ˆ Y n t t ˆ X 2 ˆ X Y X t t t t