计量经济学【一元线性回归模型——参数估计】

( Xi X )(Yi Y (Xi X )2
)
1680000 3300000
0.509091
再利用 ˆ1 计算出 ˆ0：
ˆ0 Y ˆ1X 1110 0.5090911700=244.5453
由该样本估计的回归方程（即样本回归函数）为：
Yˆi ˆ0 ˆ1Xi 244.5453 0.509091Xi 这是对 X 和 Y 进行线性回归分析得到的初步结果。
二、参数的普通最小二乘估计（OLS）
普通最小二乘法(Ordinary Least Squares，OLS)
回归分析的目的：根据样本回归函数 Yˆi ˆ0 ˆ1Xi 来
估计替代未知的总体回归函数 E(Y | Xi ) 0 1Xi ，就要 保证样本回归函数尽可能地“接近”总体回归函数。
在已知总体的一组样本观测值 ( Xi ,Yi ), (i 1, 2, n) 的情况下，为了保证样本回归函数 Yˆi ˆ0 ˆ1Xi 尽可能
Yi Y
(4) -410 -460 -210 -160 -10 40 90 290 440 390
( Xi X )(Yi Y )
(5) = (3) ×(4) 369000 322000 105000 48000 1000 4000 27000 145000 308000 351000
1680000
Xi
(Xi X) (Xi X )2
(Xi
X
X
)
(Xi
X )2 (Xi (Xi X )2
X)X
10 1
这里： (Xi X)X X (Xi X) 0
•（1）最小二乘估计量的线性性
ˆ0 ˆ0
ˆ1 X i ˆ1 X i
) )
0 Xi
0
Yi nˆ0 ˆ1 X i X iYi ˆ0 X i ˆ1
Xi2
以上方程组称为最小二乘的正规方程组(normal equations)
二、参数的普通最小二乘估计（OLS）
解这个正规方程组得：
ˆ0
ˆ1
一、一元线性回归模型的基本假设
为保证参数估计量具有良好的性质， 通常对模型提出
若干基本假设，这些假设与所采用的估计方法紧密相关。
假设 1：解释变量 Xi 是确定性变量，不是随机变量；
假设 2：随机误差项具有 0 均值和同方差，即 E(i ) 0,,,,,,,,,,,,i 1, 2, n
Var
计量经济学
——单方程计量经济学模型 理论与方法
第二章 经典单方程计量经济学模型： 一元线性回归模型
第一节 回归分析概述 第二节 一元线性回归模型的参数估计 第三节 一元线性回归模型的统计检验 第四节 一元线性回归模型的预测
第二节：一元线性回归模型的参数估计
一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计（OLS） 三、最小二乘估计量的性质 四、参数估计量的概率分布及随机误差项 方差的估计
i
ˆ0
i
ˆ0
2(Yi ˆ0 ˆ1Xi )(1) 2 (Yi ˆ0 ˆ1Xi ) 0
( ei2) ( Yi (ˆ0 ˆ1Xi )2)
i
ˆ1
i
ˆ1
2(Yi ˆ0 ˆ1Xi )(Xi ) 2 (Yi ˆ0 ˆ1Xi )Xi 0
从而得到如下方程组：
(Yi (Yi
在总体上最小，即采用残差平方和 ei2最小的准
则，也就是最小二乘准则：
i
min
ei2 min
(Yi
Yˆi
2
)
min
Yi (ˆ0 ˆ1X i )2
i
i
i
根据微积分中求极值的原理，要使 ei2 达到最小，
待定系数 ˆ0, ˆ1 应满足：
i
二、参数的普通最小二乘估计（OLS）
即：
( ei2 ) ( Yi (ˆ0 ˆ1Xi )2)
(Xi X )2
(Xi X )2
Xi nX (Xi X )2
Xi n
Xi n 0
(Xi X )2
➢ 证明 ki ( Xi X ) ki Xi 1 ；
首先： ki ( Xi X ) ki Xi X ki ki Xi
然后： ki Xi
(Xi X) (Xi X )2
1600
1400
1200
1000
100
800
50
600
0
-50
-100
-150
1
2
3
4
5
6
7
8
9 10
Residual
Actual
FittBiblioteka Baidud
三、最小二乘估计量的性质
当采用最小二乘法将模型的参数估计出来以后，需考 虑参数估计值的精度问题；所谓精度问题就是这个参数 估计值是否能代表总体参数的真值。 这就需要考察一下参数估计量的统计性质。参数估计 量是随机变量，其统计性质主要包括线性性、无偏性和 最小方差性，也就是其均值和方差等方面的性质。 事实可以证明：在模型满足那几条基本假定的前提 下，最小二乘估计量的性质是非常理想的，它是具有最 小方差的线性无偏估计量 （best linear unbiased estimator，BLUE）。 我们就要证明一下最小二乘估计量的线性性、无偏性 和最小方差性（有效性）。
给出一元线性回归模型的一般形式：
Yi 0 1X i i , , , , , i 1, 2, , n
其中
Yi
：被解释变量，X
：解释变量，
i
0
和
1
：待估参
数； i ：随机误差项；
总体回归函数形式： E(Y | Xi ) 0 1Xi 样本回归函数形式： Yˆi ˆ0 ˆ1Xi
其中 ˆ0, ˆ1 是 0, 1的估计值，我们需要找到一种参数估 计方法，求出 ˆ0, ˆ1，并且这种参数估计方法保证了估 计值 ˆ0, ˆ1 与总体真值 0, 1 尽可能地接近；这种参数 估计方法就是普通最小二乘法 OLS。
Yˆi ˆ0 ˆ1 X i
由残差 ei Yi Yˆi 可得样本回归模型为：
Yi Yˆi ei ˆ0 ˆ1X i ei
将总体回归模型 Yi 0 1Xi i 与上式比较，ˆ0, ˆ1 是 0, 1 的估计值，残差 ei 可看作随机误差项 i 的估计值。
二、参数的普通最小二乘估计（OLS）
地“接近”总体回归函数E(Y | Xi ) 0 1Xi ，就是要样
本
Yˆi
Yi
回归线上的点 与真实观测点Yˆi 在ˆ0总体ˆ1上Xi 尽量接近；Yˆi
这也就是说要求Y样i 本回归函数ei Yi Yˆi 的估计值
与真实观测值 之间的误差
在总体上尽量
小。
每月家庭收入与消费支出散点图（样本）
2000
每 月 1500 家 庭 消 1000 费 支 500 出
Y (元) 0
0
SRF
500 1000 1500 2000 2500 3000 每月家庭可支配收入X(元)
二、参数的普通最小二乘估计（OLS）
要求真实观测值 Yi 与样本回归函数 Yˆi ˆ0 ˆ1Xi
的估计值 Yˆi 之间的误差，也就是残差 ei Yi Yˆi
例2.3：在上述例 2.1 中家庭可支配收入 Xi 影响家 庭消费支出 Yi 的问题中，对于所抽出的一组样本 数据如表 2.2 所示：
收入 X 支出 Y
表 2.2 家庭可支配收入与消费支出的一个随机样本
800 1000 1200 1400 1600 1800 2000 2200 700 650 900 950 1100 1150 1200 1400
e i2
（10） 2321.495 10740.48 1984.302 52.89217 1673.554 119.0085 3934.714 1257.022 6995.031 4648.771
889000 11100
33727.27
例2.3 根据表2.4中的计算结果，首先可计算出 ˆ1：
ˆ1
(i
)
2
,
,
,
,
,
,
,
,
i
1,
2,
n
假设3：随机误差项在不同样本点之间是独立的，不存
在序列相关，即：
Cov(i , j ) 0,,,,,,,i j,,,,i, j 1, 2, n
一、一元线性回归模型的基本假设
假设 4：随机误差项与解释变量之间不相关， 即：
Cov( Xi , i ) 0,,,,,,,,,,,i 1, 2, n
（ordinary least squares estimators）；将样本数据代入这
两个公式，就可以计算出 ˆ0, ˆ1 的具体数值，它们一定是
使残差平方和 ei2 取最小值的参数估计值（最小二乘估
计值）。
i
二、参数的普通最小二乘估计（OLS）
由此可得到拟合最优的样本回归直线（样本回归
函数）：
(单位:元)
Xi
Yi X i X
(1) (2) (3) 800 700 -900 1000 650 -700 1200 900 -500 1400 950 -300 1600 1100 -100 1800 1150 100 2000 1200 300 2200 1400 500 2400 1550 700 2600 1500 900 求 和 17000 11100 平 均 1700 1110
(Xi X )2
(6) 810000 490000 250000 90000 10000 10000 90000 250000 490000 810000
3300000
(Yi Y )2
(7) 168100 211600 44100 25600
100 1600 8100 84100 193600 152100
Yˆi
(8) 651.8181 753.6363 855.4545 957.2727 1059.091 1160.909 1262.727 1364.546 1466.364 1568.182
ei Yi Yˆi
(9)=(2)-(8) 48.18190 -103.6363 44.54550 -7.272700 40.90910 -10.90910 -62.72730 35.45450 83.63630 -68.18190
三、最小二乘估计量的性质
（1）最小二乘估计量的线性性：是指参数估计量 ˆ0 和 ˆ1 可以分别表示为被解释变量观测值 Yi 的线 性组合（线性函数）；
证明如下：
ˆ1 ( 其中：
X
i (X
X )(Yi i X )2
Y
)
(Xi (X
X) i X )2
(Yi
Y
)
ki (Yi Y )
Eviews软件画出的收入 X 和支出 Y 样本数据的散点图
Y
1600 1400 1200 1000
800 600
400
Y vs. X
800 1200 1600 2000 2400 2800 X
Eviews软件输出的回归结果
Eviews软件输出的被解释变量 Y的实际值Yi 、 拟合值 Yˆi 和回归残差ei Yi Yˆi 的序列图
假设 5：随机误差项服从 0 均值，同方差的正态 分布，即
i
~
N
(0,
2
),
,
,
,
,
,
,
,
,
,
,
,
i
1, 2,
n
以上这些假设称为线性回归模型的经典假 设，满足这些假设的线性回归模型，也称为 经典线性回归模型（classical linear regression model）。在回归分析的参数估计和统计检验 理论中，许多结论都是以这些假定作为基础 的。如果违背其中的某一项假定，模型的参 数估计就会存在问题，也就是说最小二乘法 （OLS）就不再适用，需对模型进行修正或 采用其他的方法来估计模型了。
单位：元
2400 2600 1550 1500
可将表中的这组样本数据代入到下面公式：
ˆ0
Y
ˆ1 X
ˆ1
( X i X )(Yi Y ) (Xi X )2
进行参数估计计算，具体计算过程见下表(表2.4)：
表2.4 家庭可支配收入 Xi 和消费支出 Yi 的样本数据资料
及参数估计的计算表
ki
(Xi X) (Xi X )2
对于引进的 ki 容易证明有如下的特性：
ki 0 ； ki (Xi X ) ki Xi 1 ； ki2
1 (Xi X )2
•（1）最小二乘估计量的线性性
➢ 证明 ki 0 ；
因为：
ki
(Xi X) (Xi X)
n n
X i2 Yi X i X iYi n Xi2 ( Xi )2
X iYi X i Yi Xi2 ( Xi )2
ˆ0
ˆ1
Y
ˆ1X
( X i X )(Yi Y ) (Xi X )2
其中 X ,Y 分别代表 X 和 Y 两个变量的样本均值。
上式就称为线性回归模型参数 0, 1 的最小二乘估计量