计量经济学第三章

最小二乘原理
• 双变量PRF
• 双变量SRF
Yi = 1 + 2 X i + ui
Yi = 1 + 2 X i + ui

参数的普通最小二乘估计（OLS）
给定一组样本观测值（Xi, Yi）（i=1,2,…n） 要求样本回归函数尽可能好地拟合这组值. 普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：二者之差的平方和
S
2 ˆ
2
= ˆ2
x
2 x i
2 i
ˆ2 的样本标准差： S ˆ = ˆ
2
ˆ 1 的样本方差：
2 2 2 2 = ˆ S X n x i i ˆ 1
ˆ1 的样本标准差： S ˆ = ˆ
1
X i2 n xi2
• （n-2）称为自由度。
• 自由度（number of degrees of freedom,df） • 指样本中观测值的总数（＝n）,减去对它们的 独立的（线性）约束或限制的个数。换句化说， 它是观测值的总数中独立的观测值的个数。
可以证明，2的最小二乘估计量为
ˆ2 =
ui
n2

2
它是关于2的无偏估计量。
证明 是真正的但是未知的 2 2 无偏估计量。 真正的但是未知的 的OLS估计量
2
2
=

u

i
2
n2
称为估计的标准误（standard error of estimate）
ˆ2 的样本方差：
称为OLS估计量的离差形式（deviation form）。
由于参数的估计结果是通过最小二乘法得到的， 故称为普通最小二乘估计量（ordinary least squares estimators）。
ˆ Y 顺便指出 ，记 y ˆi = Y i
则有
可得
ˆx ˆi = y 2 i
（**）
（**）式也称为样本回归函数的离差形式。
Yi = 1 + 2 X i + i
i=1,2,…,n
Y为被解释变量，X为解释变量，1与2为待估 参数， 为随机干扰项
3.1普通最小二乘法
• （德）Carl Friedrich Gauss (1777-1855) • 德国最伟大的数学家、物理学家、天文学 家。1801年《算术研究》，1794年创造最 小二乘法。 • 最小二乘法有优良的统计性质，从而成为 回归分析中最有功效和最为流行的方法之 一。
2

= X 2X X i + X
2 i


2
+ nX
2 2
+ n X
2
2 2
= X i2 2 X X i +n X + n X = X i2
ˆ = / x
2
2
2 i
ˆ =
1
2 X i2
n xi2
参数估计量的概率分布 及随机干扰项方差的估计
注意：
在计量经济学中，往往以小写字母表示对均值 的离差。
3.2线性回归模型的基本假设
假设1、线性回归模型（记为CLRM）
假设2、解释变量X是确定性变量，不是随机变量； 假设3、4、5随机误差项具有零均值、同方差和不序 列相关性： E(i)=0 i=1,2, …,n Var (i)=2 i=1,2, …,n Cov(i, j)=0 i≠j i,j= 1,2, …,n
一般的规律是： df=(n-待估计的参数个数)
• 为残差平方和（residual sum of squares,RSS）。
ui

2
2 ˆ1 在随机误差项u i的方差 估计出后，参数
最小。
方程组称为正规方程组（normal equations）。
记
xi2 = (X i X ) 2 = X i2
1 X i 2 n
xi yi = ( X i X )(Yi Y ) = X iYi
上述参数估计量可以写成：
1 X i Yi n2 2来自2


xi xi2

1 2 1 = + X 2 n xi 2 2 x + n X i 2 = 2 n xi 2 X i =2 n xi2
2
x
2 i
+ nX = Xi X
• 假设6、随机误差项与解释变量X之间不相 关： • Cov(Xi, i)=0 i=1,2, …,n • 假设7 观测次数N必须大于待估计的参数个 数 • 假设8 X值要有变异性 • 假设9 正确设定了回归模型 • 假设10 没有完全的多重共线性。
• 服从零均值、同方差、零协方差的正态分布
第三章 双变量回归模型：估计 问题
• 核心问题：根据样本函数尽可能准确的估 计总体回归函数。 • （1）普通最小二乘法（ordinary least spuares,OLS） • （2）极大似然法（maximum likelihood,ML） • 两种方法通常会得到相同的结果
单方程计量经济学模型分为两大类： 线性模型和非线性模型 •线性模型中，变量之间的关系呈线性关系 •非线性模型中，变量之间的关系呈非线性关系 一元线性回归模型：只有一个解释变量
ˆ2 的概率分布 ˆ 1、参数估计量 1 和
ˆ2 ~ N ( 2 ,
x
2
2 i
)
ˆ ~ N ( 1 1
X , n x
2 i 2 i
2)
2、随机误差项的方差2的估计
2又称为总体方差。
由于随机项ui不可观测，只能从ui的估计——残 差 u i 出发，对总体方差进行估计。
ui ~ N(0, )
2
• i=1,2, …,n
3.3最小二乘估计的精度或标准差
1 var( 1 ) = var k i X Yi n

1 = k i X varYi n 1 = ki X * 2 n 1 2 xi2 1 = 2 + X 2 X 2 2 n n xi 1 2 xi 1 1 2 = + X 2 X 2 2 n n x x i i