计量经济学的2.2 一元线性回归模型的参数估计

基于样本数据，所得到的总体回归函数的一个估 计函数称为样本回归函数。
问题：当我们设定总体回归模型的函数形式后， 如何通过样本数据得到总体回归函数的一个估计 （即样本回归函数）？--参数估计问题
E (Y | X i ) 0 1 X i
ˆ ˆ ˆ Yi f ( X i ) 0 1 X i
Xi确定
作此假设的理由：当我们把PRF表述为 时，我们假定了X和u(后者代表所有被省略的变量的影 响)对Y有各自的（并且可加的)影响。但若X和u是相关 25 的，就不可能评估它们各自对Y的影响。
线性回归模型的基本假设（4）
假设4、服从零均值、同方差、零协方差的正态分布 i~N(0, 2 ) i=1,2, …,n 意为：ui服从正态分布且相互独立。因为对两个正态 分布的变量来说，零协方差或零相关意为这两个变量 独立。 作该假设的理由：i代表回归模型中末明显引进的许多解释
Yi 0 1 X i i
i=1,2,…,n
Y为被解释变量，X为解释变量，0与1为待估 参数， 为随机干扰项
3
回归分析的主要目的是要通过样本回归函 数（模型）SRF尽可能准确地估计总体回归函 数（模型）PRF。
ˆ ˆ ˆ Yi 0 1 X i
ˆ ˆ ˆ Yi 0 1 X i ui
同方差假设表明：对应于不同X值的全部Y值具有同 样的重要性。
22
线性回归模型的基本假设（2-3）
假设2、随机误差项具有零均值、同方差和不自相关 性(不序列相关)： (2.3) 不自相关： Cov(i, j|Xi, Xj)=0 i≠j i,j= 1,2, …,n 或记为 Cov(i, j)=0 i≠j i,j= 1,2, …,n 意为：相关系数为0， i, j非线性相关。 几何意义如下
(X
i
X ) / n Q,
n
意为：在一个给定的样本中，X值不可以全是相同的
如果全部X值都相同，则 X i X ，方程 的分母就变
ˆ ˆ 为零，从而无法估计 1 ，也就无法估计 0 。
又如： 家庭消费支出例子，如果家庭收入很少变动，我们就不能解释 消费支出的变化。读者应该记住，要把回归分析作为一种研究 工具来使用，Y和X两者均有变化是最为重要的。简言之，变量 28 必须在变!
线性回归模型的基本假设（6-1）
假设6、回归模型是正确设定的。 模型的正确设定表现为以下几个方面： （1）模型应包括哪些变量 （2）模型的函数形式如何（线性？非线性？） （3）对进入模型的变量要做些什么概率上的假定 (Xi, Yi, ui)
29
线性回归模型的基本假设（6-2）
实际上人们很少知道模型应包括的正确变量、模型的正确 函数形式或关于进人模型变量的正确的概率假定是什么。因为 ，关于某一具体研究的基础理论未必牢靠或扎实到足以回答所 有这些问题。因此，在实践中，计量经济学家在选择进入模型 的变量个数、模型的函数形式以及关于模型所含变量的概率性 质的假定时，必须做出一些自己的判断。为做经验分析而选择 “正确”模型在一定程度上涉及一些尝试与纠错过程。
11
OLS回归线的性质(1)
1. OLS回归线通过Y和X的样本均值，即： 根据正规方程： 2. 估计的Y( 可得 ) 均值等于实测的Y均值
将最后一个等式两边对样本值求和并同除以样本大小n， 即得
12
OLS回归线的性质(2)
3. 残差 ei 的均值为0
根据正规方程：
并对上式两端求和有：
ˆ ˆ ei (Yi 0 1 X i ) 0
可表示为：
进而，参数估计量可以写成：
why？
称为OLS估计量的离差形式（deviation form）。
由于参数的估计结果是通过最小二乘法得到的，故称 为普通最小二乘估计量（ordinary least squares 10 estimators）。
样本回归函数的离差形式
若记
则有
ˆ ˆ y i Yi Y
16
线性回归模型的基本假设（2-1）
假设2、随机误差项具有零均值、同方差和不自相关 性： (2.1) 零均值： E(i|Xi)=0 i=1,2, …,n
意为：对给定的X值，随机干扰项ui的均值（条件期望） 为0，几何意义见下图：
17
这一假定无非是说 ，凡是模型不含的 因而归属于ui的因 素，对Y的均值都 没有系统的影响。 因此正的ui值就抵 消了负的ui值，以 致它们对Y的平均影 响为零。
Y 由PRF： i 0 1 X i i 可知，Yi依赖于Xi 和ui，除非我 们明确Xi 和ui的产生方式，否则我们将无法对Yi 作任何推断。 同时，为了使得使用OLS方法的估计量具有良好的性质，我们 作出如下假设。
15
线性回归模型的基本假设（1）
假设1、解释变量X是确定性变量，不是随机变量； 即在重复样本中，X的值被认为是固定的。 例如：把收人值X固定在80美元的水平上。我们随 机地抽取一个家庭。并观测到它的每周家庭消费支出Y ，比方说为60美元，仍然把X固定在80美元，而随机地 另抽取一个家庭并观测到它的Y值是75美元。在每次抽 取（即重复抽样)中，X值都固定在80关元二我们可以 对表中的全部X值重复这一过程。
ˆ ˆ ˆ ˆ ˆ yi ( 0 1 X i ) ( 0 1 X e ) ˆ 1 ( X i X ) 1 ei n
可得 或
ˆ ˆ y i 1 ˆ y x e
i 1 i
（**）
i
why？
（**）式也称为样本回归函数的离差形式。 注意：在计量经济学中，往往以小写字母表示对 均值的离差。
33
这三个准则也称作估计量的小样本性质。
拥有这类性质的估计量称为最佳线性无偏估计 量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量的 大样本或渐近性质： （4）渐近无偏性，即样本容量趋于无穷大时，是 否它的均值序列趋于总体真值； （5）一致性，即样本容量趋于无穷大时，它是否 依概率收敛于总体的真值； （6）渐近有效性，即样本容量趋于无穷大时，是 否它在所有的一致估计量中具有最小的渐近方差。 34
5
普通最小二乘法（OLS）原理
构造SRF的原则： 回归线尽可能好 地拟合样本观测 值。
6
参数的普通最小二乘估计（OLS）
普通最小二乘法（Ordinary least squares, OLS） 给出的判断标准是：样本观测值与样本回归函数 值二者之差的平方和
ˆ ˆ ˆ Q (Yi Yi ) (Yi ( 0 1 X i )) 2
参数估计问题22一元线性回归模型的参数估计一一元线性回归模型的基本假设二参数的普通最小二乘估计ols三参数估计的最大或然法ml四最小二乘估计量的性质五参数估计量的概率分布及随机干扰项方差的估计单方程计量经济学模型分为两大类
回顾 • 概念：
在给定解释变量Xi条件下被解释变量Yi的期望轨迹 相应的函数称为总体回归函数（PRF） E (Y | X i ) f ( X i )
23
给定Xi值;.任意两个Y值对 它们的均值的离差都不会 表现出如图(a)和 (b)的模 式。该假设是说，我们只 考虑Xt对Yt的系统性影响 和是否有影响，而不去担 心由于u之间的可能的交 互相关而造成的其他可能 作用于Y的影响。
24
线性回归模型的基本假设（3）
假设3、随机误差项与解释变量X之间不相关： Cov(Xi, i)=0 i=1,2, …,n
18
线性回归模型的基本假设（2-2）
假设2、随机误差项具有零均值、同方差和不自相关 性： (2.2) 同方差 Var (i|Xi )=2 i=1,2, …,n
意为：对给定的X值，随机干扰项ui的条件方差是恒定的。 几何意义见下图：
19
同方差性
20
异方差性
21
如异方差图所表明， var(u|X1)<var(u|X2)<var(u|X3)…<var(u|Xi)。 因此，很有可能，来自X=X1时的Y总体的观测值比 来自X2, X3等等时的Y总体的观测值会更靠近PRF。 简言之:并不是对应于不同X的所有Y值都是同样可 靠的。可以根据Y值多么靠近或多么远离其均值(也 就是PRF上的点）分布以判断其可靠程度。因此， 我们可以认为那些离均值较近的Y总体的样本比远 为分散的Y总体的样本更为可取。
1
§2.2
一元线性回归模型的参数估计
一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计（OLS） 三、参数估计的最大或然法(ML) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干 扰项方差的估计
2
一元线性回归模型的定义
单方程计量经济学模型分为两大类：
线性模型和非线性模型
•线性模型中，变量之间的关系呈线性关系 •非线性模型中，变量之间的关系呈非线性关系 一元线性回归模型：只有一个解释变量
31
习题（1）
P53：4
32
最小二乘估计量的性质
当模型参数估计出后，需考虑参数估计值的 精度，即是否能代表总体参数的真值，或者说需 考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方 面考察其优劣性： （1）线性性，即它是否是样本观测值的线性函 数； （2）无偏性，即它的均值或期望值是否等于总 体的真实值； （3）有效性，即它是否在所有线性无偏估计量 中具有最小方差。
计量经济的模型建造，与其说是一种科学，毋宁说是一种艺术
30
线性回归模型的基本假设(7)
补充三个假设 假设7、回归模型是线性模型。（对参数而言为线性）
Yi 0 1 X i i
假设8、没有完全的多重共线性。即解释变量之间没 有完全的线性关系。 假设9、观测次数大于待估计参数个数。
2、如果假设4满足，则假设2也满足。 以上假设也称为线性回归模型的经典假设 或高斯（Gauss）假设，满足该假设的线性回归 模型，也称为经典线性回归模型（Classical Linear Regression Model, CLRM）。
27
线性回归模型的基本假设（5）
假设5、var(X)必须是一个有限的正数。（教材的假 设5） 2
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
可得：
1 2 x (X i X ) X n X i
2 i 2 2 i
xi yi ( X i X )(Yi Y ) X iYi
1 X i Yi n
9
参数的普通最小二乘估计的离差形式
故
why？
xi y i ˆ 1 x i2 Y X ˆ ˆ 1 0
2 1 1 n n
最小。
7
参数的普通最小二乘估计（OLS）
方程组（*）称为正规方程组（normal equations）。
8
参数的普通最小二乘估计的离差形式
记
1 n X Xi n 1
和
1 n Y Yi n 1
为X和Y的样本均值
xi xi X 和 yi Yi Y 为Xi和Yi对均值的离差
变量的总影响，利用统计学中著名的中心极限定理：如果存在 大量独立且相同分布的随机变量，那么，随着这些变量的个数 无限地增大，它们的总和将趋向正态分布。
注意：在古扎拉蒂教材中，该假设是作为经典正态 线性回归模型的假设，并非经典线性回归模型的假 26 设。
注意：
1、如果假设1、2满足，则假设3也满足;
即：
e
i
0
或
e 0
13
OLS回归线的性质(3)
4. 残差 ei 和预测的Yi值不相关，
即
ˆ y e
i i
0
why？
5. 残差 ei 和Xi值不相关
即
X e
i i
0
why？
14
经典线性回归模型的基本假设的引入
在回归分析中我们的目的不仅仅是获得参数的估计值，而 且要对参数估计值作出推断 。 ˆ ˆ 例如： 0 和 1 离它们相应的真实值有多远？ ˆ Yi 与其期望值E(Yi|Xi)多接近？
4
两种参数估计方法
(1)普通最小二乘法（Ordinary Least Squares, OLS）
德国数学家高斯提出。简单，应用广泛。 (2)最大似然法（Maximum Likelihood） 在线性模型上估计值与OLS法相同。 为保证参数估计量具有良好的性质，通常对 模型提出若干基本假设。 注：实际这些假设与所采用的估计方法紧密 相关。