第2讲 普通最小二乘法

一致性：
ˆ p lim
在有限样本情形中，经典回归模型假定数据X 是固定变量，否则最小二乘估计量可能是有偏 的。但在大样本情况下，即便X是随机的，只 要X满足一些条件，最小二乘估计量将依概率 收敛于真实值。
1. X的每一列xk不退化。 2. 随着样本量的增加，个体观测值变得不重要。
3. X列满秩。
第二讲 普通最小二乘法
多元回归模型的OLS估计
最简单的多元线性回归是三变量模型
三变量模型，即含有一个因变量和两个解释变量，其 总体回归函数PRF为：
Yi 0 1 X1i 2 X 2i i X 2i 表示什么意思？
© School of Management and Economics, 2010
Y2 1 2 X 22 3 X 32 k X k 2 2
Yn 1 2 X 2 n 3 X 3n k X kn n
© School of Management and Economics, 2010

第二讲 普通最小二乘法
ˆ 2 ( X 2 M1 X 2 )1 ( X 2 M1 y )
* * * ( X 2 X 2 ) 1 X 2 y*
* 其中 X 2 M 1 X 2 ， * M 1 y 。 y
解释： y 是y对X1进行 X 回归后的残差变量。这个过程排除了或筛掉了的影响， 所以叫偏回归系数。
若无偏，则有
假定3是什么意思？
假定3：E[ | X ] 0
因在假定1之下有
E[ | X ] 0 cov[ X , E[ | X ]] cov[ X , ] 0 E[ X ] 0
有效性
ˆ ˆ ˆ var[ ] E[( )( )] E[( X X ) 1 X X ( X X ) 1 ]
© School of Management and Economics, 2010
第二讲 普通最小二乘法
一元回归模型的OLS估计
PRF： Yi =1 2 X i i 是不可直接观测的，
ˆ ˆ 要通过SRF： Yi 1 2 X i ei 去估计。 ˆ ˆ ˆ 残差： ei Yi Yi Yi 1 2 X i
列满秩的经济含义是什么？
第二讲 普通最小二乘法
思考题
ˆ 最小二乘估计量 是随机变量吗？为什么？
判断一个估计量好坏的标准是什么？
© School of Management and Economics, 2010
第二讲 普通最小二乘法
普通最小二乘估计
普通最小二乘估计法（OLS）
2、估计方法优劣的评判
2 i



2

正 规 方 程
2 ei ˆ 2 Y i 0 1 X i 0 ˆ 1 2 ei ˆ 2 Y i 0 1 X i X i 0 1 ˆ Y n 0 1 X i i 2 ˆ Y i X i 0 X i 1 X i






1

n
XY n X
i i 2
i
2
i
X Y X i
i 2

i
x y x
i i
( X X )(Y Y ) ( X i X )
i i 2
ˆ Y X 0 2
第二讲 普通最小二乘法
OLS估计量的性质
根据最小化残差平方和算出来的参数估计量叫做 普通最小二乘（OLS）估计量。
e
i 1
n
2
i
ˆ f ( 0 , 1 )

ˆ 1
x y x
i 2 i
i
ˆ ˆ 0 Y 2 X
怎样得到的？
其中， xi ( X i X ) ，yi (Yi Y )
© School of Management and Economics, 2010
最小二乘估计量的数学推导： ˆ min e Y i X i 0 1
ˆ 是实际值 Yi与其估计值 Yi 之差。
© School of Management and Economics, 2010
第二讲 普通最小二乘法
普通最小二乘法
（1）采用“残差和最小” 确定直线位置？
et
（2）采用“残差绝对值 和最小”确定直线位置？ （3）最小二乘法的原则 是以“残差平方和最小” 确定直线位置。
第二讲 普通最小二乘法
多元线性回归的基本概念
多个自变量的回归模型
假定多元线性回归模型
Y 1 2 X 2 3 X 3 k X k
那么对被解释变量Y与解释变量X2，X3，…，Xk作了 n次观测后，将所得的n组样本代入上式有 Y1 1 2 X 21 3 X 31 k X k1 1
样本回归线通过Y和X的样本均值 残差之和为0 OLS是“最优”的估计方法
© School of Management and Economics, 2010
第二讲 普通最小二乘法
一个例子：Eviews演示
收入－消费问题（ data_2.1 ）：Y是消费，X是 收入。
回归方程：
Y =0 1 X
第二讲 普通最小二乘法
经典模型的基本假设
经典回归模型的基本假设：
假定1： E[ ] 0
X 假定2：数据矩阵X列满秩，即矩阵 X 的逆存在。
假定3：E[ | X ] 0 假定4：E[ ] 2 I
© School of Management and Economics, 2010
© School of Management and Economics, 2010
第二讲 普通最小二乘法
一元回归模型的估计问题
最小二乘法采用残差平方和最小的准则：
ˆ ˆ ) (Y X ) 2 ei (Yi Yi i 0 1 i
n n n 2 2 i 1 i 1 i 1
= Xβ +
© School of Management and Economics, 2010
第二讲 普通最小二乘法
普通最小二乘估计
多元线性回归模型
y X
假定1： E[ ] 0
var( ) （未知）
2
为什么有这个假定？
© School of Management and Economics, 2010
对β 求导并令其等于0可得 k×k
X X X y
满足什么条件，这 个方程才有解？ 满足什么条件， X X 才可逆？
若矩阵 X 的逆存在，则上述方程有解 X
ˆ ( X X )1 X y
X 假定2：数据矩阵X列满秩，即矩阵 X 的逆存在。
列满秩的隐含意思是各个自变量之间相互独立。
第二讲 普通最小二乘法
普通最小二乘估计
普通最小二乘估计法（OLS）
1、原理：残差平方和最小
( y X )( y X ) yy yX X y X X
乘出来是 什么？
怎样估计 ？
© School of Management and Economics, 2010
注意两个特殊矩阵M和P ˆ e y X
y X ( X X ) 1 X y ( I X ( X X ) 1 X ) y My
M：用它乘以任一向量y，都将产生y对x回归的残差向量。
ˆ 令拟合值 y X ，则有 ˆ ˆ y y e [ I M ] y Py
第二讲 普通最小二乘法
普通最小二乘估计
普通最小二乘估计法（OLS）
3．最小二乘估计系数的特征
回归超平面通过数据的均值点，回归拟合值的均值等于 实际值的均值。 若一个多元回归中的变量是无关的，则多元回归的斜率 与在多个简单回归中的斜率相同。
© School of Management and Economics, 2010
P X ( X X )1 X
P（射影矩阵，投影矩阵）：用它乘以任一向量y， 都将产生y对x回归的最小二乘拟合值。
偏回归系数
多元回归方程的妙用：
y X 11 X加什么，去什么。 2 2
ˆ ˆ 1 ( X 1X 1 )1 X 1( y X 2 2 )
第二讲 普通最小二乘法
计 量 经 济 学
Econometrics
© School of Management and Economics, 2010
第二讲 普通最小二乘法
第二讲 普通最小二乘法 （教材第2章、第3章）
© School of Management and Economics, 2010
多元线性回归的基本概念
以矩阵形式表示，有
Y1 1 X 21 Y 1 X 22 Y 2 Yn 1 X 2 n
n×k
X 31 X k1 1 1 X 32 X k 2 2 2 X 3n X kn k n
© School of Management and Economics, 2010
需要填入的变量
回归结果
回归曲线图
第二讲 普通最小二ห้องสมุดไป่ตู้法
思考题
影响一个家庭消费决策的仅仅是收入因素吗？ 除了身高，你认为还有哪些因素会影响一个人的 体重？ ……
© School of Management and Economics, 2010
© School of Management and Economics, 2010
第二讲 普通最小二乘法 一个例子：美国国防预算支出（data_2.2）
为了说明美国的经济实力对其国防预算的影响， 现考虑如下模型:
Yi =1 2 X 2t 3 X 3t 4 X 4t t
偏回归系数的解释：当其它变量相同（保持其他变量不变） 时，特定变量对解释变量的边际影响（贡献）。
* 2是X2对X1进行回归后的残差变量，
*
第二讲 普通最小二乘法
思考题
一个超市的老总准备根据销售经理的能力来确定 其工资水平？他能实现吗？ 如果某经理在春节期间卖出了大量的商品，他的 能力真的很强吗？ 怎样才能解决超市老总的困扰呢？
若有 则有
( X X )1 X E[ ] X ( X X ) 1
假定4：E[ ] 2 I
假定4是什么意思？
ˆ ] 2 ( X X )1 var[
可以证明这就是最小方差。 高斯—马尔可夫定理：若前述假定条件成立， OLS估计量是最佳线性无偏估计量（BLUE）。
无偏性
ˆ ( X X )1 X y ( X X )1 X ( X ) ( X X ) 1 X
© School of Management and Economics, 2010
估计值的均值为
ˆ E[ ] ( X X ) 1 E[ X ]
第二讲 普通最小二乘法
主要内容
一元回归模型的最小二乘（OLS）估计 多元回归模型的最小二乘（OLS）估计 回归方程的拟合：决定系数
© School of Management and Economics, 2010
第二讲 普通最小二乘法
引言
回归分析中的主要目的是根据样本回归函数 （SRF）来估计总体回归函数（PRF），但是， 由于抽样的波动，根据SRF估计出来的PRF充其 量只是真实PRF的一个近似的结果。 能否设计一种规则或估计方法，使得这种近似结 果的误差尽可能小？ 本讲将介绍一种最简单的估计方法——普通最小 二乘法（Ordinary Least Square，OLS）