(整理)计量经济学 第三章 多元线性回归与最小二乘估计
计量经济学第3章 线性回归模型
计量经济学-第3章 线性回归模型
4
（3）等方差性：Var (i ) 2,i 1,2,, n ，因而
Var ( yi ) 2 , i 1,2,, n
（4）正态性：i ~ N (0, 2 ), i 1,2,, n ，因而
yi ~ N ( xi , 2 ), i 1,2,, n
上述四个条件可简化为： ij
1 lxx
n
xi
i 1
x E( yi )
1 n
lxx i1
xi x
(
xi
)
1 lxx
n i 1
xi x xi
1 lxx
lxx
E(ˆ)
2021/5/8
计量经济学-第3章 线性回归模型
14
E(ˆ ) E(Y ˆx )
1 n
n
E(
i 1
Yi )
E(ˆ ) x
1 n
n
i 1
i 1
i 1
2021/5/8
计量经济学-第3章 线性回归模型
21
n i 1
( yi
y)2
2 lxy lxx
lxy
(
lxy lxx
)2
lxx
n i 1
( yi
y)2
l
2 xy
lxx
n i 1
yi2
ny 2
l
2 xy
lxx
n i 1
yi2
n( 1 n
n i 1
yi )2
n
(
i 1
( xi
x)(yi lxx
y))2
n i 1
yi2 (
1 n
n i 1
yi )2
n
第三章多元线性回归模型(计量经济学,南京审计学院)
Yˆ 116.7 0.112X 0.739P
R2 0.99
(9.6) (0.003) (0.114)
Y和X的计量单位为10亿美元 (按1972不变价格计算).
P
食品价格平减指数 总消费支出价格平减指数
100，（1972
100）
3
多元线性回归模型中斜率系数的含义
上例中斜率系数的含义说明如下： 价格不变的情况下，个人可支配收入每上升10
c (X X )1 X D
从而将 的任意线性无偏估计量 * 与OLS估计量 ˆ 联系
起来。
28
cX I
由
可推出：
(X X )1 X X DX I
即 I DX I
因而有 D X 0
cc (X X )1 X D (X X )1 X D ( X X )1 X D X ( X X )1 D
第三章 多元线性回归模型
简单线性回归模型的推广
1
第一节 多元线性回归模型的概念
在许多实际问题中，我们所研究的因变量的变动 可能不仅与一个解释变量有关。因此，有必要考虑线 性模型的更一般形式，即多元线性回归模型：
Yt β0 β1X1t β2 X 2t ... βk X kt ut t=1,2,…,n
Yt
ˆ0
βˆ 1
X
1t
... βˆ K X Kt
2
为最小，则应有：
S
S
S
ˆ0 0, ˆ1 0, ..., ˆ K 0
我们得到如下K+1个方程（即正规方程）：
13
β0 n
β1 X1t ...... β K X Kt Yt
β 0 X 1t β1 X 1t 2 ...... β K X 1t X Kt X 1tYt
第三章回归分析基本方法：最小二乘法
1/8/2019
中山大学南方学院经济系
29
Yi = X i i
• 于是，我们的回归模型就可以表示为：
Yi = X i i
• 我们用所得到的数据，采用回归分析的方法 来对模型中的参数进行估计。这样我们就可 以得到参数的估计值。被普遍采用的方法是 “最小二乘法”。
1/8/2019
n n
= =
(2
n n
2Yi 2 X i ) = 0
2 i
(2X
2 X iYi 2X i ) = 0
( X X )(Y Y ) x y = = x (X X )
i i i n n i 2 i n n
中山大学南方学院经济系
i
=Y X
中山大学南方学院经济系
30
第三节 最小二乘法
普通最小二乘估计量 • (ordinary least squares) OLS估计量
ˆX ˆ =Y ( X X )(Y Y ) xy ˆ = = 2 2 ( X X ) x
1/8/2019
中山大学南方学院经济系
31
OLS估计量的代数性质
拒绝H 0 t 0
右侧检验
拒绝H 0
0 t
必须显著低于才会拒绝 左侧检验
小的数值与H0不矛盾.，因此不会拒绝 H0
（1）H0：μ≤368 H1；μ>368 （2）检验统计量服从t分布
检验统计量:
x t0 = sx
372.5 368 = = 1.5 15 / 25
（3）α=0.05，查t分布表得：t=2.064， 接受域为（－ ∞ ，2.064） 结论：接受原假定。
第3章 多元线性回归模型10301(计量经济学)PPT课件
第四节 多元线性回归模型检验
一、常用的检验方法
1. R（复相关系数）检验法
TSS (Yi Y)2 (Y (i Y ˆi)(Y ˆi Y))2 (Yi Y ˆi)22(Yi Y ˆi)Y (ˆi Y)(Y ˆi Y)2
5
总体回归模型n个随机方程的矩阵表达式为
Y 1 1 2 X 2 1 3 X 3 1 . .k . X k 1 u 1 Y 2 1 2 X 2 2 3 X 3 2 . .k . X k 2 u 2 . . . . . . . Y n 1 2 X 2 n 3 X 3 n . .k . X k n u n
一、多元线性回归模型的定义
设所研究的对象（因变量Y）受多个因素X1,X2,…,Xk和随机 干扰项u的影响，假设各因素与Y的关系是线性的，这样就 可把一元线性回归模型自然推广到多元的情形。
Y i X 1 i1 2 X 2 i 3 X 3 i . .k . X k i u i (i1,,n)
ei
ei称为残差或剩余项(residuals)，可看成是总体回归函数
中随机扰动项i的近似替代。
样本回归函数的矩阵表达:
Yˆ XBˆ
或
Y XBˆ E
其中：
ˆ 1
ˆ
Bˆ
2
e1
E
e2
ˆ
en
k
8
二、多元线性回归模型的基本假设条件
⑴Y与X之间的关系是线性的； ⑵所有观测值的随机干扰向量期望值为0：E（u）＝0 ⑶所有观测值的随机干扰项具有同方差：D (u)= E (uuT)=σu2I u ； ⑷不同观测值的随机干扰项之间相互独立： Cov(ui, uj) ＝0 (i≠j)； ⑸随机干扰项ui与解释变量xk不相关：Cov(ui, xj) = 0 (j=1,2,.....k)； ⑹ X不是随机变量，为确定矩阵，且在两个或多个自变量之间没有
多元线性回归与最小二乘估计
多元线性回归与最小二乘估计1．假定条件、最小二乘估计量和高斯—马尔可夫定理多元线性回归模型：y t= β0 +β1x t1 +β2x t2 +…+βk- 1x t k-1 + u t(1.1)其中y t是被解释变量（因变量），x t j是解释变量（自变量），u t是随机误差项，βi,i = 0, 1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：y t与x t j存在线性关系，x t j,j = 0, 1, … , k - 1, 是y t的重要解释变量。
u t代表众多影响y t变化的微小因素。
使y t的变化偏离了E( y t) =多元线性回归与最小二乘估计1．假定条件、最小二乘估计量和高斯—马尔可夫定理多元线性回归模型：y t= β0 +β1x t1 +β2x t2 +…+βk- 1x t k-1 + u t(1.1)其中y t是被解释变量（因变量），x t j是解释变量（自变量），u t是随机误差项，βi,i = 0, 1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：y t与x t j存在线性关系，x t j,j = 0, 1, … , k - 1, 是y t的重要解释变量。
u t代表众多影响y t变化的微小因素。
使y t的变化偏离了E( y t) =β0 +β1x t1 +β2x t2 +…+βk- 1x t k -1决定的k维空间平面。
当给定一个样本（y t, x t1, x t2 ,…, x t k -1）, t = 1, 2, …, T时, 上述模型表示为y1 =β0 +β1x11 +β2x12 +…+βk- 1x1 k -1 + u1, 经济意义：x t j是y t的重要解释变量。
y 2 =β0 +β1x 21 +β2x 22 +…+βk - 1x 2 k -1 + u 2, 代数意义：y t 与x t j 存在线性关系。
……….. 几何意义：y t 表示一个多维平面。
《计量经济学》课程教学大纲
《计量经济学》课程教学大纲英文名称：Econometric课程代码：221102004课程类别：专业核心课课程性质：必修开课学期：第四学期总学时：54（讲课：36，实验0，实践18，网络0）总学分：3考核方式：作业先修课程：高等数学、微观经济学、宏观经济学、统计学适用专业：经济学一、课程简介《计量经济学》是经济学专业的一门专业核心课程。
本课程以高等数学、宏微观经济学、统计学为先修课程，系统讲授计量经济学的基础理论、一元和多元线性回归模型、非线性回归模型的线性化、异方差、自相关、多重共线性、模型中特殊的解释变量以及Eviews基础操作等内容，为全国大学生市场调查与分析大赛以及毕业论文作理论与实践兼具的准备。
该课程分别从理论授课、软件学习以及团队实训等三个维度全面提高学生的思想水平、政治觉悟、道德品质及文化素养，重点培养学生经济学专业知识与技能，使其具有较为扎实的专业知识储备、数据分析的能力、实践与创新能力。
二、课程目标及其对毕业要求的支撑总体目标：全面提高学生的政治素养和道德品质，重点培养学生经济统计专业知识与技三、课程内容及要求第一章绪论教学内容：第一节计量经济学的定义与类型1．计量经济学的定义2．计量经济学的类型第二节计量经济学的特征1．经典计量经济学在理论方法方面特征2．经典计量经济学在应用方法方面特征第三节计量经济学的目的及研究问题的步骤1．计量经济学的目的2．计量经济学研究问题的步骤3．Eviews软件介绍学生学习预期成果：1．理解计量经济学的含义2．理解计量经济学的类型与特征3．了解计量经济学的目的及研究问题的步骤4．了解Eviews软件并下载安装成功教学重点：计量经济学的含义；计量经济学研究问题的步骤；Eviews软件介绍。
教学难点：计量经济学的含义；计量经济学研究问题的步骤。
第二章一元线性回归模型教学内容：第一节模型的建立及其假定条件1．回归分析的概念2．一元线性回归模型的介绍3．随机误差项的假定条件第二节一元线性回归模型的参数估计1．普通最小二乘法的概念2．参数估计第三节最小二乘估计量的统计性质1．线性性2．无偏性3．最小方差性第四节用样本可决系数检验回归方程的拟合优度1．总离差平方和的分解2．样本可决系数及相关系数第五节回归系数估计值的显著性检验与置信区间1．随机变量u的方差2．t检验3．置信区间第六节一元线性回归方程的预测1．点预测2．区间预测第七节案例分析1．用Eviews软件研究分析我国城镇居民年人均可支配收入与年人均消费性支出之间的关系学生学习预期成果：1．掌握回归分析的概念2．掌握随机误差项的假定条件3．掌握一元线性回归模型的参数估计4．熟悉最小二乘估计量的统计性质5．掌握用样本可决系数检验回归方程的拟合优度6．掌握回归系数估计值的显著性检验7．掌握Eviews软件的基础操作教学重点：回归分析的概念；随机误差项的假定条件；一元线性回归模型的参数估计；Eviews软件的基础操作。
计量经济学前三章复习总结
计量经济学前三章复习总结第一章导论1.不同的经济学家对计量经济学有不同的定义，但事实上，计量经济学是以经济理论和经济数据的事实为依据，运用数学、统计学的方法，通过建立数学模型来研究经济数量关系和规律的一门经济学科。
因此，计量经济学是与计量经济学与经济学、经济统计学、数理统计学都以关系的学科，但是，计量经济学又不仅是这些学科的简单结合，它与这些学科既有联系又有区别。
（1）计量经济学研究的主体是经济现象和经济关系的数量规律，而经济学理论所明的经济规律为计量经济学分析经济数量关系提供了理论基础。
但是计量经济分析的成果或者是对经济理论确定的理论加以验证和充实，或者可以否定某些经济理论原则并作出补充或更改，而不是盲目地重复经济理论。
再者，经济学只对经济现象进行定性，并不提供数量上的定量，而计量经济学则要对所确定的经济关系作出定量的估计。
（2）经济统计学统计的数据为计量经济学估计参数、验证理论提供了基本依据。
只不过经济统计学侧重于对社会现象的描述，只能被动地观察客观经济活动的既成事实，而计量经济学可以确定经济现象中的函数关系。
（3）数理统计学中的参数估计、假设检验、方差分析、回归分析等方法在计量经济学中得到了全面的运用，可以说数理统计学是计量经济学的方法论基础。
然而，数理统计学只是抽象的研究一般随机变量统计规律，而计量经济学从具体的经济模型出发，其参数都具有特定的经济意义。
而且，在实际经济问题中，数理统计中的一些标准假定经常不能满足，还需要建立许多专门的经济计量方法。
因此，计量经济学并不只是对数理统计方法的简单运用。
2.运用计量经济学研究经济问题，一般可分为四个步骤:（1）模型设定—确定变量和数学关系式在建立模型时，通常不可能把所有的因素都列入模型，而只能抓住主要影响因素和主要特征，不得不舍弃某些因素，同时，变量之间的关系一般被设计成线性关系，但也有可能是非线性关系。
以上模型中的变量选择和关系形式的设计，在一定程度上受研究者主观认识的影响。
计量经济学第三章习题及答案
一、单项选择题1．多元线性回归分析中（回归模型中的参数个数为k），调整后的可决系数与可决系数之间的关系（）A. B. ≥C. D.2．已知五元线性回归模型估计的残差平方和为，样本容量为46，则随机误差项的方差估计量为( )A. 33.33B. 40C. 38.09D. 203．多元线性回归分析中的 RSS反映了（）A．因变量观测值总变差的大小B．因变量回归估计值总变差的大小C．因变量观测值与估计值之间的总变差D．Y关于X的边际变化4．在古典假设成立的条件下用OLS方法估计线性回归模型参数，则参数估计量具有（）的统计性质。
A．有偏特性 B. 非线性特性C．最小方差特性 D. 非一致性特性5．关于可决系数，以下说法中错误的是（）A.可决系数的定义为被回归方程已经解释的变差与总变差之比B.C.可决系数反映了样本回归线对样本观测值拟合优劣程度的一种描述D.可决系数的大小不受到回归模型中所包含的解释变量个数的影响二、多项选择题1．调整后的判定系数与判定系数之间的关系叙述正确的有（）A.与均非负B.有可能大于C.判断多元回归模型拟合优度时，使用D.模型中包含的解释变量个数越多，与就相差越大E.只要模型中包括截距项在内的参数的个数大于1，则2．对多元线性回归方程（有k个参数）的显著性检验，所用的F统计量可表示为（）A. B.C. D.E.三、判断题1．在对参数进行最小二乘估计之前，没有必要对模型提出古典假定。
2．一元线性回归模型与多元线性回归模型的基本假定是相同的。
3．拟合优度检验和F检验是没有区别的。
参考答案：一、单项选择题1.A2.D3.C4.C5.D二、多项选择题1．CDE 2．BE三、判断题1．答：错误。
在古典假定条件下，OLS估计得到的参数估计量是该参数的最佳线性无偏估计（具有线性、无偏性、有效性）。
总之，提出古典假定是为了使所作出的估计量具有较好的统计性质以便进行统计推断。
2．答：错误。
在多元线性回归模型里除了对随机误差项提出假定外，还对解释变量之间提出无多重共线性的假定。
计量经济学 第三章、经典单方程计量经济学模型：多元线性回归模型
第三章、经典单方程计量经济学模型：多元线性回归模型一、内容提要本章将一元回归模型拓展到了多元回归模型，其基本的建模思想与建模方法与一元的情形相同。
主要内容仍然包括模型的基本假定、模型的估计、模型的检验以及模型在预测方面的应用等方面。
只不过为了多元建模的需要，在基本假设方面以及检验方面有所扩充。
本章仍重点介绍了多元线性回归模型的基本假设、估计方法以及检验程序。
与一元回归分析相比，多元回归分析的基本假设中引入了多个解释变量间不存在（完全）多重共线性这一假设；在检验部分，一方面引入了修正的可决系数，另一方面引入了对多个解释变量是否对被解释变量有显著线性影响关系的联合性F检验，并讨论了F检验与拟合优度检验的内在联系。
本章的另一个重点是将线性回归模型拓展到非线性回归模型，主要学习非线性模型如何转化为线性回归模型的常见类型与方法。
这里需要注意各回归参数的具体经济含义。
本章第三个学习重点是关于模型的约束性检验问题，包括参数的线性约束与非线性约束检验。
参数的线性约束检验包括对参数线性约束的检验、对模型增加或减少解释变量的检验以及参数的稳定性检验三方面的内容，其中参数稳定性检验又包括邹氏参数稳定性检验与邹氏预测检验两种类型的检验。
检验都是以F检验为主要检验工具，以受约束模型与无约束模型是否有显著差异为检验基点。
参数的非线性约束检验主要包括最大似然比检验、沃尔德检验与拉格朗日乘数检验。
它们仍以估计无约束模型与受约束模型为基础，但以最大似然原χ分布为检验统计量理进行估计，且都适用于大样本情形，都以约束条件个数为自由度的2的分布特征。
非线性约束检验中的拉格朗日乘数检验在后面的章节中多次使用。
二、典型例题分析例1．某地区通过一个样本容量为722的调查数据得到劳动力受教育的一个回归方程为36.0.+=-10+094medufedu.0sibsedu210131.0R2=0.214式中，edu为劳动力受教育年数，sibs为该劳动力家庭中兄弟姐妹的个数，medu与fedu分别为母亲与父亲受到教育的年数。
多元线性回归模型参数的最小二乘估计
1
2
n
相应的样本线性回归方程为
yˆi ˆ0 ˆ1 x1i ˆ2 x2i ˆk xki
i =1, 2 ,…，n
（3.2.2）
利用最小二乘法求参数估计量 ˆ0, ˆ1, ˆ2,,ˆk ：
设残差平方和为Q，则
Q
=
2 i
(
yi
yˆi
)2
( yi ˆ0 ˆ1 x1i ˆ 2 x2i ˆ k xki )2
§3.2多元线性回归模型参数的最小二乘估计 一、一般模型的参数最小二乘估计 设与总体线性回归模型（3.1.1）对应的样本线 性回归模型为
yi ˆ0 ˆ1 x1i ˆ2 x2i ˆk xki i （3.2.1）
或表示为矩阵形式为
Y Xˆ 其中
i =1,2,…，n
ˆ0
ˆ
ˆ1
ˆ k
x2i x2i x1i
x2i xki
xki xki x1i
x2ki
ˆ 0 ˆ1
ˆ k
yi
x1i
y
i
（3.2.3）′
xki yi
其中 n x1i
x1i x12i
x2i
x1i x2i
xki
x1i xki
X
X
xki x1i xki x2i xki
Q
ˆ k
2 ( yi
ˆ 0
ˆ1 x1i
ˆ 2 x2i
ˆ k
xki) xki
0
整理可得正规方程组：
n ˆ0 ˆ1 x1i ˆ2 x2i ˆk xki yi
ˆ0 x1i ˆ1 x12i ˆ2 x2i x1i ˆk xki x1i x1i yi (3.2.3) … … … … … … … …… … … …
考研名校：《计量经济学》各章重点知识总结整理笔记
《计量经济学》各章重点知识总结整理笔记第二章1、变量间的关系分为函数关系与相关关系。
相关系数是对变量间线性相关程度的度量。
2、现代意义的回归是一个被解释变量对若干个解释变量依存关系的研究，回归的实质是由固定的解释变量去估计被解释变量的平均值。
简单线性回归模型是只有一个解释变量的线性回归模型。
3、总体回归函数（PRF ）是将总体被解释变量Y 的条件均值()i i E Y X 表现为解释变量X 的某种函数。
样本回归函数（SRF ）是将被解释变量Y 的样本条件均值^i Y 表示为解释变量X 的某种函数。
总体回归函数与样本回归函数的区别与联系。
4、随机扰动项i u 是被解释变量实际值i Y 与条件均值()i i E Y X的偏差，代表排除在模型以外的所有因素对Y 的影响。
5、简单线性回归的基本假定：对模型和变量的假定、对随机扰动项u 的假定（零均值假定、同方差假定、无自相关假定、随机扰动与解释变量不相关假定、正态性假定）6、普通最小二乘法（OLS ）估计参数的基本思想及估计式；OLS 估计式的分布性质及期望、方差和标准误差；OLS 估计式是最佳线性无偏估计式。
7、对回归系数区间估计的思想和方法。
8、拟合优度是样本回归线对样本观测数据拟合的优劣程度，可决系数是在总变差分解基础上确定的。
可决系数的计算方法、特点与作用。
9、对回归系数假设检验的基本思想。
对回归系数t 检验的思想与方法；用P 值判断参数的显著性。
10、被解释变量平均值预测与个别值预测的关系，被解释变量平均值的点预测和区间预测的方法，被解释变量个别值区间预测的方法。
11、运用EViews 软件实现对简单线性回归模型的估计和检验。
第二章主要公式表第三章1、多元线性回归模型是将总体回归函数描述为一个被解释变量与多个解释变量之间线性关系的模型。
通常多元线性回归模型可以用矩阵形式表示。
2、多元线性回归模型中对随机扰动项u的假定，除了零均值假定、同方差假定、无自相关假定、随机扰动与解释变量不相关假定、正态性假定以外，还要求满足无多重共线性假定。
计量经济学 詹姆斯斯托克 第3章 多元线性回归模型
i 2 i
10 21500 21500 53650000
1 X Y X1
1 X2
Y1 1 Y2 Yi 15674 X n X iYi 39468400 Yn
i i
638 1122 1155 1408 1595 1969 2078 2585 2530
ˆ 1
x y x
2 i
5769300 0.777 7425000
ˆ Y ˆ X 1567 0.777 2150 103 .172 0 0
因此，由该样本估计的回归方程（样本回归函数） 为：
i 1
n
2
ˆ ˆ X ˆ X ˆ X ))2 Q (Yi ( 0 1 1i 2 2i k ki
i 1
n
于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2 2i k ki 1i i 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
习惯上：把常数项看成为一个虚变量的系 数，该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（k +1）。
Yi 0 1 X 1i 2 X 2 i k X ki i
也被称为 总体回归函数 的 随机表达形式 。它的 非随机表达式为:
计量经济学多元线性回归模型及参数估计
-973 1314090 1822500 947508
-929 975870 1102500 863784
-445 334050 562500 198381
-412 185580 202500 170074
-159 23910 22500 25408
28 4140 22500
762
402 180720 202500 161283
2.多元线性回归模型的基本假定（矩阵形式）
V
ar
Cov( N
)
E
N
E(N
)N
E(
N
)
E(
NN
)
1
E
n2 1
2
12
n
E
2 1
n1
12 22
n2
1n
2n
n2
2
0
0
0
2
0
2
I
0
0
2
2.多元线性回归模型的基本假定（矩阵形式）
E(X
N )
E
1 X 11
ei 0 X i1ei 0 X i2ei 0
X ik ei 0
(*) (*)或（**）是多 元线性回归模型正
(**) 规方程组的另一种 写法。
离差形式的样本回归方程
由于
Yˆi ˆ0 ˆ1Xi1 ˆ2 Xi2 ˆk Xik
[Yi (ˆ0 ˆ1Xi1 ˆ2 Xi2 ˆk Xik )] 0
????eemm??所以有???eem??mnnee???ee?????????????????????????????????????????????nnnnnnnnmmmmmmmmme??????????????2121222211121121????????????????????????????????????????nnnnnnnnnnmmmmmmmmme?????????????????21221122221121221111因为xxxxim?????1为对称等幂矩阵即mm??mmmm???2????????nnnnnnnnnnmmmmmmmmme?????????????????????????????22112222211211221111??nnnnnmmmememem??????????22112222222111?????1212122??????????????kntrtrtrmtr????????xxxxixxxxi其中符号tr表示矩阵的迹其定义为矩阵主对角线元素的和
计量经济学第三章
多元线性回归模型及其古典假设 参数估计 最小二乘估计量的统计特性 统计显著性检验 解释变量的选择 中心化和标准化回归方程 利用多元线性回归方程进行预测
山东经济学院统计与数学学院计量经济教研室
第一节 多元线性回归模型 及其古典假设
一、多元线性回归模型的一般形式 二、多元线性回归模型的基本假定
山东经济学院统计与数学学院计量经济教研室
一、多元线性回归模型的一般形式
如果被解释变量（因变量）y与k个解释变量（ 自变量）x1, x2, … , xk 之间有线性相关关系，那么 他们之间的多元线性总体回归模型可以表示为：
y 0 1x1 2 x2 k xk u
(3.1)
(
k
1)1
en
n1
对样本回归模型的系统分量的系数进行估计可得样本回归
方程：
yˆi ˆ0 ˆ1x1i ˆ2x2i ˆk xki
yˆ i
其中， 是y的系统分量，即由自变量决定的理论值， ˆ0,ˆ1,ˆ2,,ˆk
分别是0 ,1 ,…,k的无偏估计量。
方程表示：各变量x值固定时y的平均响应。
j也被称为偏回归系数，表示在其他解释变量
保持不变的情况下，xj每变化1个单位时，y的均 值E(y)的变化;
或者说j给出了xj的单位变化对y均值的“直
接”或“净”（不含其他变量）影响。
山东经济学院统计与数学学院计量经济教研室
总体回归模型n个随机方程的为：
y1 0 1x11 2 x21 k xk1 u1 y2 01x12 2x22 kxk2 u2 yn 0 1x1n 2 x2n k xkn un
多元线性回归模型参数的最小二乘估计
1
2
n
相应的样本线性回归方程为
yˆi ˆ0 ˆ1 x1i ˆ2 x2i ˆk xki
i =1, 2 ,…，n
（3.2.2）
利用最小二乘法求参数估计量 ˆ0, ˆ1, ˆ2,,ˆk ：
设残差平方和为Q，则
Q
=
2 i
(
yi
yˆi
)2
( yi ˆ0 ˆ1 x1i ˆ 2 x2i ˆ k xki )2
（3.2.25）
从而参数估计量的表达式可以简记为
ˆ1
D1 (2) D(2)
（3.2.26）
ˆ 2
D2 (2) D(2)
（3.2.27）
推广至 k 元线性回归，其参数的表达式便有：
ˆ
j
D j (k) D(k)
j =1,2,…，k
ˆ0 y ˆ1 x1 ˆ2 x2 ˆk xk
（3.2.28） （3.2.29）
我们的任务是寻求适当的 ˆ0, ˆ1, ˆ2,,ˆk 使Q达到 最小。根据多元函数的极值原理，ˆ0, ˆ1, ˆ2,,ˆk
应是下列方程组的解：
Q
ˆ0
2 ( yi
ˆ 0
ˆ1 x1i
ˆ 2
x2i
ˆ k
xki)
0
Q
ˆ1
2
(
yi
ˆ 0
ˆ1
x1i
ˆ
2
x2i
ˆ
k
xki)
x1i
0
… … … … … … … …… … … …
Q
ˆ k
2 ( yi
ˆ 0
ˆ1 x1i
ˆ 2 x2i
ˆ k
xki) xki
0
整理可得正规方程组：
3.2多元线性回归模型的估计
3.2多元线性回归模型的估计多元线性回归模型参数的最小二乘估计定义：多元线性回归模型也需要用样本信息建立的样本回归函数尽可能“接近”地去估计总体回归函数。
多元线性回归性参数的小二乘估计最小二乘准则：采用使估计的残差平方和最小的原则去确定样本回归函数。
22ˆmin :()ii i e Y Y =−∑∑多元线性回归性参数的小二乘估计最小二乘准则：e i2ð(σ൯ðመβj=0即对残差平方和求偏导，并令其为0，求出参数መβj参数最小二乘估计的性质类似于一元线性回归，在模型古典假定成立的情况下，多元线性回归模型参数的最小二乘估计也具有线性性、无偏性与最小方差性等优良性质。
参数最小二乘估计的性质1、线性性质ˆ''-1β=(X X)X Y最小二乘估计的参数估计量是被解释变量观测值Y i 的线性组合。
参数最小二乘估计的性质2、无偏性尽管参数估计量会随抽样波动而取不同的值，但其均值等于总体参数。
ˆ()K KE ββ=参数最小二乘估计的性质3、最小方差性参数向量β的小二乘估计βˆ是β的所有线性无偏估计量中方差最小的估计量。
在古典假定都满足的条件下，多元线性回归模型的最小二乘估计式也是佳线性无偏估计式(BLUE)。
OLS 估计的分布性质是随机变量，必须确定其分布性质才可能进行区间估计和假设检验是服从正态分布的随机变量，决定了Y也是服从正态分布的随机变量是Y的线性函数，决定了也是服从正态分布的随机变量ˆβiuˆβˆβ随机扰动项方差的估计随机扰动项的方差σ2是未知的，参数估计量方差实际上无法直接计算。
为此，需要对σ2进行估计。
参数估计量的方差或标准差是衡量参数估计量接近真实参数的重要指标，据此可以判断参数估计量的可靠性。
kn e i−=∑22ˆσ可证明得出：多元线性回归模型参数的区间估计*^ˆˆ~()ˆˆ()j jj j jj j t t n k c SE ββββσβ−−==−上式对随机扰动项的方差σ 2作出估计以后，用σ2替代σ2，构造t 统计量^多元线性回归模型参数的区间估计给定，查t 分布表的自由度为n-k 的临界值α)(2k n t −α*22^ˆ[()()]1ˆ()j jj P t n k t t n k SE ααββαβ−−−≤=≤−=−t 星落在t 的正负临界值之间的概率为1减阿尔法。
计量经济学第三章-多元线性回归方程-1
因此，参数的最大或然估计为
βˆ (XX)1 XY
结果与参数的普通最小二乘估计相同
*三、矩估计（Moment Method）
OLS估计是通过得到一个关于参数估计值的正
规方程组
(XX)βˆ XY
并对它进行求解而完成的。
该正规方程组 可以从另外一种思路来导:
求期望 :
Y Xβμ
XY XXβ Xμ
X 2i ˆk ˆk X ki ˆk X ki
X ki) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
解该（k+1）个方程组成的线性代数方程组，即可得 到 (k+1)个待估参数的估计值 j , j 0,1,2,, k 。
解释变量：人均GDP：GDPP 前期消费：CONSP(-1)
估计区间：1979~2000年
Eviews软件估计结果
LS // Dependent Variable is CONS Sample(adjusted): 1979 2000
Included observations: 22 after adjusting endpoints
方程表示：各变量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变量保
持不变的情况下，Xj每变化1个单位时，Y的均值 E(Y)的变化;
或者说j给出了Xj的单位变化对Y均值的“直接”
或“净”（不含其他变量）影响。
5
一、多元线性回归模型
总体回归模型n个随机方程的矩阵表达式为 Y Xβ μ
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章 多元线性回归与最小二乘估计3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理1、多元线性回归模型：y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。
u t 代表众多影响y t 变化的微小因素。
使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。
当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1,y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ………..y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T经济意义：x t j 是y t 的重要解释变量。
代数意义：y t 与x t j 存在线性关系。
几何意义：y t 表示一个多维平面。
此时y t 与x t i 已知，βj 与 u t 未知。
)1(21)1(110)(111222111111)1(21111⨯⨯-⨯---⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡T T k k k T k T TjT k j k jT T u u u x x x x x x x x x y y yβββ (3.3) Y = X β + u (3.4)2假定条件为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。
假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2相同且为有限值，即E(u ) = 0 = ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡00 , Var (u ) = E(u ˆu ˆ' ) = σ 2I = σ 2⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡10000001 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u ) = 0假定 ⑶ 解释变量之间线性无关。
rk(X 'X ) = rk(X ) = k 其中rk (⋅)表示矩阵的秩。
假定⑷ 解释变量是非随机的，且当T → ∞ 时T – 1X 'X → Q其中Q 是一个有限值的非退化矩阵。
3 最小二乘估计最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。
代数上是求极值问题。
min S = (Y - X βˆ)' (Y - X βˆ) = Y 'Y -βˆ'X 'Y - Y ' X βˆ +βˆ'X 'X βˆ = Y 'Y - 2βˆ'X 'Y + βˆ'X 'X βˆ (3.5) 因为Y 'X βˆ是一个标量，所以有Y 'X βˆ = βˆ'X 'Y 。
(1.5) 的一阶条件为： βˆ∂∂S = - 2X 'Y + 2X 'X βˆ= 0 (3.6) 化简得X 'Y = X 'X βˆ 因为 (X 'X ) 是一个非退化矩阵（见假定⑶），所以有βˆ= (X 'X )-1X 'Y （3.7） 因为X 的元素是非随机的，(X 'X ) -1X 是一个常数矩阵，则βˆ是Y 的线性组合，为线性估计量。
求出βˆ，估计的回归模型写为Y = X βˆ+u ˆ (3.9) 其中βˆ= (0ˆβ 1ˆβ … 1ˆ-k β)' 是 β 的估计值列向量，u ˆ= (Y - X βˆ) 称为残差列向量。
因为 uˆ= Y - X βˆ= Y - X (X 'X )-1X 'Y = [I - X (X 'X )-1 X ' ]Y (3.10) 所以uˆ也是Y 的线性组合。
βˆ的期望和方差是 E(βˆ) = E[(X 'X )-1 X 'Y ] = E[(X 'X )-1X '(X β + u )] = β + (X 'X )-1X ' E(u ) = β (3.11) 由于：11111ˆ(')`(')`()(')`(')`(')`X X X Y X X X X u X X X X X X X u X X X uββββ-----==+=+=+Var(βˆ) = E[(βˆ–β) (βˆ–β)']= E[(X 'X )-1X ' u u ' X (X 'X )-1] = E[(X 'X )-1X ' σ 2I X (X 'X )-1] = σ 2 (X 'X )-1 (3.12) 例：3.1（P113）略4高斯—马尔可夫定理：高斯—马尔可夫定理：若前述假定条件成立，OLS 估计量是最佳线性无偏估计量。
βˆ具有无偏性。
βˆ具有最小方差特性。
βˆ具有一致性，渐近无偏性和渐近有效性。
3.2 残差的方差22`ˆtt te e e T kT kσ==--∑ (3.13) 2ˆσ是σ 2 的无偏估计量，E(2ˆσ ) =σ 2。
证明过程如下：11ˆˆ(`)`(`)`e Y Y Y X Y X X X X Y I X X X X Y β--⎡⎤=-=-=-=-⎣⎦ 记：1(`)`I X X X X --=P容易证明：P 为对等幂矩阵，即P=P`，P 2=P11(`)`(`)`()e I X X X X Y I X X X X X u Pu β--⎡⎤⎡⎤=-=-+=⎣⎦⎣⎦[][]222var()(`)()`(`)`(`)`()``e E ee E Pu Pu E P uu P PE uu P P I P PP P σσσ=======利用矩阵迹的性质，有：2`(`)tee e tr ee ==∑[][][]22212122()(`)(`)(`)(`)`(`)`()t t t k E e E e e E tr ee tr E e e tr P tr I X X X X trI trX X X X T trI T k σσσσσ--⎡⎤====⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦=-=-∑βˆ的估计的方差协方差矩阵是 ∧Var (βˆ) = 2ˆσ (X 'X )-1 (3.14) βi 的置信区间（1） 全部βi 的联合置信区间接受F =k1(β -βˆ)' (X 'X ) (β -βˆ) / s 2 ~ F α (k , T -k ) (3.15) ( β -βˆ)' (X 'X ) ( β -βˆ) ≤ s 2 k F α (k , T -k )，它是一个k 维椭球。
(3.16)（2） 单个βi 的置信区间t =ˆˆ()j j js βββ-=ˆˆ((j jj jββββ-=-~ t (T -k ) βi = i βˆt α/2(T -k ) . (3.17) OLS 估计量的分布若u ~ N (0, σ 2I ) ，则每个u t 都服从正态分布。
于是有Y ~ N (X β, σ 2I ) (3.18)因βˆ也是u 的线性组合（见公式1.7），依据（3.11）和（3.12）有βˆ ~ N ( β, σ2(X 'X )-1) (3.19) 3.3多元回归模型的检验1. 多重确定系数（多重可决系数）Y = X βˆ+u ˆ=Y ˆ+u ˆ (3.20) 总平方和SST =∑=-T t t y y 12)(=∑∑∑===+-Tt T t T t t t y y y y 121122=21122y T y y y Tt Tt t t +-∑∑=== Y 'Y - T 2y , (3.21)其中y 是y t 的样本平均数，定义为y = T y Tt t /)(1∑=。
同理，回归平方和为SSR =∑=-Tt t y y12)ˆ(= Y ˆ'Y ˆ- T 2y (3.22) 其中y 的定义同上。
残差平方和为SSE =∑=-Tt t t y y 12)ˆ(= ∑=Tt t u12ˆ= u ˆ'u ˆ (3.23) 则有如下关系存在，SST = SSR + SSE (3.24)R 2=22ˆˆy T y T SST SSR -Y Y Y 'Y'-=(3.25)显然有0 ≤ R 2 ≤ 1。
R 2 →1，拟合优度越好。
2. 调整的多重确定系数当解释变量的个数增加时，通常R 2不下降，而是上升。
为调整因自由度减小带来的损失（增加方差的无偏估计量22`ˆtt te e e T kT kσ==--∑，会系数的置信区间及预测精度降低），又定义调整的多重确定系数2R 如下：2R = 1 -))(1(1)1/()/(SST SSR SST k T T T SST k T SSE ----=-- = 1 - )1(12R kT T --- (3.26)对于包含解释变量个数不同的模型，就用调整后的确定系数。
3 方差分析与F 检验与SST 相对应，自由度T -1也被分解为两部分，（T -1）= (k -1) + (T - k ) (3.27) 回归均方差定义为MSR =1-k SSR ，误差均方差定义为MSE = kT SSE- 表1.1 方差分析表方差来源 平方和 自由度 均方 回归 SSE =Yˆ'Y ˆ-T y 2 k -1 MSE = SSE / (k -1) 误差SSR = uˆ'u ˆ T -kMSR = SSR / (T -k )总和 SST = Y 'Y - T y 2T -1H 0: β1= β2 = … = βk -1 = 0; H 1: βj 不全为零F =MSE MSR= /(1)/()SSE k SSR T k -- ~ F (k -1,T -k ) (3.28)设检验水平为α，则检验规则是，若 F ≤ F α (k -1,T -k )，接受H 0；若 F > F α (k -1,T -k ) , 拒绝H 0。