第三节 最小二乘估计量的性质
计量经济学重点知识整理
计量经济学重点知识整理1一般性定义计量经济学是以经济理论和经济数据的事实为依据,运用数学和统计学的方法,通过建立数学模型来研究经济数量关系和规律的一门经济学科。
研究的主体（出发点、归宿、核心）:经济现象及数量变化规律研究的工具（手段）:模型数学和统计方法必须明确:方法手段要服从研究对象的本质特征（与数学不同),方法是为经济问题服务2注意:计量经济研究的三个方面理论：即说明所研究对象经济行为的经济理论——计量经济研究的基础数据:对所研究对象经济行为观测所得到的信息——计量经济研究的原料或依据方法：模型的方法与估计、检验、分析的方法——计量经济研究的工具与手段三者缺一不可3计量经济学的学科类型●理论计量经济学研究经济计量的理论和方法●应用计量经济学：应用计量经济方法研究某些领域的具体经济问题4区别:●经济理论重在定性分析,并不对经济关系提供数量上的具体度量●计量经济学对经济关系要作出定量的估计,对经济理论提出经验的内容5计量经济学与经济统计学的关系联系:●经济统计侧重于对社会经济现象的描述性计量●经济统计提供的数据是计量经济学据以估计参数、验证经济理论的基本依据●经济现象不能作实验，只能被动地观测客观经济现象变动的既成事实，只能依赖于经济统计数据6计量经济学与数理统计学的关系联系:●数理统计学是计量经济学的方法论基础区别：●数理统计学是在标准假定条件下抽象地研究一般的随机变量的统计规律性;●计量经济学是从经济模型出发，研究模型参数的估计和推断,参数有特定的经济意义,标准假定条件经常不能满足，需要建立一些专门的经济计量方法３、计量经济学的特点：计量经济学的一个重要特点是：它自身并没有固定的经济理论,而是根据其它经济理论，应用计量经济方法将这些理论数量化。
４、计量经济学为什么是一门单独的学科计量经济学是经济理论、数理经济、经济统计与数理统计的混合物。
１、经济理论所作的陈述或假说大多数是定性性质的，计量经济学对大多数经济理论赋予经验内容。
超定方程组的最小二乘解原理
超定方程组，又称为过定方程组，是线性代数中的一个概念。
当方程组的未知数数量少于方程数量时，该方程组就被称为超定方程组。
由于超定方程组通常没有精确解，我们常常会寻求一个近似解，使得所有方程的残差平方和最小。
这就是最小二乘解的原理。
一、最小二乘解的基本概念最小二乘法是一种数学优化技术，它通过最小化误差的平方和来寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和最小。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
二、超定方程组的性质对于超定方程组，由于方程数量多于未知数数量，因此通常不存在一个解能够使得所有方程同时成立。
这种情况下，我们需要寻找一个近似解，即一个解，使得所有方程的残差（即方程的实际值与解代入方程后得到的计算值之间的差）的平方和最小。
三、最小二乘解的原理最小二乘解的原理就是基于上述思想，通过最小化残差平方和来寻找超定方程组的近似解。
具体步骤如下：构建残差平方和函数：首先，我们需要构建一个表示残差平方和的函数。
假设超定方程组有(m) 个方程，(n) 个未知数（(m > n)），未知数的向量记作(\mathbf{x} = (x_1, x_2, \ldots, x_n)^T)，方程组的系数矩阵记作(\mathbf{A} = (a_{ij})_{m \times n})，常数项向量记作(\mathbf{b} = (b_1, b_2, \ldots, b_m)^T)。
那么，残差向量可以表示为(\mathbf{r} = \mathbf{A}\mathbf{x} - \mathbf{b})，残差平方和函数可以写为(S(\mathbf{x}) = \mathbf{r}^T\mathbf{r} = (\mathbf{A}\mathbf{x} - \mathbf{b})^T(\mathbf{A}\mathbf{x} - \mathbf{b}))。
第3章 线性模型参数的最小二乘估计法
的概率为
∏ P =
n i =1
Pi
=
1
σ1σ 2 "σ n
n
2π
∑ − δi2 e i=1
(2σi2 )dδ1dδ 2 "dδ n
1. 最小二乘原理
| 测量值 l1,l2 ,",ln 已经出现，有理由认为这n个测 量值出现于相应区间的概率P为最大。要使P最
ti /0 C
10
20
30
40
50
60
li / mm 2000.36 2000.72 2000.8 2001.07 2001.48 2000.60
| 1）列出误差方程
vi = li − ( y0 + ay0ti )
| 令 y0 = c, ay0 = d为两个待估参量，则误差方程为
vi = li − (c + tid )
x2 ,",
xt
)
⎪⎪ ⎬
⎪
vn = ln − fn (x1, x2 ,", xt )⎪⎭
残差方程式
1. 最小二乘原理
| 若 l1,l2 ,",ln 不存在系统误差，相互独立并服从正 态分布，标准差分别为σ1,σ 2 ,",σ n，则l1, l2 ,", ln出
现在相应真值附近 dδ1, dδ2,", dδn 区域内的概率
大，应有
δ12
+
δ
2 2
+"
+
δ
2 n
= 最小
σ12 σ 22
《计量经济学》课程教学大纲
《计量经济学》课程教学大纲英文名称：Econometric课程代码：221102004课程类别：专业核心课课程性质：必修开课学期：第四学期总学时：54（讲课：36，实验0，实践18，网络0）总学分：3考核方式：作业先修课程：高等数学、微观经济学、宏观经济学、统计学适用专业：经济学一、课程简介《计量经济学》是经济学专业的一门专业核心课程。
本课程以高等数学、宏微观经济学、统计学为先修课程，系统讲授计量经济学的基础理论、一元和多元线性回归模型、非线性回归模型的线性化、异方差、自相关、多重共线性、模型中特殊的解释变量以及Eviews基础操作等内容，为全国大学生市场调查与分析大赛以及毕业论文作理论与实践兼具的准备。
该课程分别从理论授课、软件学习以及团队实训等三个维度全面提高学生的思想水平、政治觉悟、道德品质及文化素养，重点培养学生经济学专业知识与技能，使其具有较为扎实的专业知识储备、数据分析的能力、实践与创新能力。
二、课程目标及其对毕业要求的支撑总体目标：全面提高学生的政治素养和道德品质，重点培养学生经济统计专业知识与技三、课程内容及要求第一章绪论教学内容：第一节计量经济学的定义与类型1．计量经济学的定义2．计量经济学的类型第二节计量经济学的特征1．经典计量经济学在理论方法方面特征2．经典计量经济学在应用方法方面特征第三节计量经济学的目的及研究问题的步骤1．计量经济学的目的2．计量经济学研究问题的步骤3．Eviews软件介绍学生学习预期成果：1．理解计量经济学的含义2．理解计量经济学的类型与特征3．了解计量经济学的目的及研究问题的步骤4．了解Eviews软件并下载安装成功教学重点：计量经济学的含义；计量经济学研究问题的步骤；Eviews软件介绍。
教学难点：计量经济学的含义；计量经济学研究问题的步骤。
第二章一元线性回归模型教学内容：第一节模型的建立及其假定条件1．回归分析的概念2．一元线性回归模型的介绍3．随机误差项的假定条件第二节一元线性回归模型的参数估计1．普通最小二乘法的概念2．参数估计第三节最小二乘估计量的统计性质1．线性性2．无偏性3．最小方差性第四节用样本可决系数检验回归方程的拟合优度1．总离差平方和的分解2．样本可决系数及相关系数第五节回归系数估计值的显著性检验与置信区间1．随机变量u的方差2．t检验3．置信区间第六节一元线性回归方程的预测1．点预测2．区间预测第七节案例分析1．用Eviews软件研究分析我国城镇居民年人均可支配收入与年人均消费性支出之间的关系学生学习预期成果：1．掌握回归分析的概念2．掌握随机误差项的假定条件3．掌握一元线性回归模型的参数估计4．熟悉最小二乘估计量的统计性质5．掌握用样本可决系数检验回归方程的拟合优度6．掌握回归系数估计值的显著性检验7．掌握Eviews软件的基础操作教学重点：回归分析的概念；随机误差项的假定条件；一元线性回归模型的参数估计；Eviews软件的基础操作。
第一章最小二乘估计及其性质
以 x1 代表相对水位， x2 代表温度， y 代表径向形变量。利用 SAS 软件（见文献[3]），
计算得回归方程为
yˆ = 20.778-1.148x1 -0.0182x2 .
(1.18)
通过检验，发现回归方程是显著的， x1 对 y 有显著性影响，但 x2 的回归系数不显著，故该
模型不能合理拟合变形量数据。另外，我们对残差(见图 1)进行分析，发现模型中有非线性 关系,故模型(1.18)中应增加二次项。
切向与径向定义为切向 (t ) 、径向 ( r ) 坐标系，其监测日期和监测数据见表 2。
序号
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
表 2. 原始监测数据
日期
相对水位/mm
温度/℃
2001/12/31
9.750
14.5
2001/01/01
称为中心化．若记 则(1.11)式可改写为
æ x11 - x1 x12 - x2 L x1, p-1 - x p-1 ö
Xc
=
ç ç ç
x21 M
x1
x22 - x2 M
L
x2,
p
-1
-
x p -1
÷ ÷
M÷
ççè xn1 - x1 xn2 - x2 L xn, p-1 - xp-1 ÷÷ø
(1.12)
-0.5
9.450
11.6
2001/01/02
9.270
9.2
2001/01/03
9.020
12.8
2001/01/05
8.360
13.6
2001/01/06
8.010
2.2 最小二乘的估计性质
ˆ ) E ( k ) k E ( ) E( i i 1 i i 1 1 1
同样地，容易得出
ˆ ) E ( w ) E( ) w E ( ) E( i i i i 0 0 0 0
3、有效性（最小方差性） ， 即在所有线性无偏估计量
2
x nX n x
2 i 2 i
2
2
X n x
2 i i
2 2
（2）证明最小方差性
ˆ * 是其他估计方法得到的关于 的线性无偏估计量： 假设 1 1
ˆ* c Y ii 1
其中，ci=ki+di，di为不全为零的常数
则容易证明
ˆ * ) var( ˆ) var( 1 1
ˆ + ˆ Xi + ei • (2) 估计的统计模型 ： Yi= 0 1
• (3) 真实的回归直线：E(Yi) = 0 + 1 Xi
ˆ = ˆ + ˆ Xi • (4) 估计的回归直线： Y i 0 1
二、参数估计量的概率分布及随机误差 项方差的估计
ˆ 的概率分布 ˆ 和 1、参数估计量 0 1
2 1 x 1 1 2 2 2 Xk i X 2 k i2 2 X k i X 2 i 2 x n n n n i 2
2
2 1 X n x2 i
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
ˆ 证： 1
x y x
i 2 i
最小二乘法原理
三、最小二乘法最小二乘法是根据最小二乘准则，利用样本数据估计回归方程的一种方法。
（一）残差设是被解释变量的第次样本观测值，是相应的第次样本估计值。
将与之间的偏差记作称为第次样本观测值的残差。
（二）最小二乘准则使全部样本观测值的残差平方和达到最小，即来确定未知参数估计量的准则，称为最小二乘准则。
（三）最小二乘估计量未知参数的最小二乘估计量的计算公式为最小二乘估计量的推导设残差平方和其中它是阶残差列向量。
为了得到最小二乘估计量，我们对上式进行极小化移项后，得正规方程组根据基本假定5.，存在，用左乘正规方程组两边，得的最小二乘估计量式（四）的无偏估计量随机误差项的方差的无偏估计量为称作回归估计的均方误差，而称作回归估计的标准误差。
（五）的方差其中，，于是每个的方差为，而是矩阵对角线上对应的第个元素，。
（六）方差的估计量方差的估计量为则每个方差的估计量为，标准差的估计量为，四、拟合优度检验拟合优度检验是样本回归方程对样本观测值拟合程度的检验。
（一）总离差平方和的分解公式其中—总离差平方和，—回归平方和，—残差平方和。
于是，可以将平方和的分解公式写成离差形式（二）多元样本决定系数1.多元样本决定系数所谓多元样本决定系数，也称多元样本判定系数或多元样本可决系数，是指被解释变量中的变异性能被样本回归方程解释的比例，即2. 修正的样本决定系数与有如下关系：在样本容量一定的情形下，可以看出有性质：(1)，；（2）可能出现负值。
例如，，，时，。
显然负的拟合优度没有任何意义，在这种情形时，我们取。
（三）三个平方和的计算公式于是有因为，所以。
作为度量回归值对样本观测值拟合优度的指标，显然的数值越大越好。
的数值越接近于1，表示中的变异性能被估计的回归方程解释的部分越多，估计的回归方程对样本观测值就拟合的越好；反之，的数值越接近于0，表示中的变异性能被估计的回归方程解释的部分越少，估计的回归方程对样本观测值就拟合的越差。
五、检验检验是对回归方程总体显著性的检验，就是从总体上检验解释变量对被解释变量是否有显著影响的一种统计检验方法。
第三讲普通最小二乘法
普通最小二乘法（OLS） （Ｏrdinary Least Squares)
eyyˆ 1. OLS的基本思想
ei yi yˆi
y ˆiˆ0ˆ1 x i (i 1 ,2 , ,n )
m in ei2m in (Yiˆ1ˆ2Xi)2
普通最小二乘法（OLS） （Ｏrdinary Least Squares)
表 2.2.1 参数估计的计算表
X i Yi
xi
yi
xi yi
x
2 i
y
2 i
X
2 i
Yi 2
1 2 3 4 5 6 7 8 9 10 求和 平均
800 1100 1400 1700 2000 2300 2600 2900 3200 3500 21500 2150
594 638 1122 1155 1408 1595 1969 2078 2585 2530 15674 1567
计性质。 ●模型中有随机扰动项，估计的参数是随机变量，显然参数
估计值的分布与扰动项的分布有关，只有对随机扰动的分 布作出假定，才能比较方便地确定所估计参数的分布性质， 也才可能进行假设检验和区间估计等统计推断。 假定分为：◆对模型和变量的假定◆对随机扰动项的假定
14
对模型和变量的假定
例如对于 Yi 12Xiui
假定2：同方差假定
Var(Yi Xi)2
假定3：无自相关假定 Cov(Yi,Yj)0
假定5：正态性假定
Yi ~N(12Xi,2)
19
OLS回归线的数学性质
●剩余项 e i 的均值为零 e ei 0
n
●OLS回归线通过样本均值
Y
(由OLS第一个正规方程直接得到)
●估计值 Y ˆ i 的均值等于实际观测 Y 值 Y i 的均值 Y ˆ1ˆ2X
计量经济学重点知识整理
计量经济学重点知识整理1一般性定义计量经济学是以经济理论和经济数据的事实为依据，运用数学和统计学的方法，通过建立数学模型来研究经济数量关系和规律的一门经济学科。
研究的主体（出发点、归宿、核心）：经济现象及数量变化规律研究的工具（手段）：模型数学和统计方法^必须明确：方法手段要服从研究对象的本质特征（与数学不同）,方法是为经济问题服务2注意：计量经济研究的三个方面理论：即说明所研究对象经济行为的经济理论——计量经济研究的基础数据：对所研究对象经济行为观测所得到的信息——计量经济研究的原料或依据;方法：模型的方法与估计、检验、分析的方法——计量经济研究的工具与手段三者缺一不可3计量经济学的学科类型●理论计量经济学研究经济计量的理论和方法●应用计量经济学：应用计量经济方法研究某些领域的具体经济问题4区别：—●经济理论重在定性分析,并不对经济关系提供数量上的具体度量●计量经济学对经济关系要作出定量的估计，对经济理论提出经验的内容5计量经济学与经济统计学的关系联系：●经济统计侧重于对社会经济现象的描述性计量●经济统计提供的数据是计量经济学据以估计参数、验证经济理论的基本依据●经济现象不能作实验，只能被动地观测客观经济现象变动的既成事实，只能依赖于经济统计数据?6计量经济学与数理统计学的关系联系：●数理统计学是计量经济学的方法论基础区别：●数理统计学是在标准假定条件下抽象地研究一般的随机变量的统计规律性；●计量经济学是从经济模型出发，研究模型参数】的估计和推断，参数有特定的经济意义，标准假定条件经常不能满足，需要建立一些专门的经济计量方法3、计量经济学的特点：计量经济学的一个重要特点是：它自身并没有固定的经济理论，而是根据其它经济理论，应用计量经济方法将这些理论数量化。
4、计量经济学为什么是一门单独的学科计量经济学是经济理论、数理经济、经济统计与数理统计的混合物。
?1、经济理论所作的陈述或假说大多数是定性性质的，计量经济学对大多数经济理论赋予经验内容。
计量经济学 普通最小二乘法估计量
[
1 N
x2 (xi x)2
x2f (xi
x)2
2xx f (xi
x)2
1]
2
1
[N
(x (xi
xf )2 x)2
1]
2
2、预测E(yf)
以 yˆ f ˆ0 ˆ1xf 作为对E(yf)的预测。预
测误差是：
e2 E( y f ) yˆ f (0 ˆ0) (1 ˆ1)xf
1、预测yf
以 yˆ f ˆ0 ˆ1xf 作为对yf的预测。此时预测 误差是： e1 y f yˆ f (0 ˆ0) (1 ˆ1)xf f 显然，E(e1)=0。
Var(e1) Var(ˆ0 ) x2fVar(ˆ1) 2x f Cov(ˆ0, ˆ1) Var( f )
普通最小二乘法估计量
例2：假设真实模型为 y 0 1x
0, 1为待估参数，最小二乘法的参数估计量为
ˆ1
(xi x ) yi (xi x )2
; ˆ0
y
ˆ1x
既然估计量是随机的，那么我们需要分析随机
变量的统计性质，了解它的分布。另外0, 1 真
cov ki yi , (wi ki )yi
ki (wi ki ) 2
0
var wi yi var ki yi (wi ki )yi
var ki yi var (wi ki )yi var ki yi
假定2：在重复抽样中，(x1, x2,..., xN )被预先 固定下来，即(x1, x2,..., xN )是非随机的，显 然，如果解释变量含有随机的测量误差， 那么该假定被违背。还存其他的违背该 假定的情况。
在异方差的情况下ols估计量误差放大的原因
在异方差的情况下ols估计量误差放大的原因在统计分析中，OLS（Ordinary Least Squares）是一种最小二乘法，用于估计线性回归模型的参数。
然而，在存在异方差（heteroscedasticity）的情况下，OLS的估计量可能会产生误差放大的问题。
异方差是指随着自变量变化，误差项的方差不稳定，即误差的方差与自变量的水平有关。
在存在异方差的情况下，OLS无法得到无偏且有效的估计，这会导致OLS估计量的不准确性。
误差放大的原因可以从几个方面进行探讨：1.忽略异方差引发的样本偏差：在存在异方差的情况下，OLS估计量会忽略误差项方差的不稳定性，而使用稳健性标准误来估计模型的方差-协方差矩阵。
然而，如果我们忽略了异方差的影响，并使用常规OLS估计量计算模型的标准误差，那么最终的估计结果可能会高估标准误。
这导致了估计的置信区间过宽，结果丧失了准确性。
2.误差项方差与自变量相关：异方差的产生可能与自变量的一些特征有关，例如，当自变量的取值较大时，误差的方差也会增加。
这可能被解释为自变量对因变量的影响在不同取值范围内不同。
在这种情况下，OLS估计量可能会倾向于高估或低估自变量的影响，从而导致不准确的估计。
3.最小二乘估计的性质：OLS是一种无偏估计方法，即在样本数量趋近于无穷时，估计值将收敛于真实参数值。
然而，在异方差存在的情况下，OLS估计量不再是最佳线性无偏估计（BLUP），因此它可能会引入额外的误差。
这使得OLS估计值在有限样本数据集上具有较大的方差，导致估计量的不稳定性。
为了克服异方差问题，我们可以采取以下方法：1.异方差稳健的标准误：通过使用广义最小二乘（GLS）估计模型，可以得到更准确的标准误。
异方差稳健的标准误考虑了异方差的存在，并通过权重矩阵对误差项进行加权。
这可以提供更稳健和准确的参数估计。
2.加权最小二乘法（WLS）：WLS是一种基于OLS的改进方法，通过对误差进行加权，可以减少异方差对估计量的影响。
最小二乘问题的解法
Hx
x
u
w
proof
(1)显然成立， ( 2)和(3)可直接得出， 事实上 H T H H 2 ( I 2 ww T )( I 2 ww T ) I 4 ww T 4 ww T ww T I
2
w
令w ( x y ) / x y 2 , 构 造Householde r变 换 2 H I 2 ww T I ( x y )( x y ) T 2 x y 2 注意到 x T x y T y (已 知),于 是 2 x y 2 ( x y ) T ( x y ) 2( x T x y T x ) 2 ( x y ) T x 从而 2 Hx x ( x y )( x y ) T x x ( x y ) y 2 x y 2 proof
i 1 T n
这 里A a i ,, a n .
于 是, 令x ( x1 , , x n ) ,即 有Ax b. 定理得证 Th3.1.2 方程 组 Ax b的解 存在 , 并且 假定 x是其 任一 给 定的 解 , 则方 程组 的全 部解 的集 合是 x N ( A) proof : 如 果y满 足 方 程 组 , 则A( y x ) 0,即( y x ) N ( A), 于是有 y x ( y x ) x N ( A).反 之, 如 果y x N ( A),则 存 在z N ( A),使y x z, 从 而 有 Ay Ax Az Ax b. 证 毕.
计量经济学【一元线性回归模型——参数估计】
ˆ0计量ˆ1 和
可以分别表示为被解释变量观测Y值i
的线
性组合（线性函数）；
ˆ证1 明
如( X下i ： X )(Yi (Xi X )2
Y
)
(Xi X) (Xi X )2
(Yi
Y
)
ki (Yi Y )
其中ki ：
(Xi X) (Xi X )2
ki
对ki于引0 进的 ki (X容i 易X证) 明有k如i X下i 的1 特性k：i2
2
,
,
,
,
,
,
,
,
i
1,
2,
n
假设3：随机误差项在不同样本点之间是独立的，不
存
Cov(i , j ) 0,,,,,,,i j,,,,i, j 1, 2, n
在序列相关，即：
一、一元线性回归模型的基本假设
假设 4：随机误差项与解释变量之间不相关， 即：
Cov( Xi , i ) 0,,,,,,,,,,,i 1, 2, n
：待估
E(Y
总样体本回回归归函函数数形形式式：：Yˆi
| Xi)
ˆ0
0 ˆ1X i
1X i
其 计
中 估
方
ˆ0 , ˆ1 法ˆ0，, ˆ1求
是ˆ00,,ˆ11 出
的估计值，我们需要找到一种参数 ， 并0 ,且1 这 种 参 数 估 计 方 法 保 证 了 估
计值 数
与总体真值
尽可能地接近；这种参
i
根据微 小，
积
分中
ˆ0 , ˆ1
求
极
值
的
原
理
，
要
使 i
ei2
待定系数
Chapter3 广义最小二乘法
第1章 广义最小二乘法在经典假定条件下，OLS 估计量具有BLUE 性质。
解释变量与误差项不相关保证了OLS 估计量的无偏性，误差项的同方差、无序列相关保证了OLS 估计量的有效性。
但实践中，这些假定很可能被违背。
因此，模型估计之后需要检验这些假定是否得到满足；如果某些假定被违背的的话，则需要对其进行修正。
本章介绍异方差、自相关情况下的模型修正。
1.1 异方差和自相关的概念在随机误差项u 满足同方差和没有序列自相关的假定下，u 的方差协方差矩阵Var(u ) 是一个对角矩阵。
即Var(u )主对角线上的元素都是相同的常数；非主对角线上的元素为零。
当这两个假定不成立时，V ar(u ) 不再是一个纯量对角矩阵。
Var(u ) = Ω = ⎪⎪⎪⎪⎪⎭⎫⎝⎛TT T T T T σσσσσσσσσ (2)12222111211≠σ 2 I 1.1 当Var(u )主对角线上的元素不相等时，表示误差项存在异方差。
如果非主对角线上的元素不为0，表示误差项存在序列相关。
当模型存在异方差或自相关时，1ˆE(|)E[(')'|]-=+=βX βX X X u X 0 111121ˆˆˆVar(|)E[()()'|]E[(')''(')|](')'(')(')σ-----=--= =≠βX ββββX X X X uu X X X X X X X ΩX X X X X因此，异方差和自相关不会影响OLS 估计量的无偏性，但会导致非有效性。
存在异方差或自相关时，参数估计量的方差估计量σ 2 (X 'X )-1是真实方差的有偏估计量，可能会低估或高估真实的方差。
t 统计量不再服从t 分布，即使是在大样本的情况下也是如此。
F 统计量也不再是F 分布。
由此导致错误的推断或预测。
比如，σ 2 (X 'X )-1低估了真实方差，那么t 统计量就高估了，就容易将不显著的变量错误地判断为显著。
参数的最小二乘法估计
最小二乘法的应用领域
回归分析
在统计学中，最小二乘法被广泛应用 于线性回归分析，用于估计回归模型 的参数。
01
工程领域
最小二乘法在工程领域也有广泛应用， 例如用于参数估计、系统辨识、控制 设计等任务。
05
02
曲线拟合
最小二乘法可用于拟合曲线，例如多 项式曲线、指数曲线等，以描述数据 之间的关系。
有效性
在所有无偏估计量中，最小二乘法估计量具有最小的方差，因此是有效的。
有效性意味着在同样的样本量下，最小二乘法估计量能够提供更精确的参数估计，减少估计误差。
05
最小二乘法估计的优缺点
优点
无偏性
一致性
在满足一定的假设条件下，最小二乘法估 计量是参数的真实值的无偏估计，即估计 量的期望值等于参数的真实值。
最小二乘法估计量是样本数据的线性 组合，其期望值等于总体参数的真实 值，因此具有无偏性。
无偏性意味着在多次重复抽样和估计 过程中，估计量的平均值将接近参数 的真实值。
一致性
随着样本量的增加，最小二乘法估计 量的值将逐渐接近参数的真实值，具 有一致性。
VS
一致性保证了在大样本情况下，最小 二乘法估计量能够给出相对准确的参 数估计。
对于非线性模型，可以通过变量变换 或引入非线性项，将其转化为线性模 型，再利用最小二乘法进行参数估计 。
在时间序列分析中的应用
趋势分析
通过最小二乘法拟合时间序列的趋势项，揭示时间序列的长期趋势和变化规律。
季节调整
对于具有季节性特征的时间序列，可以利用最小二乘法估计季节因子，进而对 原始序列进行季节调整。
最小二乘法
而最小方差估计由(4.65) 得 ψ Mv = E{[ X T (σ 2 I ) −1 X ]−1} = σ 2 E{( X T X ) −1} = ψ
ˆ 在满足一定噪声条件下 这说明 LSE 的估计 Θ
是一个最小方差估计， 即一个有效估计。 由此可知， LSE 是无偏的、有效的、一致的 4.5.5 最小二乘的局限性
i =1 n
列。以一阶系统为例，对于系统 y ( k ) = − ay ( k − 1) + bu ( k − 1) + ε (k ) ，ε ( k ) = v ( k ) + av ( k − 1) 。它的 最小二乘估计为
θˆ = ( X T X ) −1 X T Y ，
-3-
⎡ X T (1) ⎤ ⎢ T ⎥ X (2) ⎥ T ⎢ ˆ 其中 θ = [− a, b] ， X = ， X T (i ) = [ y (i ) u (i )] ⎢ M ⎥ ⎢ T ⎥ ⎢ X ( N )⎦ ⎥ ⎣ ⎡ N 2 ⎢ ∑ y (i ) θˆ = ⎢ Ni =1 ⎢ ⎢∑ y (i )u (i ) ⎣ i =1
= aσ 2
ˆ} ≠ Θ 。 可见，即使 E{v ( k )} = 0 ，因为一阶系统 ε (k ) 一步相关， Rεε (1) ≠ 0 ，所以 E{Θ
-4-
4.6 辅助变量法（IV） 设为有色噪声或相关序列，则因为
Y = XΘ + ε 所以它的 N 次观测 (N>2n) 后的最小二乘估计为
ˆ = ( X T X ) −1 X T Y = Θ + ( X T X ) −1 X T ε Θ
2 (0) 其中 Δ = R yy (0) Ruu (0) − Ruy
R yy (1) = E[ y ( k + 1) y ( k )]
最小二乘法估计量的性质(高斯—马尔可夫定理的初步证明)
高斯—马尔可夫定理:若一元线性模型满足计量经济基本假设，则参数的最小二乘估计(OLS)是最小方差的线性无偏估计。
（BLUE )最小二乘法估计量OLS 的性质（高斯—马尔可夫定理的初步证明）1．线性性：0ˆβ和1ˆβ都是i y 的线性函数证明：ini nj j i n j jni iiy x x x x x x y x x∑∑∑∑====--=--=1121211)()()()(ˆβΘ ；令∑=--=nj ji i x xx x k 12)()(则有i ni i y k ∑==11ˆβ ，且有=∑ik，1=∑ii xk ，∑∑=-=ni ii x xk 122)(1从而1ˆβ是i y 的线性函数；同理，0ˆβ＝=-x y 1ˆβi i i i n i i y k x n y k x y n ∑∑∑⎪⎭⎫⎝⎛-=-=111令i i k x nw ⋅-=1，则有：i i y w ∑=0ˆβ，即0ˆβ也是iy 的线性函数。
另有：1=∑iw ，0=∑ii xw2. 无偏性：0ˆβ和1ˆβ都是0β、1β的无偏估计量； 即有：(),ˆ0ββ=E ()11ˆββ=E证明：先证()11ˆββ=EΘ ()i i i i n i i u x k y k ++==∑∑=1011ˆβββ， 又Θ0=∑ik，1=∑i i x k()∑∑∑=++===i i i i i ni i k u x k y k 01011ˆββββ+∑∑+i i i i u k x k 1β =∑+i i u k 1β()()1101ˆββββ=++⋅=∑∑∑i i i i i u E k x k k E(因为:0=∑ik，1=∑i i x k )同理，利用1=∑i w 和0=∑i i x w 可证得(),ˆ00ββ=E3. 最优性或最小方差性：在所有的线性无偏估计中，0ˆβ和1ˆβ分别是0β、1β的方差最小的有效估计量 证明：若1~β是原值1β的一个线性无偏估计（方差条件不限），且记∑=i i y c 1~β（∵线性估计），再根据无偏估计的特性，有：∑∑==1,0i i ix c c。
第三节最小二乘估计量的性质
第三节 最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 （1）由2ˆβ的计算公式可得： 222222()ˆt tttt ttttttt tt tt x y x Y x Y xxx xx x x x β--===⎛⎫== ⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y需要指出的是，这里用到了因为t x 不全为零，可设2tt tx b x =∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
（2）因为12t t t Y X ββμ=++，所以有()212122ˆt t t t t t t t t t t tb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y这说明2ˆβ是t μ的线性组合。
需要指出的是，这里用到了220t t t t t x x b x x ===∑∑∑∑∑以及 ()2222222201t t tt t t tt ttttttttx x X x b X X x x x x X x X x x x x x⎛⎫+⎪== ⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 （1）因为12ˆˆY X ββ=-，所以有 ()121ˆˆ1t t t t tY X Y X b nXb n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里，令1a Xb n=-，则有1ˆt a β=∑Y 这说明1ˆβ是t Y 的线性组合。
（2）因为回归模型为12t t t Y X ββμ=++，所以()11212ˆt t t t t t t t t ta a X a a X a βββμββμ==++=++∑∑∑∑∑Y因为111t t t a Xb X b nn⎛⎫=-=-=⎪⎝⎭∑∑∑∑。
一元线性回归的最小二乘估计
3. 高斯--马尔柯夫定理（Gauss--Markov Theorem）
对于满足统计假设条件(1)--(4)的线性回归模型 Yt = + Xt + ut , ，普通最小二乘估计量 ( OLS估 计量) 是最佳线性无偏估计量（BLUE）。 或 对于古典线性回归模型（CLR模型）Yt=α+β+Xt ， 普通最小二乘估计量（OLS估计量）是最佳线性无 偏估计量（BLUE）。
最小二乘法就是选择一条直线，使其残差平方和 ，使得 ˆ和 达到最小值的方法。即选择 α
ˆ )2 S et (Yt Y t
2
ˆX ) 2 ˆ (Yt t
达到最小值。
运用微积分知识，使上式达到最小值的必要条件为：
S S 0 ˆ ˆ
两边取期望值，得：
ˆ )2 E (
1 2 2 [ x E ( i ) xi x j E ( i j )] 2 2 i ( xt ) i j
由于 E( t )=
2
2
, t=1,2,…,n
——根据假设（3） ——根据假设（2）
E( i j )=0, i≠j
ˆ
xy 390 0.39,ˆ Y ˆ * X 22 0.39 * 30 10.3 x 1000
Eviews 创建工作文件，输入数据并进行回归：
Create u 1 5
data x y ls y c x
三、 最小二乘法估计量的性质 ˆ 和 ˆ 的均值 1．
2 1 2 2 2 ˆ E ( ) ( x 0) ∴ 2 2 i 2 ( xt ) x t 2 ˆ) 即 Var ( 2 x t
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三节 最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 （1）由2ˆβ的计算公式可得：222222()ˆt ttttttttttt tt ttx yx Y x Y xxx xx x xxβ--===⎛⎫==⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y YY需要指出的是，这里用到了因为t x 不全为零，可设2tt tx b x=∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
（2）因为12tt tY X ββμ=++，所以有()212122ˆttttttttttttb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y 这说明2ˆβ是t μ的线性组合。
需要指出的是，这里用到了22t tt ttx x b x x===∑∑∑∑∑以及()2222222201t t tttt t t ttttttttx x X x b XX x x xxXx Xxxxx x⎛⎫+⎪==⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 （1）因为12ˆˆYX ββ=-，所以有()121ˆˆ1tttt t Y X YXb nX b n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里，令1a X bn =-，则有1ˆt a β=∑Y这说明1ˆβ是t Y 的线性组合。
（2）因为回归模型为12tt tY X ββμ=++，所以()11212ˆtttttttttta a X a a X a βββμββμ==++=++∑∑∑∑∑Y 因为111t t ta Xb Xbnn⎛⎫=-=-= ⎪⎝⎭∑∑∑∑。
而110t t t tt tta X Xb X X Xb X n n X X ⎛⎫=-=- ⎪⎝⎭-=∑∑∑∑所以，11ˆt t a ββμ=+∑ 这说明1ˆβ是t μ的线性组合。
至此，参数的线性特性证明完毕。
问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、随机扰动项和的随机性来理解。
二、 无偏性的含义所谓无偏性是指估计值的均值等于真实值。
在这里，无偏性是指参数估计值1ˆβ和2ˆβ的期望值分别等于总体参数1β和2β。
其数学上要求是()11ˆE ββ=和()22ˆE ββ=。
证明：根据参数估计值的线性特征，我们推导出：11ˆt t a ββμ=+∑，所以有： ()()()()()()()()()()()111111ˆttttttttE E a E E a E E a E E a E E ββμβμβμβμβ=+=+=+=+∙=∑∑∑∑相似地，22ˆt tb ββμ=+∑，所以有()()()()()()()()()()()222222ˆttttttttE E b E E b E E b E E b E E ββμβμβμβμβ=+=+=+=+∙=∑∑∑∑三、 最优性（有的书本上直接称之为最小方差性）的含义 最优性是指用最小二乘法得到的参数估计值1ˆβ和2ˆβ在各种线性无偏估计中得到的方差最小。
根据上述的定义，我们可以任意假设2ˆβ*是用其他方法得到的总体参数2ˆβ的一个线性无偏估计。
因为2ˆβ*具有线性特性，我们可以得到：()212ˆtttt t c c X βββμ*==++∑∑Y，()()()()()()()()21212121212ˆ0t t t t ttt ttttttttttttE E c Ec X c E X c c E X c E c c E X c c Xβββμββμββμββββ*==++=++=++=++=+∑∑∑∑∑∑∑∑∑∑Y又因为2ˆβ*是用其他方法得到的总体参数2ˆβ的一个无偏估计，所以有()22ˆE ββ*= 所以由上述两个结果，可以得到：122t t t c c X βββ+=∑∑上述式子要成立，必须同时满足两个条件，即0tc=∑和1t t c X =∑现在求2ˆβ*的方差：()()()()()()()()()()()()()222222221122222112211221133223322ˆvar var ˆˆt t t t t t t t t t t t t t t t t t t t tt t t t t t c E c E c E c E c E c c E E c c E c E c E c c c E c c c c c c c c c c βμμμμμμμμμμμμμμ*⎡⎤==-⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤==++⋅⋅⋅+⎣⎦=++⋅⋅⋅++++⋅⋅⋅++∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y Y Y Y Y Y Y Y ()()()()4422tttstsc cE c E μμμμμ⎡⎤+⋅⋅⋅+⋅⋅⋅⎣⎦=+∑∑∑因为根据假设条件（常数方差和非自相关，即()222var()(())t t t tuE E E μμμμσ=-==和[][]cov(,)(())(())(0)(0)()0t s t t s s t s t s E E E E E μμμμμμμμμμ=--=--==所以，有()()()()2222222222ˆvar 2u t u t t t utt ututtt c c b b cb bb cb βσσσσσ*==-+⎡⎤⎣⎦=-++-⎡⎤⎣⎦∑∑∑∑∑2ˆβ*方差的最后一项为()()()()2222222111(1)11ttt t ttttt ttttt t t t ttttb cb bc bx x c xxc xx c X X x c XXcx -=-⎡⎤⎣⎦⎛⎫⎛⎫=- ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭=-=--=--=∑∑∑∑∑∑∑∑∑∑∑∑∑∑这是因为0t c =∑和1t t c X =∑因此，有()()22222ˆvar u t t utc b b βσσ*=-+∑∑很明显，当ttc b =时，2ˆβ*方差最小，此时，最小值为()222ˆvar u t b βσ*=∑。
而在此时，有22ˆˆt t t t c b ββ*===∑∑Y Y 即两个估计值相等。
因为2ˆβ*的最小方差等于2ˆβ的方差，即()()22ˆˆvar var ββ*≥，因此，我们说，2ˆβ在所有线性无偏估计中的方差最小，且最小方差为： ()22222ˆvar uuttbx σβσ==∑∑同理，我们可以证明，1ˆβ在所有线性无偏估计中的方差最小，且参数估计值的方差为：()()2212ˆvar ut tX n x σβ=∑∑。
由此，说明，最小二乘估计具有BLUE(best linear unbiased estimation)性质。
从而在统计学和计量经济学中得到广泛应用。
第四节 系数的显著性检验一、 系数估计值的特性：1、根据系数估计值的线性特性，我们知道系数估计值是t Y 和t μ的线性组合。
又因为t Y 和t μ都服从正态分布，所以，我们可以自然得到两点：一是系数估计值是随机变量（这里是在数学上再次予以证明）；二是系数估计值服从正态分布。
从而，可以用随机变量的一些数字特征来表示。
通常，我们采用的是均值与方差。
系数估计值的均值是多少呢？根据系数估计值的无偏性，我们知道，()11ˆE ββ=，()22ˆE ββ=。
这说明系数估计值1ˆβ和2ˆβ这两个随机变量的数学期望（均值）分别等于总体参数（实际值）。
系数估计值的方差又是多少呢？根据系数估计值的最小方差性的证明，我们得到了其方差，即有()()2212ˆvar ut tX n xσβ=∑∑ ，()22222ˆvar uuttbx σβσ==∑∑。
至此，我们可以用随机变量的数学期望和方差来刻画1ˆβ和2ˆβ这两个随机变量的分布，即有：1ˆβ服从均值为1β、方差为()222ut tX n x σ∑∑的正态分布；而2ˆβ服从均值为2β、方差为22utxσ∑的分布。
用数学的语言可以描述为：()2211,2ˆu t tX N n x σββ⎛⎫ ⎪ ⎪⎝⎭∑∑ 和222,2ˆu t N x σββ⎛⎫ ⎪ ⎪⎝⎭∑ 。
可以明显看出的是，在系数的描述中，方差中含有随机扰动项的方差，其他我们可以得到。
随机扰动项是总体回归模型中的误差项，无法得到，只能对其估计。
二、 随机误差项方差的估计 因为总体回归模型为：12tt tY X ββμ=++而样本回归模型为：12ˆˆtt tYX e ββ=++ 从形式上看，样本回归模型中的残差te 可以看作随机扰动项t μ的估计值。
进一步，残差t e 的方差可以作为随机扰动项t μ的方差2uσ的估计值。
样本回归模型为：12ˆˆtt t YX e ββ=++ 样本回归直线为：12ˆˆˆttX ββ=+Y 样本回归模型的左右两边减去样本回归直线的左右两边，可得：ˆt t tY e -=Y ，把这个式子重新安排一下，可以得到： ()()ˆˆt t t t te Y Y Y Y =-=---Y Y现在，重点要求的是te 的两个部分，即()ˆtY-Y 和()tYY-。
这两部分知道之后，才能求te 的方差。
对样本回归模型12ˆˆtt tY X e ββ=++两边分别对t 求和，再除以n,有：1212121212ˆˆˆˆ1111ˆˆ1111ˆˆ1ˆˆt t t tt tt ttt t ttY X e YX eY X e n n nn Y X e nnnnY X enββββββββββ=++⇒=++⇒=++⇒=+⨯+⇒=++∑∑∑∑∑∑∑∑∑∑∑∑∑由前边的正规方程组，我们曾经知道，点(),X Y 在样本回归直线上，用数学的语言来讲，就有：12ˆˆYX ββ=+，因此，有1212ˆˆˆˆˆt t X Y X ββββ=+=+Y ，进而，有()22ˆˆˆt ttY X X x ββ-=-=Y对总体回归模型12tt tY X ββμ=++两边分别对t 求和，再除以n,有：1212121211212111111111tt t t tt tt t tt t tn t Y X YX Y X n n nnY X nnnnY X Y X nμμββμββμββμββμββμββμ==++⇒=++⇒=++⇒=+⨯+∑⇒=++−−−−→=++∑∑∑∑∑∑∑∑∑∑∑∑∑所以，由1212t t t Y X Y X ββμββμ=++=++，可得，()()()22t t t t t Y Y X X x βμμβμμ-=-+-=+-将两部分结合起来，现在，我们可以得到：()()()22ˆˆˆˆt t t t t t tt t t e Y Y Y Y Y x Y Y x ββμμ=-=----=-=+-Y Y Y可以得到：()()22ˆtt te x ββμμ=-+-，（从这个式子我们可以看出什么呢？）至此，已经将残差与扰动项联系起来了。