第三节 最小二乘估计量性质
(整理)计量经济学 第三章 多元线性回归与最小二乘估计
第三章 多元线性回归与最小二乘估计3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理1、多元线性回归模型：y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。
u t 代表众多影响y t 变化的微小因素。
使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。
当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1,y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ………..y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T经济意义：x t j 是y t 的重要解释变量。
代数意义：y t 与x t j 存在线性关系。
几何意义：y t 表示一个多维平面。
此时y t 与x t i 已知，βj 与 u t 未知。
)1(21)1(110)(111222111111)1(21111⨯⨯-⨯---⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡T T k k k T k T TjT k j k jT T u u u x x x x x x x x x y y yβββ (3.3) Y = X β + u (3.4)2假定条件为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。
[经济学]计量经济学第二章_OK
![[经济学]计量经济学第二章_OK](https://img.taocdn.com/s3/m/b158949727d3240c8547ef25.png)
ˆ0 和 ˆ1 应满足下列方程组：
Q
ˆ0
Q
ˆ1
n
2
i 1
n
2
i 1
( yi ( yi
ˆ0 ˆ0
ˆ1xi ) ˆ1xi )xi
0
0
整理得正规方程组：
n
i 1 n
i 1
yi xi yi
n
nˆ0 ˆ1
i 1
n
ˆ0 xi
i 1
xi
ˆ1
n i 1
xi2
(2.10)
yi
0
1
1 xi
ui
就属于被解释变量y与解释变量x之间不为线性关
系的情形，如果我们令
1 x x
此时非线性模型就变成线性模型了
14
yi 0 1xi ui
三、一元线性回归模型中随机项的假 定
在给定样本观测值(样本值) (xi , yi )，i=1,2, 3,…,n
后， 为了估计（2. 5）式的参数 0 和 1 ， 必须 对随机项 ui 做出某些合理的假定。这些假定通常 称为古典假定。
4
2、统计误差。数据搜集中由于计量、计算、记录等 导致的登记误差；或由样本信息推断总体信息时产生 的代表性误差。
3、模型的设定误差。如在模型构造时，非线性关系 用线性模型描述了；复杂关系用简单模型描述了；此 非线性关系用彼非线性模型描述了等等。
4、随机误差。被解释变量还受一些不可控制的众多 的、细小的偶然因素的影响。
11
二、一元线性回归模型
对于总体回归模型， y f (x1, x2, , xk ) u
特别地,当只有一个自变量且 f (x) 0 1x
时，则有：
y 0 1x u
第三讲普通最小二乘法
在满足基本假设条件下，对一元线性回归模型：
Yi 0 1 X i i
随机抽取n组样本观测值（Xi, Yi）（i=1,2,…n）。
假如模型的参数估计量已经求得，为 那么Yi服从如下的正态分布： 于是，Y的概率函数为
2 ˆ ˆ Yi ~ N ( 0 1 X i , )
② 用最小二乘法拟合的直线来代表 x 与 y 之间的 关系与实际数据的误差比其他任何直线都小
2. 正规方程和估计量
取偏导数并令其为0，可得正规方程 ( ei2 ) ˆ ˆ X )0 2 (Yi 1 2 i ˆ
( ei2 ) ˆ ˆ X )X 0 2 (Yi 1 2 i i ˆ
普通最小二乘法（OLS） （Ｏrdinary Least Squares) 高斯被认为是历史上 最重要的数学家之一，并 享有“数学王子”之称。 高斯和阿基米德、牛顿并 列为世界三大数学家。一 生成就极为丰硕，以他名 字“高斯”命名的成果达 110个，属数学家中之最。
C.F.Gauss 1777－1855
解得模型的参数估计量为：
ˆ X i2 Yi X i Yi X i 0 nX i2 (X i ) 2 ˆ nYi X i Yi X i 1 2 2 n X ( X ) i i
可见，在满足一系列基本假设的情况下，模型 结构参数的 最大或然估计量 与 普通最小
6
在家庭可支配收入-消费支出例中，对于所抽出的一组样 本数，参数估计的计算可通过下面的表进行。
表 2.2.1 参数估计的计算表
Xi
Yi
xi
yi
xi y i
xi2
y i2
X i2
Yi 2
一元线性回归分析基础
样本2
X（收入） Y（支出）
80 100 120 140 160 180 200 70 80 94 103 116 130 144
220 240 260 152 165 178
样本回归函数SRF：
Yˆi ˆ1ˆ2Xi ui
其中 ,Y ˆ为E(Y |Xi的 ) 估计 , 量
ˆ1为1的估计 ,2为 量21的估计
Y X
2 X t Yt X t 0
X tYt nXY
X
2 t
nX
2
第一章 一元线性回归分析基础
第二节 参数的最小二乘估计
2019/11/30
定义:
S XX
2
Xt X
是指参数估计值β*1和β*2分别为观察值Yt或扰 动项ut的线性组合。
证： β*2 =∑Xtyt/ ∑Xt2 =∑Xt(Yt- Y)/∑X2t
=∑（Xt/∑Xt2）Yt 令 bt= （Xt/∑Xt2）
得 β*2 = ∑ bt Yt 即β*2 是Yt的线性组合
第一章 一元线性回归分析基础
第三节 最小二乘估计量的性质
要使 ˆ1尽可能 1,接 2尽近 可能 2
第一章 一元线性回归分析基础
Xi X
主要内容
2019/11/30
第一节 第二节 第三节 第四节 第五节
模型的假定 参数的最小二乘估计 最小二乘估计量的性质 系数的显著性检验 预测和预测区间
第一章 一元线性回归分析基础
第一节 模型的假定
2019/11/30
第一章 一元线性回归分析基础
(t≠s; t=1, 2, …, n; s=1, 2, …, n)
第三节最小二乘估计量的性质
第三节 最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 （1）由2ˆβ的计算公式可得： 222222()ˆt tttt ttttttt tt tt x y x Y x Y xxx xx x x x β--===⎛⎫== ⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y需要指出的是，这里用到了因为t x 不全为零，可设2tt tx b x =∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
（2）因为12t t t Y X ββμ=++，所以有()212122ˆt t t t t t t t t t t tb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y这说明2ˆβ是t μ的线性组合。
需要指出的是，这里用到了220t t t t t x x b x x ===∑∑∑∑∑以及 ()2222222201t t tt t t tt ttttttttx x X x b X X x x x x X x X x x x x x⎛⎫+⎪== ⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 （1）因为12ˆˆY X ββ=-，所以有 ()121ˆˆ1t t t t tY X Y X b nXb n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里，令1a Xb n=-，则有1ˆt a β=∑Y 这说明1ˆβ是t Y 的线性组合。
（2）因为回归模型为12t t t Y X ββμ=++，所以()11212ˆt t t t t t t t t ta a X a a X a βββμββμ==++=++∑∑∑∑∑Y因为111t t t a Xb X b nn⎛⎫=-=-=⎪⎝⎭∑∑∑∑。
第3章 线性模型参数的最小二乘估计法
的概率为
∏ P =
n i =1
Pi
=
1
σ1σ 2 "σ n
n
2π
∑ − δi2 e i=1
(2σi2 )dδ1dδ 2 "dδ n
1. 最小二乘原理
| 测量值 l1,l2 ,",ln 已经出现，有理由认为这n个测 量值出现于相应区间的概率P为最大。要使P最
ti /0 C
10
20
30
40
50
60
li / mm 2000.36 2000.72 2000.8 2001.07 2001.48 2000.60
| 1）列出误差方程
vi = li − ( y0 + ay0ti )
| 令 y0 = c, ay0 = d为两个待估参量，则误差方程为
vi = li − (c + tid )
x2 ,",
xt
)
⎪⎪ ⎬
⎪
vn = ln − fn (x1, x2 ,", xt )⎪⎭
残差方程式
1. 最小二乘原理
| 若 l1,l2 ,",ln 不存在系统误差，相互独立并服从正 态分布，标准差分别为σ1,σ 2 ,",σ n，则l1, l2 ,", ln出
现在相应真值附近 dδ1, dδ2,", dδn 区域内的概率
大，应有
δ12
+
δ
2 2
+"
+
δ
2 n
= 最小
σ12 σ 22
相关性、最小二乘估计、回归分析与独立性检验
【例1】关于人体的脂肪含量(百分比)和年龄关系的研究中， 得到如下一组数据：
年龄 23 27 39 41 45 49 50 51 脂肪 9.5 17.8 21.2 25.9 27.5 26.3 28.2 29.6 含量 判断它们是否有相关关系.
【解题指南】判断有无相关关系，一种常用的简便方法就是绘 制散点图. 【规范解答】本题涉及两个变量：年龄与脂肪含量，可以以年 龄为自变量，考查脂肪含量的变化趋势，分析相关关系通常借 助散点图.
高(x) 60
62 64 65
66 67
68
70 72 74
儿子身 63.6 65.2 66 65.5 66.9 67.1 67.4 68.3 70.1 70 高(y)
①画出散点图，说明变量y与x的相关性；
②如果y与x之间具有线性相关关系，求线性回归方程.
(已知：
2
x=66.8,y=67.01,x
【即时应用】
(1)由一组样本数据(x1，y1)，(x2，y2)，…，(xn，yn)得到回 归直线方程y＝a＋bx，判断下面说法是否正确.(请在括号内打
“√”或“×”)
①任何一组观测值都能得到具有代表意义的回归直线方程；
()
②直线y＝a＋bx至少经过点(x1，y1)，(x2，y2)，…，(xn，yn)
(2)x与y的增长速度之比即约为回归方程的斜率的倒数
1 10 5 . 4.4 44 22
答案：(1)①× ②× ③√ ④√ (2)
5
22
3.独立性检验
(1)2×2列联表
设A，B为两个变量，每一个变量都可以取两个值，变量A：A1，
A2= A1 ；变量B：B1，B2= B1，通过观察得到如表所示的数据：
2.2 最小二乘的估计性质
ˆ ) E ( k ) k E ( ) E( i i 1 i i 1 1 1
同样地，容易得出
ˆ ) E ( w ) E( ) w E ( ) E( i i i i 0 0 0 0
3、有效性（最小方差性） ， 即在所有线性无偏估计量
2
x nX n x
2 i 2 i
2
2
X n x
2 i i
2 2
（2）证明最小方差性
ˆ * 是其他估计方法得到的关于 的线性无偏估计量： 假设 1 1
ˆ* c Y ii 1
其中，ci=ki+di，di为不全为零的常数
则容易证明
ˆ * ) var( ˆ) var( 1 1
ˆ + ˆ Xi + ei • (2) 估计的统计模型 ： Yi= 0 1
• (3) 真实的回归直线：E(Yi) = 0 + 1 Xi
ˆ = ˆ + ˆ Xi • (4) 估计的回归直线： Y i 0 1
二、参数估计量的概率分布及随机误差 项方差的估计
ˆ 的概率分布 ˆ 和 1、参数估计量 0 1
2 1 x 1 1 2 2 2 Xk i X 2 k i2 2 X k i X 2 i 2 x n n n n i 2
2
2 1 X n x2 i
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
ˆ 证： 1
x y x
i 2 i
第三讲普通最小二乘法
普通最小二乘法（OLS） （Ｏrdinary Least Squares)
eyyˆ 1. OLS的基本思想
ei yi yˆi
y ˆiˆ0ˆ1 x i (i 1 ,2 , ,n )
m in ei2m in (Yiˆ1ˆ2Xi)2
普通最小二乘法（OLS） （Ｏrdinary Least Squares)
表 2.2.1 参数估计的计算表
X i Yi
xi
yi
xi yi
x
2 i
y
2 i
X
2 i
Yi 2
1 2 3 4 5 6 7 8 9 10 求和 平均
800 1100 1400 1700 2000 2300 2600 2900 3200 3500 21500 2150
594 638 1122 1155 1408 1595 1969 2078 2585 2530 15674 1567
计性质。 ●模型中有随机扰动项，估计的参数是随机变量，显然参数
估计值的分布与扰动项的分布有关，只有对随机扰动的分 布作出假定，才能比较方便地确定所估计参数的分布性质， 也才可能进行假设检验和区间估计等统计推断。 假定分为：◆对模型和变量的假定◆对随机扰动项的假定
14
对模型和变量的假定
例如对于 Yi 12Xiui
假定2：同方差假定
Var(Yi Xi)2
假定3：无自相关假定 Cov(Yi,Yj)0
假定5：正态性假定
Yi ~N(12Xi,2)
19
OLS回归线的数学性质
●剩余项 e i 的均值为零 e ei 0
n
●OLS回归线通过样本均值
Y
(由OLS第一个正规方程直接得到)
●估计值 Y ˆ i 的均值等于实际观测 Y 值 Y i 的均值 Y ˆ1ˆ2X
一元线性回归的最小二乘估计
3. 高斯--马尔柯夫定理（Gauss--Markov Theorem）
对于满足统计假设条件(1)--(4)的线性回归模型 Yt = + Xt + ut , ，普通最小二乘估计量 ( OLS估 计量) 是最佳线性无偏估计量（BLUE）。 或 对于古典线性回归模型（CLR模型）Yt=α+β+Xt ， 普通最小二乘估计量（OLS估计量）是最佳线性无 偏估计量（BLUE）。
最小二乘法就是选择一条直线，使其残差平方和 ，使得 ˆ和 达到最小值的方法。即选择 α
ˆ )2 S et (Yt Y t
2
ˆX ) 2 ˆ (Yt t
达到最小值。
运用微积分知识，使上式达到最小值的必要条件为：
S S 0 ˆ ˆ
两边取期望值，得：
ˆ )2 E (
1 2 2 [ x E ( i ) xi x j E ( i j )] 2 2 i ( xt ) i j
由于 E( t )=
2
2
, t=1,2,…,n
——根据假设（3） ——根据假设（2）
E( i j )=0, i≠j
ˆ
xy 390 0.39,ˆ Y ˆ * X 22 0.39 * 30 10.3 x 1000
Eviews 创建工作文件，输入数据并进行回归：
Create u 1 5
data x y ls y c x
三、 最小二乘法估计量的性质 ˆ 和 ˆ 的均值 1．
2 1 2 2 2 ˆ E ( ) ( x 0) ∴ 2 2 i 2 ( xt ) x t 2 ˆ) 即 Var ( 2 x t
计量经济学 普通最小二乘法估计量
[
1 N
x2 (xi x)2
x2f (xi
x)2
2xx f (xi
x)2
1]
2
1
[N
(x (xi
xf )2 x)2
1]
2
2、预测E(yf)
以 yˆ f ˆ0 ˆ1xf 作为对E(yf)的预测。预
测误差是：
e2 E( y f ) yˆ f (0 ˆ0) (1 ˆ1)xf
1、预测yf
以 yˆ f ˆ0 ˆ1xf 作为对yf的预测。此时预测 误差是： e1 y f yˆ f (0 ˆ0) (1 ˆ1)xf f 显然，E(e1)=0。
Var(e1) Var(ˆ0 ) x2fVar(ˆ1) 2x f Cov(ˆ0, ˆ1) Var( f )
普通最小二乘法估计量
例2：假设真实模型为 y 0 1x
0, 1为待估参数，最小二乘法的参数估计量为
ˆ1
(xi x ) yi (xi x )2
; ˆ0
y
ˆ1x
既然估计量是随机的，那么我们需要分析随机
变量的统计性质，了解它的分布。另外0, 1 真
cov ki yi , (wi ki )yi
ki (wi ki ) 2
0
var wi yi var ki yi (wi ki )yi
var ki yi var (wi ki )yi var ki yi
假定2：在重复抽样中，(x1, x2,..., xN )被预先 固定下来，即(x1, x2,..., xN )是非随机的，显 然，如果解释变量含有随机的测量误差， 那么该假定被违背。还存其他的违背该 假定的情况。
参数的最小二乘估计量 协方差
参数的最小二乘估计量协方差【原创版】目录1.参数的最小二乘估计量2.协方差正文1.参数的最小二乘估计量在统计学中，最小二乘法是一种常用的参数估计方法。
它的基本思想是寻找一个使得所有观测值与估计值之间的平方误差和最小的参数值。
具体来说，假设我们有一组观测数据 X = {x1, x2,..., xn}，对应的参数为θ，则最小二乘估计量为θ^= (X"X)^-1X"，其中 X"表示 X 的转置，(X"X)^-1 表示 X"X 的逆矩阵。
最小二乘法可以应用于各种问题，例如线性回归、多项式拟合等。
它的优点在于具有较强的理论性质，可以得到参数的一致估计和渐进分布。
然而，最小二乘法也有其局限性，例如在存在多重共线性的情况下，最小二乘估计量可能不稳定，甚至无法得到有效的参数估计。
2.协方差协方差是一种衡量两个随机变量之间线性相关程度的统计量。
对于随机变量 X 和 Y，其协方差定义为 E[(X - μX) * (Y - μY)]，其中 E[·] 表示期望，μX 和μY 分别表示 X 和 Y 的均值。
协方差的取值范围为[-1, 1]，当协方差为 1 时，表示 X 和 Y 完全正相关；当协方差为 -1 时，表示 X 和 Y 完全负相关；当协方差为 0 时，表示 X 和 Y 之间不存在线性相关关系。
协方差在实际应用中有很多用处，例如在金融领域中，可以通过计算股票收益率的协方差来衡量不同股票之间的相关性，从而为投资组合的优化提供依据。
此外，协方差也是协方差矩阵、方差分析等统计方法的基础。
综上所述，参数的最小二乘估计量和协方差是统计学中两个重要的概念，它们在实际应用中具有广泛的应用价值。
第二章 一元线性回归模型
∂Q ˆ ˆ = −2∑ (Yi − β 0 − β1 X i ) = 0 ∂β ˆ0 ˆ ˆ ∂Q = −2∑ (Y − β − β X )X = 0 i 0 1 i i ˆ ∂β1
化简得： 化简得：
ˆ ˆ ∑ (Yi − β 0 − β1 X i ) = 0 ˆ ˆ ∑ (Yi − β 0 − β1 X i )X i = 0
2.总体回归方程（线）或回归函数 总体回归方程（ 总体回归方程 即对（ ）式两端取数学期望： 即对（2.8）式两端取数学期望：
E y i）= β 0 + β 1 x i （
（2.9）
（2.9）为总体回归方程。由于随机项的影响，所 ）为总体回归方程。由于随机项的影响， 有的点（ ）一般不在一条直线上； 有的点（x,y）一般不在一条直线上；但所有的点 （x,Ey）在一条直线上。总体回归线描述了 与y ）在一条直线上。总体回归线描述了x与 之间近似的线性关系。 之间近似的线性关系。
Yi = β X i + ui
需要估计， 这个模型只有一个参数 需要估计，其最 小二乘估计量的表达式为： 小二乘估计量的表达式为：
∑XY ˆ β= ∑X
i i 2 i
例2.2.1：在上述家庭可支配收入-消费支出例中，对 ：在上述家庭可支配收入-消费支出例中， 于所抽出的一组样本数据， 于所抽出的一组样本数据，参数估计的计算可通过下面 的表2.2.1进行。 进行。 的表 进行
二、一元线性回归模型 上述模型中， 为线性的， 上述模型中， 若f(Xi)为线性的，这时的模型 为线性的 一元线性回归模型： 即为 一元线性回归模型：
yi = β 0 + β1 xi + ui 其中：yi为被解释变量，xi为解释变量，ui为随机误 差项，β 0、β1为回归系数。
最小二乘估计量b1的方差推导(3篇)
第1篇一、引言最小二乘法（Least Squares Method）是统计学中一种常用的参数估计方法，尤其在回归分析中得到了广泛的应用。
最小二乘法通过最小化残差平方和来估计模型参数，其中b1是线性回归模型中自变量对因变量的斜率估计量。
本文将推导最小二乘估计量b1的方差，以期为线性回归分析提供理论支持。
二、线性回归模型线性回归模型的一般形式为：Y = β0 + β1X1 + β2X2 + ... + βkXk + ε其中，Y是因变量，X1, X2, ..., Xk是自变量，β0是截距，β1, β2, ...,βk是回归系数，ε是误差项。
三、最小二乘估计量根据最小二乘法，估计量b1可以通过以下公式计算：b1 = (X'X)^(-1)X'Y其中，X是设计矩阵，Y是观测值向量，(X'X)^(-1)是X的协方差矩阵的逆矩阵。
四、b1的方差推导为了推导b1的方差，我们需要考虑以下步骤：1. 残差平方和残差平方和（Residual Sum of Squares，RSS）是衡量模型拟合程度的重要指标，其计算公式为：RSS = ∑(Yi - Yi^)²其中，Yi是观测值，Yi^是模型预测值。
2. 残差协方差矩阵残差协方差矩阵（Residual Covariance Matrix，CR）是衡量残差之间关系的矩阵，其计算公式为：CR = (X'X)^(-1)X'X(X'X)^(-1)3. b1的方差根据线性回归模型和残差协方差矩阵，b1的方差可以表示为：Var(b1) = CR[1,1]其中，CR[1,1]表示残差协方差矩阵的第1行第1列元素。
4. 推导过程为了推导Var(b1)，我们需要考虑以下步骤：（1）计算残差协方差矩阵CRCR = (X'X)^(-1)X'X(X'X)^(-1)（2）计算CR[1,1]CR[1,1] = (X'X)^(-1)X'X[1,1](X'X)^(-1)其中，[1,1]表示矩阵的第1行第1列元素。
从统计学看线性回归（1）——一元线性回归
从统计学看线性回归（1）——⼀元线性回归⽬录1. ⼀元线性回归模型的数学形式2. 回归参数β0 , β1的估计3. 最⼩⼆乘估计的性质 线性性 ⽆偏性 最⼩⽅差性⼀、⼀元线性回归模型的数学形式 ⼀元线性回归是描述两个变量之间相关关系的最简单的回归模型。
⾃变量与因变量间的线性关系的数学结构通常⽤式（1）的形式：y = β0 + β1x + ε (1)其中两个变量y与x之间的关系⽤两部分描述。
⼀部分是由于x的变化引起y线性变化的部分，即β0+ β1x，另⼀部分是由其他⼀切随机因素引起的，记为ε。
该式确切的表达了变量x与y之间密切关系，但密切的程度⼜没有到x唯⼀确定y的这种特殊关系。
式（1）称为变量y对x的⼀元线性回归理论模型。
⼀般称y为被解释变量（因变量），x为解释变量（⾃变量），β0和β1是未知参数，成β0为回归常数，β1为回归系数。
ε表⽰其他随机因素的影响。
⼀般假定ε是不可观测的随机误差，它是⼀个随机变量，通常假定ε满⾜：（2）对式（1）两边求期望，得E(y) = β0 + β1x, （3）称式（3）为回归⽅程。
E(ε) = 0 可以理解为ε对 y 的总体影响期望为 0，也就是说在给定 x 下，由x确定的线性部分β0 + β1x 已经确定，现在只有ε对 y 产⽣影响，在 x = x0，ε = 0即除x以外其他⼀切因素对 y 的影响为0时，设 y = y0，经过多次采样，y 的值在 y0 上下波动（因为采样中ε不恒等于0），若 E(ε) = 0 则说明综合多次采样的结果，ε对 y 的综合影响为0，则可以很好的分析 x 对 y 的影响（因为其他⼀切因素的综合影响为0，但要保证样本量不能太少）；若 E(ε) = c ≠ 0，即ε对 y 的综合影响是⼀个不为0的常数，则E(y) = β0 + β1x + E(ε)，那么 E(ε) 这个常数可以直接被β0 捕获，从⽽变为公式（3）；若 E(ε) = 变量，则说明ε在不同的 x 下对 y 的影响不同，那么说明存在其他变量也对 y 有显著作⽤。
计量经济学【一元线性回归模型——参数估计】
ˆ0计量ˆ1 和
可以分别表示为被解释变量观测Y值i
的线
性组合（线性函数）；
ˆ证1 明
如( X下i ： X )(Yi (Xi X )2
Y
)
(Xi X) (Xi X )2
(Yi
Y
)
ki (Yi Y )
其中ki ：
(Xi X) (Xi X )2
ki
对ki于引0 进的 ki (X容i 易X证) 明有k如i X下i 的1 特性k：i2
2
,
,
,
,
,
,
,
,
i
1,
2,
n
假设3：随机误差项在不同样本点之间是独立的，不
存
Cov(i , j ) 0,,,,,,,i j,,,,i, j 1, 2, n
在序列相关，即：
一、一元线性回归模型的基本假设
假设 4：随机误差项与解释变量之间不相关， 即：
Cov( Xi , i ) 0,,,,,,,,,,,i 1, 2, n
：待估
E(Y
总样体本回回归归函函数数形形式式：：Yˆi
| Xi)
ˆ0
0 ˆ1X i
1X i
其 计
中 估
方
ˆ0 , ˆ1 法ˆ0，, ˆ1求
是ˆ00,,ˆ11 出
的估计值，我们需要找到一种参数 ， 并0 ,且1 这 种 参 数 估 计 方 法 保 证 了 估
计值 数
与总体真值
尽可能地接近；这种参
i
根据微 小，
积
分中
ˆ0 , ˆ1
求
极
值
的
原
理
，
要
使 i
ei2
待定系数
Chapter3 广义最小二乘法
第1章 广义最小二乘法在经典假定条件下，OLS 估计量具有BLUE 性质。
解释变量与误差项不相关保证了OLS 估计量的无偏性，误差项的同方差、无序列相关保证了OLS 估计量的有效性。
但实践中，这些假定很可能被违背。
因此，模型估计之后需要检验这些假定是否得到满足；如果某些假定被违背的的话，则需要对其进行修正。
本章介绍异方差、自相关情况下的模型修正。
1.1 异方差和自相关的概念在随机误差项u 满足同方差和没有序列自相关的假定下，u 的方差协方差矩阵Var(u ) 是一个对角矩阵。
即Var(u )主对角线上的元素都是相同的常数；非主对角线上的元素为零。
当这两个假定不成立时，V ar(u ) 不再是一个纯量对角矩阵。
Var(u ) = Ω = ⎪⎪⎪⎪⎪⎭⎫⎝⎛TT T T T T σσσσσσσσσ (2)12222111211≠σ 2 I 1.1 当Var(u )主对角线上的元素不相等时，表示误差项存在异方差。
如果非主对角线上的元素不为0，表示误差项存在序列相关。
当模型存在异方差或自相关时，1ˆE(|)E[(')'|]-=+=βX βX X X u X 0 111121ˆˆˆVar(|)E[()()'|]E[(')''(')|](')'(')(')σ-----=--= =≠βX ββββX X X X uu X X X X X X X ΩX X X X X因此，异方差和自相关不会影响OLS 估计量的无偏性，但会导致非有效性。
存在异方差或自相关时，参数估计量的方差估计量σ 2 (X 'X )-1是真实方差的有偏估计量，可能会低估或高估真实的方差。
t 统计量不再服从t 分布，即使是在大样本的情况下也是如此。
F 统计量也不再是F 分布。
由此导致错误的推断或预测。
比如，σ 2 (X 'X )-1低估了真实方差，那么t 统计量就高估了，就容易将不显著的变量错误地判断为显著。
最小二乘法原理
接着我们考察 的方差。因为 与
有关，而 只与
有关，所以根据随机误差项彼此之间不相关的基本假定 3.， 与
也不相关。于是有
= 因为
=
，
=
，所以
=
= 于是， 方差的估计量为
因为 和 都服从正态分布，因此 即
所以有
也服从正态分布，
由于 是未知的，我们用它的无偏估计量
代
替，则由概率统计知识有
对于预先给定的显著性水平 ，可从 分布表中查出自由度为 ，水平为 的双侧分位数 ，使
其中
— 总离差平方和，
— 回归平方和， — 残差平方和。 于是，可以将平方和的分解公式写成离差形式
（二）多元样本决定系数 1.多元样本决定系数 所谓多元样本决定系数 ，也称多元样本判定系数或多元样本可 决系数，是指被解释变量 中的变异性能被样本回归方程解释的比 例，即
2. 修正的样本决定系数
与 有如下关系：
称作回归估计的均方误差，而
称作回归估计的标准误差。
（五） 的方差
其中，
，于是每个 的方差为
上对应的第 个元素，
，而
是矩阵
。
（六） 方差的估计量
方差的估计量为
对角线
则每个 方差的估计量为 ，
标准差的估计量为 ，
四、拟合优度检验
拟合优度检验是样本回归方程 观测值
对样本 拟合程度的检验。
（一）总离差平方和的分解公式
检验的统计量
否定规则
如果检验的统计量
，则否定 ，即认为在 显著
性水平下，被解释变量 与解释变量
之间存在显著的
线性关系；否则，不否定 。这里
是 水平的分子自
由度为 ，分母自由度为
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三节 最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 （1）由2ˆβ的计算公式可得： 222222()ˆt tttt tttttt ttt tt x y x Y x Y xxx xx x x x β--===⎛⎫== ⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y需要指出的是，这里用到了因为t x 不全为零，可设2tt tx b x =∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
（2）因为12t t t Y X ββμ=++，所以有()212122ˆt t t t t t t t t t t tb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y这说明2ˆβ是t μ的线性组合。
需要指出的是，这里用到了220t t t t t x x b x x ===∑∑∑∑∑以及()2222222201t t tt t t tt ttttttttx x X x b X X x x x x X x X x x x x x⎛⎫+⎪== ⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 （1）因为12ˆˆY X ββ=-，所以有 ()121ˆˆ1t t t t tY X Y X b nXb n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里，令1a Xb n=-，则有1ˆt a β=∑Y 这说明1ˆβ是t Y 的线性组合。
（2）因为回归模型为12t t t Y X ββμ=++，所以()11212ˆt t t t t t t t t ta a X a a X a βββμββμ==++=++∑∑∑∑∑Y因为111t t t a Xb X b nn⎛⎫=-=-=⎪⎝⎭∑∑∑∑。
而 110t t t tt t t a X Xb X X X b X n n X X ⎛⎫=-=- ⎪⎝⎭-=∑∑∑∑ 所以，11ˆt t a ββμ=+∑ 这说明1ˆβ是t μ的线性组合。
至此，参数的线性特性证明完毕。
问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、随机扰动项和的随机性来理解。
二、 无偏性的含义所谓无偏性是指估计值的均值等于真实值。
在这里，无偏性是指参数估计值1ˆβ和2ˆβ的期望值分别等于总体参数1β和2β。
其数学上要求是 ()11ˆE ββ=和()22ˆE ββ=。
证明：根据参数估计值的线性特征，我们推导出：11ˆt t a ββμ=+∑，所以有： ()()()()()()()()()()()111111ˆt t t t t t t t E E a E E a E E a E E a E E ββμβμβμβμβ=+=+=+=+∙=∑∑∑∑ 相似地，22ˆt t b ββμ=+∑，所以有 ()()()()()()()()()()()222222ˆt t t t t t t t E E b E E b E E b E E b E E ββμβμβμβμβ=+=+=+=+∙=∑∑∑∑ 三、 最优性（有的书本上直接称之为最小方差性）的含义最优性是指用最小二乘法得到的参数估计值1ˆβ和2ˆβ在各种线性无偏估计中得到的方差最小。
根据上述的定义，我们可以任意假设2ˆβ*是用其他方法得到的总体参数2ˆβ的一个线性无偏估计。
因为2ˆβ*具有线性特性，我们可以得到： ()212ˆt t t t t c c X βββμ*==++∑∑Y ，()()()()()()()()21212121212ˆ0t t t t t t t t t t t t t t t t t t tE E c E c X c E X c c E X c E c c E X c c X βββμββμββμββββ*==++=++=++=++=+∑∑∑∑∑∑∑∑∑∑Y又因为2ˆβ*是用其他方法得到的总体参数2ˆβ的一个无偏估计，所以有 ()22ˆE ββ*= 所以由上述两个结果，可以得到：122t t t c c X βββ+=∑∑上述式子要成立，必须同时满足两个条件，即0tc=∑和1t t c X =∑现在求2ˆβ*的方差： ()()()()()()()()()()()()()222222221122222112211221133223322ˆvar var ˆˆt t t t t t t t t t t t t t t t t t t t t t t t t t t c E c E c E c E c E c c E E c c E c E c E c c c E c c c c c c c c c c βμμμμμμμμμμμμμμ*⎡⎤==-⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤==++⋅⋅⋅+⎣⎦=++⋅⋅⋅++++⋅⋅⋅++∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y Y Y Y Y Y Y Y ()()()()4422t t t s t s c c E c E μμμμμ⎡⎤+⋅⋅⋅+⋅⋅⋅⎣⎦=+∑∑∑因为根据假设条件（常数方差和非自相关，即()222var()(())t t t t u E E E μμμμσ=-==和[][]cov(,)(())(())(0)(0)()0t s t t s s t s t s E E E E E μμμμμμμμμμ=--=--==所以，有()()()()2222222222ˆvar 2u t u t t t uttututttc c b b c b bb c b βσσσσσ*==-+⎡⎤⎣⎦=-++-⎡⎤⎣⎦∑∑∑∑∑2ˆβ*方差的最后一项为 ()()()()2222222111(1)11tttt ttt t t t t t tt tt tttt t b c b b c bx x c x x c x x c X X x c XX c x -=-⎡⎤⎣⎦⎛⎫⎛⎫=-⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭=-=--=--=∑∑∑∑∑∑∑∑∑∑∑∑∑∑这是因为0t c =∑和1t t c X =∑因此，有()()22222ˆvar u t t u tc b b βσσ*=-+∑∑ 很明显，当t t c b =时，2ˆβ*方差最小，此时，最小值为()222ˆvar u t b βσ*=∑。
而在此时，有22ˆˆt t t t c b ββ*===∑∑Y Y 即两个估计值相等。
因为2ˆβ*的最小方差等于2ˆβ的方差，即()()22ˆˆvar var ββ*≥，因此，我们说，2ˆβ在所有线性无偏估计中的方差最小，且最小方差为： ()22222ˆvar u uttbx σβσ==∑∑同理，我们可以证明，1ˆβ在所有线性无偏估计中的方差最小，且参数估计值的方差为：()()2212ˆvar u t t X n x σβ=∑∑。
由此，说明，最小二乘估计具有BLUE(best linear unbiased estimation)性质。
从而在统计学和计量经济学中得到广泛应用。
第四节 系数的显著性检验一、 系数估计值的特性：1、根据系数估计值的线性特性，我们知道系数估计值是t Y 和t μ的线性组合。
又因为t Y 和t μ都服从正态分布，所以，我们可以自然得到两点：一是系数估计值是随机变量（这里是在数学上再次予以证明）；二是系数估计值服从正态分布。
从而，可以用随机变量的一些数字特征来表示。
通常，我们采用的是均值与方差。
系数估计值的均值是多少呢？根据系数估计值的无偏性，我们知道，()11ˆE ββ=，()22ˆE ββ=。
这说明系数估计值1ˆβ和2ˆβ这两个随机变量的数学期望（均值）分别等于总体参数（实际值）。
系数估计值的方差又是多少呢？根据系数估计值的最小方差性的证明，我们得到了其方差，即有()()2212ˆvar u t tX n xσβ=∑∑ ，()22222ˆvar u uttbxσβσ==∑∑。
至此，我们可以用随机变量的数学期望和方差来刻画1ˆβ和2ˆβ这两个随机变量的分布，即有：1ˆβ服从均值为1β、方差为()222u t tX n xσ∑∑的正态分布；而2ˆβ服从均值为2β、方差为22u txσ∑的分布。
用数学的语言可以描述为：()2211,2ˆu t t X N n x σββ⎛⎫ ⎪ ⎪⎝⎭∑∑和222,2ˆu t N x σββ⎛⎫ ⎪ ⎪⎝⎭∑。
可以明显看出的是，在系数的描述中，方差中含有随机扰动项的方差，其他我们可以得到。
随机扰动项是总体回归模型中的误差项，无法得到，只能对其估计。
二、 随机误差项方差的估计因为总体回归模型为：12t t t Y X ββμ=++而样本回归模型为：12ˆˆt t tY X e ββ=++ 从形式上看，样本回归模型中的残差t e 可以看作随机扰动项t μ的估计值。
进一步，残差t e 的方差可以作为随机扰动项t μ的方差2u σ的估计值。
样本回归模型为：12ˆˆt t t Y X e ββ=++ 样本回归直线为：12ˆˆˆt tX ββ=+Y 样本回归模型的左右两边减去样本回归直线的左右两边，可得：ˆt t tY e -=Y ，把这个式子重新安排一下，可以得到： ()()ˆˆt t t t te Y Y Y Y =-=---Y Y现在，重点要求的是t e 的两个部分，即()ˆt Y -Y 和()tY Y -。
这两部分知道之后，才能求t e 的方差。
对样本回归模型12ˆˆt t tY X e ββ=++两边分别对t 求和，再除以n,有：1212121212ˆˆˆˆ1111ˆˆ1111ˆˆ1ˆˆt t ttttt t tt t t t Y X e Y X eY X e n n n n Y X e n n nn Y X e n ββββββββββ=++⇒=++⇒=++⇒=+⨯+⇒=++∑∑∑∑∑∑∑∑∑∑∑∑∑由前边的正规方程组，我们曾经知道，点(),X Y 在样本回归直线上，用数学的语言来讲，就有：12ˆˆY X ββ=+，因此，有 1212ˆˆˆˆˆt tX Y X ββββ=+=+Y ，进而，有 ()22ˆˆˆt t tY X X x ββ-=-=Y 对总体回归模型12t t t Y X ββμ=++两边分别对t 求和，再除以n,有：1212121211212111111111t t t tt t tt t tt t tnt Y X Y X Y X n n n n Y X n n n nY X Y X n μμββμββμββμββμββμββ==++⇒=++⇒=++⇒=+⨯+∑⇒=++−−−−→=++∑∑∑∑∑∑∑∑∑∑∑∑∑ 所以，由1212t t t Y X Y X ββμββμ=++=++，可得，()()()22t t t t t Y Y X X x βμμβμμ-=-+-=+-将两部分结合起来，现在，我们可以得到：()()()22ˆˆˆˆt t t t t t tt t t e Y Y Y Y Y x Y Y x ββμμ=-=----=-=+-Y Y Y可以得到：()()22ˆt t te x ββμ=-+-，（从这个式子我们可以看出什么呢？）至此，已经将残差与扰动项联系起来了。