§一元线性回归模型的参数估计
合集下载
一元线性回归模型及参数估计
一元线性回归模型及参数估计
解得：
bˆ0 = Y bˆ1X
bˆ1
=
nSYi Xi SYiSXi nSXi2 (SXi )2
由于 bˆ0 、bˆ1 的估计结果是从最小二乘原理得到的，故称为 最小二乘估计量 (least-squares estimators) 。
一元线性回归模型及参数估计
最小二乘参数估计量的离差形式
i=1,2,…n
随机抽取n组样本观测值Yi,Xi （i=1,2,…n），假如模型的参数
估计量已经求得到，为b$0 和b$1 ，那么Yi 服从如下的正态分布：
Yi ～N(bˆ0 +bˆ1Xi ,sm2)
于 是 ， Y i的 概 率 函 数 为
s P (Y i)=
1 e2s 1m 2(Y ibˆ0bˆ1X i)2 2
一元线性回归模型及参数估计
但是，随机误差项的方差的估计量是不同的。
2.用离差形式的数据xi，yi计算
e
2 i
简捷公式为
其中
ei2=yi2bˆ1 2xi2
yi2= (Y iY)2= Y i2nY2 xi2= (X iX)2= X i2nX2
一元线性回归模型及参数估计
2、最大似然法（ Maximum Likelihood, ML）
• 最大或然法，也称最大似然法，是不同于最小二乘
=0 =0
一元线性回归模型的参数估计
一元线性回归模型的参数估计
----普通最小二乘法
1、什么是一元线性回归模型?
一元回归模型,是最简单的计量经济学模型.在模型中,只有一个解释变量,被解释变量与解释变量之间存在线性关系.
2、一元回归模型的一般形式:
y i=β0+β1x i+μi, i=1,2,…n (1)
其中,y是被解释变量,x是解释变量,β
0、β
1
是待定参数,μ是随机误差项,y
i
,x
i
是随机抽取的n组样本观测值.
该方程满足如下条件:
E(μi)=0
Var(μi)=б2
Cov(μi,μj)=0
Cov(x i,u i)=0
i=1,2,...,n j=1,2,…,n i≠j
3、模型参数估计的任务
(1)一是求得反映变量之间数量关系的参数(即一元线性回归模型y i=β0+β1x i+μi
, i=1,2,…n 中的β0,β1)的估计量;
(2)二是求得随机误差项的分布参数.
4、模型参数估计的普通最小二乘法
普通最小二乘法,是应用最多的参数估计方法.
(1)什么是最小二乘原理
在已经获得样本观测值y i,x i(i=1,2,…,n)的情况下,假如参数估计量已经求得记
为
^
1
^
,β
β,我们可以得到直线方程:
i
i
x
y
^
1
^
^
β
β+
=i=1,2,…,n (2)
其中,
^
i
y是被解释变量的估计值,它由参数估计量和解释变量的观测值计算得
来.
被解释变量的观测值与估计值,在总体上越接近越好.判断的标准是:
二者之差平方和
2
1^)(∑-=n i i y y Q 最小.
这就是最小二乘原理.
[思考]为什么用平方和,而不直接将二者的差简单相加?
(2) 从最小二乘原理,根据样本观测值,具体求参数估计值.
§2.2 一元线性回归模型的参数估计
普通最小二乘估计量（ordinary least Squares 普通最小二乘估计量 Estimators）称为最佳线性无偏估计量（best 最佳线性无偏估计量（ 最佳线性无偏估计量 linear unbiased estimator, BLUE） ）
四、参数估计量的概率分布及随机干扰 项方差的估计
中，最小二乘估计量 β 0 、 β1 具有最小方差。
（2）证明最小方差性
β 1* 是其他估计方法得到的关于β1 的线性无偏估计量： 假设
β 1* = ∑ ci Yi
其中，ci=ki+di，di为不全为零的常数 则容易证明
var(β 1* ) ≥ var(β 1 )
同理，可证明β0 的最小二乘估计量 β 0 具有最的小方差
二、参数的普通最小二乘估计（OLS） 参数的普通最小二乘估计（OLS）
普通最小二乘法（ 普通最小二乘法（OLS）的判断标准：残差的平 ）的判断标准： 方和
)2 = ∑(Y (β + β X ))2 Q = ∑(Yi Yi i 0 1 i
1 1
n
n
最小。 最小。
β
1
∑ ( X X )(Y Y ) = ∑(X X )
1
的样本方差： 2 = σ 2 x 2 / n ( x x )2 ∑ i ∑ i β0 Sβ
0
-973 1314090 1822500 947508 640000 352836 -929 975870 1102500 863784 1210000 407044 -445 334050 562500 198381 1960000 1258884 -412 185580 202500 170074 2890000 1334025 -159 23910 22500 25408 4000000 1982464 28 4140 22500 762 5290000 2544025 402 180720 202500 161283 6760000 3876961 511 382950 562500 260712 8410000 4318084 1018 1068480 1102500 1035510 10240000 6682225 963 1299510 1822500 926599 12250000 6400900 5769300 7425000 4590020 53650000 29157448
一元线性回归模型及参数估计
2
2 1 X s 2 = = + n x2 m i
2 x i
+ nX 2
i
n x 2
s2 =
m
i s2 nSx 2 m i
SX 2
（2）证明最小方差性
b 的线性无偏估计量： 假设bˆ 是其他方法得到的关于
* 1
1
ˆ* = c Y b ii 1
其中， c
i
ˆ SX i2 SYi SX i SYi X i b 0 = nSX i2 (SX i ) 2 ˆ = nSYi X i SYi SX i b 1 2 2 n S Y ( S X ) i i
可见，在满足一系列基本假设的情况下，模型 结构参数的最大或然估计量与普通最小二乘估计 量是相同的。
3、有效性：在所有线性无偏估计量中，最 小二乘参数估计量具有最小方差。
ˆ 和b ˆ 的方差 （1）先求b 0 1
x s2 ˆ ) = Var ( k Y ) = k 2Var ( b + b X + m ) = i s 2 = m Var ( b 1 i i i 0 1 i i x2 m Sx 2 i i
随机误差项方差的估计量
ˆi 为第i个样本观测点的残差，即被 记 ei = Yi Y
解释变量的估计值与观测值之差，则随机误差项方 差的估计量为：
一元线性回归模型及参数估计
对于一元线性回归模型：
Yi = b0 +b1Xi +mi
i=1,2,…n
随机抽取n 组样本观测值Yi , Xi（i=1,2,…n），假如模型的参数
估计量已经求得到，为b$0 和b$1 ，那么Yi 服从如下的正态分布：
Yi ～N(bˆ0 +bˆ1Xi ,sm2)
于 是 ， Y i的 概 率 函 数 为
可见，在满足一系列根本假设的情况下， 模型构造参数的最大或然估计量与普通最 小二乘估计量是一样的。
但是，随机误差项的方差的估计量是不同的。
解或然方程
sm2
L*
= n
2sm2
+1
2sm4
S(Yi
bˆ0
bˆ1Xi)2
=0
即可得到sm2的最大或然估计量为：
sˆm2
1 =nS(Yi
bˆ0
bˆ1Xi)2
bbˆˆ10S S((Y Yii bbˆˆ00 bbˆˆ11X Xii))22
=0 =0
பைடு நூலகம்
解 得 模 型 的 参 数 估 计 量 为 ：
bb ˆ0ˆ1 = = S X n n n S i2 S S Y S Y X iY X ii2 i2i S ((S S S X Y X X iiS S ii)Y )X 2 2 iX i i
2、最大似然法〔 Maximum Likelihood, ML〕
2.2 一元线性回归模型的参数估计
4/29/2012 21
高 斯 — 马 尔 可 夫 定 理 (Gauss-Markov
theorem) 在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
4/29/2012
22
ˆ ˆ 2、无偏性，即估计量 β 0 、 β 1 的均值（期望）等于总体回归 无偏性，
假设ciyi其中cikididi为不全为零的常数则容易证明具有最的小方差普通最小二乘估计量ordinaryleastsquares普通最小二乘估计量estimators称为最佳线性无偏估计量best最佳线性无偏估计量最佳线性无偏估计量linearunbiasedestimatorblue由于最小二乘估计量拥有一个好的估计量由于最小二乘估计量拥有一个所应具备的小样本特性它自然也拥有大样本特性
可见，在满足一系列基本假设的情况下， 模型结构参数的最大或然估计量 普通最小 最大或然估计量与普通最小 最大或然估计量 二乘估计量是相同的。 二乘估计量
4/29/2012
17
可支配收入例2.2.1：在上述家庭可支配收入-消费支出 ： 可支配收入 消费支出例中，对 于所抽出的一组样本数，参数估计的计算可通过下面的 表2.2.1进行。
为保证参数估计量具有良好的性质， 为保证参数估计量具有良好的性质， 通常对模型提出若干基本假设。 通常对模型提出若干基本假设。
注：实际这些假设与所采用的估计方法紧密 相关。
高 斯 — 马 尔 可 夫 定 理 (Gauss-Markov
theorem) 在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
4/29/2012
22
ˆ ˆ 2、无偏性，即估计量 β 0 、 β 1 的均值（期望）等于总体回归 无偏性，
假设ciyi其中cikididi为不全为零的常数则容易证明具有最的小方差普通最小二乘估计量ordinaryleastsquares普通最小二乘估计量estimators称为最佳线性无偏估计量best最佳线性无偏估计量最佳线性无偏估计量linearunbiasedestimatorblue由于最小二乘估计量拥有一个好的估计量由于最小二乘估计量拥有一个所应具备的小样本特性它自然也拥有大样本特性
可见，在满足一系列基本假设的情况下， 模型结构参数的最大或然估计量 普通最小 最大或然估计量与普通最小 最大或然估计量 二乘估计量是相同的。 二乘估计量
4/29/2012
17
可支配收入例2.2.1：在上述家庭可支配收入-消费支出 ： 可支配收入 消费支出例中，对 于所抽出的一组样本数，参数估计的计算可通过下面的 表2.2.1进行。
为保证参数估计量具有良好的性质， 为保证参数估计量具有良好的性质， 通常对模型提出若干基本假设。 通常对模型提出若干基本假设。
注：实际这些假设与所采用的估计方法紧密 相关。
一元线性回归模型的参数估计
残差图
将实际值与预测值进行对比，观察残差的分布情况 ，判断模型是否符合实际情况。
标准化残差
将残差进行标准化处理，用于判断残差是否 符合正态分布，从而判断模型是否合适。
模型的假设检验
线性关系检验
通过散点图和线性回归方程的斜率判 断自变量与因变量之间是否存在线性 关系。
误差的正态性检验
检验残差是否符合正态分布，通常使 用Jarque-Bera检验。
同方差性检验
检验误差项的方差是否恒定，通常使 用Bartlett检验或Breusch-Pagan检 验。
无自相关检验
检验误差项是否存在自相关性，通常 使用Durbin-Watson检验。
模型的预测能力评估
01
预测值与实际值比 较
将模型预测值与实际值进行比较， 观察预测的准确性和误差范围。
02
预测误差的衡量
确定样本数据
收集用于估计参数的样本数据。
构建估计量
根据模型和样本数据构建用于估计参数的统计量。
计算估计值
通过计算统计量的值得到参数的估计值。
评估估计质量
通过统计检验和图形方法评估估计的质量和可靠性。
05 模型的评估与检验
模型的拟合度评估
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接 近1表示模型拟合度越好。
回归分析的分类
#一元线性回归模型的参数估计
§2.2 一元线性回归模型地参数估计
单方程计量经济学模型分为线性模型和非线性模型两大类.在线性模型中,变量之间地关系呈线性关系；在非线性模型中,变量之间地关系呈非线性关系.线性回归模型是线性模型地一种,它地数学基础是回归分析,即用回归分析方法建立地线性模型,用以揭示经济现象中地因果关系.
一元线性回归模型是最简单地计量经济学模型,在模型中只有一个解释变量,其一般形式是：
i=1,2,…n <2.2.1）
其中,为被解释变量,为解释变量,与为待估参数,为随机干扰项.
一、一元线性回归模型地基本假设
回归分析地主要目地是要通过样本回归函数<模型）SRF尽可能准确地估计总体回归函数<模型）PRF.估计方法有多种,其种最广泛使用地是普通最小二乘法<ordinary least squares, OLS）.
为保证参数估计量具有良好地性质,通常对模型提出若干基本假设.如果实际模型满足这些基本假设,普通最小二乘法就是一种适用地估计方法；如果实际模型不满足这些基本假设,普通最小二乘法就不再适用,而要发展其它方法来估计模型.所以,严格地说,下面地基本假设并不是针对模型地,而是针对普通最小二乘法地.
对模型<2.2.1）,基本假设包括对解释变量X地假设,以及对随机扰动项地假设：假设1：解释变量X是确定性变量,不是随机变量,而且在重复抽样中取固定值.
假设2：随机误差项具有０均值、同方差及不序列相关性.即
=0 i=1,2,…n
= i=1,2,…n
=0 i≠j i,j=1,2,…n
假设3：随机误差项与解释变量之间不相关.即
2.2 一元线性回归模型的参数估计
4/29/2012 20
这三个准则也称作估计量的小样本性质。 小样本性质。 小样本性质 拥有这类性质的估计量称为最佳线性无偏估计 最佳线性无偏估计 量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量的大 大 样本或渐近性质： 样本或渐近性质： （ 4） 渐近无偏性 ） 渐近无偏性，即样本容量趋于无穷大时，是 否它的均值序列趋于总体真值； （ 5） 一致性 ） 一致性，即样本容量趋于无穷大时，它是否 依概率收敛于总体的真值； （ 6） 渐近有效性 ） 渐近有效性，即样本容量趋于无穷大时，是 否它在所有的一致估计量中具有最小的渐近方差。
当模型参数估计出后，需考虑参数估计值的 精度，即是否能代表总体参数的真值，或者说需 考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方 面考察其优劣性： （1）线性性 ）线性性，即它是否是另一随机变量的线性 函数； （2）无偏性 ）无偏性，即它的均值或期望值是否等于总 体的真实值； （3）有效性，即它是否在所有线性无偏估计量 ）有效性 中具有最小方差。
于是，Y的概率函数为
P(Yi ) = 1
− 1 2σ
2
ˆ ˆ (Yi − β 0 − β1 X i ) 2
σ 2π
e
（i=1,2,…n）
4/29/2012
14
因为Yi是相互独立的，所以的所有样本观测值的联 合概率，也即或然函数(likelihood function) 或然函数(likelihood function)为： 或然函数
这三个准则也称作估计量的小样本性质。 小样本性质。 小样本性质 拥有这类性质的估计量称为最佳线性无偏估计 最佳线性无偏估计 量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量的大 大 样本或渐近性质： 样本或渐近性质： （ 4） 渐近无偏性 ） 渐近无偏性，即样本容量趋于无穷大时，是 否它的均值序列趋于总体真值； （ 5） 一致性 ） 一致性，即样本容量趋于无穷大时，它是否 依概率收敛于总体的真值； （ 6） 渐近有效性 ） 渐近有效性，即样本容量趋于无穷大时，是 否它在所有的一致估计量中具有最小的渐近方差。
当模型参数估计出后，需考虑参数估计值的 精度，即是否能代表总体参数的真值，或者说需 考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方 面考察其优劣性： （1）线性性 ）线性性，即它是否是另一随机变量的线性 函数； （2）无偏性 ）无偏性，即它的均值或期望值是否等于总 体的真实值； （3）有效性，即它是否在所有线性无偏估计量 ）有效性 中具有最小方差。
于是，Y的概率函数为
P(Yi ) = 1
− 1 2σ
2
ˆ ˆ (Yi − β 0 − β1 X i ) 2
σ 2π
e
（i=1,2,…n）
4/29/2012
14
因为Yi是相互独立的，所以的所有样本观测值的联 合概率，也即或然函数(likelihood function) 或然函数(likelihood function)为： 或然函数
一元线性回归模型及参数估计
模型表达式
展示一元线性回归模型的数学表达式。
解释变量和响应变量
说明一元线性回归模型中解释变量和响应变 量的概念。
模型参数的估计
1 估计斜率
介绍如何估计一元线性回归模型中斜率的方法和统计意义。
2 估计截距
说明如何估计一元线性回归模型中截距的方法和统计意义。
3 利用回归方程做预测
探讨如何使用估计的回归方程进行预测。
数据的描述性统计
展示对收集到的数据进行描述性统计分析的结果。
回归模型的建立、参数估计及分析
模型的预测
说明如何建立回归模型，并进行参数估计和分析。 展示如何使用建立好的回归模型进行预测。
结论
研究发现
总结我们在一元线性回归模型及参数估计研究中发现的结果。
研究限制
讨论我们研究的限制以及对结果的影响。
后续研究建议
一元线性回归模型及参数 估计
欢迎来到我们的演示文稿，今天我们将深入讨论一元线性回归模型及其参数 估计。让我们一起探索这个有趣且实用的主题！
引言
我们首先介绍一元线性回归模型的概述，研究背景和意义，以及本文的结构。
一元线性回归模型
定义
解释一元线性回归模型的定义和基本原理。
假设条件
阐述在使用一元线性回归模型时的假设条件。
回归方程的拟合度检验
ห้องสมุดไป่ตู้
计量经济学 一元线性回归模型的参数估计
x 5769300 iy i ˆ 0 . 777 1 2 7425000 x i
0 0
ˆ ˆ Y X 1567 0 . 777 2150 103 . 17
因此，由该样本估计的回归方程为：
ˆ Y 103 . 172 0 . 777 X i i
3 、 有 效 性 （ 最 小 方 差 性 ） ， 即 在 所 有 线 性 无 偏 估 计 量
ˆ ˆ具 中 ， 最 小 二 乘 估 计 量 有 最 小 方 差 。 0、 1
ˆ ˆ ( 1 ) 先 求 与 的 方 差 0 1
2 x 2 i 2 2 x x i i 2
2 e i
2 e i
2 ˆ ML :
n
ˆ2 OLS :
n2
例2.2.1：在上述家庭可支配收入-消费支出例中，对于所抽 出的一组样本数，参数估计的计算可通过下面的表2.2.1进行。
表 2.2.1 参数估计的计算表
百度文库
Xi
Yi
xi
yi
xi y i
xi2
y i2
X i2
Yi 2
1 800 594 -1350 2 1100 638 -1050 3 1400 1122 -750 4 1700 1155 -450 5 2000 1408 -150 6 2300 1595 150 7 2600 1969 450 8 2900 2078 750 9 3200 2585 1050 10 3500 2530 1350 求和 21500 15674 平均 2150 1567
计量经济学 一元线性回归的参数估计
可知：
0 ci 1 ci X i 1
c 从而有：
i
0
，
ci X i 1
ˆ 1* 的方差
ˆ var( 1* ) var( c i Yi )
c
2
2 i
var( Yi )
c
2 i
var( i )
c
2 i
2
= (k 由于
k d
i i 2 i
i i 2 i
Y xi
x
2 i
注意这里的 一般性文字 表述！
令k i
ˆ 1
x xY x x x
2 i
xi
,因 xi 0, 故有
i
i i 2 i
2 i
Yi kiYi
ˆ ˆ 0 Y 1 X
1 1 Yi kiYi X Xki Yi n n
i i
i
di )2
i
k
i
2 i
2 d i2 2 2 2 k i d i
i 2 i
k
(c i k i )
k c k
x = ix 2 ci k i2 i
X
i
ci X ci
x
2 i
k i2
一元线性回归模型的参数估计
但是，随机误差项的方差的估计量是不同的。 是不同的
解或然方程
∂ * n 1 ˆ ˆ L =− 2 + Σ(Yi − β 0 − β 1 X i ) 2 = 0 2 4 ∂σ µ 2σ µ 2σ µ
2 σ µ 的最大或然估计量为： 即可得到
Fra Baidu bibliotek
1 ˆ ˆ ˆ2 σ µ = Σ(Yi − β 0 − β 1 X i ) 2 = n
（一）普通最小二乘法(OLS) 普通最小二乘法(OLS)
1、方法的引出
2、相关距离的概念 在研究点与直线的距离问题上会遇到三种情况，图 示如下：
点到直线的水 平距离 点到直线上点 的垂直坐标距 离
点到直线的距离
OLS方法的数学推导 3、OLS方法的数学推导
ˆ ˆ 根据微分运算，可推得用于估计 β 0 、β1 的下列方程组：
= 1 (2π ) σ µ
n 2
− n
1 2σ µ
2
ˆ ˆ Σ (Yi − β 0 − β1 X i ) 2
e
将该或然函数极大化，即可求得到模型参数的极大 或然估计量。
由于或然函数的极大化与或然函数的对数的极 大化是等价的，所以，取对数或然函数如下：
L* = ln(L) = −n ln( 2π σ µ ) − 1
一元线性回归模型的参数估计 一元线性回归模型的参数估计
计量经济学【一元线性回归模型——参数估计】
2
,
,
,
,
,
,
,
,
i
1,
2,
n
假设3：随机误差项在不同样本点之间是独立的，不
存
Cov(i , j ) 0,,,,,,,i j,,,,i, j 1, 2, n
在序列相关，即：
一、一元线性回归模型的基本假设
假设 4：随机误差项与解释变量之间不相关， 即：
Cov( Xi , i ) 0,,,,,,,,,,,i 1, 2, n
要求真实观测值Yi 与样本回归函数Yˆi ˆ0 ˆ1Xi
的估计值 Yˆi 之间的误差，也就是残差ei Yi Yˆi
在总体上最小，即采用残差平方和 ei2 最小的准
则，也就是最小二乘准则：
i
min ei2 min (Yi Yˆi )2 min Yi (ˆ0 ˆ1Xi )2
i
i
估计值是否能代表总体参数的真值。
这就需要考察一下参数估计量的统计性质。参数估 计
量是随机变量，其统计性质主要包括线性性、无偏性 和
最小方差性，也就是其均值和方差等方面的性质。
事实可以证明：在模型满足那几条基本假定的前提
下，最小二乘估计量的性质是非常理想的，它是具有 最
三、最小二乘估计量的性质
（1）最小二乘估计量的线性性：是指参数估
369000
810000 168100 651.8181 48.18190 2321.495
一元线性回归模型的参数估计
Yi = b 0 + b1 X i + i
i=1,2,…n
在本例中，影响人均消费性支出的因素，除了 居民人均可支配收入之外，还可能有消费品的价格 水平、银行存款利率、消费者的偏好，政府的政策， 需求者对未来的预期等等多种因素。我们这里仅分 析居民人均可支配收入对人均消费性支出的影响， 其他各因素的影响，就被包含在随机误差项中。
Var (bˆ1 ) = ˆ 2 xi2
S(bˆ1 ) = ˆ
xi2
bˆ0 的样本方差： bˆ0 的样本标准差：
Var (bˆ0 ) = ˆ 2
X
2 i
n
xi2
S(bˆ0 ) =
X
2 i
n
xi2
Back
四、参数估计量的性质
当模型参数估计完成，需考虑参数估计值的精 度，即是否能代表总体参数的真值，或者说需考 察参数估计量的统计性质。
xi2
2302426.9 924241.9 410080.1 140906.4 2875.6 230040.1 1120686.9 3619981.9 8751239.9
xi yi
1513391.9 687743.6 287768.5 113879.4
-985.4 174403.6 767106.1 2655351.0 6198658.9
由于随机项 i 不可观测，只能从 i 的估计——残e差i 出发， 对总体方差 2 进行估计。
i=1,2,…n
在本例中，影响人均消费性支出的因素，除了 居民人均可支配收入之外，还可能有消费品的价格 水平、银行存款利率、消费者的偏好，政府的政策， 需求者对未来的预期等等多种因素。我们这里仅分 析居民人均可支配收入对人均消费性支出的影响， 其他各因素的影响，就被包含在随机误差项中。
Var (bˆ1 ) = ˆ 2 xi2
S(bˆ1 ) = ˆ
xi2
bˆ0 的样本方差： bˆ0 的样本标准差：
Var (bˆ0 ) = ˆ 2
X
2 i
n
xi2
S(bˆ0 ) =
X
2 i
n
xi2
Back
四、参数估计量的性质
当模型参数估计完成，需考虑参数估计值的精 度，即是否能代表总体参数的真值，或者说需考 察参数估计量的统计性质。
xi2
2302426.9 924241.9 410080.1 140906.4 2875.6 230040.1 1120686.9 3619981.9 8751239.9
xi yi
1513391.9 687743.6 287768.5 113879.4
-985.4 174403.6 767106.1 2655351.0 6198658.9
由于随机项 i 不可观测，只能从 i 的估计——残e差i 出发， 对总体方差 2 进行估计。
一元线性回归模型及参数估计
??b?0 = Y ? b?1X
? ?
b?1
?
=
nSYi X i ? SYiSX i
nSX
2 i
?
(SX i )2
由于
b?0
、
b? 1
的估计结果是从最小二乘原理得到的，故称为
最小二乘估计量 (least-squares estimators) 。
最小二乘参数估计量的离差形式
(deviation form)
E(mi) = 0 Var (mi ) = s m2
Cov (mi , m j ) = 0
Cov ( xi , mi ) = 0
期望或均方值 同方差
协方差
i=1,2, … ,n j=1,2, … ,n i ≠ j
的情况下，随机抽取 n 组样本观测值 Yi , X i （ i=1,2, … n），就 可以估计模型的参数。
一元线性回归模型及其参数估计
一、一元线性回归模型的参数估计 二、最小二乘参数估计量的统计性质 三、最小二乘参数估计量的概率分布
一、一元线性回归模型的参数估计
一元线性回归模型的一般形式
一元线性回归模型的一般形式 是：
Yi = b 0 + b1X i + mi
在满足 基本假设 ：
i=1 ， 2，…， n
随机误差项方差的估计量
记 ei = Yi ? Y?i 为第i个样本观测点的残差，即被 解释变量的估计值与观测值之差 ，则随机误差项方
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
称为OLS估计量的离差形式（deviation form）。
由于参数的估计结果是通过最小二乘法得到的， 故称为普通最小二乘估计量（ordinary least squares estimators）。
顺便指出 ，记 yˆi Yˆi Y
则有
yˆi (ˆ0 ˆ1 X i ) (ˆ0 ˆ1 X e )
基本原理：
对于最大或然法，当从模型总体随机抽取n组 样本观测值后，最合理的参数估计量应该使得从 模型中抽取该n组样本观测值的概率最大。
在满足基本假设条件下，对一元线性回归模型：
Yi 0 1 X i i
随机抽取n组样本观测值（Xi, Yi）（i=1,2,…n）。 假如模型的参数估计量已经求得，为 那么Yi服从如下的正态分布：
(X i X )2 / n Q, n
假设6：回归模型是正确设定的
假设5旨在排除时间序列数据出现持续上升或下降的变 量作为解释变量，因为这类数据不仅使大样本统计推断变 得无效，而且往往产生所谓的伪回归问题（spurious regression problem）。
假设6也被称为模型没有设定偏误（specification error）
1
1
最小。
方程组（*）称为正规方程组（normal equations）。
记
xi2 (X i X )2
X
2 i
1 n
Xi 2
xi yi
( X i X )(Yi Y )
X iYi
1 n
X i Yi
上述参数估计量可以写成：
ˆ1
xi yi
x
2 i
ˆ0 Y ˆ1 X
1
e
1 2
2
(Yi
ˆ0
ˆ1
X
i
)
2
(2
)
n 2
n
将该或然函数极大化，即可求得到模型 参数的极大或然估计量。
由于或然函数的极大化与或然函数的对数的极 大化是等价的，所以，取对数或然函数如下：
L* ln( L)
n ln(
2 )
1
2
2
(Yi
ˆ 0
ˆ1 X i ) 2
解得模型的参数估计量为：
为保证参数估计量具有良好的性质，通常对 模型提出若干基本假设。
注：实际这些假设与所采用的估计方法紧密 相关。
一、线性回归模型的基本假设
假设1、解释变量X是确定性变量，不是随机变量；
假设2、随机误差项具有零均值、同方差和不序列相 关性：
E(i)=0
i=1,2, …,n
Var (i)=2 i=1,2, …,n
一元线性回归模型：只有一个解释变量
Yi 0 1 X i i
i=1,2,…,n
Y为被解释变量，X为解释变量，0与1为待估 参数， 为随机干扰项
回归分析的主要目的是要通过样本回归函 数（模型）SRF尽可能准确地估计总体回归函 数（模型）PRF。
估计方法有多种，其种最广泛使用的是普通 最小二乘法（ordinary least squares, OLS）。
ˆ
0
ˆ1
X
2 i
Yi
X i Yi
nX
2 i
(X
i
)2
Байду номын сангаас
nYi X i YiX
nX
2 i
(X i
)2
X
i
i
可见，在满足一系列基本假设的情况下，
模型结构参数的最大或然估计量与普通最小 二乘估计量是相同的。
例2.2.1：在上述家庭可支配收入-消费支出例中，对
于所抽出的一组样本数，参数估计的计算可通过下面的
二、参数的普通最小二乘估计（OLS）
给定一组样本观测值（Xi, Yi）（i=1,2,…n）要 求样本回归函数尽可能好地拟合这组值.
普通最小二乘法（Ordinary least squares, OLS） 给出的判断标准是：二者之差的平方和
n
n
Q (Yi Yˆi )2 (Yi (ˆ0 ˆ1 X i )) 2
ˆ1 ( X i
X
)
1 n
ei
可得
yˆi ˆ1xi
（**）
（**）式也称为样本回归函数的离差形式。
注意：
在计量经济学中，往往以小写字母表示对均值 的离差。
三、参数估计的最大或然法(ML)
最大或然法(Maximum Likelihood,简称ML)， 也称最大似然法，是不同于最小二乘法的另一种 参数估计方法，是从最大或然原理出发发展起来 的其它估计方法的基础。
Yi ~ N (ˆ0 ˆ1 X i , 2 )
于是，Y的概率函数为
P(Yi )
1
e
1 2
2
(Yi
ˆ0
ˆ1
X
i
)
2
2
（i=1,2,…n）
因为Yi是相互独立的，所以的所有样本观测值的联 合概率，也即或然函数(likelihood function)为：
L(ˆ0 , ˆ1, 2 ) P(Y1,Y2 , ,Yn )
以上假设也称为线性回归模型的经典假设 或高斯（Gauss）假设，满足该假设的线性回归 模型，也称为经典线性回归模型（Classical Linear Regression Model, CLRM）。
另外，在进行模型回归时，还有两个暗含的 假设：
假设5：随着样本容量的无限增加，解释变 量X的样本方差趋于一有限常数。即
表2.2.1进行。
表 2.2.1 参数估计的计算表
Xi
Yi
xi
yi
xi yi
x i2
y
2 i
X
2 i
Yi 2
1 2 3 4 5 6 7 8 9 10 求和 平均
800 1100 1400 1700 2000 2300 2600 2900 3200 3500 21500 2150
594 638 1122 1155 1408 1595 1969 2078 2585 2530 15674 1567
Cov(i, j)=0 i≠j i,j= 1,2, …,n 假设3、随机误差项与解释变量X之间不相关：
Cov(Xi, i)=0 i=1,2, …,n 假设4、服从零均值、同方差、零协方差的正态分布
i~N(0, 2 )
i=1,2, …,n
注意：
1、如果假设1、2满足，则假设3也满足; 2、如果假设4满足，则假设2也满足。
§2.2 一元线性回归模型的参数估计
一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计（OLS） 三、参数估计的最大或然法(ML) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干
扰项方差的估计
单方程计量经济学模型分为两大类： 线性模型和非线性模型
•线性模型中，变量之间的关系呈线性关系 •非线性模型中，变量之间的关系呈非线性关系
-1350 -1050 -750 -450 -150