一元线性回归模型的置信区间与预测
一元线性回归模型
1 n ˆ xi )2 = 1 ( Lyy − bLxy ). ˆ ˆ 即 σ = ∑ ( yi − a − b ˆ n i =1 n
2
n σ 2. 而σ 的无偏估计是 ˆ n−2
2
∴σ ˆ
*2
n 1 2 ˆ σ = ( Lyy − bLxy ). = ˆ n−2 n−2
ex1. 设有一组观察值如下，求回归方程 设有一组观察值如下，求回归方程.
ˆ ˆ ˆ 对于x0可得 y0 = a + bx0 , 称其为 Y0的点预测.
( 2) Y0的区间估计 : 选取 T =
σ* ˆ
ˆ Y0 − y0 ~ t ( n − 2) 2 1 ( x0 − x ) 1+ + n Lxx
对于任意给定的 0 < α < 1, 有 P { T < tα ( n − 2)} = 1 − α .
研究变量间的相关关系，确定回归函数， 研究变量间的相关关系，确定回归函数，由此预测和控 制变量的变化范围等就是回归分析。 制变量的变化范围等就是回归分析。 研究两个变量间的相关关系，称为一元回归分析； 研究两个变量间的相关关系，称为一元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 研究多个变量间的相关关系，称为多元回归分析； 若回归函数为线性函数，则称为线性回归分析。 若回归函数为线性函数，则称为线性回归分析。
所以y与 之间显著地存在线性关系 之间显著地存在线性关系. 所以 与x之间显著地存在线性关系
四、一元线性回归模型的应用—预测与控制 一元线性回归模型的应用 预测与控制 1. 预测问题
(根据 = a + bx + ε , 研究 = x0时如何估计 0 ) Y x Y
(1) Y0的点估计 :
01-一元线性回归模型的预测
3
第五节 一元线性回归模型的预测
在样本数据反映的经济变量之间的关系基本上没有变化的情况下， 可利用经过参数估计和检验的模型，由已知或事先测定的解释变量的 数 值，预测被解释变量的数值。
利用例2-3建立的消费函数模型，求家庭可支配收入为60000元时家庭平 均消费支出的预测值。
析： 将家庭可支配收入
代入样本回归函数
可得家庭平均消费支出的预测值为
90
二、总体均值 E（Y/ X0）的预测置信区间
Yˆ0
也可以表示为
Y（i i
1，2，，n）的线性组合，Yˆ 服从正态分布。 0
由于 可以证明
0
0
其中
SE（e）= 0
ˆ2[1
1 n
(X0 X )2
n
xi2
]
i 1
对于给定的显著性水平
P(
t
2
YS0 E（Yeˆ）0 0
t
2
) 1
由此可得，个别值 Y0 的置信度为1的预测置信区间为
[ Yˆ0t SE（e0），Yˆ0 t SE（e0）]
（2-51）
2
2
95
例2-9
以例2-3为例（假设一个由100个家庭构成的总体，并假设这100个家庭的月 可 支配收入水平只限于13000元、18000元、23000元、28000元、33000元、 38000 元、43000元、48000元、53000元、58000元10种情况，每个家庭的月可 支配收 入与消费数据如表2-1所示，要研究这一总体的家庭月消费支出Y与家 庭月可支 配收入X之间的关系，以便根据已知的家庭月可支配收入水平测算 该总体的家 庭月消费支出平均水平。）
【线性回归】线性回归模型中几个参数的解释
【线性回归】线性回归模型中⼏个参数的解释【线性回归】线性回归模型中⼏个参数的解释R ⽅1. 决定系数/拟合优度类似于⼀元线性回归，构造决定系数。
称为y 关于⾃变量的样本复相关系数。
其中，，有SST=SSR+SSE总离差平⽅和记为SST ，回归平⽅和记为SSR ，残差平⽅和为SSE 。
由公式可见，SSR 是由回归⽅程确定的，即是可以⽤⾃变量x 进⾏解释的波动，⽽SSE 为x 之外的未加控制的因素引起的波动。
这样，总离差平⽅和SST 中能够由⽅程解释的部分为SSR ，不能解释的部分为SSE 。
1. 意义意味着回归⽅程中能被解释的误差占总误差的⽐例。
⼀般来说越⼤，拟合效果越好，⼀般认为超过0.8的模型拟合优度⽐较⾼。
需要注意的是当样本量⼩时，很⼤（例如0.9）也不能肯定⾃变量与因变量之间关系就是线性的。
随着⾃变量的增多，必定会越来越接近于１，但这会导致模型的稳定性变差，即模型⽤来预测训练集之外的数据时，预测波动将会⾮常⼤，这个时候就会对作调整，调整R ⽅可以消除⾃变量增加造成的假象。
F 检验0、预备知识（1）假设检验为了判断与检测X 是否具备对Y 的预测能⼒，⼀般可以通过相关系数、图形等⽅法进⾏衡量，但这只是直观的判断⽅法。
通过对回归参数做假设检验可以为我们提供更严格的数量化分析⽅法。
（2）全模型与简化模型我们称之为全模型（full Model,FM ）通过对某些回归系数进⾏假设，使其取指定的值，把这些指定的值带⼊全模型中，得到的模型称为简化模型（reduced model,RM ）。
常⽤的简化⽅法将在之后介绍。
1、F 检验检验是线性模型的假设检验中最常⽤的⼀种检验，通过值的⼤⼩可以判断提出的假设是否合理，即是否接受简化模型。
1. 为检验我们的假设是否合理，即评估简化模型相对全模型拟合效果是否⼀样好，需要先建⽴对两个模型拟合效果的评价⽅法。
这⾥我们通过计算模型的残差平⽅和（）来衡量模型拟合数据时损失的信息量，也表⽰模型的拟合效果。
第三节 利用一元线性回归方程进行预测和控制
若记 ( x )
1 (x x) t ( n 2) S 1 n Lxx 2
2
ˆ ( x ) , y2 ( x ) y ˆ (x) y1 ( x ) y
y
ˆ (x) y1 ( x ) y
ˆx ˆa ˆb y
ˆ0 y
y
ˆ (x) y2 ( x ) y
取随机变量
T
ˆ0 y0 y 1 ( x0 x ) 2 S 1 n Lxx
S剩 ˆx ˆ0 a ˆb 其中，S , y 0 n 2 可以证明：当i ~ N(0 , 2) （i=1,2 , … ，n ） 且相互独立时，随机变量T服从自由度为n-2的 t分布 对给定的置信度1-，作概率等式 P{| t | t ( n 1)} 1 ，
y
y2
y 2 ( x) y ( x) ( x)
M
y a b x y1 ( x) y( x) ( x)
y1
0
N
x1
x2
x
(b 0 )
, y2 处分别画两条水平线， 它们分别交曲线 从 y1
y1 ( x)、 y2 ( x) 于N、M ，再过这两点分别画垂线交x 轴
第九章
§9.3
一元线性回归
利用一元线性回归方程进行 预测和控制
一、预测 1、点预测 就是对x=x0时y的精确值y0=a+bx0+0作出点估 ˆx 计,即将x=x0代入回归方程，求得 y ˆ0 a ˆb 0 ˆ 0 作为y0的估计值，这就是点预 将y 测。 2、区间预测 就是区间估计，即在给定的置信度下求出精 确值y0的置信区间，称为y0的区间预测。
一元线性回归模型的置信区间与预测10页
§2.5 一元线性回归模型的置信区间与预测多元线性回归模型的置信区间问题包括参数估计量的置信区间和被解释变量预测值的置信区间两个方面，在数理统计学中属于区间估计问题。
所谓区间估计是研究用未知参数的点估计值（从一组样本观测值算得的）作为近似值的精确程度和误差范围，是一个必须回答的重要问题。
一、参数估计量的置信区间在前面的课程中，我们已经知道，线性回归模型的参数估计量^β是随机变量i y 的函数，即：i i y k ∑=1ˆβ，所以它也是随机变量。
在多次重复抽样中，每次的样本观测值不可能完全相同，所以得到的点估计值也不可能相同。
现在我们用参数估计量的一个点估计值近似代表参数值，那么，二者的接近程度如何？以多大的概率达到该接近程度？这就要构造参数的一个区间，以点估计值为中心的一个区间（称为置信区间），该区间以一定的概率（称为置信水平）包含该参数。
即回答1β以何种置信水平位于()a a +-11ˆ,ˆββ之中，以及如何求得a 。
在变量的显著性检验中已经知道)1(~^^---=k n t s t iii βββ (2.5.1)这就是说，如果给定置信水平α-1，从t 分布表中查得自由度为(n-k-1)的临界值2αt ，那么t 值处在()22,ααt t -的概率是α-1。
表示为即于是得到：在（α-1）的置信水平下i β的置信区间是)(^^2^2^iis t s t i i βαβαββ⨯+⨯-，i=0,1 （2.5.3）在某例子中，如果给定01.0=α，查表得从回归计算中得到01.0,15,21.0ˆ,3.102ˆ1ˆˆ10====ββββS S 根据（2.5.2）计算得到10,ββ的置信区间分别为()48.147,12.57和（0.1799,0.2401）显然，参数1β的置信区间要小。
在实际应用中，我们当然希望置信水平越高越好，置信区间越小越好。
如何才能缩小置信区间？从（2.5.3）式中不难看出：（1）增大样本容量n 。
§2.4 一元线性回归分析的应用：预测问题
而
1 (1000 2150) 2 Var (Y0 ) = 13402 + = 3727.29 7425000 10
S (Y0 ) = 61.05
因此，总体均值 的置信区间为： 因此，总体均值E(Y|X=1000)的95%的置信区间为： 的 的置信区间为
673.84-2.306×61.05< E(Y|X=1000) <673.84+2.306×61.05 × × 或 （533.05, 814.62） ）
一元线性回归分析的应用： §2.4 一元线性回归分析的应用：预 测问题
是条件均值E(Y|X=X0)或个值 0的一 或个值Y 一、0是条件均值 或个值 个无偏估计
二、预测值的置信区间 1、总体均值E(Y|X0) 、
的置信区间为 在1-α的置信度下， E(Y|X0)的置信区间为 α的置信度下， 的置信区间
同样地，对于 在 的置信区间为： 同样地，对于Y在X=1000的个体值，其95%的置信区间为： 的个体值， 的置信区间为 673.84 - 2.306×61.05<Yx=1000 <673.84 + 2.306×61.05 × × 或 (372.03, 975.65)
总体回归函数的置信带（域） 总体回归函数的置信带（ 置信带 个体的置信带（域） 个体的置信带（ 置信带
对于Y的总体均值 对于 的总体均值E(Y|X)与个体值的预测区 的总体均值 与个体值的预测区 置信区间） 间（置信区间）: 越大， （ 1）样本容量 越大 ， 预测精度越高 ， 反之 ） 样本容量n越大 预测精度越高， 预测精度越低； 预测精度越低； （2）样本容量一定时，置信带的宽度当在 ）样本容量一定时，置信带的宽度当在X 均值处最小，其附近进行预测（插值预测） 均值处最小 ， 其附近进行预测 （ 插值预测 ） 精度越大。 精度越大。 (3)误差项的方差 误差项的方差
关于回归分析中的置信区间和预测区间
2017-10-27不少初学者往往混淆均值的置信区间和个体的预测区间（prediction interval），在有的统计软件中，同时给出回归线的置信区间和预测区间，致使有的初学者搞不懂它们有什么区别。
其实二者很容易区分，置信区间是针对因变量均值的区间，而预测区间是针对因变量个体值的区间。
不难理解，针对均值的置信区间肯定要窄一些，而具体想预测某一个体值，那区间肯定要宽，因为误差会很大。
比如，让你预测一个高中班级中学生的平均身高，跟让你预测该班级中具体某一个学生的身高，你觉得哪个误差更大呢？对于一个班级的均值，即使你什么信息都不知道，估计预测的也差不到哪儿去，而让你预测班中的张三同学的身高，那你可能就不知所措了。
（1）均值的置信区间线性回归中，我们假定，对于每一特定的x值，其对应的y值应该是来自一个服从某一均值和标准差的分布。
例如，调查温度与手足口发病率的关系，温度=10℃，假定其对应的手足口发病率是来自一个服从均值为10（1/10万），标准差为4（1/10万）的总体分布。
当我们调查这一数据时，得到的是这一总体分布中的某一随机数值（所以说y是随机变量）。
根据样本数据建立的回归方程，可以估计出当x等于某一数值时，y的估计值（也就是y的总体均值的估计值）。
比如根据方程式：发病率=-0.011+0.995*温度可以估计出，温度=10℃时，对应的手足口发病率的均值估计为9.94（1/10万）。
由于是总体均值的估计，那就必然会有估计的误差（标准误），这一标准误是可以计算出来的（公式略，格式不好调整，感兴趣的等本书出版后看书）。
因此根据标准误、均值估计值，便可以估计置信区间。
这一置信区间反映的是样本估计yi的均值的这一范围有多大的信心包含了总体均值。
如月份温度=10℃时，手足口发病率均值的95%置信区间为（6.64,16.25）。
这说明，对于温度=10℃这样的月份，我们有95%的信心认为，（6.64,16.25）这一区间包含了手足口发病率的总体均值。
一元线性回归：假设检验和置信区间
一般步骤
1. 提出原假设和备择假设
原假设和双边备择假设: H0: 1 = 1,0 对 H1: 1 ≠ 1,0 其中 1,0 为原假设下的假设值. 原假设和单边备择假设: H0: 1 = 1,0 对 H1: 1 < 1,0 或 H0: 1 = 1,0 对 H1: 1 >1,0
检验 Y 的均值: 检验 1,
t = Y Y ,0
sY / n
ˆ t = 1 1,0 , ˆ) SE ( 1
ˆ)= ˆ 抽样分布的方差的估计的平方根 ，公式？ 其中 SE( 1 1
5
ˆ ) 的公式 SE( 1
ˆ 方差的表达式(大 n): 回顾 1
2 var[( X ) u ] i x i v ˆ)= var( = , 其中 vi = (Xi – X)ui. 1 2 2 4 n( X ) n X ˆ 方差的估计量：利用数据构造估计量取替未知总体值 2
ˆ 的抽样分布: 1 ˆ 近似服从, 在 LSA 下, 对大 n , 1
2 ˆ ~N , v 1 1 n 4 X
, 其中 vi = (Xi – X)ui
3
5.1 关于某个回归系数的假设检验
• 1的假设检验
目的是利用数据检验诸如 1 = 0 的假设，得到（原）假设正 确与否的暂时性结论.
2 ˆ
1 n 2 ˆi v n 2 i 1
1
1
1
这个公式看着令人有些讨厌，但: 事实上并没有看上去的那样复杂，其中分子估计的是 var(v), 分母估计的是 var(X). 为什么自由度调整为 n – 2? 因为有两个系数 (0 和 1)是 估计的. ˆ )是由回归软件计算的 SE(
一元线性回归
一元线性回归
一、回归分析的基本思想 二、一元线性回归的数学模型 三、可化为一元线性回归的问题 四、小结
一、回归分析的基本思想
确定性关系 变量之间的关系 相 关 关 系
S πr 2
身高和体重
确定性关系 相关关系
相关关系的特征是:变量之间的关系很难用一 种精确的方法表示出来.
确定性关系和相关关系的联系
n
xi x
2 ( x x ) j j 1 n
var( y ) i
2
2
2 ( x x ) j j 1 n
1 xi x ˆ 0 y 1 x ( x ) yi n lxx
1 xi x ˆ Var ( 0 ) x lxx n
由于存在测量误差等原因,确定性关系在实际 问题中往往通过相关关系表示出来;另一方面,当对 事物内部规律了解得更加深刻时,相关关系也有可 能转化为确定性关系. 回归分析——处理变量之间的相关关系的一 种数学方法,它是最常用的数理统计方法.
回 归 分 析
线性回归分析
非线性回归分析
一元线性回归分析
多元线性回归分析 β1 = Nhomakorabea(x
i=1 n
n
i
x )( yi y ) ,
2 ( x x ) i i=1
β0 = y β1 x,
1 n 1 n 其中 x xi , y yi . n i 1 n i 1
记
l xx = ( xi x )2 ,
i=1
n
l yy = ( yi y )2 ,
2 x x x 2 2 i ˆ ˆ ˆ cov(y , 1 ) x cov(1 , 1 ) x nlxx l xx l xx
一元线性回归预测法
C o v ( u i , u j ) E [ u i E ( u i ) ] [ u j E ( u j ) ] E ( u iu j) 0 ( i j)
假定4：随机扰动 u i 与解释变量 X 不相关
C o v ( u i , X i ) E [ u i E ( u i ) ] [ X i E ( X i ) ] 0
32
（2）对随机扰动项 u 的假定
又称高斯假定、古典假定 假定1：零均值假定
在给定 X 的条件下 ， u i 的条件期望为零
E(ui ) 0
假定2：同方差假定
在给定 X 的条件下，u i 的条件方差为某个常数 2
V a r ( u i) E [ u i E ( u i) ] 2 2
33
假定3：无自相关假定
● 从变量相关关系的表现形式看
线性相关——散布图接近一条直线 非线性相关——散布图接近一条曲线
● 从变量相关关系变化的方向看
正相关——变量同方向变化，同增同减 负相关——变量反方向变化，一增一减 不相关
10
800 Y
600
400
Y 2
200
1
0 0
3.0
10
20
30
完全相关
2.5
2.0
1.5
1.0
寻求一种规则和方法，使得到的SRF的参数 ˆ 1 和 ˆ 2 尽可能“接近”总体回归函数中的参数 1 和 2 。
这样的“规则和方法”有多种，最常用的是最小二 乘法
30
简单线性回归的基本假定
1. 为什么要作基本假定？
●模型中有随机扰动，估计的参数是随机变量， 只有对随机扰动的分布作出假定，才能确定 所估计参数的分布性质，也才可能进行假设 检验和区间估计
回归95%置信区间的计算公式
回归95%置信区间的计算公式
回归95%置信区间的计算公式是：
置信区间=预测值±临界值*标准差
其中，预测值是模型对给定输入的预测结果，临界值是根据样本
数量和置信水平来确定的，标准差是模型的残差的标准差。
对于简单线性回归模型，临界值可以通过查找t分布表来确定，
该表给出了根据自由度（样本数量减去模型参数的个数减1）和置信水平得出的t值。
对于多元回归模型，临界值可以通过查找F分布表和t 分布表来确定。
拓展：
除了使用临界值乘以标准差的方法计算置信区间外，还有一种常
见的方法是使用Bootstrap方法。
Bootstrap通过从已有数据集中用有放回抽样的方法生成多个重复样本，然后对每个样本进行建模和预测，最后对这些预测结果进行统计，得到置信区间。
这种方法更加灵活，
可以用于更复杂的回归模型和数据集，但是计算量更大。
一元线性回归模型
1. 提出假设 H0：r＝0 2.
线性关系不显著
计算检验统计量F
3. 确定显著性水平，并根据分子自由度1和分母自由度n2找出临界值F 4. 作出决策：若F>F ,拒绝H0；若F<F ,不拒绝H0
课堂作业
1、若X表示在一家分店工作的售货人数，Y表示这家分店的年销售额 （千元），已经求出Y对X的回归方程的估计结果如下表
最小二乘法的思路
纵向距离是Y的实际值与拟合值之差，差异大拟
合不好，差异小拟合好，所以称为残差、拟合
误差或剩余。
将所有纵向距离平方后相加，即得误差平方和，
“最好”直线就是使误差平方和最小的直线。 拟合直线在总体上最接近实际观测点。 于是可以运用求极值的原理，将求最好拟合直 线问题转换为求误差平方和最小的问题。
显著性检验
1、经济意义检验 2、统计意义检验
经济意义检验
1、检验参数估计量的符号 2、检验参数估计量的大小 3、参数之间的关系
显著性检验
1、相关系数检验 2、回归系数检验 3、线性关系检验
回归系数的检验
1. 检验 x 与 y 之间是否具有线性关系， 或者说，检验自变量 x 对因变量 y 的 影响是否显著
x
最小二乘法
(
ˆ 0
和
ˆ 1
的计算公式)
ˆ ˆ 根据最小二乘法的要求，可得求解 0 和 1 的 公式如下 n Q ˆ ˆ 2(1) yi 0 1 xi 0 ˆ 0 i 1
n Q ˆ ˆ 2 yi 0 1 xi ( xi ) 0 ˆ 1 i 1
Байду номын сангаасyf
和
。
一元线性回归模型的置信区间与预测
§2.5 一元线性回归模型的置信区间与预测多元线性回归模型的置信区间问题包括参数估计量的置信区间和被解释变量预测值的置信区间两个方面，在数理统计学中属于区间估计问题。
所谓区间估计是研究用未知参数的点估计值（从一组样本观测值算得的）作为近似值的精确程度和误差范围，是一个必须回答的重要问题。
一、参数估计量的置信区间在前面的课程中，我们已经知道，线性回归模型的参数估计量^β是随机变量i y 的函数，即：i i y k ∑=1ˆβ，所以它也是随机变量。
在多次重复抽样中，每次的样本观测值不可能完全相同，所以得到的点估计值也不可能相同。
现在我们用参数估计量的一个点估计值近似代表参数值，那么，二者的接近程度如何？以多大的概率达到该接近程度？这就要构造参数的一个区间，以点估计值为中心的一个区间（称为置信区间），该区间以一定的概率（称为置信水平）包含该参数。
即回答1β以何种置信水平位于()a a +-11ˆ,ˆββ之中，以及如何求得a 。
在变量的显著性检验中已经知道)1(~^^---=k n t s t iii βββ (2.5.1)这就是说，如果给定置信水平α-1，从t 分布表中查得自由度为(n-k-1)的临界值2αt ，那么t 值处在()22,ααt t -的概率是α-1。
表示为ααα-=<<-1)(22t t t P即αββαβα-=<-<-1)(2^2^t s t P iiiαββββαβα-=⨯+<<⨯-1)(^^2^2^iis t s t P i i i于是得到：在（α-1）的置信水平下i β的置信区间是)(^^2^2^iis t s t i i βαβαββ⨯+⨯-，i=0,1 （2.5.3）在某例子中，如果给定01.0=α，查表得012.3)13()1(005.02==--t k n t α 从回归计算中得到01.0,15,21.0ˆ,3.102ˆ1ˆˆ10====ββββS S 根据（2.5.2）计算得到10,ββ的置信区间分别为()48.147,12.57和（0.1799,0.2401） 显然，参数1β的置信区间要小。
第二章 回归分析概要3(一元统计检验)
第二章 回归分析概要第三节 一元线性回归模型的统计检验根据第一章第二节里，我们讲过的计量经济学模型检验规则可知，在利用OLS 法估计了一元线性回归模型的参数，并确定了样本回归线后，首先要根据经济理论及实际问题中X 和Y 的对应关系，对回归系数的符号、大小及相互关系进行直观判断，如果上述检验通过的话，还须对估计值进行统计学检验。
回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线来替代总体回归线。
尽管，从统计性质上已知，如果有足够多的重复抽样，参数的估计值的期望（均值）就等于总体的参数真值，但是，在一次抽样中，估计值不一定就等于该真值。
那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验，主要包括拟合优度检验、变量的显著性检验以及参数检验的置信区间估计。
一、拟合优度检验拟合优度检验，顾名思义，是检验模型对样本观测值的拟合程度（即回归直线对观测值的拟合程度）。
显然，若样本观测值离回归直线越近，则拟合优度越好，X 对Y 的解释程度越强；反之，则拟合优度差，X 对Y 的解释程度弱。
（参看课本44页图3.2.3）因为样本值太多，分别考察每一个离差是不切实际的，又为了克服绝对值符号在计算上带来的不便，因此，常使用离差平方和来考察总离差（推导过程课本44页）。
被解释变量的总离差平方和TSS可解释平方和（回归平方和）ESS 残差平方和RSS 因此，显然，ESS 在TSS 的构成中所占比例越大，RSS 在TSS 中所占的比例就越小，说明回归参数估计值的显著性越强，即样本回归线与真实回归线的拟合优度就越好。
因此，可以用ESS 在TSS 中所占的比例表示样本回归线与总体回归线的拟合程度。
二、变量的显著性检验 1. 相关系数的检验样本相关系数定义公式：)ˆ()ˆ(t t t t y y y y y y -+-=-RSS ESS TSS uRSS y yESS y y TSS t t t +==-=-=∑∑∑222)ˆ()ˆ()(100,01)()ˆ(22222≤≤∴≤≤≤≤-=--==∑∑R TSS ESS TSS RSS TSSRSS R y y y y TSS ESS R t t样本相关系数的性质：（1） r 的取值介于-1和1之间。
简单线性相关(一元线性回归分析)
第十三讲简单线性相关（一元线性回归分析）对于两个或更多变量之间的关系，相关分析考虑的只是变量之间是否相关、相关的程度，而回归分析关心的问题是：变量之间的因果关系如何。
回归分析是处理一个或多个自变量与因变量间线性因果关系的统计方法。
如婚姻状况与子女生育数量，相关分析可以求出两者的相关强度以及是否具有统计学意义，但不对谁决定谁作出预设，即可以相互解释，回归分析则必须预先假定谁是因谁是果，谁明确谁为因与谁为果的前提下展开进一步的分析。
一、一元线性回归模型及其对变量的要求（一）一元线性回归模型1、一元线性回归模型示例两个变量之间的真实关系一般可以用以下方程来表示：Y=A+BX+方程中的 A 、B 是待定的常数，称为模型系数，是残差，是以X预测Y 产生的误差。
两个变量之间拟合的直线是：y a bxy 是y的拟合值或预测值，它是在X 条件下 Y 条件均值的估计a 、b 是回归直线的系数，是总体真实直线距，当自变量的值为0 时，因变量的值。
A、B 的估计值， a 即 constant 是截b 称为回归系数，指在其他所有的因素不变时，每一单位自变量的变化引起的因变量的变化。
可以对回归方程进行标准化，得到标准回归方程：y x为标准回归系数，表示其他变量不变时，自变量变化一个标准差单位（ Z XjXj），因变量 Y 的标准差的平均变化。
S j由于标准化消除了原来自变量不同的测量单位，标准回归系数之间是可以比较的，绝对值的大小代表了对因变量作用的大小，反映自变量对Y 的重要性。
（二）对变量的要求：回归分析的假定条件回归分析对变量的要求是：自变量可以是随机变量，也可以是非随机变量。
自变量 X 值的测量可以认为是没有误差的，或者说误差可以忽略不计。
回归分析对于因变量有较多的要求，这些要求与其它的因素一起，构成了回归分析的基本条件：独立、线性、正态、等方差。
（三）数据要求模型中要求一个因变量，一个或多个自变量（一元时为 1 个自变量）。
第02章-一元线性回归模型
四、拟合优度的度量
• 基本概念：
拟合优度衡量的是样本回归线对样本观测值的拟合程度。 样本观测值距回归线越近，拟合优度越高，x对y的解释程 度越强。
• 样本观测值、拟合值、样本均值之间的关系
ˆ ˆ ( yt − y ) = ( yt − yt ) + ( yt − y )
?相关分析适用于无明确因果关系的变量之间的关系判断常使用的工具是相关系数相关系数对称的看待两个变量相关系数仅判断变量间是否存在线性相关相关系数判断的是统计依赖关系?如果两个变量之间存在因果关系则需要建立回归模型采用回归分析的方法判断变量之间的因果性效应一元线性回归模型的建立?在回归模型中往往假定解释变量是因被解释变量是果而分析的目标则是确定解释变量对被解释变量的因果性效应的具体数值
5. 一元线性回归模型的假定条件 • 用样本估计总体回归函数，总会存在偏差 （样本不是总体，而且模型存在随机干扰 项），为了保证估计结果具有良好的性质， 通常要对模型中的变量、模型形式以及随 机误差项提出一些假定条件 • 对模型形式和变量的假定
–假定解释变量x是非随机的，或者虽然是随机 的，但与随机误差项u不相关 –假定变量和模型无设定误差
第2章 一元线性回归模型
一、模型的建立及其假定条件 二、普通最小二乘估计（OLS） 三、OLS估计量的统计性质 四、拟合优度的度量 五、回归参数的显著性检验与置信区间 六、一元线性回归模型的预测
一、模型的建立及其假定条件
1. 经济变量之间的关系 • 计量经济分析研究经济变量之间的关系及 其变化规律。 • 两变量之间可能存在的关系：
ˆ ˆ ˆ yt = β 0 + β1 xt
• 样本回归函数（SRF）表示在图形中即为样本回归线 • 需要注意：
一元线性回归模型及参数估计
步骤：收集数据、建立模型、 计算参数、评估模型
优点：简单易行，适用于线 性回归模型
最大似然估计法
定义：最大似然 估计法是一种基 于概率的参数估 计方法，通过最 大化样本数据的 似然函数来估计
参数。
原理：利用已知 样本数据和概率 分布函数，计算 出样本数据出现 的概率，然后选 择使得概率最大 的参数值作为估
参数估计的性质
无偏性
定义：参数估计量是 无偏估计时，其期望 值等于参数的真实值。
性质：无偏性是线性 回归模型参数估计的 最基本性质之一，是 评价估计量优劣的重 要标准。
证明：可以通过数学 推导证明无偏性，具 体过程可以参考相关 教材或论文。
应用：在回归分析中， 无偏性可以保证估计 的参数具有最小误差， 从而提高预测的准确 性和可靠性。
计值。
优点：简单易行， 适用于多种分布 类型的数据，具
有一致性。
局限：对样本数 据的要求较高， 当样本数据量较 小或分布不均时， 估计结果可能不
准确。
最小绝对误差准则
定义：最小化预测值与实际值之间的绝对误差
优点：对异常值不敏感，能够更好地处理数据中的噪声和异常值
缺点：可能导致模型过于复杂，过拟合数据 应用场景：适用于预测连续变量，尤其是当因变量和自变量之间的关系是 非线性的情况
行处理。
处理方法：包括 删除不必要的自 变量、合并相关 性较高的自变量、 使用其他模型等
方法。
模型预测与决策应用
预测未来趋势
利用一元线性回 归模型预测未来 趋势
模型参数估计的 方法和步骤
预测结果的解读 与决策应用
模型预测的局限 性及改进方法
制定决策依据
利用回归方程进行 预测
ห้องสมุดไป่ตู้
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二、预测值的置信区间
1、点预测 计量经济学模型的一个重要应用是经济预测。对于模型
yi = β0 + β1xi + ui ， i = 1,2,⋯, n
如果给定样本以外的解释变量的观测值 x f ，有
y f = β0 + β1x f + u f
因 x f 是前述样本点以外的解释变量值，所以 u f 和 ui (i = 1,2,⋯, n) 是不相关
^
在前面的课程中，我们已经知道，线性回归模型的参数估计量 β 是随机变量
∑ yi 的函数，即： βˆ1 = ki yi ，所以它也是随机变量。在多次重复抽样中，每次
的样本观测值不可能完全相同，所以得到的点估计值也不可能相同。现在我们用 参数估计量的一个点估计值近似代表参数值，那么，二者的接近程度如何？以多 大的概率达到该接近程度？这就要构造参数的一个区间，以点估计值为中心的一 个区间（称为置信区间），该区间以一定的概率（称为置信水平）包含该参数。
n
xf − x
(xi − x )2
⎟
⎟σˆ ⎟
2 u
⎟
⎝
i =1
⎠
y 根据置信区间的原理，得显著性水平α 下 f 的置信区间：
⎛ ⎜
⎜
⎜ yˆ f − tα ∗
⎜
2
⎜
⎝
（2.5.8）
⎛
⎞
∑ ⎜
⎜⎜1
+
1 n
+
⎜
n
xf − x
(xi − x )2
⎟
⎟⎟σˆ
2 u
⎟
,
⎝
i=1
⎠
yˆ f + tα ∗ 2
( ) 即回答 β1 以何种置信水平位于 βˆ1 − a, βˆ1 + a 之中，以及如何求得 a。
在变量的显著性检验中已经知道
^
t = βi − βi ~ t(n − k − 1)
s^
βi
(2.5.1)
这就是说，如果给定置信水平1 −α ，从 t 分布表中查得自由度为(n-k-1)的临界值
( ) tα ，那么 t 值处在 − tα 2 , tα 2 的概率是1 − α 。表示为 2
( ) 到被解释变量 y f 或其均值 E y f 以 (1 − α ) 的置信水平处于某区间的结论。
经常听到这样的说法，“如果给定解释变量值，根据模型就可以得到被解释
变量的预测值为……值”。这种说法是不科学的，也是计量经济学模型无法达到
的。如果一定要给出一个具体的预测值，那么它的置信水平则为 0；如果一定要
平处于以该估计值为中心的一个区间中。于是，又是一个区间估计问题。
2、区间预测
如果已经知道实际的预测值 y f ，那么预测误差为
e f = y f − yˆ f 显然， e f 是一随机变量，可以证明
E (e f ) = E (y f − yˆ f )
( ) ( ) = E β 0 + β1 x f + u f − E βˆ0 + βˆ1x f
本，利用（2.2.6）和（2.2.7）的计算公式，分别计算参数估计值。
表 2.2.1 有关数据表
.
.
^
^
^
年份 ED
FI
ED
FI
ED ED − ED (ED − ED) / ED
1991 708
3149
-551 -2351 734
-26
1992 793
3483
-466 -2017 804
-11
1993 958
的。引用已有的 OLS 的估计值，可以得到被解释变量 y f 的点预测值：
yˆ f = βˆ0 + βˆ1x f
(2.5.4)
但是，严格地说，这只是被解释变量的预测值的估计值，而不是预测值。原因在
于两方面：一是模型中的参数估计量是不确定的，正如上面所说的；二是随机项
的影响。所以，我们得到的仅是预测值的一个估计值，预测值仅以某一个置信水
计量的值为 413.58，也表示方程系数显著不为 0。
表一：Eviews 计算结果
Dependent Variable: ED Method: Least Squares Date: 09/21/02 Time: 16:22 Sample: 1991 1997 Included observations: 7
显然，参数 β1 的置信区间要小。
在实际应用中，我们当然希望置信水平越高越好，置信区间越小越
好。如何才能缩小置信区间？从（2.5.3）式中不难看出：（1）增大样本容量 n。
tα 在同样的置信水平下，n 越大，从 t 分布表中查得自由度为（n-k-1）的临界值 2 越小；同时，增大样本容量，在一般情况下可使估计值的标准差 Sβˆ 减小，因为
∑ ⎛
⎜ ⎜⎜1 + ⎜ ⎝
1 n
+
xf − x
n
(xi − x )2
i =1
⎞ ⎟
⎟⎟σˆ
2 u⎟⎠来自⎞ ⎟ ⎟ ⎟ ⎟ ⎟⎠
上式称为 y f 的个值区间预测，显然，在同样的α 下，个值区间要大于均值
区间。(2.5.7)和(2.5.8)也可表述为： y f 的均值或个值落在置信区间内的概率为
1 − α ，1 − α 即为预测区间的置信度。或者说，当给定解释变量值 x f 后，只能得
∑ σˆ
2 u
=
ei2 n−2
减小，因为式中分母的增大是肯定的，分子并不一定增大 。（2）更
∑ 主要的是提高模型的拟合优度，以减小残差平方和 ei2 。设想一种极端情况，
如果模型完全拟合样本观测值，残差平方和为 0，则置信区间长度也为 0，预测
区间就是一点。（3）提高样本观测值的分散度。在一般情况下，样本观测值越分
∑ EDt = 8812
t
∑ FIt = 38500
t
ED = 1259
FI = 5500
∑ FI
2 t
=
236869644
t
∑ FIt· EDt = 54078207
.
∑ FI t = 5612207
.2
∑ FI = 25119644
t
t
由电脑计算的参数估计值为
αˆ = −39.65, βˆ = 0.24
散，作为分母的 ∑ (xi − x )2 的值越大，致使区间缩小。置信水平与置信区间是矛
盾的。置信水平越高，在其他情况不变时，临界值 tα 越大，置信区间越大。如 2
果要求缩小置信区间，在其他情况不变时，就必须降低对置信水平的要求。
四、一元线性回归模型参数估计实例
为了帮助读者理解一元线性回归模型参数估计的原理，下面以我国国家财政文教科学卫
⎟
⎟σ ⎟
2 u
⎟
⎝
i =1
⎠
(2.5.5)
⎛
⎞
( ) ∑ D e f
⎜
=
⎜ ⎜
1
+
1 n
+
⎜
n
xf − x
(xi − x )2
⎟
⎟⎟σ
2 u
⎟
⎝
i =1
⎠
(2.5.6)
因 yˆ f 和 e f 均服从正态分布，可利用它们的性质构造统计量，求区间预测值。利
用 yˆ f 构造统计量为：
N yˆ f =
yˆ f − E(y f )
~ N (0,1)
⎛
⎞
∑ ⎜
⎜1 + ⎜n ⎜
n
xf − x
(xi − x )2
⎟
⎟σ ⎟
2 u
⎟
⎝
i =1
⎠
将
σ
2 u
用估计值
σˆ
2 u
代入上式，有
t yˆ f =
yˆ f − E(y f )
~ t(n − 2)
⎛
⎞
∑ ⎜
⎜ ⎜
1 n
+
⎜
n
xf − x
(xi − x )2
⎟
⎟⎟σˆ
2 u
⎟
⎝
i =1
⎠
( ) 这样，可得显著性水平α 下 E y f 的置信区间为
∑ ⎛
⎜ ⎜ ⎜ yˆ f −tα 2 ∗ ⎜ ⎜ ⎝
⎛
⎞
⎜
⎜ ⎜
1 n
+
⎜
n
xf −x
(xi − x)2
⎟
⎟⎟σˆ
2 u
⎟
,
⎝
i=1
⎠
∑ yˆ f + tα ∗ 2
⎛ ⎜ ⎜1 ⎜n ⎜ ⎝
+
xf −x
n
(xi − x)2
全部统计结果如下表。
从表中可看出，判定系数 R2 = 0.99，表示以国家财政收入额来解释国家文教科学卫生事 业费支出额，在 1991 至 1997 年间，拟合度相当理想。截距项α 的估计值对应的 t-统计量为 0.47，不能通过显著性检验，即不能推翻 α 为 0 的假设；而一次系数 β 的估计值对应的 t统计量为 20.34，不用查表即可知通过显著性检验，即 β 显著不为 0，因果关系成立。F-统
4349
-301 -1151 1001
-43
1994 1278 5218
19
-282 1196
82
1995 1467 6242
208
742 1424
43
1996 1704 7408
445
1908 1685
19
1997 1904 8651
645
3151 1963