第4章 一元线性回归模型

(y
或记为
i
y)
2
(y
i
ˆ 2 yi )
ˆ (y
i
y)
2
（4.5.2）
L
即
yy

Q

1
Q
2
总变差=剩余变差+回归变差
ˆ 等式右边的第二项 Q 2 称为回归变差（或称回归平方和） ，回归平方和反映了 y i 与 y i 的平均
值 y 之间的变差，这一变差由自变量 x 的变动而引起，是总变差中由自变量 x 解释的部分， 它的大小反映了自变量 x 的重要程度， 即反映了由于 x 与 y 的线性关系所引起的波动； 等式 右边的第一项 Q 1 称为剩余变差（或称残差平方和） ，它是由观测或实验中产生的误差以及其 他未加控制的因素引起的，反映的是总变差中未因变量 x 解释的部分。
(y (y
i
ˆ 2 y i ) min ˆ yi ) 0
（4.3.2） （4.3.3）
i
回归参数的估计值为：

n xi yi
i 1 n 2
n
x
i i 1 n i 1
n
n
yi
b
i 1 2
（4.3.4）
n xi ( xi )
i 1
n n

ˆ a
第四章 一元线性回归模型
第1节 引言
• 回归分析起源于生物学研究，是由英 国生物学家兼统计学家高尔登 （Francis Galton 1822-1911）在19 世纪末叶研究遗传学特性时首先提出 来的。 • 高尔登在1889年发表的著作《自然的 遗传》中，提出了回归分析方法以后， 很快就应用到经济领域中来，而且这 一名词也一直为生物学和统计学所沿 用。 • 回归的现代涵义与过去大不相同。一 般说来，回归是研究因变量随自变量 变化的关系形式的分析方法。其目的 在于根据已知自变量来估计和预测因 变量的总平均值。
第2节 一元线性回归模型及其假设条件
设 x 为自变量，y 为因变量，y 与 x 之间存在某种线性关系，即一元线性回归模型为：
y a bx u
（4.2.１）
式（4.4.１）中，x 代表影响因素，我们往往认为它是可以控制或预先给定的，故称之 为自变量或自变量；u 表示“非主要因素”的影响、随机变化、观测误差和模型数学形 式设定偏差等各种因素对 y 的影响的总和，通常称为随机扰动项；因变量 y 就是我们的 预测对象；常数 a, b 是待定的参数。给定（x，y）的 n 对观测值（xi，yi） i 1, 2 , , n ， ， 代入式（4.2.１）得
R ( n 2 )
，表明
两变量之间线性相关关系不显著，检验未通过。在这种情况下，回归
模型不能用来进行预测。 这时， 应分析其原因， 对回归模型重新调整。
2、F 检验法 构造 F 统计量
F
(y
i
2 ˆ ( yi y )
ˆ 2 y i ) /( n 2 )

Q2 Q 1 /( n 2 )
Cov ( u i , u j ) 0 , i j , i , j 1, 2 , , n
假设3： Cov ( u i , x i ) 0 , i 1, 2 , , n
第3节
模型参数的估计
• 估计模型的回归系数有许多方法，其中使用最 广泛的是最小二乘（OLS, Ordinary Least Square）法。
二、回归模型的种类
根据自变量的多少，回归模型可以分为一元回 归模型和多元回归模型。 根据回归模型的形式线性与否，回归模型可以 分为线性回归模型和非线性回归模型。 根据回归模型所含的变量是否有虚拟变量，回 归模型可以分为普通回归模型和带虚拟变量的 回归模型。 此外，根据回归模型是否用滞后的因变量 作自变量，回归模型又可分为无自回归现象的 回归模型和自回归模型。
y i a bx i u i ， 4.2.2）为一元线性回归模型。其中 ui, i 1, 2 , , n 为 u 的 n 个观测值。
一元线性回归模型的基本假设条件： 假设1： E ( u i ) 0 , i 1, 2 , , n 假设2： D ( u i ) u2 , i 1, 2 , , n
构造 t 统计量 t
ˆ (y
ˆ b S bˆ
（4.5.8）
其 中 S bˆ
ˆ b S bˆ
i
yi )
2 2
(n 2) xi

Q1 (n 2) xi
2
ˆ ， S bˆ 称 为 b 的样本标准差。可以证明
t
服从自由度为 （n－2） t 分布。 t 分布表得临界值 t / 2 ( n 2 ) 。 t> t / 2 ( n 2 ) ， 的 查 若
2、可决系数 R
2
R
2

回归变差 总变差

Q2 L yy
可决系数 R 的大小表明了在 y 的总变差中由自变量 x 变动所引起的回归变差所占的比 例，是反映变量 x 与 y 之间的线性相关关系密切程度的一个重要指标。根据上述定义，有
R
2
2

ˆ (y (y
i i
y) y)
2 2
(y 1 (y
i i
ˆ 2 y) y)
2
（4.5.3）
从式（4.5.3）可以看出， 0 R 1 。
2
3、相关系数 R 相关系数是可决系数的平方根， 它是一元线性回归模型中用来衡量两个变量之间线性相 关关系强弱程度的重要指标。相关系数有两种定义方法： （1） 根据总变差定义，
R ˆ (y (y
ˆ 1、点估计值 y 0 的统计性质
1 ˆ y 0 ～ N a bx 0 , n
yi
i 1
ˆ b
x
i 1
i
ˆ y bx
（4.3.5）
n
n
其中 x x ， y n n
i i 1
1
n
1
n
yi
i 1
第4节 估计量的统计特性
ˆ ˆ • 最小二乘估计量 a , b 具有线性、 无偏性和最小方差性等良好的性 质。线性、无偏性和最小方差性 统称BLUE性质。满足BLUE性质的 ˆ ˆ 估计量 a , b 称为BLUE估计量。
ˆ ˆ ˆ 量 x i ，由式（4.3.1）可得到一个估计值 y i a b x i 。所谓最佳估计，就是要求估计值与实
际值的偏差达到最小。
ˆ y i 与 y i 之差称为估计误差（离差）或称为残差，记为 e i ，即 ˆ ei y i y i
最小二乘法的中心思想，是为观测值（ x i , y i ） i 1, 2 ,..., n ）配合一 （ 条较为理想的回归直线。这条回归直线应满足下列两点要求： （1）原 观测值与模型估计值的离差平方和为最小； （2）原观测值与模型估计 值的离差总和为 0。这两点可以用公式表示如下：
设
ˆ ˆ ˆ yi a bxi
（4.3.1）
ˆ ˆ 为由一组观测值 x i , y i ） i 1, 2 ,..., n ） （ （ 得到的回归直线， 通常称为样本回归直线。 其中 a , b
ˆ ˆ 分别为 a, b 的估计值，称 b 为回归系数。式（4.3.1）中 y i 为 y i 的估计值，对于每一个自变
（Francis Galton 1822-1911）
一、回归分析和相关分析
（1）函数关系。函数关系反映客观事物 之间存在着严格的依存关系。在这种关 系中，当一个或几个变量取值一定时， 另一个变量有确定的值与之相对应，并 且这种关系可以用一个确定的数学表达 式反映出来。 一般把作为影响因素的变量称为自 变量，把发生对应变化的变量称为因变 量。
•
相关分析是以相关关 系为对象，研究两个或 两个以上随机变量之间 线性依存关系的紧密程 度。通常用相关系数表 示，多元相关时用复相 关系数表示。
回归分析
• 回归分析是对具有相关关系的变量 之间的数量变化规律进行测定，研究某 一随机变量（因变量）与其他一个或几 个普通变量（自变量）之间的数量变动 关系，并据此对因变量进行估计和预测 的分析方法。由回归分析求出的关系式， 称为回归模型。
（4.5.7） 可以证明 F 服从第一自由度为 1，第二自由度为 n－２的Ｆ分布。 对给定的显著性水平 ，查Ｆ分布表可得临界值 F (1, n 2 ) 。 若Ｆ> F ，则认为两变量之间线性相关关系显著；反之，若Ｆ 则认为两变量之间线性相关关系不显著。
F
，
3、t 检验法
t 检验法是检验 a, b 是否显著异于０的方法。我们以对 b 检验为例来说明 t 检验法的 步骤。
因为 L yy

(y
i
y)
2
[( y
i
2 ˆ ˆ y i ) ( y i y )]
(y
i
ˆ 2 yi )
ˆ (y
i
2 ˆ ˆ y ) 2 ( y i y i )( y i y )
其中交叉相乘项等于零，所以总变差可以分解成两个部分，即
i i
y) y)
2 2

(y 1 (y
i
i i
ˆ 2 y) y)
2
（4.5.4）
（2）根据积差法定义，
R
(x (x
i
x )( y i y )
2 2
x ) ( yi y )
（4.5.5）
由于根据积差法定义的相关系数不需要先求回归模型的剩余变差，可以直接从样本数 用积差法计算相关系数计算量比较大，因此根据平均数的数学性质可将其简化为：