统计学第8章回归分析

8.5 F检验
表 8.2 方差来源 回 误 总 归 差 计 平方和
SSR SSE SST
方差分析表 自由度
1
均方
MSR MSE
F
n2 n 1
MSR MSE
—
—
8.6 回归预测
8.6.1 E yi 和 yi 的点估计 预测有两种情形， 第一种情形是用自变量的值来预测因变量的均值 第二种情形是用自变量的值来预测因变量的个别值 两种情形下的点估计值是一样的
8.3估计的回归方程
ˆ Q yi yi
2 i 1 i 1 n n

ˆ ˆ y i 0 1 xi
为最小值。
2
这就是最小平方法的基本思想。
ˆ ˆ 根据微积分的极值原理， 0 与 1 在满足下列方程组时，上式中的距离平
n Q ˆ ˆ ˆ 2 yi 0 1 xi 1 0 方和可以取得最小值，即： 0 i 1 n Q 2 ˆ ˆ yi 0 1 xi xi 0 ˆ i 1 1




n n yi nˆ0 ˆ1 xi i 1 i 1 稍作整理，可得方程组： n n n 2 xy ˆ ˆ xi 1 xi 0 i i i 1 i 1 i 1
8.4 判定系数
所有样本点的残差的平方和是一个最小化的量， 我们把这个最小化的量称 为残差平方和或称误差平方和，记作 SSE ，即：
2
（3） i 服从正态分布，即 i～N 0, （4） i 相互独立。

2
；
8.2 回归模型与回归方程
8.2.2 回归方程
由于 E i 0 ，因此将回模型两边同时取数学期望，立即可得：
E yi 0 1 xi
上式被称作简单线性回归方程，表明 yi 的期望值 E yi 是 x i 的线性函数。其中： 0 为直 线的截距； 1 为直线的斜率。 由于 yi 的取值是在确定的线性函数值 0 1 xi 的上面，再加上一个误差项随机变量 i 来决 定的，因此 yi 也是一个随机变量，其随机性完全由 i 的随机性来决定。 i 的方差为 ，这同时
体上是沿着一条直线，随着另一个变量取值的变化而变化，
则称两者之间具有线性相关关系。
★ 如果是沿着一条曲线，则称两者之间是非线性相关关系， 或称曲线相关关系。
8.1相关系数
★ 在线性相关关系中，如果两个变量变动方向相同，即一个
变量的取值增加，另一个变量的取值也随之增加，或一个
变量的取值减少，另一个变量的取值也随之减少，则称两 个变量之间具有正的线性相关关系。
部家庭，其平均月日用杂货支出在 742.44 元与 1252.83 元之间，
8.6 回归预测
8.6.3 yi 的区间估计
将
2 2 ˆ yi 关 于 yi 的 方 差 记 作 ind ， 根 据 方 差 定 义 有 ： ind E yi yi 2 ， 即 ： ˆ
2 2 ˆ ˆ ˆ ˆ ind E 0 1 xi 0 1 xi i E 0 0 1 1 xi i
2 2
一个是运用残差平方和除以其自由度来估计 ，这个估计量称作均方误差，记作 MSE ；
2
另一个是运用回归平方和除以其自由度来估计 ，这个估计量称作均方回归，记作 MSR 。
2
残差平方和的自由度是样本容量减去 1 再减去问题中自变量的个数 p ，即 n p 1 n 2 ；回归平 方和自由度就是问题中自变量的个数 p ，在简单线性回归分析中 p 1 。
★ 如果两个变量的变动方向相反，即一个变量的取值增加，
另一个变量的取值随之减少，或一个变量的取值减少，另
一个变量的取值随之增加，则称两个变量之间具有负的线 性相关关系。
8.1相关系数
（A）正线性相关
（B）负线性相关
（C）完全正线性相关
（D）完全负线性相关
（E）非线性相关
（F）不相关
图 8.2 相关关系的类型
8.4 判定系数
0 SSR SST ，因此进一步则有 0 SSR SST 1 。我们
将这个比值称为判定系数，记作 r ，即：
2
SSR r SST
2
判定系数 r 2 可以帮助我们评价估计的回归方程对样本 数据拟合效果的好坏，r 2 越接近于 1，表明估计的回归方程 对样本数据的拟合效果越好；越接于 0 表明拟合效果越差。
y ˆ
i
的值是未知的，因此 y 也是未知的。前面提到过， MSE 是 ˆ
2
i
2
的无偏估计，为
表述方便这里将它记为 s 2 。以 s 2 估计
2
，从而得出 y 的估计量为： ˆ
2
i
xi x 2 2 2 1 s yi s n ˆ n xi x 2 i 1
第8章
回归分析
引例8
表 8.1
家庭序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
40 户家庭“每月日用杂货支出”与“月收入”的样本数据
y x
月支出（元） 1148 489 1208 1065 1015 1125 1206 613 661 606 541 1083 839 1090 1217 555 458 647 592 676
8.1相关系数
★ 8.1.1散点图与相关关系
1400
1200
月 支 出 （ 元 ）
1000
800
600
400 4000 5000 6000 7000 月收入（元） 8000 9000 10000
图 8.1 “月支出”与“月收入”样本数据散点图
8.1相关系数
★ 相关关系可以区分为不同的类型。如果一个变量的取值整







2
。可得：
2 ind
2 1 x x 2 1 n i 2 n xi x i 1
2 2 并可得 ind 的估计量 s ind 为：
i 1
家庭，其平均月日用杂货支出的估计区间，则有： yi 997.635 元， t 2 t 0.005 2.763，并有： ˆ
s yi 247.908 ˆ
1 8000 6834 68 . 92.36 40 119364320. 78
2
于是有： 997.635 2.763 92.36 ，即 997 .635 255 .19 。所以，月收入水平为 8000 元的全
ˆ SSE yi yi
i 1 n 2
所有总离差的平方和被称为总离差平方和或称总平方和，记作 SST ，即：
SST yi y
i 1 n 2
所有回归离差的平方和称为回归平方和，记作 SSR ，即：
ˆ SSR yi y
i 1 n 2
SST SSE SSR
ˆ yi E yi s yi ˆ
于是可得 E yi 在显著性水平 下的置信区间为：
ˆ yi t 2 s yi ˆ
8.6 回归预测
例 子 ： n 40
n
、
s s 2 61458.189 247.908 、 x 6834.68 、
xi x 2 119364320. 。如果要在 0.01 的显著性水平下，做出月收入为 8000 元的全体 78
8.2 回归模型与回归方程
8.2.1 回归模型
假定自变量 x 与因变量 y 在总体上存在着线性相关关系，我们就可以用下面的等式来模拟 x 与 y 之间的这种线性相关关系：
yi 0 1 xi i
这个等式称为 x 与 y 的简单线性回归模型。 模型中，因变量 y 的第 i 个取值 yi 是以自变量 x 的第 i 个取值 x i 为自变量的线性函数值
2 3、 0 1 xi 再加上一个 i 。其中， i 1、、 、 ； 0 和 1 分别为线性函数的截距和斜率，称
作模型参数。
8.2 回归模型与回归方程
8.2.2 回归方程
为使我们的分析更富于成效，必须对模型中的误差项随机变量 i 的概率分布情况做出如下假 定： （1） i 是期望值为零的随机变量，即 E i 0 ； （2） i 的方差是相等的，即在自变量 x 的不同取值 x i 下，对应的误差项随机变量 i 的方差都是 相同的，可记作 ；
8.5 F检验
可以构造如下统计量以检验 1 0 的假设是否成立。
F
MSR MSE
根据回归模型中关于 i 的正态性假设， 不难推出该统计量应服从分子自由度为 1， 分母自由度为 n 2 的 F 分布。给定一个显著性水平 ，如果 F F ，则拒绝 1 0 的原假设，这表明我们可以在 1 的 把握程度上推断总体中 y 与 x 两个变量之间存在线性相关关系。否则，没有理由拒绝原假设。
y
月收入（元） x 8882 4558 9053 8094 8414 8925 9862 4856 4899 5304 5943 7242 7540 8989 9138 4388 4793 4856 5346 6603
家庭序号 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
8.5 F检验
在回归方程 E yi 0 1 xi 中， y 与 x 之间在总体中存在线性相关关系的充要条件是 1 0 。 在回归模型中，我们曾假定在自变量 x 的不同取值 x i 下，对应的误差项随机变量 i 的方差是相同的， 都是 。如果要根据样本数据来估计 ，统计上存在着两个估计量。