补充：线性回归与方差分析

解 根据这11个样本数据点 （xi,yi）作出散点图（图5-3）.
从散点图上看出，这些数据 点在一条曲线L周围. 图5-3
根据有关的专业知识，结合散点图，可以认为 曲线L大致为：
y e


x
( , 0)
对上式两边取对数：
1 ln y ln x
令 y ln y
在实际问题中，事先我们并不能断定Y与x确有线 性关系，Y=a+bx+ 只是一种假设. 当然，这个假设不是没有根据的，我们可以通过 专业知识和散点图来作出粗略判断. 但在求出经验回归方程后，还需对这种线性回归 方程同实际观测数据拟合的效果进行检验. 下面说明这一检验的方法.
若假设Y=a+bx+ 符合实际，则b不应为零
第5章 线性回归分析与方差分析
§5.1 §5.2 §5.3 §5.4 一元线性回归分析 可线性化的非线性回归 多元线性回归简介 方差分析
§5.1
一元线性回归分析
在许多实际问题中，我们常常需要研究 多个变量之间的相互关系。 一般来说，变量之间的关系可分为两类： 一类是确定性关系，确定性关系是指变量之间 的关系可以用函数关系来表达，例如电流I电 压V电阻R之间有关系式V=IR。 另一类是非确定性关系，有些变量之间的关系 是非确定性的关系，这种关系无法用一个精 确的函数式来表示。
y
500 400 300 200 100
* * *
20 40 60 80 100
*
L
* *
*
这就是所谓的 一元线性回归模型
x
* o *
120
图5-1
一般地，假设x与Y之间的相关关系可表示为 (1) Y a bx 其中：a, b为未知常数 为随机误差且 ~ N (0, 2 ) 2 未知，
x与Y的这种关系称为一元线性回归模型 y=a+bx称为回归直线 b称为回归系数
此时
Y ~ N (a bx, 2 )
yi a bxi i i 1, , n 2 ~ N ( 0 , ) 1 , , n相互独立 i
对于（x, Y）的样本（x1，y1），…，（xn，yn）有：
ˆ 与 ˆ 2 独立 且b
ˆ b
因而 T

n
2 ( x x ) i i 1
n
~ t ( n 2)
2
ˆ2 /n2
故 P | T | t (n 2) 2
为显著性水平
即得H0的拒绝域为
| T | t (n 2)
2
2．相关系数检验法
经整理后得到
n n na xi b bi i 1 i 1 n n n 2 x a x i i b x i y i i 1 i 1 i 1
（2 ）
式（2）称为正规方程组.
因此，在接受H0的同时，需要进一步查明原因分 别处理，此时，专业知识往往起着重要作用.
四、预测
当经过检验发现回归效果显著时，通过回归模型可 对Y的取值进行预测. 即当x=x0时，对Y作区间估计.
设当x=x0时Y的取值为y0，有
y0 a bx0 0
可以取经验回归值
0 ~ N (0, 2 )
其中yi是x=xi时随机变量Y的观测结果.将n对观测结 果（xi，yi）（i=1,…,n）在直角坐标系中进行描点， 这种描点图称为散点图.散点图可以帮助我们精略 地看出Y与x之间的某种关系.
例1 对某广告公司为了研究某一类产品的广告费x 用与其销售额Y之间的关系，对多个厂家进行调 查，获得如下数据
由正规方程组解得
ˆ b
(x
i 1 n
n
i
x )( y i y )
2 ( x x ) i i 1
ˆx ˆ y b a
其中
1 n 1 n x xi , y y i n i 1 n i 1
ˆ 分别称为a、b的最 用最小二乘法求出的估计 a ˆ、 b 小二乘估计 ˆx y b ˆ( x x ) ˆa ˆ b 此时，拟合直线为 y
画出散点图如图5-1所示.从图中可以看出， 随着广告投入费x的增加，销售额Y基本上也呈上 升趋势，图中的点大致分布在一条向右上方延伸 的直线附近.但各点不完全在一条直线上，这是由 于Y还受到其他一些随机因素的影响. 这样，Y可以看成是由两部分叠加而成，一部 分是x的线性函数a+bx，另一部分是随机因素引起的 误差 ，即 Y=a+bx+
取检验统计量
R
源自文库(x
i 1 n i 1
n
i
x)(Yi Y )
2 2 ( Y Y ) i i 1 n
( xi x)
相关系数检验法 是工程技术中广 泛应用的一种检 验方法
通常称R为样本相关系数.
类似于随机变量间的相关系数，R的取值r反映了自 变量x与因变量Y之间的线性相关关系. 可以推出:在显著性水平 下,当 | r | r 时拒绝H0 其中临界值 r在附表中给出
ˆ 对于估计量 a 、 ˆ、 b ˆ 2 的分布，有：
定理1 （1）
（2）
n 2 2 x1 ˆ ~ N a, n i 1 a 2 n ( xi x) i 1 2 ˆ ~ N b, b n 2 ( xi x ) i 1
ˆ ，使得 ˆ, b a
图5-2
为了求Q（a, b）的最小值，分别求Q关于a， b的偏导数，并令它们等于零：
n a Q(a, b) ( y i a bxi )(2) 0 i 1 n Q ( a, b) ( y i a bxi )(2 xi ) 0 i 1 b
厂 家 1 6 31 2 10 58 3 21 124 4 40 220 5 62 299 6 62 190 7 90 320 8 100 406 9 120 380 广告费 销售额
广告费与销售额之间不可能存在一个明确的函 数关系，事实上，即使不同的厂家投入了相同的 广告费，其销售额也不会是完全相同的。影响销 售额的因素是多种多样的，除了广告投入的影响， 还与厂家产品的特色、定价、销售渠道、售后服 务以及其他一些偶然因素有关。
例如，农作物的单位面积产量与施肥量之间 有密切的关系，但是不能由施肥量精确知道单位 面积产量，这是因为单位面积产量还受到许多其 他因素及一些无法控制的随机因素的影响。 又如，人的身高与体重之间存在一种关系，一 般来说，人身高越高，体重越大， 但同样高度的人，体重却往往不同。这种变量 之间的不确定性关系称之为相关关系。 对于具有相关关系的变量，虽然不能找到他们之间 的确定表达式，但是通过大量的观测数据，可以发 现他们之间存在一定的统计规律， 数理统计中研究变量之间相关关系的一种有效方法 就是回归分析。
n 2 2 ˆ ~ (n 2) （3） 2
ˆ （4） 独立。 ˆ 、b ˆ 2 分别与 a
例2 在例1中可分别求出a、b、 2的估计值为：
ˆ 0.323 b
ˆ 4.37 a
2 ˆ 4.064
故经验回归直线为： Y=4.37+0.323x
三、线性回归的显著性检验
当n很大且x0位于 x 附近时，有
t (n 2) u
2 2
x0 x
n 1 n2
于是y0的置信概率为 1 的预测区间近似为
ˆ 0 u ˆ, y ˆ 0 u ˆ) (y
2 2
例3 检验例2中的回归效果是否显著，当x0=80时， 求出Y0的预测区间。( 0.05) 解 经计算 查表，得 t0.025（9）=2.26 r0.05=0.602 T=16.9 r=0.98
当假设 H 0 : b 0 被拒绝时，就认为Y与x存在线性 关系，从而认为回归效果显著；
若接受H0，则认为Y与x的关系不能用一元线性回 归模型来描述，即回归效果不显著. 此时，可能有如下几种情形：
（1）x对Y没有显著影响； （2）x对Y有显著影响，但这种影响不能用线性相关关系 来描述； （3）影响Y取值的，除x外，另有其他不可忽略的因素.
( y0 ( x0 ), y0 ( x0 ))
其中
n 1 ( x0 x) 2 ˆ 1 n ( x0 ) ˆ t (n 2) n2 n 2 2 ( xi x )
i 1
可以看出在x0处y的置信区间的长度为 2 ( x0 ) 当 x0 x 时置信区间的长度最短，估计最精确， 置信区间愈长，估计的精度愈差。
ˆx ˆ0 a ˆ b y 0
作为y0的预测值.可以证明
T ˆ0 y0 y n 1 ( x0 x) 2 ˆ 1 n n2 n 2 ( x x ) i
i 1
~ t (n 2)
从而可得
P | T | t (n 2)
2
1
所以，给定置信概率 1 ，Y0的置信区间为
例1 在彩色显像技术中，考虑析出银的光学密度x与形 成染料光学密度Y之间的相关关系，其中11个样本 数据如下所示：
xi yi 0.05 0.10 0.06 0.14 0.07 0.23 0.10 0.37 0.14 0.59 0.20 0.79 0.25 1.00 0.31 1.12 0.38 1.19 0.43 1.25 0.47 1.29
因为如果b=0，则Y=a+

意味着Y与x无关
所以Y=a+bx是否合理，归结为对假设： H0: b=0 进行检验 下面介绍检验假设H0的二种常用方法.
H1 : b 0
1．t检验法
若H0成立，即b=0，由定理7.1知，
ˆ b

2 ( x x ) i i 1
n
~ N (0,1)
n
2
2 2 ˆ ~ (n 2)
ˆ， 如果由样本得到式（1）中，a, b的估计值 a ˆ, b ˆx为拟合直线或经验回归直线，它 则称 y ˆ a ˆ b 可作为回归直线的估计
一元线性回归主要解决下列一些问题： 2进行估计； （1）利用样本对未知参数a、b、 （2）对回归模型作显著性检验； （3）当x=x0时对Y的取值作预测，即对Y作区间 估计.
一、 一元线性回归模型
假定我们要考虑自变量x与因变量Y之间的相关关系 假设x为可以控制或可以精确观察的变量，即x为普 通的变量。由于自变量x给定后，因变量Y并不能确 定，从而Y是一个与x有关的随机变量 我们对于可控制变量x取定一组不完全相同的值x1， …，xn，作n次独立试验，得到n对观测结果：
（x1,y1） ，（x2,y2），…，（xn, yn）
下面再用矩法求 2的估计 由于 2
n 1 2 2 2 D E 由矩估计法，可用 E 估计 n i i 1
而i
yi a bxi
ˆ代入 ，a、b分别由 a ˆ 、b
n 1 2 2 2 ˆ ˆ ˆ 故 可用 ( yi a bxi ) 作估计 n i 1
二、 参数a、b、 2 的估计
现在我们用最小二乘法来估计模型（1）中的 未知参数a,b. 记 Q Q(a, b) i2 ( yi a bxi ) 2
i 1 i 1 n n
称Q(a, b)为偏差平方和 最小二乘法就是选择a，b的估计 Q(a, b)为最小（图5-2）
易见，t检验法、相关系数检验法都拒绝H0， 即回归效果显著。
ˆ 0 31.21 于是，当x0=80时，y0的预测值为 y
y0的95%的预测区间为（24.73，35.69）
§5.2 可线性化的非线性回归
在实际问题中，常常会遇到这样的情形：散 点图上的几个样本数据点明显地不在一条直线附 近，而在某曲线周围： 或者，用线性回归方程描述变量间的关系计 算的结果与样本值误差较大，这表明变量之间不 存在线性相关关系，而是一种非线性的相关关系. 下面举例说明对这类问题用线性化处理的方法。