第一节：回归分析

回 归 分 析一切运动着的事物都是相互联系、相互制约的，从而描述事物和事物运动的变量之间也是相互联系、相互制约的。

变量之间的相互关系，可分为两类：一类叫做确定性关系，也叫做函数关系，其特征是一个变量随着其他变量的确定而确定。

例如圆面积S 与半径r 之间的关系2S r π=。

另一类关系叫做相关关系，这类关系的特征是：变量之间的关系很难用一种精确的方法表示出来。

例如，人体的身高与体重之间有一定的关系，但是由身高不能精确地计算出体重，由体重也不能精确地计算出身高。

不过，需要指出的是：确定性关系与相关性关系之间没有一道不可逾越的鸿沟。

由于存在测量误差等原因，确定性关系在实际问题中往往通过相关关系表示出来。

另一方面，当对事物内部的规律了解的更加透彻时，相关关系也可以转化为确定性关系。

回归分析就是处理变量之间的相关关系的一种数学方法。

它是最常用的数理统计方法，能解决预测、控制、生产工艺优化等问题。

在工农业生产和科学研究各个领域中均有广泛应用。

回归分析一般分为线性回归分析和非线性回归分析。

本章着重介绍线性回归分析，它是两类回归分析中较简单的一类，也是应用的较多的一类。

第一节 一元线性回归一、数学模型一元线性回归分析的基本模型为ε++=bx a y (1)其中未知参数b a ,称为回归系数，自变量x 也称为回归变量。

ε是随机误差项，总是假设ε～N (0, 2σ)。

（1）式两边同时取期望得：bx a Y +=，称为y 对x 的回归直线方程。

在该模型下，第i 个观测值可以看作样本i i i bx a Y ε++=（这些样本相互独立但不同分布）的实际抽样值，即样本值。

一元线性回归分析的主要任务是：（i ）建立因变量y 与自变量x 之间的回归模型； （ii ）用样本值对b a ,和σ作点估计； （iii ）对回归系数b a ,作假设检验；（iv ）在0x x =处对y 作预测，并对y 作区间估计。

二、模型参数估计有n 组独立观测值（x 1，y 1），（x 2，y 2），…，（x n ，y n ）设n i bx a Y i i i ,...,2,1,=++=ε， i ε～N (0, 2σ)且n εεε,...,,21相互独立 记 ()∑∑==--===ni i i ni ibx a y b a Q Q 1212),(ε最小二乘法就是选择a 和b 的估计值aˆ，b ˆ使得 ),(min )ˆ,ˆ(,b a Q b aQ ba = 为此，将上式分别对b a ,求偏导数，根据极值存在的必要条件，得⎪⎪⎩⎪⎪⎨⎧=---=∂∂=---=∂∂∑∑==ni ii i ni i i bx a y x bQ bx a y a Q11)(20)(2 整理后得到下面的方程组⎪⎪⎩⎪⎪⎨⎧=+=+∑∑∑∑∑=====ni i i n i n i i i ni i n i i y x x b x a y x b na 111211 此方程组称为正规方程。

解上方程组并用b aˆ,ˆ取代b a ,，得 ⎪⎩⎪⎨⎧--=-=22ˆˆˆx x y x xy b x by a 或()()()∑∑==---=ni ini i ix xy y x xb121ˆ其中∑==n i i x n x 11,∑==n i i y n y 11∑==n i i x n x 1221,∑==n i i i y x n xy 11。

用这种方法求出的估计值b a ˆ,ˆ称为b a ,的最小二乘估计，简称LS 估计。

（经验）回归方程为：)(ˆˆˆˆx x b y x b a y-+=+= 三、一元线性回归模型的检验一元线性回归分析模型的检验分为拟合程度检验和显著性检验，它是利用统计学中的抽样理论来检验回归方程的可靠性。

（一）一元线性回归方程拟合程度的评价所谓拟合程度，是指样本观测值聚集在样本回归线周围的紧密程度。

判断回归模型拟合程度大小的最常用指标是判定系数2r 和估计标准误差。

这两个指标都是建立在对总离差平方和进行分解的基础上的。

对于任一样本观测点，因变量的实际观测值与其样本均值的离差即总离差）（y y -可以分解为两部分：一部分是因变量的回归值与其样本均值的离差）（y y -ˆ，它可以看成是总离差中能够由回归直线解释的部分，称为可解释离差；另一部分是实际观测值与回归值的离差）（y y e ˆ-=，它是总离差中不能由回归直线加以解释的残差，该残差可以看作是回归模型中随机误差项ε的一个估计。

对任意一实际观察值i y 总有：)ˆ()ˆ(y y y yy y -+-=-）（ 对于全部样本观测点，可以证明有如下关系式成立：∑∑∑===-+-=-ni ni i i n i i iy y y yy y 112122)ˆ()ˆ(）（如果记∑=-=n i i y y SST 12）（,∑=-=n i i y ySSR 12)ˆ(,∑=-=ni i i y y SSE 12)ˆ(，则有： SSE SSR SST +=上式中：SST 是总的离差平方和（或总变差）；SSR 是由回归直线可以解释的那一部分离差平方和，称为回归平方和（或回归变差）；SSE 是用回归直线无法解释的离差平方和，称为剩余平方和（剩余变差）。

显然，各点观测值与直线越靠拢，回归变差占总变差的比重就越大，说明直线拟合得就越好。

1. 判定系数2r我们把回归平方和与总离差平方和之比定义为样本判定系数，即∑∑--==222)()ˆ(y yy y SSTSSRr ii判定系数2r 是一个回归直线与样本观测值拟合优度的指标。

2r 的值总是在0和1之间。

一个线性回归模型如果充分利用了x 的信息，则2r 越接近于1，拟合优度就越好。

反之，如果2r 不大，说明以模型中给出的x 对y 的信息还不充分，应进行修改，使x 和y 的信息得到充分的利用。

2．回归标准差如上所述，从观测值y 与估计值yˆ的对比来看，回归直线上的各点同对应的观测值各点之间，均存在一定的离差，即观测值曲线上各点的y 值均偏离回归直线。

离差越大，拟合程度越差。

因而需要测定估计值的标准差，而回归标准差s 就是用来估量y 值在回归直线两侧的离差程度，以便在进行实际预测时为预测值建立一个置信区间范围。

回归标准差的计算公式为：2)ˆ(2--=∑n yys i iyy s 值越小，表明回归直线拟合程度越好。

（二）一元线性回归方程的显著性检验回归分析中的显著性检验包括三个方面的内容：一是对各回归系数的显著性检验（t 检验）；二是对回归方程整体的显著性检验（F 检验）；三是x 与y 之间线性相关程度的检验（r 检验）1．t 检验t 检验的目的在于检验各回归系数的显著性，即x 与y 之间是否真正存在线性关系，具体表现为回归系数是否为0。

若为0，则所求回归直线就为一条水平线，x 与y 之间无线性关系；若不为0，认为x 与y 之间存在线性关系，所建立的回归方程符合变量间的变化规律。

t 检验的步骤如下：（1） 假设观测的样本来自没有线性关系的总体，即：00=b H ： 01≠b H ：（2）计算回归系数b 的检验统计量t 值：bs b bt -=ˆ式中，b s 为回归系数b 的标准差，其计算公式为：∑-=22)(x x s s yby s 为回归估计标准误差，计算方法是：2)ˆ(2--=∑n yys i iy（3）根据给定的显著性水平α和自由度）（2-n ，查t 分布表，可得相应的临界值2αt 。

（4）决策：若2αt t b >，则拒绝0H ，得到0≠b 的结论； 若2αt t b ≤，则不能拒绝0H 。

2．F 检验F 检验的目的在于检验所得到的线性回归方程在整体上是否显著成立，进一步检验x 与y 之间是否存在线性关系。

其检验步骤如下：（1）假设回归方程是不显著的，即：0H ：方程不显著 1H ：方程显著（2）计算回归方程的F 统计量：∑∑---=2ˆ1ˆ22n y y y y F ）（）（ （3）根据给定的显著性水平α，分子自由度1和分母自由度）（2-n ，查F 分布表中相应的临界值αF 。

（4）决策：若αF F ＞，则拒绝原假设0H ，说明回归方程显著；若αF F ≤，则不能拒绝原假设0H ，x 与y 之间的关系不明显或无关系，说明回归方程不显著。

3．r 检验我们已经提到，如果回归变差占总变差的比重就越大，说明直线拟合得就越好，记∑∑∑===----=ni ni iini i iy yx xy y x xr 11221)()())((（或∑∑--==22)()ˆ(y yy y SSTSSRr ii ）称为样本相关系数，简称为相关系数。

故统计量r 可用来刻画x 与y 之间线性相关的密切程度，也可用来检验假设00=b H ：，其检验方法称为r 检验法。

四、运用回归方程进行估计和预测如果我们利用最小二乘法原理，得到变量x 与y 之间的简单线性回归方程，并且证明了x 与y 之间在统计上具有显著的关系，那么由估计的回归方程给出的对样本数据的拟合，在我们看来就是一个好的拟合。

我们利用估计的回归方程进行估计和预测，应该是合适的。

将已判断出的未来的自变量x 的值代入预测模型，就可以算出预测值。

预测值的置信区间，就是在一定的概率下，估计预测值的范围，或它的上下限。

从理论上讲，如果观测值数据越多，即样本越大，则可用回归标准差来判断预测值的置信区间。

其公式为：y t s t y2ˆα± 对于小样本，即30≤n 时，估算预测值的置信区间，应引入一个校正系数220)()(11∑--++x x x x n ，则置信区间为 2202)()(11ˆ∑--++±x x x x n s t yy t α 五、可线性化的一元非线性回归（曲线回归）例：出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀，容积不断增大.我们希望知道使用次数与增大的容积之间的关系.对一钢包作试验，测得的数据列于下表：将15,...,2,1),,(=i y x i i 画出散点图，这些点分布在一条曲线附近。

从下图可以看出，开始时侵蚀速度快，然后逐渐减慢，而点的分别逐渐接近于一条平行于x 轴的直线，因此钢包容积不会无限增加。

显然将此例看作一元线性回归是不合适的，此即非线性回归或曲线回归问题（需要配曲线）配曲线的一般方法是：先对两个变量x 和y 作n 次试验观察得n i y x i i ,...,2,1),,(=画出散点图，根据散点图确定须配曲线的类型.然后由n 对试验数据确定每一类曲线的未知参数a和b 。

采用的方法是通过变量代换把非线性回归化成线性回归，即采用非线性回归线性化的方法。

通常选择的六类曲线如下： （1） 双曲线xba y +=1。

（2）幂函数曲线b ax y =, 其中0,0>>a x 。