回归分析理论

回归分析第一节回归分析的意义一、什么是回归分析回归分析是根据一个已知变量来预测另一个变量平均值的统计方法。

回归与相关之间既存在着密不可分的关系，也有本质的区别。

从关系看，若两变量无相关时（即r=0），则不存在预测的问题；若两变量存在关系，那么相关程度愈高，误差愈小，预测的准确性越高。

当变量完全相关时（即r=1），意味着不存在误差，其预测将会完全准确的。

从区别看，一是相关表示两个变量双方向的相互关系，回归只表示一个变量随另一个变量变化的单方向关系。

二是回归中有因变量和自变量的区分，相关并不表明事物的因果关系，对所有的研究变量平等看待，不作因变量、自变量的区分二、回归分析的内容通过回归分析主要解决以下几个问题：（1）确定几个变量之间的数学关系式。

（2）对所确定的数学关系式的可信程度进行各种统计检验，并区分出对某一特定变量影响较为显著的变量和影响不显著的变量。

（3）利用所确定的数学关系式，根据一个或几个变量的值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确度。

回归分析内容：（一）建立回归方程（二）检验方程的有效性（三）利用方程进行预测（四）进行因素分析第二节一元线性回归方程的建立一、一元线性回归意义一元线性回归是指只有一个自变量的线性回归（linear regression），对具有线性关系的两个变量，回归的目的首先是找出因变量（一般记为Y）关于自变量（一般记为X）的定量关系。

如例11-1：10位大一学生平均每周所花的学习时间及他们期末考试成绩。

观察数据我们可以发现两者之间呈正相关，不过更直接的方法是绘制散点图，即分别用两列变量做横、纵轴，描点。

若它们的分布在一条带状区域，就预示着两列变量之间有相关，如图11-1所示。

若没有随机误差的影响，这些点将落在一条直线上，这条直线称回归线（regression line），它是描述因变量Y关于自变量X关系的最合理的直线。

图11-1 两列变量的关系图二、一元线性回归方程Y a bX =+因回归表示两个变量单方向的推算关系，所以既可以用X 去预测Y ，也可以用Y 去预测X 。

因此，回归方程有两个。

以X 为自变量预测因变量Y 时，方程为 XY XY a X b Y +=ˆ以Y 为自变量预测因变量X 时，方程为 XY XY a Y b X +=ˆ三、b 和a 的求解原则和方法 （一）最小二乘法建立一个线性回归方程实际上就是确定一条直线，也就是求公式中的两个常数——截距a 和回归系数b ，而研究这样一条直线的常用方法是最小二乘法，这种方法需要我们找到这样一条直线，使所有的点到直线的垂直距离的平方和最小，也称最小平方法或最小二乘估计。

就XY XY a X b Y +=ˆ方程而方，对平面上任何一条直线我们都可以用数量(YY ˆ-)去刻划点(X ,Y)到这条直线的远近。

其中,Y 是实际观测值，Y ˆ是估计值。

由于()0ˆ=-∑Y Y ，所以当我们用Y ˆ去估计Y 时，要使其估计的误差平方和()2ˆ∑-Y Y 尽可能小。

当()2ˆ∑-Y Y 最小时，方程YX YX a X b Y +=ˆ所表示的直线就是最优拟合直线。

所以求最优拟合方程的问题就可以归结为根据实际观测值求出YX YX a X b Y +=ˆ方程中的两个常数a 和b ，使()2ˆ∑-Y Y 的值最小。

根据数学分析中的极值原理，当()2ˆ∑-Y Y 最小时，YX YX a X b Y +=ˆ中的常数a 和b 可以由下列公式求出XX XYL L X X Y Y X X b =-∑--∑=2)())(( X b Y a -=某一点的误差为)ˆ()(ˆY Y Y Y Y Y ---=- ①回归线之斜率1b 为对边比邻边，即有X X Y Y b --=ˆ ② )(ˆX X b Y Y -=- ③将③代入①，有)()(ˆX X b Y Y Y Y ---=-将误差平方，则有()[]22)()(ˆX X b Y Y Y Y ---=- ④各个点误差的平方和为()[]22)()()ˆ(∑∑---=-X X b Y Y Y Y ⑤又 ∵ X aY b -=2 ⑥将⑥代入⑤，有22)()()ˆ(∑∑⎥⎦⎤⎢⎣⎡⎪⎪⎭⎫ ⎝⎛----=-X X X a Y Y Y Y Y2)(bX a Y --∑=由22)()ˆ(bY a Y Y Y --∑=-∑分别求a ,b 的偏导数，并令它们等于0，则有[][])(0)(22=∂--∑∂=∂--∑∂b bX a Y abX a Y根据偏导数特性，有0)(20)(2=--∑-=--∑-X bX a Y bX a Y整理后，则有0)(0)(2=--∑=--∑bX aX XY bX a YX b Y a Xb Y a X b a Y bX a Y -=∑-∑=∑=∑-∑-∑=--∑00)(将X b Y a -=代入0)(2=--∑bX aX XY ，得[]0)(00)(222=∑∑-∑-∑∑-∑=∑-∑+∑-∑=---∑n XX X b n Y XXY X b X X b Y X XY bX X X b Y XY222)())((/)(/X X Y Y X X n X X n Y X XY b -∑--∑=∑-∑∑∑-∑=所以，回归系数b 和截距a 的计算公式分别为n Xb Y X b Y a X X Y Y X X b YX YX ∑-∑=-=-∑--∑=2)())((同理，a bY X +=ˆ方程中求a ,b 的公式为n Yb X Y b X a Y Y Y Y X X b XY XY ∑-∑=-=-∑--∑=2)())((（二）回归系数的其他计算法1．定义式2)())((X X Y Y X X b YX -∑--∑= 2)())((Y Y Y Y X X b XY -∑--∑=2．计算式n Y Y n Y X XY b n X X n Y X XY b XY YX /)(//)(/2222∑-∑∑∑-∑=∑-∑∑∑-∑=∵2)())((X X Y Y X X b YX -∑--∑= )2()(22X X X X Y X Y X Y X XY --∑⋅+-⋅-∑=)2()(22X X X X Y X Y X Y X XY --∑⋅+-⋅-∑=222∑∑∑∑∑∑∑∑∑∑∑⎪⎪⎭⎫⎝⎛+-∑⋅+--∑=N X N X X X N Y N X NY XNX YXY()()N X N X X N Y X N Y X XY 22222∑∑∑∑∑∑+-∑+-∑= ()22N X X N Y X XY ∑∑∑-∑-∑=∴2)())((X X Y Y X X b YX -∑--∑=()n X X n Y X XY 22∑∑∑-∑-∑= 同理，有2)())((Y Y Y Y X X b XY-∑--∑=()n Y Y n Y X XY 22∑∑∑-∑-∑=根据例11-1的数据可以计算有关的统计量如下，求其回归系数和截距。

290=∑X ，97142=∑X ，29=X ，42.11=X S760=∑Y ，591522=∑Y ，76=Y ，80.11=Y S ，∑=23011XY=-⨯-=10290971410760290230112YX b 74.01304971=54.542974.076=⨯-=YX a所以，以学习时间预测考试成绩的回归方程为 54.5474.0ˆ+=X Y若某人的学习时间为35小时，其考试成绩则为44.8054.543574.0ˆ=+⨯=Y3．相关系数法X YYX S S r b = Y XXYS S r b =∵2)())((X X Y Y X X b YX -∑--∑=()()()()()()∑∑-⋅-∑⋅-∑-⋅--∑=2222Y Y X X X X Y Y Y Y X X()()22X X Y Y r -∑-=∑X Y S S r=∴2)())((X X Y Y X X b YX-∑--∑=X Y S S r= 同理，()2)()(Y Y Y Y X X b XY-∑--∑=Y X S S r= 如例11-1，已知42.11=X S ，80.11=Y S ，72.0=r ，用相关系数法计算回归系数如下。

74.042.1180.1172.0=⨯=YX b4．均数和标准差计算法22YXY XYX nS YX n XY b nS YX n XY b -∑=-∑=其中，()nn X X S 222∑-∑=。

若1)(222-∑-∑=n X X S ，则有22)1()1(YXY XYX S n YX n XY b S n Y X n XY b --∑=--∑=如例11-1，已知29=X ，29=X ，42.11=X S ，76=Y ，80.11=Y S ，∑=23011XY ，用均数和标准差计算如下。

74.0164.130497142.1110762910230112==⨯⨯⨯-=YX b三、解释和计算相关与回归的有关问题 （一）测定系数解释相关系数是否显著时，必须谨记的是随着样本容量的增大，达到显著性的相关系数会越来越小对于相关系数，我们不仅要问是否显著，还要问有多大。

为了回答这一问题，测定系数是一个非常重要的概念。

测定系数是相关系数的平方，用于说明一个变量由另一个变量解释的程度。

所以，即使相关系数是显著的，但如果测定系数不大，那么预测的作用也不大。

假设相关系数为0.2，其回归的贡献仅为0.04，因此用X 来预测Y 是不恰当的。

（二）两列变量的一致性问题 计算相关的时候，必须谨慎对待数据的一致性。

一致性是指两列变量对应的点必须均匀地落在回归线的附近。

边缘点和聚集点对相关系数有很大的影响，会掩盖变量之间的真正关系。

第三节 一元线性回归方程的检验回归方程在一定程度上揭示了特定变量之间的相关关系，并找出了代表这一关系比较合适的数学模型。

但方程的效果如何，只有在两变量具有显著的线性相关关系时，所建立的回归方程才是有效的。

一、方程效果的检验以XY XY a X b Y +=ˆ来说：根据方差分析的原理，在回归的方差分析中总变异被分解为自变量的变异和误差的变异。

其分析过程也是从总平方和的分解到自由度的分解，再到均方，最后是进行自变量对误差影响程度进行比较。

回归平方和的大小反映着自变量X 的重要程度，而误差平方和大小则反映了实验误差及其他因素对实验结果的影响。

因变量Y 的平方和为()2∑-=Y Y SS t∵()()Y Y YY Y Y -+-=-ˆˆ∴ ()()()[]22ˆˆ∑∑-+-=-=Y Y YY Y Y SS t()()()()22ˆˆˆ2ˆ∑∑∑-+--+-=Y Y Y Y Y Y YY又∵ ()()0ˆˆ=--∑Y Y Y Y∴ ()()22ˆˆ∑∑-+-=Y Y YY SS tReSS SS +=即：总平方和 = 误差平方和 + 回归平方和 回归平方和的公式推导如下。