回归分析在数模竞赛中的应用-1

回归分析在数模竞赛中的应用§1 回归分析的基本思想在实际问题中，我们会遇到各种变量，在变量与变量之间，往往存在着各种关系。

有些变量之间的关系是确定性的函数关系，例如，圆的半径R 与圆面积S 之间的关系2R S π=，自由落体落下的时间t 与落下的距离h 之间的关系221gt h =，等等。

在这些关系中，只要自变量的值确定了，因变量的值也就随之确定了。

但是，有些变量之间的关系就不是这样，例如，农作物的施肥量x 与农作物的产量y 之间的关系，商品的价格x 与商品的销售量y 之间的关系，家庭的收入x 与家庭的支出y 之间的关系，父亲的身高x 与儿子的身高y 之间的关系，等等。

在这些关系中，自变量x 的值确定了，因变量y 的值并不完全随之确定，还是可能有上下起伏的变化。

同时，在这些关系中，自变量x 与因变量y 又不是完全无关的，通过大量的统计数据，可以发现，它们之间确实存在着某种关系。

我们把这样的关系，称为统计相关关系。

回归分析（Regression Analysis ），就是研究变量之间的统计相关关系的一种统计方法。

它从自变量和因变量的一组观测数据出发，寻找一个函数式，将变量之间的统计相关关系近似地表达出来。

这个能够近似表达自变量与因变量之间关系的函数式，称为回归方程或回归函数。

§2 回归分析问题的一般形式设有m 个自变量 m x x x ,,,21 和1个因变量 y ，它们之间有下列关系：ε+=),,,;,,,(2121p m a a a x x x F y ，其中，F 是函数形式已知的 m 元函数，p a a a ,,,21 是常数，是函数 F 中的未知参数，ε 是表示误差的随机变量，一般可认为 ε～),0(2σN ，0>σ 。

对 m x x x ,,,21 ，y 进行 n 次观测，得到观测值：),,,,(21i m i i i y x x x ，n i ,,2,1 = 。

对每一次观测来说，同样有下列关系i p im i i i a a a x x x F y ε+=),,,;,,,(2121 ，其中 i ε 是第 i 次观测时的随机误差，n i ,,2,1 =。

回归分析目标是：从观测数据出发，求 p a a a ,,,21 的估计 p a a aˆ,,ˆ,ˆ21 ，使得下列平方和 Q 达到最小：∑=-=ni p m i i i i a a a x x x F y Q 122121]),,,;,,,([ 。

由于估计的目标是使一个平方和达到最小，而平方又称为“二乘”，所以，这种估计称为最小二乘估计（Least Squares Estimator,简称LSE ）,求这种估计的方法称为最小二乘法（Method of Least Squares ）。

把 p a a aˆ,,ˆ,ˆ21 代入 Q 表达式，就得到Q 的最小值 ∑=-=ni p m i i i i a a ax x x F y Q 122121min ])ˆ,,ˆ,ˆ;,,,([ 。

Q 的最小值称为残差平方和，残差平方和越小，说明回归方程表达变量之间统计相关关系的精确程度越高，也就是回归分析的效果越好。

在数模竞赛中，经常会遇到可以用回归分析来解决的问题，下面是一些例子。

例1（1993年全国数模竞赛A 题）非线性交调的频率设计在一个电子通讯系统中，对输入信号强度u 和输出信号强度y 进行观测，得到下列数据：已知u 与y 之间的关系，是一个次数为3次的多项式：εββββ++++=332210u u u y ，作为非线性交调的频率设计的第一步，需要求出这个关系式。

这里，u 是自变量，y 是因变量，3210,,,ββββ是未知参数。

问题是要从u 和y 的观测值数据出发，求出参数3210,,,ββββ的估计。

显然，这是一个回归分析问题。

例2（1993年国际数模竞赛A 题）加速餐厅剩菜堆肥的生成一家自助餐厅，每天把顾客吃剩下的食物搅拌成浆状，混入厨房里废弃的碎绿叶菜和少量撕碎的报纸，再加入真菌和细菌，混合物原料在真菌和细菌的消化作用下生成堆肥。

下表给出了以磅为单位的混合物原料中各种成分的的数据，以及混合物原料喂入的日期要求确定：混合物原料中各种成分的比例与堆肥生成的速率之间是否有关系？如果有关系，怎样的比例才能使得堆肥生成的速度最快？设321,,x x x 分别是食物浆、绿叶菜和纸片在混合物原料中的比例，y 是生成堆肥所需要的时间。

要尝试给出321,,x x x 与y 之间的关系式。

可以考虑各种不同形式的关系，最简单的，可以认为它们之间有线性关系：εββββ++++=3322110x x x y ，其中，321,,x x x 是自变量，y 是因变量，3210,,,ββββ是未知参数。

问题是要从321,,x x x 和y 的观测值数据出发，求出参数3210,,,ββββ的估计（由于321,,x x x 是各种成分在总量中的比例，它们之间有1321=++x x x 的关系，3个自变量实际上不是独立的，为了避免估计结果的不确定，实际上还应该去掉一个自变量）。

显然，这也是一个典型的回归分析问题。

例3（1996年国际数模竞赛A 题）潜水艇的探测海洋中有一个背景噪声场，当附近有潜水艇驶过时，噪声场会发生变化。

要求给出一种方法，通过在水下检测点检测到的噪声场的变化情况，探测出附近有无潜水艇，潜水艇的位置、大小、形状、运动速度和运动方向。

这个问题有各种各样不同的做法，其中一种做法是：设 ),,(000z y x 是潜水艇中心的坐标，),,(z y x V V V 是潜水艇的速度分量。

近似认为潜水艇的形状是一个圆柱形的主体，前后两端加上两个半球。

设 L 是潜水艇圆柱形主体的长度，R 是圆柱形底面的半径。

在海洋中设置n 个检测点。

设第i 个检测点的坐标位置为),,(i i i z y x ，在这一点上测到的噪声强度为i p ，n i ,,2,1 =。

根据水声学原理，可以得到下列形式的关系式：i z y x i i i i R L V V V z y x z y x F p ε+=),,,,,,,,,,(000 ，n i ,,2,1 =。

其中，i p 是因变量的观测值，i i i z y x ,,是自变量的观测值，000,,z y x ，z y x V V V ,,，R L , 是未知参数，问题是要从自变量和因变量的观测值数据出发，求出参数 000,,z y x ，z y x V V V ,,，R L , 的估计。

显然，这也是一个回归分析问题。

§3 线性回归（Linear Regression ）一、线性回归问题的一般形式和解法设有m 个自变量 m x x x ,,,21 和1个因变量 y ，它们之间有下列关系：εβββ++++=m m x x y 110 ，其中，m βββ,,,10 是未知参数，ε～),0(2σN 是表示误差的随机变量，0>σ 。

对 m x x x ,,,21 ，y 进行 n 次观测，得到一组观测值：),,,,(21i m i i i y x x x ，n i ,,2,1 = 。

即有i m i m i i x x y εβββ++++= 110 ，i ε～),0(2σN ，n i ,,2,1 = 。

线性回归的目标是：从自变量和因变量的观测数据出发，求未知参数 m βββ,,,10的估计值 mβββˆ,,ˆ,ˆ10 ，使得平方和 ∑=+++-=ni m i m i i x x y Q 12110)]([βββ达到最小。

Q 是 m βββ,,,10 的函数，所以，这是一个多元函数求最小值的问题，我们可以通过求偏导数、解下列方程组的方法，来确定 Q 的最小值点:⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=∂∂=∂∂=∂∂00010mQ Q Q βββ 从这个方程组中求得的解 m βββˆ,,ˆ,ˆ10 ，使 Q 达到最小，是 m βββ,,,10 的最小二乘估计。

（有时，线性回归问题中可能会不出现常数项0β，也可以类似地求解。

） 当自变量个数n 比较多时，线性回归的具体计算是很烦琐复杂的，如果靠人工计算，工作量很大。

现在计算机已经十分普及，人们已开发了许多现成的计算机程序和软件包，其中包括可以作一元和多元线性回归的软件。

我们在解决实际问题时，可以利用这些现成软件，十分方便迅速地完成线性回归的计算。

所以，我们这里就不将线性回归的具体计算公式详细写出来了。

二、衡量线性回归结果好坏的标准（1）残差平方和（剩余平方和 Residual Sum of Squares ，简称RSS ），残差平方和，也就是 Q 的最小值，记为e SS ∑=+++-==ni mi m i i x x y Q 12110min )]ˆˆˆ([βββ 。

e SS 越小，说明回归方程表达变量之间统计相关关系的精确程度越高，也就是回归分析的效果越好。

但 e SS 的大小还与样本观测次数n 有关。

（2）估计的标准差（残差标准差 Estimated Standard Deviation ）1ˆ--=m n SS e e σ （如果回归问题中不出现常数项0β，则上式中的 1--m n 要改为 m n - ）。

e σˆ 越小，表明 e SS 越小，回归分析的效果也就越好。

e σˆ的大小基本上与样本观测次数n 无关，但它是一个有量纲的量，与因变量y 同一量纲，所以它的数值大小与y 的量纲单位大小有关。

（3）多重相关系数（复相关系数 Multiple Correlation Coefficient ）yy e L SS r -=1 ,其中，∑=-=n i i yy y y L 12)( , ∑==n i i y n y 11 。

可以证明，有 10≤≤r 。

r 越接近 1 ，说明e SS 越小，回归分析的效果也就越好。

r 是一个无量纲的量，它的大小与量纲的单位大小无关。

三、线性回归应用的实例前面介绍过的1993年国际数模竞赛A 题“加速餐厅剩菜堆肥的生成”就是一个线性回归的例子，下面再看一个例子。

例4（1993年全国数模竞赛B 题）给足球队排名次已知12支球队在全国甲级联赛中的成绩，要求设计一种依据这些成绩给足球队排名次的方法。

这个问题可以有多种不同的做法，回归分析就是其中的一种做法。

设 12=m 支球队的实力为 m βββ,,,21 ，这些都是未知的常数。

设 i y 是第 i 场比赛时，通过比分表现出来的主队与客队两队的实力之差。

例如，当两队的比分为 2:3 时，可以定义 23-=i y 或 23-=i y 或 3323-=i y 或⎪⎭⎫ ⎝⎛++=2131ln i y ，等等。

设第1场比赛，是1队对2队，1队为主队，2队为客队；第2场比赛，是3队对4队，3队为主队，4队为客队；第3场比赛，是1队对4队，1队为主队，4队为客队；…… 。