回归一词的由来

“回归”一词的由来
袁卫 摘自《北京统计》1998年第9期
在统计学中，相关与回归是经典的内容，也是应用最为广泛的统计方法之一。

但是，国内教材却很少讲到回归方法的起源。

英国著名遗传学家弗朗西斯·高尔顿爵士（Sir Francis Galton,1822-1911）在子女与父母相像程度遗传学研究方面，取得了重要进展。

高尔顿的学生卡尔·皮尔逊（Karl Pearson,1857-1936）在继续这一遗传学研究的过程中，测量了1078个父亲及其成年儿子的身高。

他们之间的数量关系见图1（K.Pearson and A.Lee ，“On the laws of inheritance in man ” Biometrika ，partii （1903）pp.357-462）
图1 1078对父子身高的散点图
图中每一个点代表一对父子的身高关系。

横轴的X 坐标是父亲的身高，纵轴的Y 坐标给出的是儿子的身高。

我们看到，多数点子位于角平分斜线的两侧椭圆形面积之内，落在斜线上的点子极少，即儿子与父亲身高完全相同的极少。

由点子落在斜线周围还说明，高个子的父亲有着较高身材的儿子，而矮个子父亲的儿子身材也比较矮。

同时，我们也看到一些远离斜线的点子，这些点子反映的是父亲的身高与儿子的身高相差甚远的情况。

比如高个子的父亲有矮儿子的情况，或者矮父亲有高个儿子的情况。

图1中散点图给出父子身高的关系图，但图中给出的父亲身高和儿子身高两个变量的关系还是比较直观的,相关系数r 就是对两个变量间线性相关关系紧密程度的度量。

相关系数r 的计算公式为：
()()()Y X Y X Y X Y X E Y X Cov r σσμμσσ⋅--=⋅=,
式中分子部分为X 和Y 两具变量的协方差，分母部分是X 和Y 两个变量标准差的乘积。

由于协方差是X 和Y 两个变量与其均值离差乘积的数学期望，它受X 和Y 两个变量度量单位大小的影响，因而在分母上除以X 和Y 两个变量的标准差，就将相关系数r 转化成从-1到1之间的相对数值。

实际数据计算的结果为r=0.501，表明高个子的父亲会有较高的儿子，矮身材的父亲其儿子身体也不会很高，但这一正相关的关系并不十分明显。

那么，父子身高之间有什么规律呢？经过对1078对父子身高数据的计算，得到：
父亲的平均身高X =67.6英寸≈68英寸，标准差S X =2.74≈2.7英寸 儿子的平均身高Y =68.7英寸≈69英寸，标准差S Y =2.81≈2.8英寸
（1英寸=2.54厘米）我们看到，儿子的平均身高比父亲高一英寸，表明下一代的平均身高比上一代要高。

这样，我们会自然地猜测72英寸的父亲平均会有73英寸的儿子；64英寸的父亲平均会有65英寸的儿子，等等。

那我们看一看图2中的情况：
图2 父子身高回归效应的图示
图2中斜虚线是父子平均身高推测的关系线，即58英寸父亲有59英寸的儿子，59英寸的父亲有60英寸的儿子，等等。

在父亲身高64英寸和72英寸处的两个条形虚线，表明64英寸高父亲和72英寸高父亲的儿子们身高的分布情况。

首先来看64英寸高父亲的儿子们身高分布。

我们看到，在这一条线虚线柱内的点子多数分布在斜虚线的上方，表明64英寸高父亲的儿子们的身高多数高于65英寸，即较矮父亲的儿子们多数比父亲身材要高。

接下来再看72英寸父亲的儿子们身高分布，在这条虚线柱内的点了多数分布在斜虚线的下方，表明72英寸高父亲的儿子们的身高多数低于73英寸，甚至多数低于与父亲同样高度的72英寸，即较高父亲的儿子们多数比父亲身材要矮。

高尔顿和波尔逊把这种现象称为“回归效应”，即回归到一般高度的效应。

图2中的实线即回归直线。

这条回归线的含义是：对于每一身高父亲所对应的虚线柱内若干儿子身高点子的分布，回归直线是从这些点子中间穿过的。

换句话说，回归直线上的点是当给定某一X i 值时（即父亲身高值），对应的若干Y i 值（即儿子身高值）与之i Y ˆ（直线上点Y 值记为i Y ˆ
值）离差平方和最小的直线，即我们的回归直线是求 ()()2
1212ˆ∑∑∑===--=-===n i i i n i i i i n i i a bX Y Y Y e Q 最小
要对上式求最小，微积分的知识告诉我们要求其偏导数并令其为零。

即： ()02=---=∂∂∑a bX Y a Q i i
()∑=---=∂∂02i i i X a bX Y b Q
整理这一联立方程得到
()()()()
22
,x
i i i S Y X Cov X X Y Y X X b =---=∑∑ X b Y a -=
由于已知r=0.501，S X =2.74，S Y =2.81，则
3.862.812.740.501S S r Y ),Cov(X Y X =⨯⨯=⨯⨯=
则()51.074.286.32==b
34.2267.60.51-68.7a =⨯=
父子身高的回归方程为
i 0.51X 34.22ˆ+=i Y
该回归方程就是图2中的回归线（实线）。

当X 1=58时，i Y ˆ=63.8；当X 2=64时，2ˆY =66.86。

当X 3=72时，3ˆY =70.94。

这些回归方程上的i Y ˆ值实际上是当X i 确定后，若干Y i 的平均值。

这一回归直线和回归方程表明，矮个子父亲的儿子们平均身高会比父辈低一些，高个子父亲的儿子们平均身高会比父辈低一些，即儿子们的身高会向平均值回归。

我们的读者必然会问，现代人一代比一代高，为什么高个子父亲的儿子们平均身高要比父辈低呢？细心的读者不难发现，当时高尔顿和皮尔逊做研究时只观察了父亲和儿子的身高，并没有考虑母亲的身高。

实际上，高个子父亲的太太可能是较高的女性，也可能是较低的女性。

反之，矮个子父亲的太太可能是矮个子，也可能是较高的身材。

而儿子的身高既受父亲遗传的影响，也受母亲遗传的影响，这就是为什么儿子们身高会发生“回归”的原因。

类似的回归现象还有很多，比如我们连续观察一群学生春秋两季的考试成绩，会发现春季考试得高分的学生在秋季考试中虽然平均分还比较高，但平均分会有所降低。

反之，春季考试分数最低的学生们秋季的平均分会有所提高。

因为在考试中除了学生水平的高低这一主要因素影响之外，临场发挥等偶然因素也会起到一定的作用。

我们在应用回归方程时若能注意到回归效应的特点，会帮助我们更好地分析和解决问题。