多元线性相关与回归分析

多元线性相关与回归分析 Revised by BLUE on the afternoon of December 12,2020.第三节 多元线性相关与回归分析一、标准的多元线性回归模型上一节介绍的一元线性回归分析所反映的是１个因变量与１个自变量之间的关系。

但是，在现实中，某一现象的变动常受多种现象变动的影响。

例如，消费除了受本期收入水平的影响外，还会受以往消费和收入水平的影响；一个工业企业利润额的大小除了与总产值多少有关外，还与成本、价格等有关。

这就是说，影响因变量的自变量通常不是一个，而是多个。

在许多场合，仅仅考虑单个变量是不够的，还需要就一个因变量与多个自变量的联系来进行考察，才能获得比较满意的结果。

这就产生了测定与分析多因素之间相关关系的问题。

研究在线性相关条件下，两个和两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。

多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型相类似，只是在计算上比较麻烦一些而已。

限于本书的篇幅和程度，本节对于多元回归分析中与一元回归分析相类似的内容，仅给出必要的结论，不作进一步的论证。

只对某些多元回归分析所特有的问题作比较详细的说明。

多元线性回归模型总体回归函数的一般形式如下：t kt k t t u X X Y ++⋯++=βββ221上式假定因变量Y 与(k-1)个自变量之间的回归关系可以用线性函数来近似反映.式中，Y t 是变量Y 的第ｔ个观测值；X jt 是第j 个自变量X j 的第ｔ个观测值(j=1,2,……，k)；u t 是随机误差项；β1，β2，… ，βk 是总体回归系数。

βj 表示在其他自变量保持不变的情况下，自变量X j 变动一个单位所引起的因变量Y 平均变动的数额，因而又叫做偏回归系数。

该式中，总体回归系数是未知的，必须利用有关的样本观测值来进行估计。

假设已给出了ｎ个观测值，同时1ˆβ，2ˆβ…，k βˆ为总体回归系数的估计，则多元线性回归模型的样本回归函数如下：t kt k t t e X X Y ++⋯++=βββˆˆˆ221 (t ＝1,2,…,n)式中，e t 是Y t 与其估计t Y ˆ之间的离差，即残差。

与一元线性回归分析相类似，为了进行多元线性回归分析也需要提出一些必要的假定。

多元线性回归分析的标准假定除了包括上一节中已经提出的关于随机误差项的假定外，还要追加一条假定。

这就是回归模型所包含的自变量之间不能具有较强的线性关系，同时样本容量必须大于所要估计的回归系数的个数即n ＞k 。

我们称这条假定为标准假定６。

二、多元线性回归模型的估计（一）回归系数的估计多元线性回归模型中回归系数的估计同样采用最小二乘法。

设 ∑-=∑=22)ˆ(t t t Y Y e Q 2221)ˆˆˆ(kt k t t X X Y βββ-⋯--∑=根据微积分中求极小值的原理，可知残差平方和Ｑ存在极小值，欲使Ｑ达到最小，Ｑ对1ˆβ、2ˆβ…，k βˆ的偏导数必须等于零。

将Ｑ对1ˆβ、2ˆβ…，k βˆ求偏导数，并令其等于零，加以整理后可得到以下ｋ个方程式：∑=∑+⋯+∑+t kt k t Y X X n βββˆˆˆ221 ∑=∑+⋯+∑+∑t t kt t k t t Y X X X X X 2222221ˆˆˆβββ ………∑=∑+⋯+∑+∑t kt kt k kt t kt Y X X X X X 2221ˆˆˆβββ 以上ｋ元一次方程组称为正规方程组或标准方程组，通过求解这一方程组便可以得到1ˆβ、2ˆβ…，k βˆ。

求解多元回归方程，用矩阵形式来表达较为简便1[1]。

记⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n y y y 21Y ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=kn 2n k 22k 21x x x x x x 11121X⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n 21u u u U ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=k βββ 21Β ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n y y y ˆˆˆˆ21 Y ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=k βββˆˆˆˆ21 Β ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=n e e e 21e 则总体回归函数式可以写为：Y ＝XB ＋U 样本回归函数式可以写为：Y ＝X Βˆ＋e 标准方程组式可以写为： (X' X)Βˆ＝X' Y 式中X'表示X 的转置矩阵。

(X'X)是一个ｋ×ｋ的对称矩阵，根据标准假定６，ｋ个自变量之间不存在高度的线性相关，因此其逆矩阵存在。

在式的两边同时左乘(X'X)－1，可以得到：Βˆ＝(X'X)－1X'Y 上式是回归系数最小二乘估计的一般形式。

实际求解多元回归方程中的回归系数的估计值，通常需要依靠电子计算机。

在电子计算机技术十分发达的今天，多元回归分析的计算已经变得相当简单。

利用现成的软件包如EXCEL 等，只要将有关数据输入电子计算机，并指定因变量和相应的自变量，立刻就能得到计算结果。

因此，对于从事应用研究的人们来说，更为重要的是要能够理解输入和输出之间相互对应的关系，以及对电子计算机输出的结果做出正确的解释。

限于篇幅，这里不给出具体的数值计算实例。

而在下一节中，我们将结合实际的例子，讲解如何利用EXCEL 进行多元线性回归分析。

（二）总体方差的估计1[1] 这里给出的矩阵形式具有一般性，对于一元线性回归模型也同样适用。

对于尚未学过矩阵代数的读者,可以不必掌握这一部分内容。

除了回归系数以外，多元线性回归模型中还包含了另一个未知参数，那就是随机误差项的方差σ2。

与一元回归分析相类似，多元线性回归模型中的σ2也是利用残差平方和除以其自由度来估计的。

即有：Ｓ2＝k n e t-∑2上式中，ｎ是样本观测值的个数；ｋ是方程中回归系数的个数；在(ｋ-1)元回归模型中，标准方程组有ｋ个方程式，残差必须满足ｋ个约束条件，因此其自由度为(n －k)。

数学上可以证明，Ｓ2是σ2的无偏估计。

Ｓ2的正平方根S 又叫做回归估计的标准误差。

Ｓ越小表明样本回归方程的代表性越强。

在编制计算机程序时，残差平方和一般不是按照其定义式计算，而是利用以下公式计算：∑=2t e e'e ＝Y'Y - Β'ˆX'Y 上式是残差平方和的矩阵形式。

式中的“′”表示求转置；Y 是因变量样本观测值向量；X 是自变量样本观测值矩阵；Β'ˆ是回归系数估计值向量的转置向量。

（三）最小二乘估计量的性质与一元线性回归模型类似，多元线性回归模型中回归系数的最小二乘估计量也是随机变量。

数学上可以证明，在标准假定条件可以得到满足的情况下，多元回归模型中回归系数最小二乘估计量的期望值同样等于总体回归系数的真值，即有：Ｅ（Bˆ）＝B 回归系数最小二乘估计量的方差、协方差矩阵为：Ｖａｒ（Bˆ）＝Ｅ（B ˆ－B ）（B ˆ－B ）' ＝σ2(X'X )-1该矩阵主对角元素是各回归系数估计量的方差Ｅ(j βˆ-βj )2，其他元素是各回归系数估计量之间的协方差Ｅ(j βˆ-βj ) (i βˆ-βi ) （i ≠j ）。

在此基础上，还可以进一步证明回归系数的最小二乘估计量是最优线性无偏估计量和一致估计量。

也就是说，在标准的多元线性回归模型中，高斯.马尔可夫定理同样成立。

三、多元线性回归模型的检验和预测（一）拟合程度的评价在多元线性回归分析中，总离差平方和的分解公式依然成立。

因此也可以用上一节所定义的决定系数作为评价模型拟合程度的一项指标。

不过，为了避免混淆，多元回归的决定系数用Ｒ2表示。

利用Ｒ2来评价多元线性回归方程的拟合程度，必须注意以下问题。

Ｒ2＝１－ ∑-∑22)(Y Y e t t由决定系数的定义可知，Ｒ2的大小取决于残差平方和∑2t e 在总离差平方和∑-2)Y Y t （中所占的比重。

在样本容量一定的条件下，总离差平方和与自变量的个数无关，而残差平方和则会随着模型中自变量个数的增加不断减少，至少不会增加。

因此，Ｒ2是自变量个数的非递减函数。

在一元线性回归模型中，所有模型包含的变量数目都相同，如果所使用的样本容量也一样，决定系数便可以直接作为评价拟合程度的尺度。

然而在多元线性回归模型中，各回归模型所含的变量的数目未必相同，以Ｒ2的大小作为衡量拟合优劣的尺度是不合适的。

因此，在多元回归分析中，人们更常用的评价指标是所谓的修正自由度的决定系数2R 。

该指标的定义如下：2R ＝１－∑---∑)1/()()/(22n Y Y k n e t t ＝１－)()(k n n --1（１－Ｒ2）2[2]式中，ｎ是样本容量；ｋ是模型中回归系数的个数。

（ｎ－１）和（ｎ－ｋ）实际上分别是总离差平方和与残差平方和的自由度。

修正自由度的决定系数2R 具有以下特点：1. 2R ≤Ｒ2。

因为ｋ≥１，所以根据2R 和Ｒ2各自的定义式可以得出这一结论。

对于给定的Ｒ2值和ｎ值，ｋ值越大2R 越小。

在进行回归分析时，一般总是希望以尽可能少的自变量去达到尽可能高的拟合程度。

2R 作为综合评价这两方面情况的一项指标显然比Ｒ2更为合适。

2. 2R 小于１，但未必都大于０。

在拟合极差的场合，2R 有可能取负值。

【例7-9】假设有７年的年度统计资料，现利用其对同一因变量拟合了两个样本回归方程。

方程一中：ｋ＝6，Ｒ2=；方程二中：ｋ＝2，Ｒ2＝。

试对这两个回归方程的拟合程度做出评价。

解： 如果仅从Ｒ2考察，似乎方程一的拟合程度更佳。

但是，由于两个方程选用的自变量个数不同，这一结论是不正确的。

将上列数据代入式，可得：方程一的2R ＝1-((7-1)/(7-6))=方程二的2R ＝1-((7-1)/(7-2))=由此可见，方程二的实际拟合程度远远优于方程一。

(二)显着性检验多元线性回归模型的显着性检验同样包括两方面的内容，即回归系数的显着性检验与回归方程的显着性检验。

现分述如下：1．回归系数的显着性检验多元回归中进行这一检验的目的主要是为了检验与各回归系数对应的自变量对因变量的影响是否显着，以便对自变量的取舍做出正确的判断。

一般来说，当发现某个自变量的影响不显着时，应将其从模型中删除。

这样才能够做到以尽可能少的自变量去达到尽可能高的拟合优度。

多元模型中回归系数的检验同样采用ｔ检验，其原理和基本步骤与一元回归模型中的ｔ检验基本相同，这里不再赘述。

下面仅给出回归系数显着性检验ｔ统计量的一般计算公式。

ｔj βˆ＝ j S j ββˆˆ j=1,2,…,k2[2]对于不包含常数项的回归方程，该公式不适用。

式中，j βˆ是回归系数的估计值，Ｓj βˆ是j βˆ的标准差的估计值。

Ｓj βˆ按下式计算：Ｓj βˆ＝jj S ψ⨯2式中，jj ψ是(X'X)-1的第ｊ个对角线元素，Ｓ2是随机误差项方差的估计值。