多元回归分析法的介绍及具体应用

多元回归分析法的介绍及具体应用

在数量分析中，经常会看到变量与变量之间存在着一定的联系。要了解变量之间如何发生相互影响的，就需要利用相关分析和回归分析。回归分析的主要类型：一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。这里主要讲的是多元线性回归分析法。

1. 多元线性回归的定义

说到多元线性回归分析前，首先介绍下医院回归线性分析，一元线性回归分析是在排除其他影响因素或假定其他影响因素确定的条件下，分析某一个因素（自变量）是如何影响另一事物（因变量）的过程，所进行的分析是比较理想化的。其实，在现实社会生活中，任何一个事物（因变量）总是受到其他多种事物（多个自变量）的影响。

一元线性回归分析讨论的回归问题只涉及了一个自变量，但在实际问题中，影响因变量的因素往往有多个。例如，商品的需求除了受自身价格的影响外，还要受到消费者收入、其他商品的价格、消费者偏好等因素的影响；影响水果产量的外界因素有平均气温、平均日照时数、平均湿度等。

因此，在许多场合，仅仅考虑单个变量是不够的，还需要就一个因变量与多个自变量的联系来进行考察，才能获得比较满意的结果。这就产生了测定多因素之间相关关系的问题。

研究在线性相关条件下，两个或两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。

多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似，只是在计算上更为复杂，一般需借助计算机来完成。

2. 多元回归线性分析的运用

具体地说，多元线性回归分析主要解决以下几方面的问题。

（1）、确定几个特定的变量之间是否存在相关关系，如果存在的话，找出它

们之间合适的数学表达式；

（2）、根据一个或几个变量的值，预测或控制另一个变量的取值，并且可以知道这种预测或控制能达到什么样的精确度；

（3）、进行因素分析。例如在对于共同影响一个变量的许多变量（因素）之间，找出哪些是重要因素，哪些是次要因素，这些因素之间又有什么关系等等。

3. 多元线性回归分析 3.1多元线性回归分析的原理

回归分析是一种处理变量的统计相关关系的一种数理统计方法。回归分析的基本思想是： 虽然自变量和因变量之间没有严格的、确定性的函数关系，但可以设法找出最能代表它们之间关系的数学表达形式。 3.2多元线性回归模型及其矩阵表示

设y 是一个可观测的随机变量，它受到p 个非随机因索1x ,2x ,…,p x 和随机因素ε的影响，若y 与1x ,2x ,…,p x 有如下线性关系：

ε

βββ++++=p p x x y 110 （1.1）

其中0β,1β,…,p β是1+p 个未知参数，ε是不可测的随机误差，且通常假定

），（20N ~σε.我们称式（1.1）为多元线性回归模型.称y 为被解释变量（因变量），),,2,1(p i x i =为解释变量（自变量）.

称

p p x x y E βββ+++= 110)( （1.2）

为理论回归方程.

对于一个实际问题，要建立多元回归方程，首先要估计出未知参数0β,1β， …,p β,为此我们要进行n 次独立观测，得到n 组样本数据);,,,(21i ip i i y x x x ，

n i ,,2,1 =，他们满足式（1.1），即有

⎪⎪

⎩⎪⎪⎨

⎧+++++=+++++=+++++=n

np p n n n p p p p x x x y x x x y x x x y εββββεββββεββββ 221102

2222211021

112211101 （1.3）

其中n εεε,,,21 相互独立且都服从),0(2σN .

式（1.3）又可表示成矩阵形式： εβ+=X Y （1.4） 这里，T n y y y Y ),,,(21 =，T p ),,,(10ββββ =，T n ),,,(21εεεε =，

),0(~2n n I N σε，n I 为n 阶单位矩阵.

⎥⎥

⎥

⎥⎥⎦

⎤

⎢⎢⎢⎢

⎢⎣⎡=np n n p p x x x x x x

x x x X 21

22221

11211

111 )1(+⨯p n 阶矩阵X 称为资料矩阵或设计矩阵，并假设它是列满秩的，即1)(+=p X rank .

由模型（1.3）以及多元正态分布的性质可知，Y 仍服从n 维正态分布，它的期望向量为βX ，方差和协方差阵为n I 2σ，即),(~2n n I X N Y σβ. 3.3参数的最小二乘估计及其表示

1. 参数的最小二乘估计

与一元线性回归时的一样，多元线性回归方程中的未知参数p βββ,,,10 仍然可用最小二乘法来估计，即我们选择T p ),,,(10ββββ =使误差平方和

∑∑==-----=--===n

i ip p i i i T T n i i x x x y X Y X Y Q 1

2

221101

2

)()

()(ˆ)(ββββββεεεβ

达到最小.

由于)(βQ 是关于p βββ,,,10 的非负二次函数，因而必定存在最小值，

利用微积分的极值求法，得

⎪⎪⎪⎪⎪⎪⎩

⎪⎪⎪⎪⎪

⎪⎨⎧=------=∂∂=------=∂∂=------=∂∂=------=∂∂∑∑∑∑====n i ip

ip p i i i p n i ik ip p i i i k n i i ip p i i i n i ip

p i i i x x x x y Q x x x x y Q x x x x y Q x x x y Q 12211012211011

22110112211000)ˆˆˆˆ(2)

ˆ(0)ˆˆˆˆ(2)ˆ(0)ˆˆˆˆ(2)ˆ(0)ˆˆˆˆ(2)ˆ(ββββββββββββββββββββββββ 这里),,1,0(ˆp i i =β是),,1,0(p i i =β的最小二乘估计.上述对)(βQ 求偏导，求得正规方程组的过程可用矩阵代数运算进行，得到正规方程组的矩阵表

示：

0)ˆ(=-β

X Y X T 移项得

Y X X X T T =β

ˆ （１.５） 称此方程组为正规方程组．

依据假定1)(+=p X R ，所以1)()(+==p X R X X R T ．故1)(-X X T 存在．解正

规方程组（１.５）得

Y X X X T T 1)(ˆ-=β

（１.６）

称p p x x x y ββββˆˆˆˆˆ22110++++= 为经验回归方程． 2．误差方差2σ的估计

将自变量的各组观测值代入回归方程，可得因变量的估计量（拟合值）为

βˆ)ˆ,,ˆ,ˆ(ˆ221X y y y Y

p ==

向量Y H I Y X X X X I X Y Y Y e n

T T n )(])([ˆˆ1-=-=-=-=-β 称为残差向量，其中T T X X X X H 1)(-=为n 阶对称幂等矩阵，n I 为n 阶单位阵．

称数Y X Y Y Y H I Y e e T T T n T T βˆ)(-=-= 为残差平方和（Ｅrror Sum of Squares,简写为SSE ）．

由于βX Y E =)(且0)(=-X H I n ，则

)]()[(]})([{)(T n n T T E H I tr H I tr E e e E εεεε

-=-=