多元线性回归方法介绍

多元线性回归方法介绍

回归分析主要研究因变量与自变量的关系，因变量是随机变量，自变量是因素变量，是可以加以控制的变量。多元回归分析一般解决以下问题：第一，确定因变量与多个因素变量之间联系的定量表达式，通常称为回归方程式或数学模型，并确定它们联系的密切程度；第二，通过控制可控变量的数值，借助于球而出的数学模型来预测或控制因变量的取值和精度；第三，进行因素分析，从影响因变量变化的因素中寻找出哪些因素对因变量的影响最为显著，哪些因素不显

著，以区别主要因素和次要因素。

在操作过程中，需要列出影响Y 的多个因素与Y 之间的关系方程。一般地，设因变量Y 于k 个自变量X1,X2,……,XK线性相关：

Y=B0+ B1X1+ B2X2+ … + B k X k+ε（1）

其中Y 为可观察的随机变量，X1，X2，…，Xk为可观察的一般变量，B0，B1，B2，…，Bk为待定模型参数，其中B0为截距，ε为不可观测的随机误差。有n组独察的样本数据（yi,x i1,…,xik），i=1，2，…，n，带入方程（1）中，有：

y i= b0+ b1x i1+ b2x i2+ … + b k x ik+ e i i=1,2,…, n其中n 个随机变量ei相互独立且服从同一正态分布Nor（0，σ2）。根据最小二乘原则，求B0，B1，B2，…，Bk的估计值b0，b1，…，bk，使上式的误差平方和

∑(ei)2=∑[y i-(b0+b1x i1+b2x i2+…+b k x ik)]2最小，为此，分别将上式对b0，b1，…，bk求偏导数，令其等于0，当x1，x2，…，xk相互独立时，由极值原理，

可求出总体回归系数矩阵B 总体=[B0，B1，B2，…，Bk]T

的估计值矩阵B样本=[b0，b1，…，bk]

T

：B样本=（X

T

X）

-1

X

T

X进而得到回归方程：

y=b0+b1x1+b2x2+…+b k x k 本文将依据上述原理对后面的变量关系进行回归分析。