最新多元线性回归与多项式回归

多元线性回归与多项

式回归

第九章 多元线性回归与多项式回归

直线回归研究的是一个依变量与一个自变量之间的回归问题，但是，在畜禽、水产科学领域的许多实际问题中，影响依变量的自变量往往不止一个，而是多个，比如绵羊的产毛量这一变量同时受到绵羊体重、胸围、体长等多个变量的影响，因此需要进行一个依变量与多个自变量间的回归分析，即多元回归分析（multiple regression analysis ），而其中最为简单、常用并且具有基础性质的是多元线性回归分析（multiple linear regression analysis ），许多非线性回归（non-linear regression ）和多项式回归（polynomial regression ）都可以化为多元线性回归来解决，因而多元线性回归分析有着广泛的应用。研究多元线性回归分析的思想、方法和原理与直线回归分析基本相同，但是其中要涉及到一些新的概念以及进行更细致的分析，特别是在计算上要比直线回归分析复杂得多，当自变量较多时，需要应用电子计算机进行计算。aaa

第一节 多元线性回归分析

多元线性回归分析的基本任务包括：根据依变量与多个自变量的实际观测值建立依变量对多个自变量的多元线性回归方程；检验、分析各个自变量对依自变量的综合线性影响的显著性；检验、分析各个自变量对依变量的单纯线性影响的显著性，选择仅对依变量有显著线性影响的自变量，建立最优多元线性回归方程；评定各个自变量对依变量影响的相对重要性以及测定最优多元线性回归方程的偏离度等。

一、 多元线性回归方程的建立

（一）多元线性回归的数学模型 设依变量y 与自变量1x 、2x 、…、m x 共有n 组实际观测数据：

假定依变量y 与自变量x 1、x 2、…、x m 间存在线性关系，其数学模型为：

j mj m j j j x x x y εββββ+++++=...22110 （9-1）

（j =1,2,…,n ）

式中，x 1、x 2、…、x m 为可以观测的一般变量（或为可以观测的随机变

量）；y 为可以观测的随机变量，随x 1、x 2、…、x m 而变，受试验误差影响；j ε为相互独立且都服从),0(2σN 的随机变量。我们可以根据实际观测值对

m ββββ、、、、...210以及方差2σ作出估计。

（二）建立线性回归方程 设y 对1x 、2x 、…、m x 的m 元线性回归方程为：

m m x b x b x b b y

++++= 22110ˆ 其中的0b 、1b 、2b 、…、m b 为m ββββ、、、...210的最小二乘估计值。即0b 、

1b 、2b 、…、m b 应使实际观测值y 与回归估计值y

ˆ的偏差平方和最小。 令∑=-=n

j j j y

y Q 12)ˆ( ∑=-----=n

j mj m j j j x b x b x b b y 1222110)(

Q 为关于0b 、1b 、2b 、…、m b 的m +1元函数。

根据微分学中多元函数求极值的方法，若使Q 达到最小，则应有：

∑==------=∂∂n j mj m j j j x b x b x b b y b Q 1

2211000)(2 ∑==------=∂∂n j mj m j j j ij i x b x b x b b y x b Q 1

221100)(2 （i =1、2、…、m ）

经整理得：

⎪⎪⎪⎩

⎪⎪⎪⎨⎧∑=∑++∑+∑+∑∑=∑++∑+∑+∑∑=∑++∑+∑+∑∑=∑++∑+∑+y x b x b x x b x x b x y x b x x b x b x x b x y x b x x b x x b x b x y b x b x b x nb m m m m m m m m m m m m )( )()()( )( )( )( )()( )( )( )()( )( )( 2221102222211202112211210122110 (9-2)

由方程组（9-2）中的第一个方程可得

m m x b x b x b y b ----= 22110 (9-3)

即 ∑=-=m i i i x b y b 1

1 ,1 :1

1∑∑====n

j ij i n j j x n x y n y 其中

若记

,)(1

2

∑=-=n j i ij i x x SS ∑=-=n j j y y y SS 12)(

∑==--=n j ki

k kj i ij ik SP x x x x SP 1))(( ∑=--=n

j j i ij io y y x x SP 1))(( （i 、1=k 、2、…、m ；i ≠k ） 并将m m x b x b x b y b ----= 22110分别代入方程组（9-2）中的后m 个方程，经整理可得到关于偏回归系数1b 、2b 、…、m b 的正规方程组（normal equations ）为：

⎪⎪⎩⎪⎪⎨⎧=+++=+++=+++0

221m12022212110121211SP m m m m m m m m SP b SS b SP b SP b SP b SS b SP SP b SP b SP b SS （9-4）

解正规方程组（9-4）即可得偏回归系数1b 、2b 、…、m b 的解，而

m m x b x b x b y b ----= 22110

于是得到m 元线性回归方程

m m x b x b x b b y

++++= 22110ˆ m 元线性回归方程的图形为1+m 维空间的一个平面，称为回归平面；0b 称

为回归常数项，当1x =2x =…=m x =0时，,0ˆ=y

在b 0有实际意义时，0b 表示y 的起始值；i b （i =1、2、…、m ）称为依变量y 对自变量i x 的偏回归系数（partial regression coefficient ），表示除自变量i x 以外的其余1-m 个自变量都固定不变时，自变量i x 每变化一个单位，依变量y 平均变化的单位数值，确切地说，当i b >0时，自变量i x 每增加一个单位，依变量y 平均增加i b 个单位；当i b <0时，自变量x i 每增加一个单位，依变量y 平均减少i b 个单位。 若将m m x b x b x b y b ----= 22110代入上式，则得

)()()(ˆ222111m m m x x b x x b x x b y y

-++-+-+= （9-5） （9-5）式也为y 对1x 、2x 、…、m x 的m 元线性回归方程。

对于正规方程组（9-4），记

⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣

⎡=m m m m m SS SP SP SP SS SP SP SP SS A 2122211121 ， ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=m b b b b 21， ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=02010 m SP SP SP B 则正规方程组（9-4）可用矩阵形式表示为