多元线性回归方程的建立

多元线性回归方程的建立

建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解使全部观测值与回归值的残差平方和达到最小值。由于残差平方和

（2-2-5）

是的非负二次式，所以它的最小值一定存在。

根据极值原理，当Q取得极值时，应满足

由（2-2-5）式，即满足

（2-2-6）(2-2-6）式称为正规方程组。它可以化为以下形式

（2-2-7）如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有

（2-2-8）

式中X是多元线性回归模型中数据的结构矩阵，是结构矩阵X的转置矩阵。

(2-2-7)式右端常数项也可用矩阵D来表示

即

因此(2-2-7)式可写成

Ab=D （2-2-10）

或

（2-2-11）

如果A满秩（即A的行列式）那么A的逆矩阵A-1存在，则由(2-10)式和(2-11)式得的最小二乘估计为

（2-2-12）

也就是多元线性回归方程的回归系数。

为了计算方便往往并不先求，再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为

（2-2-13）

式中

（2-2-14）

将（2-2-13）式代入（2-2-7）式中的其余各方程，得

（2-2-15）

其中

（2-2-16）将方程组（2-2-15）式用矩阵表示，则有

Lb=F （2-2-17）

其中

于是

b=L-1F （2-2-18）

因此求解多元线性回归方程的系数可由（2-2-16）式先求出L，然后将其代回（2-2-17）式中求解。求b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。

例2-2-1 表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x1)、土壤内溶于K2CO3溶液并受溴化物水解的有机磷浓度(x2)以及土壤内溶于K2CO3溶液但不溶于溴化物的有机磷(x3)的观察数据。求y 对x1, x2, x3的线性回归方程。

表2-2-1 土壤含磷情况观察数据

计算如下：

由(2-2-16)式

代入(2-2-15)式得

（2-2-19）若用克莱姆法则解上述方程组，则其解为

（2-2-20）

其中

计算得

b1=，b2=，b3=

回归方程为

应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法——高斯消去法和消去变换。

多项式回归

标签：c

2009-07-04 14:52 6443人阅读评论(0) 收藏举报在上一节所介绍的非线性回归分析，首先要求我们对回归方程的函数模型做出判断。虽然在一些特定的情况下我们可以比较容易地做到这一点,但是在许多实际问题上常常会令我们不知所措。根据高等数学知识我们知道，任何曲线可以近似地用多项式表示，所以在这种情况下我们可以用多项式进行逼近，即多项式回归分析。

一、多项式回归方法

假设变量y与x的关系为p次多项式，且在x i处对y的随机误

差 (i=1,2,…,n)服从正态分布N(0,)，则

令

x i1=x i, x i2=x i2，…，x ip=x i p

则上述非线性的多项式模型就转化为多元线性模型，即

这样我们就可以用前面介绍的多元线性回归分析的方法来解决上述

问题了。其系数矩阵、结构矩阵、常数项矩阵分别为

(2-4-11)

(2-4-12)

(2-4-13)

回归方程系数的最小二乘估计为

(2-4-14)

需要说明的是，在多项式回归分析中，检验b j是否显著，实质上就是判断x的j次项x j对y是否有显著影响。

对于多元多项式回归问题，也可以化为多元线性回归问题来解决。例如，对于

(2-4-15)令x i1=Z i1, x i2=Z i2, x i3=Z i12, x i4=Z i1Z i2, x i5=Z i22

则(2-4-15)式转化为

转化后就可以按照多元线性回归分析的方法解决了。

下面我们通过一个实例来进一步说明多项式回归分析方法。

一、应用举例

例2-4-2 某种合金中的主要成分为元素A和B，试验发现这两种元素之和与合金膨胀系数之间有一定的数量关系，试根据表2-4-3给出的试验数据找出y与x之间的回归关系。

表2-4-3 例2-4-2试验数据

首先画出散点图（图2-4-3）。从散点图可以看出，y与x的关系可以用一个二次多项式来描述：

i=1,2,3…,13

图2-4-3 例2-4-2的散点图

令

x i1=x i,x i2=x i2,

则

现在我们就可以用本篇第二章介绍的方法求出的最小二乘估计。由表2-4-3给出的数据，求出

由（2-2-16）式

由此可列出二元线性方程组

将这个方程组写成矩阵形式，并通过初等变换求b1,b2和系数矩阵L 的逆矩阵L-1:

于是

b1=

b2=

b0=+ =

因此

下面对回归方程作显著性检验：

由（2-2-43）式

S回=

由（2-2-42）式

S总=

S残=L yy- S回=

将上述结果代入表2-2-2中制成方差分析表如下：

表2-4-4 方差分析表

查F检验表，F0。01（2，10）=, F>(2 ,10)，说明回归方程是高度显著的。下面对回归系数作显著性检验

由前面的计算结果可知：

b1= b2=

c11= c22= 10-3

由（2-2-54）式

由（2-2-53）式

检验结果说明的x一次及二次项对y都有显著影响