第四讲 多项式回归与正交多项式

b0 x b1 x 2 b2 x3 bp x p1 xy
b0

x
2
b1 x3
b2 x 4

bp
x p2
x2y


b0 x p b1 x p1 b2 x p2 bp x 2 p x k y
∑x1x2=∑x4=18066，
∑x2x3∑x5=158408，∑x1y=189，∑x2y=∑x2y=1293，∑x3y=∑x3y=9675
二级数据：
x1 4.75, x2 x2 33.75, x3 x3 286, y 4.25
l11 x12 （ x1）2 n =270－382／8=89.5
A(0)

89.5 861.5
861.5 8953.5
7882 86048
27.5 145.5

7882
86048
856018
563

0.017773 9.625698 88.067039 0.307263
A (1)



9.625698
660.960915
10178.2459

i(xt )
yt
n
同样，对于多元多项式回归，也可以化为多元线性回归来分析，例如，对于
多变量的任意多项式回归方程：
yˆ

b0

b1 z1

b2 z2

b3 z12

b4 z1z2

b5
z
2 2

只要令x1=z1， x2=z2 ，x3=
z12
，x4=z1z2，x5=
z
2 2
…可化为多元线性回归方程：
第四讲 多项式回归与正交多项式
POLYNOMIAL REGRESSION AND ORTHOGONAL POLYNOMIAL
• 第一节 多项式回归
• 一、多项式回归的基本方法 • 二、实例分析
• 第二节 正交多项式
• 一、正交多项式回归方程的建立 • 二、正交多项式回归的显著性检验
• 第三节 正交多项式分析实例
119.206704
88.067.39 10178.2459 161873.5986 1858.84357
0.151354
A(2)

0.014563

60.160677
0.014563 0.001513 15.399165
60.160677 15.399165 5137.11465
（4—2）
解上述方程组可得：b0，b1，b2… bp 。
若令x1=x，x2=x2，…xp=xp，或φ1(x)=x，φ2(x)=x2，…φp(x)=xp，则（4—1）可改
写成 ：
yˆ d0 d1x1 d 2 x2 d p x p
（4—3）
或
yˆ d0 d11(x) d22 (x) d p p (x)
yˆ d0 d1x1 d2 x2 d3 x3 d4 x4 d5 x5
其偏回归系数的计算，回归方程的显著性检验，各偏回归平方和的计算及显
著性检验，都与多元线性回归分析相似。
二、实例分析
例1 有一组资料如表4—1，试配置一个回归方程。
表4—1 x与y的资料
x 0 1 2 4 7 6 8 10
l33 x32 （ x3）2 n =1430610－21442／8=856018
l1y x1 y x1 y n =189－38×34／8=27.5 l2y x2 y x2 y n =1293－270×34／8=145.5 l3y x3 y x3 y n =9675－2144×34／8=563 lyy y2 ( y)2 n =176－342／
表4—2 回归系数的方差分析
变异来源
df
回归
3
离回归
4
总的
7
SS
30.0633 1.4367 31.5
MS
10.0211 0.3592
F 10.218*
F0.05(3，4) 6.59
R SSU lyy 30.0633 31.5 0.9769
R0.01(4)=0.962，R>R0.01，差异极显著，可见多元回归极为显著，且准确度也较 高。 4、偏回归系数的显著性检验
MS di

d
2 i
cii
Cii为A(3)主对角线上的元素，即高斯乘数。
Fdi MS di MsQ MSQ为离回归的均方。
Fd1 MSd1 MsQ 1.77212 0.85559 0.3592 10.218* Fd 2 MSd 2 MsQ (0.1109)2 0.04767 0.3592 0.718 Fd3 MSd3 MsQ (0.0045)2 0.000195 0.3592 0.289
l12 x1x2 x1 x2 n =2144－38×270／8=861.5
l13 x1x3 x1 x3 n =18066－38×2144／8=7882
l22 x22 （ x2）2 n =18066－2702／ l23 x2 x3 x2 x3 n 8==185985430.85－270×2144／8=86048
3、显著性检验及准确性测定：
3
回归平方和 SSU diliy 1.7721 27.5 0.1109 145.5 0.0045 563 30.0633 1
离回归平方和 SSQ SSY SSU l yy SSU 31.5 30.0633 1.4367
d1l p1 d 2l p 2 d p l pp l py
d 0 y d1 x1 d 2 x2 d p x p
其中
n
lij (xit xi )(x jt x j ) xit x jt xit x jt n t 1
n
liy (xt xi )( yt y) xt y xt yt n t 1
F0.01(2，5)=13.27，F>F0.01; R 29.9426 31.5 0.975 R0.01(5)=0.917，R>R0.01。
检验结果表明，该资料所配的二次抛物线方程，其显著水准达到1%，且准 确度较高。
Fd1 2.04332 0.151354 0.3115 88.555** Fd 2 (0.1804)2 0.001513 0.3115 69.052**
第一节 多项式回归
一、多项式回归的基本方法
设有一组观察值（xt，yt） t=1，2，…，n，存在非线性关系，则多项式回归
方程为：
yˆ b0 b1x b2 x2 bp x p
（4—1）
为使离回归平方和SSQ=∑(y－ yˆ )2最小，即根据最小二乘法原理可得出下列
正规方程组：
b0n b1 x b2 x 2 bp x p y
2.043292
0.180354

23.16028

0.855590
A(3)
0.194901

0.011711
0.194901 0.047673 0.002998
0.011711 0.002998 0.000195
1.772064 0.110928

0.004508

d1=1.7721，d2=－0.1109，d3=－0.0045 d0=4.25－1.7721×4.75+0.1109×33.75+0.0045×256=0.7814 因此，三次方曲线方程为：
yˆ 0.7814 1.7721 x 0.1109 x2 0.0045 x3
y12467653
先将x与y数值在坐标系上作图。
图4.1 x与y点式图及回归曲线图
由图所示，x与y的点式图呈抛物线形状，故可配合一个二次抛物线方程。为
yˆ b0 b1x b2 x 2 b3 x3
令x1=x，x2=x2，x3=x3，则上述方程可转化为三元线性方程
yˆ d0 d1x1 d 2 x2 d3 x3
• 一、正交多项式回归分析 • 二、处理间平方和的多项式回归分解
第四讲 多项式回归与正交多项式
POLYNOMIAL REGRESSION AND
ORTHOGONAL POLYNOMIAL
变量间的关系并不都是如前三讲所设定的线性关系，而有时是 非线性的关系。对于非线性变量间的回归分析，人们通常经过某种 线性处理，将非线性性回归转化为线性回归，即在选用适当函数类 型进行拟合时，进行适当的变量变换，把曲线方程转化为直线方程。 但是也不是所有的曲线都能找到适当的函数类型进行拟合。这时可 采用多项式逼近。所以，在许多比较复杂的实际问题中，可以不问 自变量和依变量的关系如何，采用多项式回归进行分析。然而，多 项式回归分析也存在不足之处。首先是，当自变量的个数较多时 计 算将十分繁杂；其次，如同多元线性回归一样，偏回归系数之间存 在相关性，当剔除一个自变量后，必须重新计算偏回归系数。为此， 人们研究了各种简化计算和消去偏回归系数间相关性的办法。而最 为常用的是正交多项式的分析方法。在介绍该方法之前先要了解多 项式回归的分析方法。
（i，j=1，2，…，p）
n
或
lij

(i
t 1
( xt
)
i (x) )( j (xt )
j (x) ) i (xt ) j (xt )
i (xt ) j(xt )
n
n
liy

(i
t1
(
xt
)
i(x) )( yt

y)

i(xt ) yt
所以，当x=5.66时，yˆ 取最大值，亦即曲线最高点。
第二节 正交多项式
一、正交多项式回归方程的建立 上述分析可见，要配合一个适当的多项式回归方程，其计算工作量是十分繁琐
两偏回归系数皆极显著，表明，所配合的二次抛物线适合于该资料。因此， 可依据该回归方程描绘出回归曲线图(见图4.1)。倘若需要求出该抛物线最高点的 x值时，可对 yˆ =0.6328+2.0433x－0.1804x2求一阶导数，并令其为零，即：
yˆ 2.0433 2(0.1804x) 0 x x 2.0433 2 0.1804 5.66
（4—4）
这样就把xi 或Φi(x)看成是新的变量，（4—3）或（4—4）式便是一个p元的 线性回归方程，各偏回归系数di仍可按下列正规方程组求得。
d1l11 d 2l12 d p l1 p l1y
d1l 21
d 2Biblioteka 22 d pl2 p
l2y



（4—5）
其中 d0 y d1x1 d 2 x2 d3 x3
1、计算必要数据，列出正规方程组
一级数据：
∑x1=38， ∑y2=176， ∑
∑xx322==∑∑xx26==217403，0610∑，x3=∑∑x3x=12x12=4∑4，x3=2∑14y4=，34，∑
x
2 2
=∑x4=18066，
yˆ 0.6328 2.0433 x 0.1804 x2
SSU=2.043327.5－0.1804×145.5=29.9426 SSQ=31.5－29.9426=1.5574 F MSU MSQ (29.9426 / 2) (1.5574 / 5) 14.9713 0.3115 48.065**
于是正规方程组为： 8=31.5
89.5d1 861.5d2 7882d3 27.5 861.5d1 8953.5d2 86048d3 145.5 7882d1 86048d2 856018d3 563
2、计算偏回归系数，列出回归方程，仍可用（1—16）式对下列增广矩阵作消 元变换，求得系数矩阵的逆及各偏回归系数。
F0.05(1，4)=7.71，Fd1＞F0.05，由于仅有d1检验达到5%显著水准，故需对F值最 小的x3进行剔除，把三次方曲线方程变为二次抛物线方程，可由A(2)中求得逆和
d1=2.0433，d2=－0.1804 d0=4.25－2.0433×4.75+0.1804×33.75=0.6328 二次抛物线方程为