回归设计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 回归设计
§5.1 回归设计的基本概念 §5.2 Box－Benhken设计 §5.3 二次回归的中心组合设计 §5.4 二次回归正交设计 §5.5 二次回归旋转设计 §5.6 D最优混合设计
§5.1 回归设计的基本概念
回归设计方法是由英国统计学家G.Box在20世 纪50年代初针对化工生产提出的。
当在有些试验点上有mi重复试验时，试验点为n，总试验 次数为N，残差平方和可进一步分解为组内平方和与组间 平方和，其中组内平方和就是纯误差平方和，记为 ，组
间平S e方和称为失拟平方和，记为 ，即： S Lf
S E Se S Lf
其中
Se n mi ( yij ，， yi )2 i1 j1
y 0
jzj
jj
z
2 j
ij zi z j
j
j
i j
这里各 0 , j , j为j , 未ij 知,参数，称为回归系数，
通常需要通过试验数据对它们进行估计。
若用 b0 , b j , b jj 表, bij示,相应的估计，则称
y b0
bjzj
b
jj
z
2 j
bij zi z j
y
0
1z1
2 z2
11 z12
22
z
2 2
12 z1z2
令 x1 z1, x2 z2 , x3 z12 , x4 z22 , x5 z1z2
即变成五元线性回归模型。
1．回归模型
假定回归模型为：
yii
~
0 1xi1 N (0, 2 )
p xip
i，i
1,2,
,n
y1
记随机变量的观测向量为
的可z 能 (取z1,值z2的,空, z间p )为 因子空间。 我们的任务就是从因子空间中寻找一个最佳工艺
条件（最优点） z0 (z10, z20,， 使, z0py)满 足要求。
当f 的函数形式已知时，可以通过最优化的方法 去寻找 z0。在许多情况下f 的形式并不知道，这时 常常用一个多项式去逼近它，即假定：
其后果： （1）盲目增加试验次数，这些试验数据还不能提供充分 的信息，在许多复因子试验问题中达不到试验目的。 （2）对模型的合适性有时无法检验，因为在被动处理数 据时在同一试验点上不一定存在重复试验数据。
为了适应寻求最佳工艺、最佳配方、建立生产过程的数学 模型等的需要，人们就要求以较少的试验次数建立精度较 高的回归方程。
则平方和分解式
n
n
n
ST ( yi y)2 ( yi yˆi )2 ( yˆi y)2 S E SR
i 1
i 1
i 1
其中
SE ( yi yˆi )2 为残差平方和，自由度为 i
fE n p 1
SR (yˆi y)2 为回归平方和，自由度为 f R p
当H0为真时，有
0
Y
y2 yn
回归参数向量为
，1 随 机误差向量为
p
1
2
n
1 x11 x1p
结构矩阵
X
1
x21
x2p
1 xn1 xnp
上述模型可以表示为矩阵形式：
Y ~
X Nn (0, 2In )
2．回归系数的最小二乘估计
估计回归模型中回归系数的方法是最小二乘法。
回归设计也称为响应面设计，目的是寻求试验 指标与各定量因子间的定量规律，找到工作条 件的最优值（最优工艺、最佳配方等）。
它是在多元线性回归的基础上用主动收集数据 的方法获得具有较好性质的回归方程的一种试 验设计方法。
5.1.1 回归分析——数据处理由被动变主动
古典的回归分析方法只是被动地处理已有的试验数据，对 试验点的安排不提任何要求，试验点散乱而不均匀，预测 值的标准误很大，且对于回归方程的精度研究也很少。
F
SR SE
/ /
fR fE
~
F( fR,
fE )
给定的显著性水平 ，拒绝域为 F F1 ( p, n p 1)
4．失拟检验
当在某些点有重复试验数据，便可以对试验指标 y 的期 望是否是 x1, x2 ,的, 函x p数进行检验，这种检验称为失拟检验， 它检验如下假设：
H0 : yˆ 0 1x1 L p xp H1 : yˆ 0 1x1 L p xp
回归设计的分类：
根据建立的回归方程的次数不同，回归设计通常有一次 回归设计、二次回归设计等；
根据设计的性质又有正交设计、旋转设计、通用设计和 最优设计等。
本章仅介绍二次回归的各种设计方法。
5.1.2 多项式回归模型
在一些试验中希望建立试验指标 y 与各个定 量因子 z1, z2之,间,关z p系的定量表达式，即回 归方程，以便通过该回归方程找出使指标满足 极值要求的各因子的取值。
记回归系数的最小二乘估计为 B (b0 , b1，,L应, b满p )足 如下正规
方程组：
XXB XY 当 X X存在1 时，最小二乘估计为：
B X X 1 X Y
在求得了最小二乘估计后，可以写出回归方程：
yˆ b0 b1x1 bp x p
3．对回归方程的显著性检验
对回归方程的显著性检验是指检验如下假设： H0：1 2 p 0 H1：1, 2 , , p 不全为0
为此，要求摆脱古典回归分析的被动局面，主动把试验 的安排、数据的处理和回归方程的精度统一起来考虑，即 根据试验目的和数据分析的要求来选择试验点，不仅使得 在每一个试验点上获得的数据含有最大的信息，从而减少 试验次数，而且使数据的统计分析具有一些较好的性质。
这就是二十世纪五十年代发展起来的“回归设计”所研 究的问题。
可以假定 y与 z1, z2 ,间,有z p 如下关系：
y f (z1, z2 , , z p )
这里 f (z1, z2 ,是, z p ) 的z一1 , z个2 ,函 数, z ，p 其图形也 称为响应曲面。
是随机误差，通常假定它服从均值为0，
方差为 的2 正态分布。
试验设计中，我们称 z1, z2,为,因z p子或自变量。称
j
j
i j
为y关于 z1, z2 ,的,多z p项式回归方程。
在实际中常用如下的一次与二次回归方程：
yˆ b0 bj z j
j
yˆ b0
bjzj
b
jj
z
2 j
bij zi z j
Βιβλιοθήκη Baidu
j
j
i j
5.1.3 多元线性回归
多项式回归模型，在对变量作了变换并重新命名后也可 以看成是一个多元线性回归模型。比如对二次回归模型
§5.1 回归设计的基本概念 §5.2 Box－Benhken设计 §5.3 二次回归的中心组合设计 §5.4 二次回归正交设计 §5.5 二次回归旋转设计 §5.6 D最优混合设计
§5.1 回归设计的基本概念
回归设计方法是由英国统计学家G.Box在20世 纪50年代初针对化工生产提出的。
当在有些试验点上有mi重复试验时，试验点为n，总试验 次数为N，残差平方和可进一步分解为组内平方和与组间 平方和，其中组内平方和就是纯误差平方和，记为 ，组
间平S e方和称为失拟平方和，记为 ，即： S Lf
S E Se S Lf
其中
Se n mi ( yij ，， yi )2 i1 j1
y 0
jzj
jj
z
2 j
ij zi z j
j
j
i j
这里各 0 , j , j为j , 未ij 知,参数，称为回归系数，
通常需要通过试验数据对它们进行估计。
若用 b0 , b j , b jj 表, bij示,相应的估计，则称
y b0
bjzj
b
jj
z
2 j
bij zi z j
y
0
1z1
2 z2
11 z12
22
z
2 2
12 z1z2
令 x1 z1, x2 z2 , x3 z12 , x4 z22 , x5 z1z2
即变成五元线性回归模型。
1．回归模型
假定回归模型为：
yii
~
0 1xi1 N (0, 2 )
p xip
i，i
1,2,
,n
y1
记随机变量的观测向量为
的可z 能 (取z1,值z2的,空, z间p )为 因子空间。 我们的任务就是从因子空间中寻找一个最佳工艺
条件（最优点） z0 (z10, z20,， 使, z0py)满 足要求。
当f 的函数形式已知时，可以通过最优化的方法 去寻找 z0。在许多情况下f 的形式并不知道，这时 常常用一个多项式去逼近它，即假定：
其后果： （1）盲目增加试验次数，这些试验数据还不能提供充分 的信息，在许多复因子试验问题中达不到试验目的。 （2）对模型的合适性有时无法检验，因为在被动处理数 据时在同一试验点上不一定存在重复试验数据。
为了适应寻求最佳工艺、最佳配方、建立生产过程的数学 模型等的需要，人们就要求以较少的试验次数建立精度较 高的回归方程。
则平方和分解式
n
n
n
ST ( yi y)2 ( yi yˆi )2 ( yˆi y)2 S E SR
i 1
i 1
i 1
其中
SE ( yi yˆi )2 为残差平方和，自由度为 i
fE n p 1
SR (yˆi y)2 为回归平方和，自由度为 f R p
当H0为真时，有
0
Y
y2 yn
回归参数向量为
，1 随 机误差向量为
p
1
2
n
1 x11 x1p
结构矩阵
X
1
x21
x2p
1 xn1 xnp
上述模型可以表示为矩阵形式：
Y ~
X Nn (0, 2In )
2．回归系数的最小二乘估计
估计回归模型中回归系数的方法是最小二乘法。
回归设计也称为响应面设计，目的是寻求试验 指标与各定量因子间的定量规律，找到工作条 件的最优值（最优工艺、最佳配方等）。
它是在多元线性回归的基础上用主动收集数据 的方法获得具有较好性质的回归方程的一种试 验设计方法。
5.1.1 回归分析——数据处理由被动变主动
古典的回归分析方法只是被动地处理已有的试验数据，对 试验点的安排不提任何要求，试验点散乱而不均匀，预测 值的标准误很大，且对于回归方程的精度研究也很少。
F
SR SE
/ /
fR fE
~
F( fR,
fE )
给定的显著性水平 ，拒绝域为 F F1 ( p, n p 1)
4．失拟检验
当在某些点有重复试验数据，便可以对试验指标 y 的期 望是否是 x1, x2 ,的, 函x p数进行检验，这种检验称为失拟检验， 它检验如下假设：
H0 : yˆ 0 1x1 L p xp H1 : yˆ 0 1x1 L p xp
回归设计的分类：
根据建立的回归方程的次数不同，回归设计通常有一次 回归设计、二次回归设计等；
根据设计的性质又有正交设计、旋转设计、通用设计和 最优设计等。
本章仅介绍二次回归的各种设计方法。
5.1.2 多项式回归模型
在一些试验中希望建立试验指标 y 与各个定 量因子 z1, z2之,间,关z p系的定量表达式，即回 归方程，以便通过该回归方程找出使指标满足 极值要求的各因子的取值。
记回归系数的最小二乘估计为 B (b0 , b1，,L应, b满p )足 如下正规
方程组：
XXB XY 当 X X存在1 时，最小二乘估计为：
B X X 1 X Y
在求得了最小二乘估计后，可以写出回归方程：
yˆ b0 b1x1 bp x p
3．对回归方程的显著性检验
对回归方程的显著性检验是指检验如下假设： H0：1 2 p 0 H1：1, 2 , , p 不全为0
为此，要求摆脱古典回归分析的被动局面，主动把试验 的安排、数据的处理和回归方程的精度统一起来考虑，即 根据试验目的和数据分析的要求来选择试验点，不仅使得 在每一个试验点上获得的数据含有最大的信息，从而减少 试验次数，而且使数据的统计分析具有一些较好的性质。
这就是二十世纪五十年代发展起来的“回归设计”所研 究的问题。
可以假定 y与 z1, z2 ,间,有z p 如下关系：
y f (z1, z2 , , z p )
这里 f (z1, z2 ,是, z p ) 的z一1 , z个2 ,函 数, z ，p 其图形也 称为响应曲面。
是随机误差，通常假定它服从均值为0，
方差为 的2 正态分布。
试验设计中，我们称 z1, z2,为,因z p子或自变量。称
j
j
i j
为y关于 z1, z2 ,的,多z p项式回归方程。
在实际中常用如下的一次与二次回归方程：
yˆ b0 bj z j
j
yˆ b0
bjzj
b
jj
z
2 j
bij zi z j
Βιβλιοθήκη Baidu
j
j
i j
5.1.3 多元线性回归
多项式回归模型，在对变量作了变换并重新命名后也可 以看成是一个多元线性回归模型。比如对二次回归模型