7、高级实验设计—回归的最优设计(Optimized Design)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
说明在 D-优良性意义下，方案W1优于方案W2。
在给定的因子空间某一区域 上，在所有可
能设计出的方案中，信息矩阵行列式值最大的方案 称为因子区域
上的 D-最优方案。显然，D-最
优方案是对所给定的因子区域而言，不同的因子区
域可能存在不同的 D-最优方案。
（二）G-优良性
根据试验方案 (W) 进行试验，获得了 y1 , y2 ,, y N
其中Fra Baidu bibliotek
其回归方程为：
ˆ ( x,W ) bF ( x) y
b 的方差与协方差矩阵为：
（7.8）
D(b) 2 ( X X ) 1 2 A1
（7.9）
ˆ ( x,W ) 的方差为： 回归值 y
ˆ ( x,W )) D(bF ( x)) 2 F ( x) A1 (W ) F ( x) D( y F ( x)C (W ) F ( x)
（7.5）
连续方案的信息矩阵为：
A(W ) pt F ( xt ) F ( xt )
t 1
n
pt f12 ( xt ) pt f1 ( xt ) f 2 ( xt ) pt f1 ( xt ) f m ( xt ) 2 pt f 2 ( xt ) f m ( xt ) pt f 2 ( xt ) 2 对称部分 pt f m ( xt )
由（7.3）与（7.4）可得到离散方案的信息矩阵为：
A(W ) nt F ( xt ) F ( xt )
t 1
n
nt f12 ( xt ) nt f1 ( xt ) f 2 ( xt ) nt f1 ( xt ) f m ( xt ) 2 nt f 2 ( xt ) f m ( xt ) nt f 2 ( xt ) 2 对称部分 nt f m ( xt )
N 个观察值，用最小二乘法去估计模型（7.2）中参
数 ，设其估计值为 b (b1 , b2 ,,b m ) ，则：
ˆ b (X X ) 1 X Y A1 X Y （7.7）
y1 y2 Y y N
若试验方案是由 N 个试验点 x1 , x2 ,, xN 组成，则模型（7.1）的结构矩阵为：
f1 ( x1 ) f 2 ( x1 ) f1 ( x2 ) f 2 ( x2 ) X f (x ) f (x ) 2 N 1 N
f m ( x1 ) f m ( x2 ) f m ( xN )
息矩阵行列式的值，即 A(W1 ) A(W2 ) ，则说在 D-优 良性意义下方案 W1 比 W2 好。
由于相关矩阵 C(W)是信息矩阵 A(W)的逆矩阵， 所以 ：
A(W ) C (W ) 1
因此，
A(W1 ) A(W2 ) 等价于 C (W1 ) C (W2 )
[例7.1] 单因素试验，其回归模型为：
y 1 f1 ( x ) 2 f 2 ( x ) m f m ( x )
当 m6：
f1 x1 , x2 ) 1
f 2 x1 , x2 ) x1
f 4 x1 , x2 ) x
f 3 x1 , x2 ) x2
2 f 5 x1 , x2 ) x2
（7.6）
二、D-优良性与G-优良性
（一）D-优良性 在回归最优设计中， 1943年 Wald 提出信息 矩阵行列式极大值判别法。1959年 Kefier 称这种 判别法为 D-最优性，即 D-优良性。
在同一模型下，对两个不同的试验方案 W1与 W2， 如果方案 W1的信息矩阵行列式的值大于方案 W2的信
xn pn
n t 1
其中， pt 称点 xt 的测度，且 pt 1
将离散方案转化为连续方案称为方案的规范
化。 任一离散方案都可通过规范化转化为连续方 案，但连续方案一般只能转化为一个近似的离散 方案。
在实际中使用的都是离散方案，但在 D-最优
设计中，要直接编制离散方案却相当困难，往往 是先编制连续方案，然后再过渡到离散方案。
1 d ( x,W1 ) (1 x) 6 0
0 1 1 2 ( 3 x 2) 1 x 12 4
函数 3x 2 2 在 1 x 1 上的最大值为5，所以，
1 1 5 2 max d ( x,W1 ) max( 3x 2) 5 12 1 x 1 12 12 1 x 1
x
大方差的大小可以判断试验方案的优劣。对于因子 区域 上的任意两个试验方案 W1与 W2，若回归
值的最大方差 W1小于 W2，即：
max d ( x,W1 ) max d ( x,W2 )
x x
则说在 G-优良性意义下，方案 W1比方案 W2好。
例如在例 7.1中，方案 W1的回归值的方差为：
f m ( x1 ) f m ( x2 ) f m ( xN )
（二）试验方案
假若试验是在给定的因子空间的一组点上 x1 , x2 ,, xN 进行，每个点可以只作一次，也可 重复若干次。这一组点与其对应的重复次数所 组成的集体，称为一个 离散方案 ，若用 W(N) 表示，则： x1 , x2 , , xn W (N ) : n , n , , n 2 n 1
2
（7.10）
以 2 为单位时，设回归值的方差为 d ( x, W ) ，则：
ˆ ( x,W )) F ( x) A1 (W ) F ( x) d ( x, W ) D ( y （7.11） F ( x)C (W ) F ( x)
回归值的方差 d ( x, W ) 在给定的因子区域 上总有一个最大值 max d ( x,W ) 。根据回归值最
（7.3）
信息矩阵为：
A X X F ( x ) F （x）
1
N
（7.4）
式中 F ( x ) 是 F ( x ) 的转置向量。
f1 ( x1 ) f1 ( x2 ) X f (x ) 1 N
f 2 ( x1 ) f 2 ( x2 ) f 2 ( xN )
第七章
回归的最优设计
回归的正交设计、回归的旋转设计各有其优点， 但均未涉及统计意义上的优劣。
回归的最优设计的出现背景：从统计意义上来 研究不同试验方案的优劣，建立最优方案。
对于一定的回归模型→在给定的因子空间的某
一区域上可以设计出多种试验方案→试验后每个方
案都可估计出回归模型中的参数→建立回归方程 不同方案所建立的回归方程，其回归值与观察 值拟合的程度不相同。 在可能设计出的试验方案中，能使回归值与观 察值拟合最好的那个方案，就是最优方案，即最优 设计。
方案 W2的回归值方差为：
2 d ( x,W2 ) (1 x) 10 1 10
1 1 1 10 (3x 2 2 x 2) 10 3 x 10
函数 (3x 2 2 x 2) 在 1 x 1 上的最大值为7， 所以，
1,2,, N
（7.1）
用矩阵表示为：
E ( y) F ( x)
（7.2）
式中的 x 是给定的因子区域 中一点，若因子空
间为 P 维欧氏空间，则 x 为 P 维向量： （ x 1 , x 2 ,, xP ）
f1 ( x ), f 2 ( x ), , f m ( x ) 都是连续函数；
1 1 7 2 max d ( x,W2 ) max( 3x 2 x 2) 7 10 1 x 1 10 10 1 x 1
故 max d ( x,W1 ) max d ( x,W2 )
1 x 1 1 x 1
说明在 G-优良性意义下，方案W1也是比方案 W2 好。
若方案 W 回归值的最大方差在因子区域 上的所有方案中为最小，即：
max d ( x,W ) min max d ( x,W )
x
W
x
（7.12）
则称方案 W 为因子区域 上的 G-最优方案， 或称极大极小化设计。
3 3
其行列式为：
A(W1 ) 2
2
3 0 0 2
24
相关矩阵为：
1 13 C (W1 ) 20
其行列式为：
0 1 2
1 C (W1 ) 6 0
1 1 24 4
0
对于方案 W2同样可得出：
6 2 3 1 A(W2 ) 2 4 2 1 2 A(W2 ) 2
1 , 2 ,, m 是 m 个待定参数；
是服从正态分布的相互独立的随机变量；
f1 ( x) f 2 ( x) F ( x) f ( x) m
(1 , 2 ,, m )
对于模型（7.1），
根据模型，F ( x) ( f1 ( x), f 2 ( x)) (1, x) ，由式 （7.5）得方案 W1的信息矩阵为：
1 6 0 3 0 A(W1 ) nt F ( xt ) F ( xt ) nt (1 xt ) 2 t 1 t 1 xt 0 4 0 2
2 1
f 6 x1 , x2 ) x1 x2
就得到二元二次回归模型：
2 2 Y 0 1 X 1 2 X 2 12 X 1 X 2 11 X X 1 22 2
y 1 f1 ( x ) 2 f 2 ( x ) m f m ( x )
其中，x1 , x2 ,, xn 称为方案 W 的谱点，且 n N t
t 1 n
如果把离散方案中每个点的重复次数改用其
nt 与总次数 N 的比值 Pt 表示，且 Pt 可以在 N
[0, 1] 中任意取值，则称为连续方案，即：
x1 , W (N ) : p, 1
x2 , , p2 , ,
第一节 回归 D-最优设计原理
一、回归模型与试验方案
由于变量之间的关系不同，回归模型 与试验方案就有很多种。 在讨论最优设计原理时，对模型和方 案需要给出更一般的形式与定义。
（一）回归模型（数学模型）
不论因变量与自变量之间存在何种回归关系，
可设其回归模型为：
y 1 f1 ( x ) 2 f 2 ( x ) m f m ( x )
y 1 2 x
（
1 x 1 1,2,, N ）
试比较下列两个试验方案：
x1 1 x2 0 x3 1 W1： n 2 n 2 n 2 2 3 1 x1 1 x2 0 x3 1 W2： n 1 n 2 n 3 2 3 1
2
3 1 1 2
20
1 4 2 1 2 1 C (W2 ) 20 2 6 10 1 3
2 C (W2 ) 10 1 10 1 10 5 3 100 10
以上计算结果可看出：
A(W1 ) A(W2 ) C (W1 ) C (W2 )
在给定的因子空间某一区域 上，在所有可
能设计出的方案中，信息矩阵行列式值最大的方案 称为因子区域
上的 D-最优方案。显然，D-最
优方案是对所给定的因子区域而言，不同的因子区
域可能存在不同的 D-最优方案。
（二）G-优良性
根据试验方案 (W) 进行试验，获得了 y1 , y2 ,, y N
其中Fra Baidu bibliotek
其回归方程为：
ˆ ( x,W ) bF ( x) y
b 的方差与协方差矩阵为：
（7.8）
D(b) 2 ( X X ) 1 2 A1
（7.9）
ˆ ( x,W ) 的方差为： 回归值 y
ˆ ( x,W )) D(bF ( x)) 2 F ( x) A1 (W ) F ( x) D( y F ( x)C (W ) F ( x)
（7.5）
连续方案的信息矩阵为：
A(W ) pt F ( xt ) F ( xt )
t 1
n
pt f12 ( xt ) pt f1 ( xt ) f 2 ( xt ) pt f1 ( xt ) f m ( xt ) 2 pt f 2 ( xt ) f m ( xt ) pt f 2 ( xt ) 2 对称部分 pt f m ( xt )
由（7.3）与（7.4）可得到离散方案的信息矩阵为：
A(W ) nt F ( xt ) F ( xt )
t 1
n
nt f12 ( xt ) nt f1 ( xt ) f 2 ( xt ) nt f1 ( xt ) f m ( xt ) 2 nt f 2 ( xt ) f m ( xt ) nt f 2 ( xt ) 2 对称部分 nt f m ( xt )
N 个观察值，用最小二乘法去估计模型（7.2）中参
数 ，设其估计值为 b (b1 , b2 ,,b m ) ，则：
ˆ b (X X ) 1 X Y A1 X Y （7.7）
y1 y2 Y y N
若试验方案是由 N 个试验点 x1 , x2 ,, xN 组成，则模型（7.1）的结构矩阵为：
f1 ( x1 ) f 2 ( x1 ) f1 ( x2 ) f 2 ( x2 ) X f (x ) f (x ) 2 N 1 N
f m ( x1 ) f m ( x2 ) f m ( xN )
息矩阵行列式的值，即 A(W1 ) A(W2 ) ，则说在 D-优 良性意义下方案 W1 比 W2 好。
由于相关矩阵 C(W)是信息矩阵 A(W)的逆矩阵， 所以 ：
A(W ) C (W ) 1
因此，
A(W1 ) A(W2 ) 等价于 C (W1 ) C (W2 )
[例7.1] 单因素试验，其回归模型为：
y 1 f1 ( x ) 2 f 2 ( x ) m f m ( x )
当 m6：
f1 x1 , x2 ) 1
f 2 x1 , x2 ) x1
f 4 x1 , x2 ) x
f 3 x1 , x2 ) x2
2 f 5 x1 , x2 ) x2
（7.6）
二、D-优良性与G-优良性
（一）D-优良性 在回归最优设计中， 1943年 Wald 提出信息 矩阵行列式极大值判别法。1959年 Kefier 称这种 判别法为 D-最优性，即 D-优良性。
在同一模型下，对两个不同的试验方案 W1与 W2， 如果方案 W1的信息矩阵行列式的值大于方案 W2的信
xn pn
n t 1
其中， pt 称点 xt 的测度，且 pt 1
将离散方案转化为连续方案称为方案的规范
化。 任一离散方案都可通过规范化转化为连续方 案，但连续方案一般只能转化为一个近似的离散 方案。
在实际中使用的都是离散方案，但在 D-最优
设计中，要直接编制离散方案却相当困难，往往 是先编制连续方案，然后再过渡到离散方案。
1 d ( x,W1 ) (1 x) 6 0
0 1 1 2 ( 3 x 2) 1 x 12 4
函数 3x 2 2 在 1 x 1 上的最大值为5，所以，
1 1 5 2 max d ( x,W1 ) max( 3x 2) 5 12 1 x 1 12 12 1 x 1
x
大方差的大小可以判断试验方案的优劣。对于因子 区域 上的任意两个试验方案 W1与 W2，若回归
值的最大方差 W1小于 W2，即：
max d ( x,W1 ) max d ( x,W2 )
x x
则说在 G-优良性意义下，方案 W1比方案 W2好。
例如在例 7.1中，方案 W1的回归值的方差为：
f m ( x1 ) f m ( x2 ) f m ( xN )
（二）试验方案
假若试验是在给定的因子空间的一组点上 x1 , x2 ,, xN 进行，每个点可以只作一次，也可 重复若干次。这一组点与其对应的重复次数所 组成的集体，称为一个 离散方案 ，若用 W(N) 表示，则： x1 , x2 , , xn W (N ) : n , n , , n 2 n 1
2
（7.10）
以 2 为单位时，设回归值的方差为 d ( x, W ) ，则：
ˆ ( x,W )) F ( x) A1 (W ) F ( x) d ( x, W ) D ( y （7.11） F ( x)C (W ) F ( x)
回归值的方差 d ( x, W ) 在给定的因子区域 上总有一个最大值 max d ( x,W ) 。根据回归值最
（7.3）
信息矩阵为：
A X X F ( x ) F （x）
1
N
（7.4）
式中 F ( x ) 是 F ( x ) 的转置向量。
f1 ( x1 ) f1 ( x2 ) X f (x ) 1 N
f 2 ( x1 ) f 2 ( x2 ) f 2 ( xN )
第七章
回归的最优设计
回归的正交设计、回归的旋转设计各有其优点， 但均未涉及统计意义上的优劣。
回归的最优设计的出现背景：从统计意义上来 研究不同试验方案的优劣，建立最优方案。
对于一定的回归模型→在给定的因子空间的某
一区域上可以设计出多种试验方案→试验后每个方
案都可估计出回归模型中的参数→建立回归方程 不同方案所建立的回归方程，其回归值与观察 值拟合的程度不相同。 在可能设计出的试验方案中，能使回归值与观 察值拟合最好的那个方案，就是最优方案，即最优 设计。
方案 W2的回归值方差为：
2 d ( x,W2 ) (1 x) 10 1 10
1 1 1 10 (3x 2 2 x 2) 10 3 x 10
函数 (3x 2 2 x 2) 在 1 x 1 上的最大值为7， 所以，
1,2,, N
（7.1）
用矩阵表示为：
E ( y) F ( x)
（7.2）
式中的 x 是给定的因子区域 中一点，若因子空
间为 P 维欧氏空间，则 x 为 P 维向量： （ x 1 , x 2 ,, xP ）
f1 ( x ), f 2 ( x ), , f m ( x ) 都是连续函数；
1 1 7 2 max d ( x,W2 ) max( 3x 2 x 2) 7 10 1 x 1 10 10 1 x 1
故 max d ( x,W1 ) max d ( x,W2 )
1 x 1 1 x 1
说明在 G-优良性意义下，方案W1也是比方案 W2 好。
若方案 W 回归值的最大方差在因子区域 上的所有方案中为最小，即：
max d ( x,W ) min max d ( x,W )
x
W
x
（7.12）
则称方案 W 为因子区域 上的 G-最优方案， 或称极大极小化设计。
3 3
其行列式为：
A(W1 ) 2
2
3 0 0 2
24
相关矩阵为：
1 13 C (W1 ) 20
其行列式为：
0 1 2
1 C (W1 ) 6 0
1 1 24 4
0
对于方案 W2同样可得出：
6 2 3 1 A(W2 ) 2 4 2 1 2 A(W2 ) 2
1 , 2 ,, m 是 m 个待定参数；
是服从正态分布的相互独立的随机变量；
f1 ( x) f 2 ( x) F ( x) f ( x) m
(1 , 2 ,, m )
对于模型（7.1），
根据模型，F ( x) ( f1 ( x), f 2 ( x)) (1, x) ，由式 （7.5）得方案 W1的信息矩阵为：
1 6 0 3 0 A(W1 ) nt F ( xt ) F ( xt ) nt (1 xt ) 2 t 1 t 1 xt 0 4 0 2
2 1
f 6 x1 , x2 ) x1 x2
就得到二元二次回归模型：
2 2 Y 0 1 X 1 2 X 2 12 X 1 X 2 11 X X 1 22 2
y 1 f1 ( x ) 2 f 2 ( x ) m f m ( x )
其中，x1 , x2 ,, xn 称为方案 W 的谱点，且 n N t
t 1 n
如果把离散方案中每个点的重复次数改用其
nt 与总次数 N 的比值 Pt 表示，且 Pt 可以在 N
[0, 1] 中任意取值，则称为连续方案，即：
x1 , W (N ) : p, 1
x2 , , p2 , ,
第一节 回归 D-最优设计原理
一、回归模型与试验方案
由于变量之间的关系不同，回归模型 与试验方案就有很多种。 在讨论最优设计原理时，对模型和方 案需要给出更一般的形式与定义。
（一）回归模型（数学模型）
不论因变量与自变量之间存在何种回归关系，
可设其回归模型为：
y 1 f1 ( x ) 2 f 2 ( x ) m f m ( x )
y 1 2 x
（
1 x 1 1,2,, N ）
试比较下列两个试验方案：
x1 1 x2 0 x3 1 W1： n 2 n 2 n 2 2 3 1 x1 1 x2 0 x3 1 W2： n 1 n 2 n 3 2 3 1
2
3 1 1 2
20
1 4 2 1 2 1 C (W2 ) 20 2 6 10 1 3
2 C (W2 ) 10 1 10 1 10 5 3 100 10
以上计算结果可看出：
A(W1 ) A(W2 ) C (W1 ) C (W2 )