第11周周讲解内容

(1) 并沿此方向作一维搜索，得到该方向上一维极小点 X ，至此完成 第一轮搜索。
进行第二轮迭代时， 去掉第一个方向S1(1) e1 ，将方向S (1) 作为最末一个迭代方向， 即从 X (1) X 0(2) 出发，依次沿着方向S1(2) S2(1) e2 (2) (1) (1) 及 S2 S (1) X 2 X0
若共轭方向不好，则不用它作为下一轮的迭代方向， 而仍采用原来的一组迭代方向； 若共轭方向好， 则可用它替换前轮迭代中使目标函数值下降最多的一个方向， 而不一定是替换第一个迭代方向。 这样得到的方向组，其收敛性更好。
13:42:562015-6-30 8 8
修正鲍威尔法对于是否用新的方向来替换原方向组的某一方向 的判别条件为：
各轮迭代中的方向组的向量应该是线性无关的。 然而很不理想的是， 上述方法每次迭代所产生的新方向可能出现线性相关， 故使搜索运算退化到一个较低维的空间进行， 从而导致计算不能收敛而无法求得真正的极小点。 为了提高沿共轭方向搜索的效果， 鲍威尔针对上述算法提出了改进， 则改进后的算法 称为修正鲍威尔法。
k) (k ) (k ) X i( k ) X i( 1 i Si
(i 1, 2,
, n)
(k ) (k ) (4)连接 X 0 、 X n ，构成新的共轭方向 S ( k ) ，即
(k ) (k ) S (k ) X n X0
(5)沿 S ( k ) 方向一维搜索求得步长 (6)检验精度，若 则继续进行下一步。
将 S ( 2)加到第二轮方向组之中，并去掉第二轮迭代的第一个方 向 ，即令 S1(2) e2
(2) S1(3) S2 S (1) (3) (2) (2) S2 S (2) X 2 X0
(1) 即第三轮的迭代方向实际上是 S 和 S ( 2) ，
X2 由于 S ( 2) 是连接两个平行线的方向 S (1) 搜索得到的二极小点X 0 、 所构成的，根据共轭方向的概念可知， S (1) 和 S ( 2) 是互为共轭的方向。
13:42:562015-6-30
99
两种情况：
13:42:562015-6-30
10 10
修正的鲍威尔法的迭代计算步骤如下：
(1)给定初始点 X(o) 和收敛精度ε >0； (2)取 n 个坐标轴的单位向量 ei ( i =1,2,…,n )为初始搜索方 向Si(k) = ei ，置 k=1 ( k为迭代轮数) ； (k ) (3)从 X 0 出发，依次沿 Si( k ) (i 1, 2, , n)进行 n 次一维搜索， 得到 n 个一维极小点
kຫໍສະໝຸດ Baidu
k ,得 X k Xn kSk
，则结束迭代，得
；否
13:42:562015-6-30
12 12
(7)沿共轭方向 S ( k ) 计算 X 0
(k )
的映射点
) (k ) (k ) X n(k 2 X X 1 n 0
(8)计算第k 轮中各相邻极小点目标函数的差值，并找出其中的最 大差值及其相应的方向:
13:42:562015-6-30
7
7
2. 修正鲍威尔法
改进的鲍威尔法放弃了原算法中不加分析地用新形成的方向 S ( k ) 替换上一轮搜索方向组中的第一个方向的作法 。
该算法规定：
在每一轮迭代完成产生共轭方向 ( k ) 后， S 在组成新的方向组时不一律舍去上一轮的第一个方向 S ( k ) ， 1 而是先对共轭方向的好坏进行判别， 检验它是否与其他方向线性相关或接近线性相关。
间接解法：
这类方法对于解决具有不等式约束和等式约束条件的优化问题 都有效。
这类方法的基本思想：
将复杂的约束问题转化为一系列无约束优化问题，即按一定原 则构造一个新的目标函数 ( X ) ，并以它的最优化解去逐步逼 近原约束问题的最优解。约束问题通过这种方法的处理，就可 以采用无约束优化方法求解。 属于这类方法的主要有：拉格朗日乘子法、惩罚函数法等。
对于二元函数，经过二轮搜索，就产生了两个互相共轭的方向。
对于三元函数经过三轮搜索以后，就可以得到三个互相共轭的 方向。
13:42:562015-6-30
6
6
而对于n 元函数，经过n 轮搜索以后，一共可产生 n 个互相共轭 的方向：
S (1) , S (2) , , S ( n)
上述基本鲍威尔法的基本要求：
(mk ) = max{ f ( X i(k1) ) f ( X i(k ) )} (i 1,2, , n)
1 m n (k ) (k ) (k ) Sm Xm 1 X m
(9)计算第k 轮初始点、终点和映射点的函数值
(k ) f0(k ) f ( X 0 ) (k ) fn( k ) f ( X n ) (k ) fn(k1) f ( X n 1 )
( 2)
( 2)
如果所考察的二维函数是二次的，即对于二维二次函数，
S ( 2) 的两次一维搜索所得到的极小点X ( 2) 经过沿共轭方向 S (1) 、 就是该目标函数的极小点 X * （即椭圆的中心）。
13:42:552015-6-30
5
而对于二维非二次函数，这个极小点 X ( 2)还不是该函数的极小点， 需要继续按照上述方向进行进一步搜索。 由上述可知，共轭方向是在更替搜索方向反复作一维搜索中逐 步形成的。
(2) 进行一维搜索，得到极小点： X1(2)、X 2 ； ( 2) 然后利用 X 0(2) 、X 2 构成另一个迭代方向S ( 2) ，即
(2) (2) S (2) X 2 X0
并沿此方向搜索得到 X (2) 。
图4-23
13:42:552015-6-30
基本鲍威尔法的迭代过程
4
为形成第三轮迭代的方向，
在第 k 轮搜索中，根据下述条件式是否满足分两种情况来处理：
k f0 k 2 f n k f n 1/ 2
k 为第k环的起始点函数值； f 0 k f X 0
(4-43)
k 为第k环的沿基本方向组依次搜索后的终点函数值； f n k f X n k k k k f n Xn 1 f X n 1 为 X 0 对
或
* X 可结束迭代计算，输出最优解：
* * f f (X )
否则，置 k k 1 ，转入下一轮继续进行循环迭代。 修正鲍威尔法的计算框图如图4-c所示。
13:42:572015-6-30
15 15
图4-c 鲍威尔法的计算框图
13:42:572015-6-30
16 16
第11周周一主要讲解：1）鲍威尔及基本鲍威尔法 2）复合形法
第11周周三主要讲解：1）复合形法 2）惩罚函数法
13:42:542015-6-30
1
1. 基本鲍威尔法
基本鲍威尔法 的基本原理：
首先采用坐标轮换法进行第一轮迭代。 然后以第一轮迭代的最末一个极小点和初始点， 构成一个新的方向，并以此新的方向作为最末一个方向， 而去掉第一个方向， 得到第二轮迭代的 n 个方向。 仿此进行下去，直至求得问题的极小点。 现以二维优化问题为例，来说明鲍威尔法的迭代过程。
本节主要介绍：复合形法和拉格朗日乘子法、惩罚函数法。
13:42:572015-6-30
22 22
4.5.1 复合形法 复合形法：是适用于求解具有不等式约束优化问题的一种直接算法。
该法的 基本思路：
在 n 维优化设计空间的可行域 D 内， 构造具有 k 个顶点 (n 1 k 2n) 的多边形(或多面体) 称作复合形。 复合形的每个顶点都代表一个设计方案。 然后计算复合形各顶点的目标函数值并逐一进行比 较，取函数值最大者为最坏点，最小者为最好点。 再以去掉最坏点的其余各点的中心点为映射轴心， 在最坏点和其余各点的中心点的连线上，寻找一个既满 足约束条件，又使目标函数值有所改善的坏点映射点， 并以该映射点替换坏点而构成新的复合形。
（2-59）
求解这类问题的方法 所求得的最优点X *
称约束优化方法， 称为约束最优点。
约束优化算法大致可归纳为两大类：
● 直接解法 ● 间接解法
直接解法：
这类方法对于只有不等式约束的优化问题是有效的。
这类方法的基本思想：
在约束的可行域内直接搜索出它的约束最优解。 属于这类方法的主要有：可行方向法，复合形法等。
若上述判别条件满足，则进人第k+1轮迭代时，仍采用第k轮迭代的方 向，初始点取 ( k 1) (k )
S1 S1 ( k 1) (k ) S 2 S2 ( k 1) (k ) Sn Sn
S1 S1( k 1) (k ) ( k 1) S2 S2 (k ) S m 1 (k ) S m 1 (k ) Sn (k ) S ( k 1) n S
k 1 X0
X n k X n 1
k
k 当f n k f n 1时 k 当f n k f n 1时
13:42:572015-6-30
14 14
(8)进行收敛判断： 若满足
( k 1) X0 X 0( k ) ( k 1) (k ) f (X0 ) f (X0 ) 1 ( k 1) f (X0 )
按照上述步骤重复多次，不断地去掉最坏点，这样不断调整复合形的 顶点，使复合形不断向最优点靠拢，最后搜索到约束优化问题的最优解。
13:42:572015-6-30
(10)检验鲍威尔条件，原方向组是否需要替换：
13:42:572015-6-30
13 13
若不满足判别条件:
) 由 X n( k ) 出发沿方向 S ( k ) 进行一维搜索，求出该方向的极小点 X ( k， ( k 1) X (k ) ； 并以 X ( k )作为k+1轮迭代的初始点，即令X 0 (k ) 然后去掉方向 S m ，而将方向 S ( k ) 作为k+1轮迭代的最末一个方向， 即第k+1轮的搜索方向为： (k )
(1) S2 e2 [0,1]T
作一维搜索， (1) 求得该方向上的极小点 X 2 。
图4-23 基本鲍威尔法的迭代过程
13:42:552015-6-30
3
3
(1) (1) 然后利用两次搜索得到的极小点X 0 及 X 2 构成一个新的迭代 方向 S (1) ，即 (1) (1) S (1) X 2 X0
13:42:552015-6-30
2
2
二维问题基本鲍威尔法的迭代过程，如图4-23所示。
取初始点 X (0) 作为迭代计算的出发点， 即令 X 0(1) X (0)， 先沿坐标轴 X 1 的方向 S1(1) e1 [1,0]T 作一维搜索， 求得此方向上的极小点 X 1(1) 。 然后，再沿 X 2 坐标方向
13:42:572015-6-30
17 17
13:42:572015-6-30
18 18
13:42:572015-6-30
19 19
13:42:572015-6-30
20 20
2.5 约束优化方法
工程中的大量优化设计问题，都是约束优化问题， 这类问题的一般数学模型为：
min f ( X ), X R n s.t.gu ( X ) 0u 1, 2, hv ( X ) 0v 1, 2, , ,m , pn
k k k Xn 映射点函数值， 1 2 X n X 0
k f k f X k f X k max f X k f X k fm -1 m m-1 m i 1 i
1≤i≤n，为第环方向组中沿各方向一维搜索所得的函数值下降最大者。