第十一讲 非线性规划(三)(运筹学-清华大学,林谦)

Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （10）
其思路为，首先取3个点（n+1=2+1）X(1)，X(2)，X(3)，并 计算函数值f(X(1))，f(X(2))，f(X(3))。然后比较大小（这三 个点称为初始正多面体）。发现f(X(3))最大，舍去f(X(3))，
Operations Research
第二十三讲
第十一讲 非线性规划（三）
§1 不使用导数的无约束寻优方法
page 1 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （1）
-1 X(6) • ••X(•4) •
1
23 基矢量X(b)
x1
探测搜索步骤
-2
成功
-3
图4-12 模式搜索法例题
失败 模式搜索步骤
成功 失败
page 9 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （11）
②可变多面体法
该法在迭代过程中，不保持每步都为正多面体，而是根据 情况改变形状，故称可变多面体法。
其算法步骤如下：
设 Xi(k) =[x i1(k)，…，x ij(k)，…，x in(k)]T， i=1，…，n+1
若都不能使f f[X]↓，就仍令原X(0)为新元素，
然后按同样方法把X2(0)试采改变一个△X2(0)值，直到变化n 次，找到一个新点X(1)，便完成了“探测搜索”。
第二步：以新点为基点，连接 X (0) X (1) ，按此矢量方向进行 模式搜索或加速移步，模式搜索得到X(2)后，再进行II型探 测搜索，就得到新点X(3)，
找出余下两点X(1)和X(2)的形心点，连结X(3)与形心点并延
长找出X(3)关于形心点的对称点X(4)，再用X(1)，X(2)和X(4)
构成新的正多面体，继续前述步骤，直到找出极小点为
止。图4-13中描绘了寻找f(X)极小点的正多面体序列。
page 11 4 March 2020
Prof. Wang School of Economics & Management
§1 不使用导数的无约束寻优 方法 （5）
② 步 长 加 速 法 (Hooke and Jeeves method) 或 模 式 搜 索 法 （Pattern Search method）。
该法为改进坐标轮换法而设计，方法搜索简单（不在某方 向上取极值点）。其主要分两步进行：
·环绕基点的“探测搜索”，称I型搜索。
page 14 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （14）
若f[Xn+4 (k)]< f[Xl(k)]则Xn+4 (k)取代Xh(k)，说明扩大成果成功。 若f[Xn+4 (k)]≥f[Xl(k)]则用Xn+3 (k)取代Xh(k)说明扩大成果失败。 iii) 收缩 若所有的i≠h，存在f[Xn+3 (k)]>f[Xi(k)]说明反射点值 仍较大，则应收缩进去，即
page 7 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （7）
若f[X(3)<[f[X(1)]]，说明模式搜索成功，否则失败。
第三步：若模式搜索成功，继续向前搜索；否则，返回上 一点，缩小步长继续探测搜索。
第二十三讲
§1 不使用导数的无约束寻优 方法 （12）
f[Xh(k)]=max{ f[X1(k)]，…，f[Xn+1(k)]}
f[Xl(k)]=min{ f[X1(k)]，…，f[Xn+1 (k)]}
找出去掉Xh后的n个项点的形心坐标
x n2，j
1 n
n1 i1
xi(jk
·在选择的极小化方向上的“模式搜索”。又称II型搜索。
第一步：先给出X的初始值X(0)及每步增量ΔX值，然后按增 量变化，求出下一个较好点。其方法为（都以求极小点为 例）：
page 6 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
X(n)为起点（ 令X(0)= X(n)）重新按上述步骤搜索。
page 4 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （4）
这种方法简单、直
观，但对于山脊形
第二十三讲
§1 不使用导数的无约束寻优 方法 （6）
先 令 x1(0) 改 变 △ x1(0), 即 x1(1)=x1(0)+△x1(0) ， 若 f[X]↓ ， 则 以 x1(0)+△x1(0)作为X新元素分量； 否则，令x1(1)= x1(0)－△x1(0)，若f[X]↓就令x1(0)－△x1(0)为新元 素分量；
)
－xh(kj
)


j=1，2，…，n
其中，j — 各坐标方向。
初始多面体通常选为正多面体，然后通过计算进行四步操 作：
page 13 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
Байду номын сангаас
第二十三讲
x2 3
• X(0)
起 始 点 选 X(0)=[2.00 ， 2.80]T ， 初 始 △ X 选 为[0.60，0.84]T
f[X(0)]=f[2.00
，
• 2 • X(2) • X(1)
1• • • X(3)
2.80]=0.059
-3 -2 X(7-)1 X(5) 0
•
该例题求解过程如 图4-12所示。
不用导数的方法又称最优化搜索法，一般情况，利用导 数迭代寻优比搜索法速度快。然而利用导数寻优常常面 临两个困难：
·在多变量或复杂函数中，求导困难。
·执行方法前准备工作太多。
因此，对使用者来说，非导数型搜索法还是常用的。
page 2 4 March 2020
Prof. Wang School of Economics & Management
x2
函数或自变量间有
大的交互作用不适
用。
最优点 终点
例如 图4-11 所 示 函 数就不宜用该法寻 优。
X(0) 图4-11
x1
page 5 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （16）
3．Powell法（鲍威尔法）（略）
page 17 4 March 2020
Prof. Wang School of Economics & Management
然后以X(1)为起点，沿e2坐标搜索，得最优解X(2)，即
min(
X(1)+
e2)=
f(X(2))，
∴X(2)=
X(1)+
(1)e2
┇
直到en为止，得X(n)：
min f(X(n－1)+ en)= f(X(n－1)+ (n－1)en)=f(X(n)) 即 X(n)= X(n－1)+ (n－1)en 若‖X(n)－X(0)‖<1，则停止，得最优解X(n)=X*，否则，以
[例4-15]求解下述无约束极值问题
max f[X]=max
1
(x1 1)2 x22
page 8 4 March 2020
Prof. Wang School of Economics & Management
Operations Research
第二十三讲
§1 不使用导数的无约束寻优
方法 （8）
Operations Research
第二十三讲
§1 不使用导数的无约束寻优 方法 （2）
1．直接搜索法
①坐标轮换法
该法是在寻优过程中，每次先让其它变量不变，轮流的顺 次令某一个变量变化并取函数f(X)极小点（或极大点）。
起始点为X(0)，先沿第1个坐标方向e1进行搜索，得最佳步
长(0)及最优点X(1)，使满足：
min
f(X(0)+
e1)=f(X(0)+
(0)e1)=f(X(1))
即
X(1)= X(0)+ (0)e1
page 3 4 March 2020
Prof. Wang School of Economics & Management