无约束优化计算方法优秀课件

（3-3）
x* x(1) 0
满足准则3所以
f ( x * ) =0
由举例可知， 一维搜索方法解析法利用一
维函数的极值条件： ( k * ) 0 ， 求 k * 后 代 入 迭 代 公 式 后 求 解
一维搜索方法数值解法分类
试 探 法
插
值
法
一维搜索也称直线搜索。这种方法不仅对
于解决一维最优化本身具有实际意义，而且也 是解多维最优化问题的重要支柱。
x 1
x 1
x(1) 12
将 x ( 1 ) 代入 f ( x ) 得：
f()(12)2
d fd ( )2 ( 1 2 ) 24 ( 1 2 ) （3-2）
令
d f ( ) 0
得：
d
4(12)0
1
2
将（3-3）代入（3-2）得：
因为
x(1) 1210 2
f(x(1))2x 0 x0
无约束优化计算方 法
4.1 引言
解析法
求解优化问题的基本解法有： 数值解法
解析法：即利用数学分析(微分、变分等）的方法，根据
函数（泛函）极值的必要条件和充分条件求出其最优解析 解的求解方法 。在目标函数比较简单时，求解还可以。
局限性：工程优化问题的目标函数和约束条件往往比较复
杂，有时甚至还无法用数学方程描述，在这种情况下应用数 学分析方法就会带来麻烦。
图(c)．可归纳入上面任一种情况处理。 2）取点规则
图(a)．经过一次函数比较，区间缩小一次。在新的区间 内，保留一个好点 x1 和f(x1) ，下一次只需再按一定规则， 在新区间内找另一个与 x1 对称的点x2 ，计算 f(x2) ，与 f(x1) 比较。如此反复。
图(b)．淘汰[a ,x1], 得新区间 [a,b],此时：a=x1，x1=x2,x2 为x1对称点，b=b。
准则3-梯度准则
f(X(k1) ) 3
往往采用两个准则来判别 （1）
1f(x(k1) f(x(k))
2x(k1) x(k)
f(x)在x*附近比较平坦
往往采用两个准则来判别（2）
•
1f(x(k1) f(xk)
2 xk1 xk
f(x)在X*附近比较陡峭
结论：由于不知道函数的具体形态，有时用两个准则判断更可靠！！
4.2 单变量优化计算方法
4.2.1 进退法（确定搜索区间）
进退法也称外推法，是一种通过比较函数值大小来确定单峰 区间的方法。任意给定初始点 X1和步长h，算出f(x1) 和 x2=x1+h 点的 f(x2)函数值。
图(a)．f(x1) >f(x2) ，说明x*>x1，将步长增加一倍，取x3=x2+2h ； 图(b)． f(x1) >f(x2) ，说明x*<x1，需改变步长符号，得点 x3=x2-h 。 以此类推，即每跨一步为前一次步长的2倍，直至函数值增加为止。
当采用数学规划法寻求多元函数的极值点时 ，一般要进行一系列如下格式的迭代计算:
x xS ( k 1 ) ( k ) ( k )( k )
当方向s ( k )给定，求最佳步长 ( k ) 就是求一元函数 :
f( x ( k 1 ) ) f( x ( k ) ( k ) s ( k ) ) (( k ) )
黄金分割法也称0.618法，是通过对黄金分割点函数值的计 算和比较，将初始区间逐次进行缩小，直到满足给定的精度 要求，即求得一维极小点的近似解 x* 。
1） 区间缩小的基本思路
已知 f(x) 的单峰区间[a,b] 。为了缩小区间，在[a,b] 内按 一定规则对称地取2个内部点 x1 和x2 ，并计算 f(x1)和 f(x2) 。可能有三种情况：
数值解法求解步骤
数值迭代法的基本思路：是进行反复的数值计算，寻
求目标函数值不断下降的可行计算点，直到最后获得足够精 度的最优点。这种方法的求优过程大致可归纳为以下步骤：
1）首先初选一个尽可能靠近最小点的初始点X（0），从X（0） 出发按照一定的原则寻找可行方向和初始步长，向前跨出一步 达到X（1）点；
2）得到新点X（1）后再选择一个新的使函数值迅速下降的 方向及适当的步长，从X（1）点出发再跨出一步，达到X（2）点 ，并依此类推，一步一步地向前探索并重复数值计算，最终达 到目标函数的最优点。
在中间过程中每一步的迭代形式为：
x x S (k1)
(k)
(k) (k)
F(x(k1))F(x(k)) k=0,1,2,
段；
利用区间消去法，使搜索区间缩小，通过迭代计算，使 搜索区间无限缩小，从而得到极小点的数值近似解。
1 , 2 将区间分成三段
1
2
a
b
1
1
a
3
1
(1 )
2
2 1
2
5 1 0.618
2
黄金分割法要图求2-在5 保黄留金下分来割的法区间内再插入一点所形成 的区间新三段，与原来区间的三段具有相同的比例分布 。
上式中：X（k）——第k步迭代计算所得到的点，称第k步迭代点， 亦为第k步设计方案；
a（k）——第k步迭代计算的步长； S（k）——第k步迭代计算的探索方向。
用迭代法逐步逼近最优 点的探索过程如图所示。
迭代计算机逐步逼近最优点过程示意图
• 运用迭代法，每次迭代所得新的点的目标函数 都应满足函数值下降的要求：
的极值问题，这一过程被称为一维搜索.
x xS ( k 1 ) ( k ) ( k )( k )
一维搜索的最优化方法-分析法
•
例 minf(x)x2 已知极小值在区间 点出发，根据迭代公式：
wenku.baidu.com
1
1
内，若从 x(0) 1
x(1)x(0) s(0)
取
s (0 ) f(x ) 2 x 2
F (x (k 1 ))F (x (k))
迭代法要解决的问题： x xS ( k 1 ) ( k ) ( k )( k )
（1）选择搜索方向 （2）确定步长因子 （3）给定收敛准则
终止准则
准则1-点距准则 X (k1)X(k) s (k) (k) 1
准则2 -下降准则：
f(X(k1))f(X(k))2
4.2.2 黄金分割法
• 黄金分割法适用于[a,b]区间上的任何单谷函数求极小 值问题。对函数除要求“单谷”外不作其他要求，甚至可 以不连续。因此，这种方法的适应面相当广。
• 黄金分割法也是建立在区间消去法原理基础上的试探 方法。
在搜索区间内[a,b]适当插入两点a 1 , a 2 ，将区间分成三