第三章 非线性规划无约束问题的最优化方法.ppt

能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
轾犏0 轾犏0 轾犏0 x(3) + l e3 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌3 犏臌1 犏臌3 + l
( ) f x(3) + l e3 = (l + 3)2
fl' = 0 ? l 3 - 3 轾犏0
( ) x(4) = x(3) + l 3e3 = 犏犏0 ? f x(4) 0 犏臌0
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
轾 犏1 轾 犏1 轾 犏1+ l x(1) + l e1 = 犏 犏2 + l 犏 犏0 = 犏 犏2
犏 臌3 犏 臌0 犏 臌3
( ) f x(1) + l e1 = 3(1+ l )2 + 2? 22 32 = 3(1+ l )2 + 17
fl' = 0 ? l 1 - 1
轾 犏1
轾 犏1 轾 犏0
f +
l
x(1) 1e1
+
l
1e1
=
min f l
x(1) + l e1
第一节 变 量 轮 换 法
再从x(2)出发，先沿第2个坐标轴方 向e2进行一维搜索，记求得的最优
步长为l2，则可得到新的点x(3)：
( ) ( ) ( ) ìïïïíïïïî
f x(3) = x(3) = x(2)
f +
x(2) l 2e2
( ) x(2) = x(1) + l e1 = 犏 犏2 + (- 1)犏 犏0 = 犏 犏2 ? f x(2) 17
犏 臌3
犏 臌0 犏 臌3
第二节 最 速 下 降 法
再从x(2)点 出发，沿x2轴方向e2进行一维搜索：
轾 犏0 轾 犏0 轾 犏0 x(2) + l e2 = 犏 犏2 + l 犏 犏1 = 犏 犏2 + l
特点总结：
1. 坐标轮换法是每次搜索只允许一个变量变化，其余变量保持不 变，即沿坐标方向轮流进行搜索的寻优方法。它把多变量的优化 问题轮流地转化成单变量的优化问题；
2. 算法的基本思想简单，不需要进行导数运算；
3. 搜索效率低，收敛速度慢，只有对那些具有特殊结构的函数使用 起来尚好。
第一节
例题1 用变量轮换法求解
+
l
2e2
= min f l
x(2) + l e1
……
( ) ( ) ( ) ìïïïíïïïî
f x(n+1) = x(n+1) = x(n)
f +
x(n) l nen
+
l
nen
= min f l
x(n) + l 1e1
完成了变量轮换 法的一次迭代
第一节 变 量 轮 换 法
第3步：令x(1)= x(n+1) ，返回第二步，再沿着各坐标轴方向依次进行 一维搜索。直到最新点x(n+1)满足给定的精度要求为止，输出x(n+1)作 为f (x)极小点的近似值。
犏 臌3 犏 臌0 犏 臌3
( ) f x(2) = 2(2 + l )2 + 9
fl' = 0 ? l 2 - 2
轾 犏0
轾 犏0 轾 犏0
( ) x(3) = x(2) + l 2e2 = 犏 犏2 + (- 2)犏 犏1 = 犏 犏0 ? f x(3) 9
犏 臌3
犏 臌0 犏 臌3
第二节 最 速 下 降 法
即ei为第i个分量为1，其余分量为0的单位向量。
第1步：给定初始点 x(1) = (c1,c2,..., cn )T
第2步：从x(1)出发，先沿第1个坐标轴方向e1进行一维搜索，记求
得的最优步长为l1，则可得到新的点x(2)：
( ) ( ) ( ) ìïïïíïïïî
f x(2) = x(2) = x(1)
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
第一类：直接搜索方法。在搜索过程中，只用到目标函 数值，不需要计算其导数。例如，变量轮换法
第二类：解析方法。在搜索过程中，要用到目标函数的 导数。例如最速下降法、牛顿法、共轭梯度法等。
第一节 变 量 轮 换 法
一、基本思想
认为最有利的搜索方向是各坐标轴的方向，因此它轮流 按各坐标的方向搜索最优点。
fl' = 0 ? l 0
x(2) = x(1) + l e1 = (0,0,0)T x(3) = x(4) = (0,0,0)T ? x(1)
x(4) = 0 < 0.01
故 x(4) = (0,0,0)T 即为极小百度文库。 f(x(4))=0
第二节 最 速 下 降 法
一、基本思想
设问题为 min f (x), x 挝Rn, f (x) R
过程：从某一个给定点出发，按第i个坐标轴xi的方向搜 索时，假定有n个变量，则只有xi在变化，其余(n-1)个变量 都取给定点的值保持不变。这样依次从x1到xn做了n次单变 量的一维搜索，完成了变量轮换法的一次迭代。
第一节 变 量 轮 换 法
二、算法步骤
设问题为 min f (x), x 挝Rn, f (x) R 记 ei = (0,...,1,...,0)T (i = 1, 2,..., n)
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。