05 第三章 第五节多维无约束优化问题

检验：
f ( x )
( 0)
f ( x
i 1
2
( 0)
) i 20 4.47 0.1
2
②计算
2 2 H0 f (x ) 2 4
2 ( 0)
H0
( 0)
1
1 0.5 0.5 0.5
1 ( 0)
1 0.5 4 3 P H 0 f ( x ) 0.5 0.5 2 1
及采用一维搜索法求最优步长 k ,从而构造 变量迭代式：
X ( k 1) X ( k ) k f ( x ( k ) )
) ) X ( k 1为搜索点， 其中 X ( k为起点， ) k 为搜索步长， f ( x ( k ) 为梯度。
梯度法计算步骤：
①审查 f ( x)是否连续可微，给定初始近似
③计算 X
X
(1)
( k 1)
X
( 0)
(1)
X
( 0)
P
④计算 f ( x )
(1)
1 3 4 1 1 2
(1) (1) 2 x1 4 2 x2 0 (1) f ( x ) (1) (1) 0 2 x 4 x 1 2
§3.5 多维无约束优化问题
求解方法 ：
解析法
梯度法（最优梯度法、最速下降法） 共轭梯度法 牛顿法 拟牛顿法（变尺度法）
直接法
坐标轮换法（变量轮换法、交替法） 模式搜索法（步长加速法、胡克－基 夫斯法）
解析法（代数法）：通过计算f(x)的一阶、二阶导数及 函数的解析性质来实现极值的求解。 直接法 ：不用计算f(x)的一阶、二阶导数来实现近似极 值的求解方法。
4
2
( 2) X 0 . 3 用0.618法求得 1 ，因而求出 ：
X
( 2)
2.728 0.9521 2.44 1 . 512 1 . 184 1 . 16 1
检验：
3 4 ( 2 . 44 2 ) 2(2.44 2 1.16) 0.58 ( 2) f ( x ) 0 . 48 4(2.44 2 1.16)
二次终止性: 若一个算法求解正定二次函数的 极小点时，能在有限步内达到， 则称该算法具有二次终止性。
优缺点：
1、计算量小，存储量少 2、对初始点的选择无限制 3、不具有二次终止性 4、具有线性的收敛速度(慢)
§3.5 多维无约束优化问题
一、梯度法（最速下降法）
二、牛顿法
三、拟牛顿法（变尺度法、DFP法）
②第1搜索点 X
(1)
X (1) X ( 0) 0f ( x ( 0) )
(1) 0 440 440 x1 (1) 3 240 3 240 x2
4 2 f ( x ) ( x 2 ) ( x 2 x ) 将 X 代入 中去: 1 1 2 (1) min f ( x )
k f ( x )
(k )
用一维搜索法求解最优步长 k ：
min f ( x
( k 1)
) min[ f ( x ) k f ( x )] min f (k )
(k ) (k )
以k＋1代替k转回②。
例.试用梯度法求解，已知 =0.25
min f ( x) ( x1 2) ( x1 2 x2 )
§3.5 多维无约束优化问题
无约束极值问题可简单表述为：
只有非线性目标函数式，无约束条件且变量多于1个
min f(X)，XEn
（n维欧氏空间）
X(k+1)=X(k)+p(k)且满足 f[X(k+1)]<f[X(k)] 这样逐步迭代直至满足精度条件。
求解非线性规划问题的迭代法，关键是如何求出每步的搜索方向 p(k)及 步长 。由于确定 p(k)及 的途径不同，从而导致不同的寻优方法。其中 可分两大类，一类称为“解析法”，另一类称为“Hale Waihona Puke Baidu接法”。通常， “直接法”速度较慢，但由于不用函数导数值，使得十分复杂的函数 极值问题可得到解决。
将X
( 3)
代入 f ( x) 中去
( 3) 4 2
min f ( x ) (0.44 0.582 ) (0.12 1.542 )
用0.618法求得 2=0.09,代入 X 中：
( 3)
X
( 3)
2.388 1.203
检验：
3 4 ( 2 . 388 2 ) 2(2.388 2 1.203) 0.1976 ( 3) f ( x ) 0 . 072 4(2.388 2 1.203)
2
2
2.30816 0.25
③第2搜索点 X
( 2)
X ( 2) X (1) 1f ( x (1) ) 2.728 0.9521 2.728 0.9521 1.512 1.1841 1.512 1.1841
检验：
3 4 ( 2 . 728 2 ) 2(2.728 2 1.512) 0.952 (1) f ( x ) 1 . 184 4(2.728 2 1.512)
f ( x ) ( 0.952 1.184 )
(1) 2 2
等值线
3、在极小点附近，等高(值)线近似为一簇同心的椭圆；
4、在等高(值)线上任一点处的切线方向一定与该点的梯度
方向垂直。
§3.5 多维无约束优化问题
一、梯度法（最速下降法）
二、牛顿法
三、拟牛顿法（变尺度法、DFP法）
一、梯度法（最速下降法）
(k ) f ( x ) 解题过程涉及到求目标函数的梯度
1
⑥令k＝k＋1，转③。
例 . 试用牛顿法解非线性函数( =0.1)
f ( x) x1 4 x1 2 x2 2 x1 x2
解：①设初始点 X
( 0)
( 0) f ( x )； (1,1) ，计算
2
2
T
( 0) ( 0) 2 x 4 2 x 4 1 2 ( 0) f ( x ) ( 0) ( 0) 2 2 x 4 x 1 2
4

p0
特点：
x0
1、相邻两次的寻优方向 正交：PkTPk+1 =0
x1
x2
x3
p1
2、寻优路线称锯齿形，到极小点附 近， 震荡加剧 1 T T 3、对于正定的二次函数: f ( x) 2 x Ax b x c 仅当A=a2I，一步收敛；一般情况下，不 能在有限不内达到极小点。
定义：
检验：
f ( x (1) ) 0 0.1
X X (1) (4,2)T , f ( x () ) 16 16 2 4 2 4 2 8
牛顿法特点：
(k ) 1 (k ) (k ) H ( x ) H ( x )， f ( x ) 要求计算 和 及
当变量个数较多时，H 1 ( x ( k ) )计算工作 量较大。
适用于二阶连续可微的函数。 具有二阶收敛速度。 初始点选择需接近极小点，否则可能不 收敛。
§3.5 多维无约束优化问题
一、梯度法（最速下降法）
二、牛顿法
三、拟牛顿法（变尺度法、DFP法）
三、拟牛顿法（变尺度法、DFP法） 1、拟牛顿法算式来源
(1)
(440 2) 4 [440 2(3 240 )]2 (440 2) 4 (960 6) 2
用0.618法求得0 ＝0.062,因而求出X :
(1)
X
(1)
440 2.728 3 24 1 . 512 0
将X
( 2)
4 2 f ( x ) ( x 2 ) ( x 2 x ) 1 1 2 代入
中去:
2
min f ( x ( 2) ) (2.728 0.9521 2) [(2.728 0.9521 2(1.512 1.1841 )]
4
(0.728 0.9521 ) (0.296 1.4161 )
二、牛顿法
算式来源:
f ( x)在点 X ( k )进行泰勒多项式展开并略去高 于二次的项，得： 1 (k ) T (k ) (k ) f ( x) f ( x ) f ( x )( X X ) ( X X ( k ) ) H ( x ( k ) )( X X ( k ) ) 2 求偏导数并令其为零（略去高阶项），得：
1 f ( x ( k ) )是负梯度方向， H k 是最优的搜索步
长； H
1
k
f ( x ( k ) ) P k 为多维搜索的牛

顿方向。 收敛准则：
f ( x
(k )
)
牛顿法解题步骤：
①给定多元非线性函数 f ( x) ，判断是否能 用牛顿法求解；给出计算精度 ；
f ( x ) ( 0.1976 2 (0.072) 2 ) 2
( 3)
2
0.044 0.25
输出近似最小点：
X X
* ( 3)
2.388 1 . 203
2
f ( x ) (2.388 2) (2.388 2 1.203) 0.023
f ( x ) ( 0.58 (0.48) )
( 2) 2
2
2 2
0.5668 0.25
④第3次搜索 X
( 3)
X (3) X ( 2) 2f ( x ( 2) ) 2.44 0.582 2.44 0.582 1.16 0.482 1.16 0.482
( 0) X 点 ，选择计算精度
>0，终点判别
2
准则为：
(k )
f ( x )
(k )
(k ) 2
，若是， ②计算 f ( x ) ，检验 f ( x (k ) (k ) f ( x )； 停止计算， X 为近似最小点和 否则，转下步。
③构造: X
( k 1)
X
(k )
②取初始点 X ( 0) ，置k＝0；
③计算 f ( x )； ④检验： f ( x ( k ) ) ，则停止迭代，输 1 (k ) (k ) 出X ， f ( x ) ；否则，计算 H k 与H k ；
(k )
⑤计算 X
( k 1)
X
(k )
H k f ( x ( k ) ) ；
4 2
解: ①给定初始点
X
( 0)
[x
( 0) 1
, x2 ] [0,3] ,
T
( 0) T
f ( x ( 0) ) 52
计算:
( 0) (0) (0) 3 4( x1 2) 2( x1 2 x2 ) 44 ( 0) f ( x ) ( 0) ( 0) 4( x1 2 x2 ) 24
f(x1,x2 )
定义:
n
2 x12 x2 f ( x1 , x2 ) 2 2 a1 a2
点集{ x E | f(x)=c，c为常数} 为目标函数f(x)的等高（值）线。
x2 x1
性质：
1、具有不同值的等高（值）线不相交；
2、等高（值）线稠密处，函数变化快；
等高（值）线稀疏处，函数变化慢；
f ( x) f ( x ( k ) ) 2 f ( x ( k ) )( X X ( k ) ) 0
令 X X (k 1) , H k H ( x (k ) ) 2 f ( x (k ) ) 并移项得：
二、牛顿法
迭代逼近式：
X ( k 1) X ( k ) H 1 ( x ( k ) )f ( x ( k ) )