优化设计-梯度法和共轭梯度法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
x ( 3) x ( 2) 2 d ( 2)
(
2 8 T 9 40 , ) ( 1 , 4 )T 9 9 20 81
( 0 , 0 )T
g 3 ( 0 , 0 )T
x ( 3)即为所求极小点。
d ( 2 ) g 2 1 d ( 1)
8 16 T 4 ( , ) ( 8 , 4 )T 9 9 81 40 ( 1 , 4 )T 81
2
T ( 2) g2 d
d
( 2 )T
Ad ( 2 )
40 8 16 1 ( , ) 81 9 9 4 9 20 4 0 1 40 2 ( ) (1, 4 ) 4 81 0 2
(1) d
( i )T
Ad ( j ) 0 , j 1 , 2 ,, i 1;
(2) gi T g j 0 , j 1 , 2 ,, i 1;
( 3) g iT d ( i ) g iT g i 。
注 (1)由定理3 可知搜索方向d (1) , d ( 2) ,, d ( m ) 是 A 共轭的。
令 k : k 1。
4. 利用公式( 3)计算 k ,令 x ( k 1) x ( k ) k d ( k ) , 转3。
例 用FR 算法求解下述问题:
min
2 2 f ( x ) 2 x1 x2
初始点取为x (1) ( 2 , 2 )T 。
解:
4 0 4 0 x1 1 . , A f ( x ) ( x1 , x 2 ) 2 0 2 0 2 x 2
基本思想: 将共轭性和最速下降方 向相结合,利用已知迭 代点
处的梯度方向构造一组 共轭方向,并沿此方向 进行搜索,求出
函数的极小点。
以下分析算法的具体步骤。
(1) 任取初始点 x (1),第一个搜索方向取为d (1) f ( x (1) ) ;
( 2) 设已求得点 x ( k 1) , 若f ( x ( k 1) ) 0 , 令 g k 1 f ( x ( k 1) ) ,
如何选择下降最快的方向?
f ( x k ) 函数值增加最快的方向
xk
函数值下降的方向
f ( x k ) 函数值下降最快的方向
梯度法(最速下降法):
1. 搜索方向: d k f ( x k ) , 也称为最速下降方向;
2. 搜索步长 : k 取最优步长, 即满足 f ( x k k d k ) min f ( x k d k ) 。
i
d ( i ) A g i 1 d
( i )T
T
Ad
(i )
g i 1T A d ( i ) d
( i )T
Ad ( i )
g i 1T A[ ( x ( i 1) x ( i ) ) / i ] d ( i ) A [ ( x ( i 1) x ( i ) ) / i ]
则下一个搜索方向d ( k 1)按如下方式确定 :
令 d ( k 1) g k 1 k d ( k ) (1)
如何确定 k?
要求 d ( k 1) 和 d ( k ) 关于 A共轭。
则在( 1)式两边同时左乘d ( k ) A ,得
0d
( k )T
T
Ad
( k 1)
d
( k )T
Agk 1 k d
( 2)
( k )T
A d (k )
解得 k
d ( k ) A g k 1 d
( k )T
T
Ad
(k )
( 3) 搜索步长的确定 :
已知迭代点x ( k )和搜索方向d ( k ) , 利用一维搜索确定最优 步长 k ,
即求解 min
( 2) 算法中第一个搜索方向 必须取负梯度方向,否 则构造的搜索 方向不能保证共轭性。
T (i ) T 2 ( 3) 由定理 3的(3)可知, g i d g i g i || g i || 0 ,
所以d ( i )是迭代点x ( i ) 处的下降方向。
(4) 由定理3 , FR算法中 i的计算公式可以简化。
1. 任取初始点x (1) , 精度要求 ,令 k 1。
2. 令g1 f ( x (1) ) , 若 || g1 || , 停止, x (1)为所求极小点; 否则,令d (1) g1 , 利用公式( 3)计算1 , 令x ( 2) x (1) 1 d (1)。 x ( k 1)为所求极小点; 3. 令g k 1 f ( x ( k 1) ) , 若 || g k 1 || , 停止, 否则,令d ( k 1) g k 1 k d ( k ) , 其中 k 用公式( 4)计算。
f ( x ) ( 4 x1 , 2 x 2 )T .
第 1 次迭代:
令
d (1) g1 ( 8 , 4 )T ,
而
1
T (1 ) g1 d
8 (8,4) 4 4 0 8 ( 8, 4) 0 2 4
令 g k f ( x ( k ) ) Ax ( k ) b,则有 [ g k Ad ( k ) ]T d ( k ) 0,
解得 k
T (k ) gk d
d
( k )T
Ad
(k )
( 3)
定理 3 对于正定二次函数 f ( x )
1 T x Ax bT x c , FR算法在 m n次 2 一维搜索后即终止,并 且对所有的 ( i 1 i m ),下列关系成立
T
g i f ( x ( i ) ) A x ( i ) b .
i
g i 1T ( g i 1 g i ) d
( i )T
( g i 1 g i )
2
|| g i 1 ||2 d
( i )T
gi
|| g i 1 ||2 || g i ||
( 4)
FR算法步骤:
4. 令 x k 1 x k k d k , 令 k : k 1 , 转2。
2 2 例. 用最速下降法求解: min f ( x ) x1 3 x2 , 设初始点为x1 ( 2 ,1 )T ,
求迭代一次后的迭代点 x 2 。
解: f ( x ) ( 2 x1 , 6 x2 )T ,
令 ( ) 8 ( 2 4 ) 36 ( 1 6 ) 0 1
13 62
36 8 T x x 1d ( , ) 31 31
2 1 1
最速下降法的程序流程图
锯齿现象
在极小点附近,目标函 数可以用二次函数近似 ,其等值面近似
椭球面。
x2 x3
梯度法和共轭梯度法
1. 无约束最优化问题 2. 梯度法 3. 共轭梯度法
一. 无约束最优化问题
无约束最优化问题 min
Baidu Nhomakorabea
f ( x) x Rn
s .t .
其中f ( x ) 有一阶连续偏导数。
解析方法:利用函数的解析性质构造迭代公式使之收敛到最优解。
二. 梯度法(最速下降法) 迭代公式:
x k 1 x k k d k
f ( x ( k ) d ( k ) ) 。
记 令 即有
( ) f ( x ( k ) d ( k ) ) ,
( ) f ( x ( k ) d ( k ) )T d ( k ) 0,
[ A ( x ( k ) d ( k ) ) b ]T d ( k ) 0,
d 1 f ( x 1 ) ( 4 , 6 )T . x 1 d 1 ( 2 4 , 1 6 )T . 令 ( ) f ( x 1 d 1 ) ( 2 4 ) 2 3 ( 1 6 ) 2 ,
求解
min ( )
d
(1 ) T
Ad (1)
5 18
所以 x ( 2) x (1) 1 d (1)
( 2 , 2 )T
5 2 8 T ( 8 , 4 )T ( , ) 18 9 9
第 2次迭代: 8 16 g 2 ( , )T . 9 9 8 2 16 2 ( ) ( ) 2 || g 2 || 9 9 4 . 1 81 || g1 ||2 82 42
梯度法算法步骤:
1. 给定初始点 x 1 R n , 允许误差 0 , 令k 1 。 2. 计算搜索方向 d k f ( x k ) ;
3. 若 || d k || , 则停止计算, 否则,求最优步长k x k 为所求极值点;
使得 f ( x k k d k ) min f ( x k d k )。
x*
x1
注
最速下降方向反映了目 标函数的一种局部性质 。 它只是
局部目标函数值下降最 快的方向。 最速下降法是线性收敛 的算法。
三. 共轭梯度法
共轭梯度法
Fletcher R eeves 共轭梯度法 : 1 min f ( x ) x T Ax bT x c 2 其中 x R n , A是对称正定矩阵, b R n, c 是常数。
(
2 8 T 9 40 , ) ( 1 , 4 )T 9 9 20 81
( 0 , 0 )T
g 3 ( 0 , 0 )T
x ( 3)即为所求极小点。
d ( 2 ) g 2 1 d ( 1)
8 16 T 4 ( , ) ( 8 , 4 )T 9 9 81 40 ( 1 , 4 )T 81
2
T ( 2) g2 d
d
( 2 )T
Ad ( 2 )
40 8 16 1 ( , ) 81 9 9 4 9 20 4 0 1 40 2 ( ) (1, 4 ) 4 81 0 2
(1) d
( i )T
Ad ( j ) 0 , j 1 , 2 ,, i 1;
(2) gi T g j 0 , j 1 , 2 ,, i 1;
( 3) g iT d ( i ) g iT g i 。
注 (1)由定理3 可知搜索方向d (1) , d ( 2) ,, d ( m ) 是 A 共轭的。
令 k : k 1。
4. 利用公式( 3)计算 k ,令 x ( k 1) x ( k ) k d ( k ) , 转3。
例 用FR 算法求解下述问题:
min
2 2 f ( x ) 2 x1 x2
初始点取为x (1) ( 2 , 2 )T 。
解:
4 0 4 0 x1 1 . , A f ( x ) ( x1 , x 2 ) 2 0 2 0 2 x 2
基本思想: 将共轭性和最速下降方 向相结合,利用已知迭 代点
处的梯度方向构造一组 共轭方向,并沿此方向 进行搜索,求出
函数的极小点。
以下分析算法的具体步骤。
(1) 任取初始点 x (1),第一个搜索方向取为d (1) f ( x (1) ) ;
( 2) 设已求得点 x ( k 1) , 若f ( x ( k 1) ) 0 , 令 g k 1 f ( x ( k 1) ) ,
如何选择下降最快的方向?
f ( x k ) 函数值增加最快的方向
xk
函数值下降的方向
f ( x k ) 函数值下降最快的方向
梯度法(最速下降法):
1. 搜索方向: d k f ( x k ) , 也称为最速下降方向;
2. 搜索步长 : k 取最优步长, 即满足 f ( x k k d k ) min f ( x k d k ) 。
i
d ( i ) A g i 1 d
( i )T
T
Ad
(i )
g i 1T A d ( i ) d
( i )T
Ad ( i )
g i 1T A[ ( x ( i 1) x ( i ) ) / i ] d ( i ) A [ ( x ( i 1) x ( i ) ) / i ]
则下一个搜索方向d ( k 1)按如下方式确定 :
令 d ( k 1) g k 1 k d ( k ) (1)
如何确定 k?
要求 d ( k 1) 和 d ( k ) 关于 A共轭。
则在( 1)式两边同时左乘d ( k ) A ,得
0d
( k )T
T
Ad
( k 1)
d
( k )T
Agk 1 k d
( 2)
( k )T
A d (k )
解得 k
d ( k ) A g k 1 d
( k )T
T
Ad
(k )
( 3) 搜索步长的确定 :
已知迭代点x ( k )和搜索方向d ( k ) , 利用一维搜索确定最优 步长 k ,
即求解 min
( 2) 算法中第一个搜索方向 必须取负梯度方向,否 则构造的搜索 方向不能保证共轭性。
T (i ) T 2 ( 3) 由定理 3的(3)可知, g i d g i g i || g i || 0 ,
所以d ( i )是迭代点x ( i ) 处的下降方向。
(4) 由定理3 , FR算法中 i的计算公式可以简化。
1. 任取初始点x (1) , 精度要求 ,令 k 1。
2. 令g1 f ( x (1) ) , 若 || g1 || , 停止, x (1)为所求极小点; 否则,令d (1) g1 , 利用公式( 3)计算1 , 令x ( 2) x (1) 1 d (1)。 x ( k 1)为所求极小点; 3. 令g k 1 f ( x ( k 1) ) , 若 || g k 1 || , 停止, 否则,令d ( k 1) g k 1 k d ( k ) , 其中 k 用公式( 4)计算。
f ( x ) ( 4 x1 , 2 x 2 )T .
第 1 次迭代:
令
d (1) g1 ( 8 , 4 )T ,
而
1
T (1 ) g1 d
8 (8,4) 4 4 0 8 ( 8, 4) 0 2 4
令 g k f ( x ( k ) ) Ax ( k ) b,则有 [ g k Ad ( k ) ]T d ( k ) 0,
解得 k
T (k ) gk d
d
( k )T
Ad
(k )
( 3)
定理 3 对于正定二次函数 f ( x )
1 T x Ax bT x c , FR算法在 m n次 2 一维搜索后即终止,并 且对所有的 ( i 1 i m ),下列关系成立
T
g i f ( x ( i ) ) A x ( i ) b .
i
g i 1T ( g i 1 g i ) d
( i )T
( g i 1 g i )
2
|| g i 1 ||2 d
( i )T
gi
|| g i 1 ||2 || g i ||
( 4)
FR算法步骤:
4. 令 x k 1 x k k d k , 令 k : k 1 , 转2。
2 2 例. 用最速下降法求解: min f ( x ) x1 3 x2 , 设初始点为x1 ( 2 ,1 )T ,
求迭代一次后的迭代点 x 2 。
解: f ( x ) ( 2 x1 , 6 x2 )T ,
令 ( ) 8 ( 2 4 ) 36 ( 1 6 ) 0 1
13 62
36 8 T x x 1d ( , ) 31 31
2 1 1
最速下降法的程序流程图
锯齿现象
在极小点附近,目标函 数可以用二次函数近似 ,其等值面近似
椭球面。
x2 x3
梯度法和共轭梯度法
1. 无约束最优化问题 2. 梯度法 3. 共轭梯度法
一. 无约束最优化问题
无约束最优化问题 min
Baidu Nhomakorabea
f ( x) x Rn
s .t .
其中f ( x ) 有一阶连续偏导数。
解析方法:利用函数的解析性质构造迭代公式使之收敛到最优解。
二. 梯度法(最速下降法) 迭代公式:
x k 1 x k k d k
f ( x ( k ) d ( k ) ) 。
记 令 即有
( ) f ( x ( k ) d ( k ) ) ,
( ) f ( x ( k ) d ( k ) )T d ( k ) 0,
[ A ( x ( k ) d ( k ) ) b ]T d ( k ) 0,
d 1 f ( x 1 ) ( 4 , 6 )T . x 1 d 1 ( 2 4 , 1 6 )T . 令 ( ) f ( x 1 d 1 ) ( 2 4 ) 2 3 ( 1 6 ) 2 ,
求解
min ( )
d
(1 ) T
Ad (1)
5 18
所以 x ( 2) x (1) 1 d (1)
( 2 , 2 )T
5 2 8 T ( 8 , 4 )T ( , ) 18 9 9
第 2次迭代: 8 16 g 2 ( , )T . 9 9 8 2 16 2 ( ) ( ) 2 || g 2 || 9 9 4 . 1 81 || g1 ||2 82 42
梯度法算法步骤:
1. 给定初始点 x 1 R n , 允许误差 0 , 令k 1 。 2. 计算搜索方向 d k f ( x k ) ;
3. 若 || d k || , 则停止计算, 否则,求最优步长k x k 为所求极值点;
使得 f ( x k k d k ) min f ( x k d k )。
x*
x1
注
最速下降方向反映了目 标函数的一种局部性质 。 它只是
局部目标函数值下降最 快的方向。 最速下降法是线性收敛 的算法。
三. 共轭梯度法
共轭梯度法
Fletcher R eeves 共轭梯度法 : 1 min f ( x ) x T Ax bT x c 2 其中 x R n , A是对称正定矩阵, b R n, c 是常数。