数值最优化(共轭梯度)ppt课件
合集下载
最优化方法-共轭方向和共轭梯度法
由3式可以看出
2020/3/6
16
2.共轭方向-共轭方向法
• 基本定义
利用共轭方向作为搜索方向的无约束极小化算法
• 通用步骤:
(1)任取X 0 ,以及在X 0的下降方向P0 , k 0; (1)求解一维搜索问题
min f ( X k Pk ),为最优步长,是个数值．
(3) X k1 X k k Pk ;
X
T QX
bT
X
c, Q正定,
X 0是初始点,
P0
f
(X0)
X k1 X k k Pk , k 0,1...m 1, k是最优步长,且
Pk1 f ( X k1) ak Pk (这是构造的结果)
其中ak
f
( X k1)T QPk PkT QPk
,
P0
(
X
)T
k 1
Pk
)T
PkT f ( X k1)
f ( X k1) QX k1 b Q( X k k Pk ) b, ( X k 1 X k k Pk )
f ( X k1) (QX k b) kQPk f ( X k ) kQPk
当m 2时 所以，P0，P1， Pm1是线性无关的。
P0T QP1
P0T Q f ( X 1 )
f ( X 1 )T QP0 P0T QP0
P0
P0T Qf ( X 1 ) f ( X 1 )T QP0 0
表明，P0与P1共轭。
2020/3/6
2020/3/6
4
1.共轭方向法的基本原理
• 已知 X1 点是在 X 0 点在直线 l0 上沿 P0 搜索方向的一个极小 点。（l0 与 P0 是平行的）
共轭梯度法(讲稿)3.
共轭梯度法
• 一、共轭梯度法的适用范围 • 二、等价极小值问题 • 三、极小化迭代法基本步骤 • 四、共轭梯度法
一、共轭梯度法的适用范围
• 1、CG法适用于求解大散射体的问题也可以解谐振问题 • 2、与SIT法比较，都可以避免矩阵求逆，但SIT法收敛较慢，有时不 一定收敛，而CG法则能保证收敛，误差小，贮存量较SIT大一些，且 其初始值可任意选定。 • 3、最速下降法反映的目标函数的一种局部性质,从局部看, 最速下降 方向是目标函数值下降最快的方向,选择这样的方向进行搜索是有利 的. • 4、但从全局来看,由于锯齿现象的影响, 即使向着极小点移近不太大 的距离,也要经历不小的”弯路”,因此收敛速度大为减慢.
解 设初始点为U ( 0) (1,1)T ，U (u1 , u 2 , u3 ...un )T 2u1 F(u 1 , u 2 ) 8u 2 (1,1)T 得， 2 F(U ( 0 ) ) , F(U ( 0 ) ) 8.24621 8 p ( 0 ) F (U ( 0 ) ) (2,8)T U(1) U ( 0 ) t0 p ( 0 ) , 其中t0由 min F (U ( 0 ) tp ( 0 ) ) min[( 1 2t ) 2 4(1 8t ) 2 ] dF (U ( 0) tp ( 0 ) ) 利用必要条件 4(1 2t ) 64(1 8t ) 520t 68 0 得t 0 0.13077 dt 1 2 0.73846 U (1) 0 . 13077 1 8 0.04616 F (U (1) ) (1.47692 ,0.36923 )T , p (1) F (U (1) ), F(U (1) ) 1.52237 U( 2 ) U (1) t1 p (1)
• 一、共轭梯度法的适用范围 • 二、等价极小值问题 • 三、极小化迭代法基本步骤 • 四、共轭梯度法
一、共轭梯度法的适用范围
• 1、CG法适用于求解大散射体的问题也可以解谐振问题 • 2、与SIT法比较，都可以避免矩阵求逆，但SIT法收敛较慢，有时不 一定收敛，而CG法则能保证收敛，误差小，贮存量较SIT大一些，且 其初始值可任意选定。 • 3、最速下降法反映的目标函数的一种局部性质,从局部看, 最速下降 方向是目标函数值下降最快的方向,选择这样的方向进行搜索是有利 的. • 4、但从全局来看,由于锯齿现象的影响, 即使向着极小点移近不太大 的距离,也要经历不小的”弯路”,因此收敛速度大为减慢.
解 设初始点为U ( 0) (1,1)T ，U (u1 , u 2 , u3 ...un )T 2u1 F(u 1 , u 2 ) 8u 2 (1,1)T 得， 2 F(U ( 0 ) ) , F(U ( 0 ) ) 8.24621 8 p ( 0 ) F (U ( 0 ) ) (2,8)T U(1) U ( 0 ) t0 p ( 0 ) , 其中t0由 min F (U ( 0 ) tp ( 0 ) ) min[( 1 2t ) 2 4(1 8t ) 2 ] dF (U ( 0) tp ( 0 ) ) 利用必要条件 4(1 2t ) 64(1 8t ) 520t 68 0 得t 0 0.13077 dt 1 2 0.73846 U (1) 0 . 13077 1 8 0.04616 F (U (1) ) (1.47692 ,0.36923 )T , p (1) F (U (1) ), F(U (1) ) 1.52237 U( 2 ) U (1) t1 p (1)
共轭方向与共轭梯度法-最优化方法
f (X1)T P0 0 ，所以 f (X1)T P0 1P1TQ P0 0
P1TQ P0 0
（1）
以上就是搜索方向P1所必须满足的（必要） 条件。这也是使X2是极小点的充分条件。 P1，P2称为关于Q的共轭方向。
讨论表明 对于二维的具有正定矩阵Q的 二次函数f(X),从任一初始点出发，依次沿关 于Q共轭的两个方向进行一维搜索，必可达到 f(X)的无约束精确极小点。
Pk 1
0
且对j 0,1 , k 2, 有
PjT QPk PjT Q f ( X k ) k1Pk1
PjT Qf
(X
k
)
k
PT
1 j
QPk
1
f ( X k )T QPj
f ( X k )T f ( X j1) f ( X j ) j
f ( X k1 ) QX k1 b Q( X k k Pk ) b (2)
f ( X k1 ) f ( X k ) k QPk
所以
f ( X m ) f ( X m1) m1QPm1
f ( X m2 ) m2QPm2 m1QPm1
其中1 是最优步长，1>0 .因为 X * 是无约束极小点。
故 f ( X * ) 0 即 QX * b 0
f (X1) QX1 b
Q( X * 1P1) b (QX * b) 1QP1 1QP1
又因为 X1是f(X)沿P0方向的直线l0上的极小点，故
设 X En ,
,Q为对称正定矩阵，P0，
P1，···，Pm-1是关于Q共轭的m个共轭方向，
最优化共轭梯度法
x1 x2
,
A
4 0
0 2
.
f ( x) ( 4x1 , 2x2 )T .
第 1 次迭代：
令 d (1) g1 ( 8, 4 )T ,
而
1
g1T d (1) d (1)T Ad (1)
(
8
,
4
)
8 4
(
8
,
4
)
2. 共轭梯度法
Fletcher R eeves 共轭梯度法 :
min f ( x) 1 xT Ax bT x c 2
其中 x Rn , A是对称正定矩阵，b Rn，c 是常数。
基本思想：将共轭性和最速下降方向相结合，利用已知迭 代点 处的梯度方向构造一组共轭方向，并沿此方向进行搜索，求出 函数的极小点。
取最速下降方向作为第一个搜索方向，开始下一轮搜索。
注 在共轭梯度法中，也可采用其它形式的公式计算i ，如
i
giT1( gi1 giT gi
gi )
( PRP共轭梯度法）。
i
|| gi1 || d (i)T gi
(Dixon共轭梯度法）。
i
gi
T 1
(
gi1
gi
)
d (i)T ( gi1 gi )
||
gi1 ||2 d (i)T gi
|| gi1 ||2 || gi ||2
(4)
FR算法步骤：
1. 任取初始点x(1) ，精度要求 ，令k 1。 2. 令g1 f ( x(1) ),若 || g1 || ,停止，x(1)为所求极小点；
【实用】共轭梯度法反演PPT资料
我们假设在点X0 处开始沿负梯度方向
蒙特卡洛方法 搜索,到达点X1 ,即
设有一组n 维彼此关于n×n 的正定对称矩阵A共轭的向量
，能够使我们分别沿着这n个共轭向量所指的方向各搜索一
非 统计方法 次,就可以达到极值点 。
为了使搜索能够快速到达极值点选取α使
模拟退火法
为了使搜索能够快速到达极值点选取α使
0 ( Ax k b )T d k 1 ( A ( xk 1 k d k ) b )T d k 1
从而，
k
rkT p k
p
T k
ApBiblioteka k(11)将上式带入 (10) 式可得：
x *
xn
x0
n 1 i0
riT p i
p
T i
Ap
i
di
(12)
*
16
三、共轭梯度法的优缺点
优 分别使用最共 速轭 下梯 降度 法法 和组 解 2 3线 6 2x性 28方 程 点 目标函 :(数 x1,x2为 )-2x13x124x1x28x26x22
性
小值，分0别 .60是 10和 ： 508.76035
P2局部极 小值
P1全局极 小值
*
20
三、共轭梯度法的优缺点
局限性
初始猜测 反演结果 目标函数值 (2,-1) (3.0，0.0) 0.6011 (-2,-1) (-3.0,0.0) 0.7606 (-1.5,0) (-0.0958,0) 0.9932 (4,-1) (3.0，0.0) 0.6011
*
17
三、共轭梯度法的优缺点
计算效率比较
最速下降法
共轭梯度法
*
18
三、共轭梯度法的优缺点
——共轭梯度法ppt课件
r ( k 1 ) , r ( k 1 ) r ( k ) kr ( k ) k 1 p ( k 1 ) , A p ( k )
1 r(k1),r(k1)
k
r(k),Ap(k)
r(k1), r(k1)
r(k), r(k)
共轭梯度法
算法 ：(共轭梯度法 )
(1) (x) 的梯度为：
(x) x 1, Rn 和 R，有
(x y ) 1 A (x y ),x y b ,x y 2 2A y,y(A xb,y)(x) 2
(3) 令 x*=A-1b，那么有
( x ) 1 b T A 1 b b T A 1 b 1 b T A 1 b 1 A x ,x
计算方法
第六章 线性方程组的迭代解法
—— 共轭梯度法
本讲内容
共轭梯度法
最速下降法 共轭梯度法 共轭梯度法的收敛性分析
等价问题
思索线性方程组：Ax = b ，其中 A 对称正定 作二次泛函 (x): Rn R
(x )1(A x ,x ) (b ,x )1x T A xx T b
2
2
(x) 具有以下性质：
证明：板书
共轭梯度法
k 与 k 的计算
k r ( k ) , p ( k ) p ( k ) , A p ( k ) r ( k ) , r ( k ) p ( k ) , A p ( k )
k r ( k 1 ) ,A p ( k ) p ( k ) ,A p ( k )
共轭梯度法
详细作法：令 p(0) = r(0) ，设 x(k) 曾经求得，那 么 x(k+1) 由下面的公式确定：
x(k1)x(k)kp(k)
其中
p(k)r(k)k1p(k1)
共轭梯度法详细解读
共轭梯度法详细解读
嘿，朋友们！今天咱就来好好唠唠共轭梯度法。
你想想啊，咱平常解决问题就像走迷宫似的，有时候会在里面转来转去找不到出路，而共轭梯度法呀，就像是在迷宫里给咱指了一条明路！比如说你想找一条最快从山这头到那头的路，共轭梯度法就能帮上大忙啦！
它可不是随随便便就出现的哦，那可是数学家们绞尽脑汁研究出来的宝贝呢！就好比一个超级英雄，专门来打救我们这些在复杂问题里苦苦挣扎的人。
在实际应用里，它可厉害着呢！比如说在工程计算中，要设计一个最完美的结构，共轭梯度法就能迅速算出最优解。
哇塞，这不就相当于有个超厉害的军师在帮咱出谋划策嘛！
你再想想，我们日常生活中很多事情都可以类比成用共轭梯度法来解决问题呀。
比如说你要规划一次旅行，怎么安排路线最合理，不就是在找那个最优的旅行路径嘛，这时候共轭梯度法的思路就能派上用场啦！它就像一个隐藏在幕后的高手，默默地为我们排忧解难。
而且哦，一旦你掌握了它，那种感觉就像是你突然掌握了一种绝世武功，能在各种难题面前游刃有余。
这可太酷了吧！
哎呀呀，共轭梯度法真的是太神奇、太有用啦！大家可一定要好好去了
解它、运用它呀，你绝对会被它的魅力折服的！相信我，没错的！。
共轭梯度法课件
4.3共轭梯度法4.3.1共轭方向法定义4.3.1设A 是n ×n 对称正定矩阵，d 1，d 2，是n 维非零矢量，如果d 1T Ad 2=0则称d 1和d 2是A-共轭的，简称共轭的设d 1，d 2，...,d m 是R n 中一组非零向量，如果d i T Ad j =0,i ≠j ，j,i=1,2,...,k则d 1,d 2,...,d m 是A-共轭的，简称共轭的，也称它们是一组A 共个方向定理4.3.3设x 0∈Rn 是任意初始点，对于极小化二次函数min f(x)=1/2 x T Ax-b T x 共轭方向法至多经n 步精确线性搜索终止；且每一x i+1都是f(x)在x 0和方向d 1，d 2,....,di, 所张成的线性流形｛|x x=x 0+,0j i j j da ∑=j a ∀｝中的极小点。
4.3.4共轭梯度法共轭梯度法是一个典型的共轭方向法，他的每一个搜索方向是相互共轭的，而这些搜索方向d k 仅仅是负梯度方向-g k 与上一次迭代的搜索方向d k-1组合。
因此，存储量小，计算方便。
定理4.3.6对于正定二次函数，采用精确线性搜索的共轭梯度法在m ≦n 步后终止，且对1≦i≦n成立下列关系式：d i T Ad j=0,j=0,1,...,i-1,g i T Ag j=0,j=0,1-1,d i T Ag i= - g i T g I[g0,g1,...,g i]=[g0,Ag0,,...,A i g0][d0,d1,...,d i]=[g0,Ag0,,...,A i g0]其中[g0,g1,...,g i]和[d0,d1,...,d i]分别表示g0,g1,...,g i及d0,d1,...,d i张成的子空间，[g0,Ag0,,...,A i g0]表示g0的i阶Krylov子空间。
定理4.3.9（FR共轭梯度法的总体收敛性定理）假定f R n R在有界水平集L={x R n|f（x）≦f（x0）｝上连续可微，且有下界，那么采用精确线性搜索的F-R共轭梯度法产生的序列｛x k｝至少有一个聚点是驻点，即1当｛x k｝是有穷数列时，其最后一个点是f（x）的驻点；2当｛x k｝是无穷数列时，它必有聚点，且任一聚点都是f（x）的驻点。
最优化方法3-5共轭梯度法和共轭方向法
算法 3.5.1
设目标函数为 f (x) 1 xTGx bT x c，其中G 正定。 2
给定控制误差 。
Step1. 给定初始点 x0及初始下降方向 p0，令k 0。
Step2. 作精确一维搜索，求步长k
f
( xk
k
pk )
min
0
f
( xk
pk
)
Step3. 令 xk1 xk k pk 。
称 Fletcher-Reeves 公式，简称 FR 公式。
k 1
gkT Gpk1 pkT1Gpk 1
Gpk 1
1
k 1
(gk
g
k 1 ) ，
gkT Gpk1
1
k 1
gkT
(gk
g
k 1)
，
pkT1Gpk 1
1
k 1
(g
k1 k2
pk2 )T
(gk
g
k 1)
1
k 1
g
g T
k 1 k
1
（2）Polak-Ribiere-Polyak 公式
故
k 1
g
T k
(
gk
g
k 1)
gkT1gk 1
此式是 Polak 和 Ribiere 以及 Polyak 分别于 1969
年提出的，故称 Polak-Ribiere-Polyak 公式，简称 PRP
0，i
1,2,L
,k
(ii) xk1是二次函数在k 维超平面Hk 上的极小点。
证明 由引理 3.5.2，只需证明(i)，
数值分析ppt第6章_共轭梯度法
• 共轭梯度法可由多种途径引入，这里我们将采用较为直观的
最优化问题来引入。为此，我们先来介绍最速下降法。
考虑线性方程组
的求解问题。其中 是给定的
(4.1) 阶对称正定矩阵，
维向量。
是给定的
维向量，
是待求的
为此，我们定义二次泛函
(4. 2)
定理6.4.1 设
对称正定，求解方程组 的极小点。
等价于求二次泛函
证明 直接计算可得
令
，则有
若
在某点
处达到极小，则必有 ，即 是方程组的解。
，从而有
反之，若
是方程组的解，即
有
于是对任一向量
注意到A的正定性，则
，因此
即
是泛函
的极小点。
最速下降法
求解线性方程组的问题就转化为求二次泛函 的极小点的问题。求二次函数的极小值问题， 通常的做法就好象盲人下山那样，先任意给定一个初始向量 确定一个下山的方向 的直线 使得对所有实数 ，沿着经过点 找一个点 而方向为
共轭梯度法
• 在使用SOR方法求解线性方程组时，需要确定松驰因子，只 有系数矩阵具有较好的性质时，才有可能找到最佳松驰因子， 而且计算时还需要求得对应的Jacobi矩阵B的谱半径，这常常 是非常困难的。
• 介绍一种不需要确定任何参数的求解对称正定线性方程组的
方法——共轭梯度法（或简称CG法）。它是50年代初期由 Hestenes和Stiefel首先提出的，近20年来有关的研究得到了 前所未有的发展，目前有关的方法和理论已经相当成熟，并 且已经成为求解大型稀疏线性方程组最受欢迎的一类方法。
有
以上性质说明不论采用什么方法，ຫໍສະໝຸດ 要能够构造个两两Ａ共轭的向量
第三次梯度法和共轭梯度法39页PPT
令 ( ) 8 ( 2 4 ) 3 ( 1 6 6 ) 0 1
13 62
x2x11 d1 (3 3,6 1 38)1 T
最速下降法的收敛性
性质. 设f(x)有一阶连续偏 步导 长 k 数 满， 足若
f(x kk d k ) m f(x ik n d k )
则 f 有 (x kk d k )T d k 0 。
证明：P68。
二、共轭梯度法
1. 共轭方向和共轭方向法
定义 设 A是 nn的对称正定 Rn中 矩 的 阵 两 ， 个 d 对 1和 非 d 于 2， 零 若d 有 1 T A2 d0 ，d 则 1 和 d2 关 称 A 共 于轭。
设 d1,d2,,dk是Rn中一组非零它 向们 量两 ， A 两 如关 果 共轭 d iT A j， 0 d ,i j,i即 ,j 1 ,2 , ,k 。 则称这组方 A共 向轭 是的 关， 于也组 称 A共 它轭 们方 是向 一
使 f(x 得 kk d k ) m f(x ik n d k )。
4 .令 x k 1 x k k d k ,令 k : k 1 ,转 2 。
例 .用最速 :m 下 f( ix n ) x 降 1 2 3 x 2 2,法 设求 初 x 1 ( 解 始 2 ,1 )T , 点 求迭代一次后的迭代点x2。
即 d(1)T f(x(1))0, 令d(2)xx(1),
x o
d (2)
x (1)
x1
所以 d(1)TA(d 2)0,
Hale Waihona Puke 即等值面向 上量 一与 点由 处这 小 的一 点 切点 的A 指 向 共向 量 轭
最速下降法的锯齿现象
在极小点附近，目标函数可以用二次函数近似，其等值面近似于椭圆面， 长轴和短轴分别位于对应最小特征值和最大特征值得特征向量的方向，其 大小与特征值的平方根成反比。
第四章 共轭梯度法
k
（Dixon公式）
（4.10）
注： 对二次函数而言，上述四个公式都是等价的。而且求得的搜索方向均为共 轭方向；若对非二次函数，则将导出互不相同的算法，而且据此求出的搜索方
向不再保证是共轭的。（事实上，此时不存在一个常值正定矩阵 G ，共轭的提
法都已无意义）。 二、共轭梯度法的性质 定理4.3 对于正定二次函数，采用基于精确一维搜索的共轭梯度算法，必定经过
n 设水平集 L x f ( x ) f ( x 0 ) 有界，f 是 R 上具有一阶连续
{ 偏导数的凸函数。 x k } 是由Fletcher-Reeves共轭梯度算法产生的迭代点列。则 { 1） f ( x k )} 为严格单调下降序列，且
lim f ( x k )
k
存在。
n
x kr n x x kr x
* *
lim
sup
c
(2)
k
这个定理的证明用以下两个定理。
定理4.10 设定理4.7的条件满足，并设在每一个点
x kr 定义二次函数
fˆkr 为
ˆ ( x ) f ( x ) f ( x ) T ( x x ) 1 ( x x ) T 2 f ( x )( x x ) f kr kr kr kr kr kr kr 2
kr i d kr i d
i kr i kr
O ( x kr x
*
2
)
成立，其中 j ( k )
x kr
x ( fˆkr )
是小于等于n的整数，满足
j(k ) j ( k ) 1 x ( fˆkr ), x kr x ( fˆkr ),
表示函数 fˆkr
数值分析11(共轭梯度法)
非零向量 p0, p1 ,· · · , pn-1 ∈Rn
p0, p1 ,· · · , pn-1 关于 A 共轭
11:51
p0, p1 ,· · · , pn-1 线性无关
22/41
—— 共轭 ——
更加整体地考虑搜索方向的选择, 选择一组 关于A共轭的向量: n 个向量 p0, p1 ,· · · , pn-1 共轭:
1 f ( x ) ( Ax , x ) (b, x ) 2 的极小值点 x 是线性方程组 Ax = b 的解。 证明: 设 u 是 Ax = b的解 1 Au = b f ( u) ( Au, u) 2 对任意 x∈R n , 只须证明 f (x) – f (u) ≥ 0 1 1 f ( x ) f ( u) ( Ax , x ) (b, x ) ( Au, u) 2 2
11:51
4 x12 x2 x3
4/41
预备知识 III
泰勒展式:
f ( x ) f ( x k ) f ( x k )( x x k ) f ( x k )( x x k )2 R
f ( x) f ( x )
k
f ( x k ) x1
( x1 x )
11:51
20/41
The Best of the 20th Century: Editors Name Top 10 Algorithms, SIAM News
现代迭代方法: Krylov子空间方法 共轭梯度法的关键是构造一组两两共 轭的方向(即一组线性无Байду номын сангаас向量)。巧妙的 是, 共轭方向可以由上次搜索方向和当前的 梯度方法之组合来产生。
2 4 x1 x2 x3 2 2 x12 x3 2 4 x1 x2 x3 2 4 x1 x2 x3 2 2 x12 x2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x(k)是函数在{x(0) +1p1+2p2+···+kpk,1,2···,k∈R}中的
极小点.
最终x(n)= u1 p1+u2 p2+···+un pn =x* 即迭代过程同样在n步之后找到最优点.
因此,对二次函数
f ( x) 1 xTGx bT x c 2
我们可以找到n个方向(向量),对其依次进行一维搜索,最
8
共轭方向法的思路
|| (s1 1 u1) p1 (s2 u2 ) p2 L (sn un ) pn ||G2
(s1 1 u1) p1 (s2 u2 ) p2 L (sn un ) pn ,
( s1
1
u1 )
p1
( s2
n
u2
)
p2
L
(sn un ) pn
(s1 1 u1)2 || p1 ||G2 (si ui )2 || pi ||G2
即p1,p2,···,pn线性无关,且 pi , pj 0(i j)
设问题的最优解x*= -G-1b在这组基底下的表示为x*= u1 p1+u2 p2+···+un pn
任取初始点x(0) =s1 p1+s2 p2+···+sn pn, 在方向p1上进行 一维搜索,即求解问题
min || (s1 1 u1) p1 (s2 u2 ) p2 L (sn un ) pn ||G2
z
x(1) O
x(3) =x* x(2) y
x(0)
x
5
共轭方向法的思路
上面的方法对一般的二次函数是否适用呢?
考虑问题
其中
G
1 2
2 5
易见G是正定的,f(x)的极小点为(0,0)T.
以x(0)=(-1,-1)T为初始点,在方向e1=(1,0)T上进行一维搜索. 即求解问题
易求得1*=3,x(1)=x(0)+1*e1=(2,-1)T.
2
共轭方向法的思路
x(1)与x(0)唯一不同的是它们的第一个分量.其中x(1)的第一 个分量与原问题最优解 –b 的第一个分量一致,其余的分量 未发生变化.
下面再沿着方向e2=(0,1,0,···,0)T进行搜索,得到的x(2)的前两 个分量与最优解 –b 的前两个分量一致,其余分量不变.
x(2)
多n步可以找到函数的最优点.
10
共轭方向法的思路
定义 设n维向量组p1,···,pk线性无关, x(0)∈Rn,
称向量集合
为由点x(0)与
p1,p2,···,pk 生成的k维超平面.
若k=1,上述集合表示以p1为方向向量,且过点x(0)的一条直线.
我们希望x(k)是k维超平面的极小点,于是x(n)是n维超平面(即整 个Rn空间)的极小点.
第一个分量没有变为0,进一步沿e2=(0,1)T搜索显然不能达 到 f (x)的极小点.
6
共轭方向法的思路
给定最优化问题(其 中G对称正定)
min f ( x) 1 xTGx bT x c 2
在空间Rn上,重新定义内积与范数:
x, y xTGy
|| x ||G x, x1/2 ( xTGx)1/2
则
f (x)
1 2
||
x
||G2
bT x
c
1 ( x G1b)T G( x G1b) c 1 bTG1b
2
2
1 2
||
x
G1b
||G2
c
1 bTG1b 2
7
共轭方向法的思路 因此原问题等价于 min || x G1b ||G2
在Rn上,按照上面定义的内积给出一组正交基p1,p2,···,pn,
i2
显然,当1=u1–s1时,上面的函数取最小值,
x(1) =u1 p1+s2 p2+···+sn pn.
即x(1)与最优点在基底中第一个向量p1前的系数达到一 致.
x(1)是函数在集合{x(0)+1p1,1∈R}中的极小点.
9
共轭方向法的思路
类似的,再依次沿着p2,···,pk进行一维搜索,可以得到x(k)= u1 p1+···+uk pk+sk+1 pk+1+···+un pn ,
(b
1,
b2
,
x(1) 3
,L
,
x(1) n
)T
.
显然, x(2)是函数在集合{x(0) +1e1+2e2,1,2∈R}中的极小
点.
3
共轭方向法的思路
将此过程进行下去有
x(k)
(b 1,L
, bk , xk(1)1,L
,
x(1) n
)T
.
x(k)是函数在{x(0) +1e1+2e2+···+kek,1,2···,k∈R}中的
11
超平面上极小点的判断 若函数f(x)连续可微, p1,p2,···,pk为一组线性无关的n维向量,
x(0)∈Rn,
若 是f(x)在Hk上的极小点,则p1,p2,···,pk都不是下降方向,因 此 –p1,–p2,···,–pk也不是下降方向,因此 于是有
12
超平面上极小点的判断
严格证明:Hk上的点可以表示为
定义
若
是f(x)在Hk上的极小点.则
其中
因此
13
超平面上极小点的判断 反之,若 如果f(x)是严格凸函数,对于 则
因此 是f(x)在Hk上的唯一极小点.
14
超平面上极小点的判断
引理 设f (x)为连续可微的严格凸函数,又 无关的n维向量, x1∈Rn ,则
极小点.
进行n步后有 x(n) (bΒιβλιοθήκη 1, b2 ,L , bn )T b.
因此,上述的迭代过程每一步在一个分量上达到最优,且每 一步求得了函数在一个集合中的极小点,这种集合在迭代 过程中逐渐扩大,迭代n步之后得到原问题的最优解.
4
共轭方向法的思路
在三维情况下,上面的迭代过程可以用图形来表示.
第五章 无约束问题 算法（III）
——共轭梯度法
1
共轭方向法的思路
对于简单的二次函数
1 xT x bT x c 1 ( x b)T ( x b) c bTb
2
2
任给一个初始向量x(0),沿着方向e1=(1,0,···,0)T进行搜索,即 求解下面问题
由于
min 1
f1 (1 )
( x(0)
1e1
b)T ( x(0)
n
1e1
b)
f1(1) ( x1(0) 1 b1)2 ( xi(0) bi )2
因此
1* x1(0) b1,
i2
x(1)
x(0)
1*e1
(b
1,
x(0) 2
,L
,
x(0) n
)T
.
注:此处的一维搜索中1的范围是整个实数集,即x(1)是函数在 集合{x(0)+1e1,1∈R}中的极小点.
极小点.
最终x(n)= u1 p1+u2 p2+···+un pn =x* 即迭代过程同样在n步之后找到最优点.
因此,对二次函数
f ( x) 1 xTGx bT x c 2
我们可以找到n个方向(向量),对其依次进行一维搜索,最
8
共轭方向法的思路
|| (s1 1 u1) p1 (s2 u2 ) p2 L (sn un ) pn ||G2
(s1 1 u1) p1 (s2 u2 ) p2 L (sn un ) pn ,
( s1
1
u1 )
p1
( s2
n
u2
)
p2
L
(sn un ) pn
(s1 1 u1)2 || p1 ||G2 (si ui )2 || pi ||G2
即p1,p2,···,pn线性无关,且 pi , pj 0(i j)
设问题的最优解x*= -G-1b在这组基底下的表示为x*= u1 p1+u2 p2+···+un pn
任取初始点x(0) =s1 p1+s2 p2+···+sn pn, 在方向p1上进行 一维搜索,即求解问题
min || (s1 1 u1) p1 (s2 u2 ) p2 L (sn un ) pn ||G2
z
x(1) O
x(3) =x* x(2) y
x(0)
x
5
共轭方向法的思路
上面的方法对一般的二次函数是否适用呢?
考虑问题
其中
G
1 2
2 5
易见G是正定的,f(x)的极小点为(0,0)T.
以x(0)=(-1,-1)T为初始点,在方向e1=(1,0)T上进行一维搜索. 即求解问题
易求得1*=3,x(1)=x(0)+1*e1=(2,-1)T.
2
共轭方向法的思路
x(1)与x(0)唯一不同的是它们的第一个分量.其中x(1)的第一 个分量与原问题最优解 –b 的第一个分量一致,其余的分量 未发生变化.
下面再沿着方向e2=(0,1,0,···,0)T进行搜索,得到的x(2)的前两 个分量与最优解 –b 的前两个分量一致,其余分量不变.
x(2)
多n步可以找到函数的最优点.
10
共轭方向法的思路
定义 设n维向量组p1,···,pk线性无关, x(0)∈Rn,
称向量集合
为由点x(0)与
p1,p2,···,pk 生成的k维超平面.
若k=1,上述集合表示以p1为方向向量,且过点x(0)的一条直线.
我们希望x(k)是k维超平面的极小点,于是x(n)是n维超平面(即整 个Rn空间)的极小点.
第一个分量没有变为0,进一步沿e2=(0,1)T搜索显然不能达 到 f (x)的极小点.
6
共轭方向法的思路
给定最优化问题(其 中G对称正定)
min f ( x) 1 xTGx bT x c 2
在空间Rn上,重新定义内积与范数:
x, y xTGy
|| x ||G x, x1/2 ( xTGx)1/2
则
f (x)
1 2
||
x
||G2
bT x
c
1 ( x G1b)T G( x G1b) c 1 bTG1b
2
2
1 2
||
x
G1b
||G2
c
1 bTG1b 2
7
共轭方向法的思路 因此原问题等价于 min || x G1b ||G2
在Rn上,按照上面定义的内积给出一组正交基p1,p2,···,pn,
i2
显然,当1=u1–s1时,上面的函数取最小值,
x(1) =u1 p1+s2 p2+···+sn pn.
即x(1)与最优点在基底中第一个向量p1前的系数达到一 致.
x(1)是函数在集合{x(0)+1p1,1∈R}中的极小点.
9
共轭方向法的思路
类似的,再依次沿着p2,···,pk进行一维搜索,可以得到x(k)= u1 p1+···+uk pk+sk+1 pk+1+···+un pn ,
(b
1,
b2
,
x(1) 3
,L
,
x(1) n
)T
.
显然, x(2)是函数在集合{x(0) +1e1+2e2,1,2∈R}中的极小
点.
3
共轭方向法的思路
将此过程进行下去有
x(k)
(b 1,L
, bk , xk(1)1,L
,
x(1) n
)T
.
x(k)是函数在{x(0) +1e1+2e2+···+kek,1,2···,k∈R}中的
11
超平面上极小点的判断 若函数f(x)连续可微, p1,p2,···,pk为一组线性无关的n维向量,
x(0)∈Rn,
若 是f(x)在Hk上的极小点,则p1,p2,···,pk都不是下降方向,因 此 –p1,–p2,···,–pk也不是下降方向,因此 于是有
12
超平面上极小点的判断
严格证明:Hk上的点可以表示为
定义
若
是f(x)在Hk上的极小点.则
其中
因此
13
超平面上极小点的判断 反之,若 如果f(x)是严格凸函数,对于 则
因此 是f(x)在Hk上的唯一极小点.
14
超平面上极小点的判断
引理 设f (x)为连续可微的严格凸函数,又 无关的n维向量, x1∈Rn ,则
极小点.
进行n步后有 x(n) (bΒιβλιοθήκη 1, b2 ,L , bn )T b.
因此,上述的迭代过程每一步在一个分量上达到最优,且每 一步求得了函数在一个集合中的极小点,这种集合在迭代 过程中逐渐扩大,迭代n步之后得到原问题的最优解.
4
共轭方向法的思路
在三维情况下,上面的迭代过程可以用图形来表示.
第五章 无约束问题 算法（III）
——共轭梯度法
1
共轭方向法的思路
对于简单的二次函数
1 xT x bT x c 1 ( x b)T ( x b) c bTb
2
2
任给一个初始向量x(0),沿着方向e1=(1,0,···,0)T进行搜索,即 求解下面问题
由于
min 1
f1 (1 )
( x(0)
1e1
b)T ( x(0)
n
1e1
b)
f1(1) ( x1(0) 1 b1)2 ( xi(0) bi )2
因此
1* x1(0) b1,
i2
x(1)
x(0)
1*e1
(b
1,
x(0) 2
,L
,
x(0) n
)T
.
注:此处的一维搜索中1的范围是整个实数集,即x(1)是函数在 集合{x(0)+1e1,1∈R}中的极小点.