最优化方法-共轭方向和共轭梯度法
共轭方向与梯度正交关系
共轭方向与梯度正交关系
在数学和优化理论中，共轭方向和梯度正交的关系是非常重要的。
在一个优化问题中，我们希望找到一个函数的极小值或极大值。梯度是函数在某点的变化率或斜率的向量表示，它指向函数值增长最快的方向。
共轭方向是一组向量的集合，这些向量在给定的问题上是彼此正交的。在优化算法中，我们通常使用共轭梯度法，它是一种迭代算法，用于求解线性方程组。
在共轭梯度法中，每一步计算出的方向向量都与前一步的方向向量共轭。也就是说，如果我们用g1表示第一步的梯度，d1
表示第一步计算出的方向向量，那么在第二步中，梯度与方向向量的内积为0，即g2·d1=0。这个性质被称为共轭方向与梯
度正交关系。
这个关系的好处是，在优化算法中，我们可以沿着共轭方向进行迭代，而不是沿着梯度的方向。每个共轭方向都是函数的局部极小值，所以通过沿着共轭方向移动，我们可以找到函数的全局极小值点更快。
总之，共轭方向与梯度正交的关系在优化算法中起着重要的作用，它可以帮助我们更快地找到函数的全局极小值点。
优化设计梯度法和共轭梯度法
优化设计梯度法和共轭梯度法梯度法和共轭梯度法是常用的数值优化算法，用于求解非线性优化
问题。它们在工程领域中的应用广泛，能够有效解决很多实际问题。
本文将对优化设计梯度法和共轭梯度法进行介绍，并比较它们的优劣。
1. 优化设计梯度法
优化设计梯度法是一种通过调整设计变量来最小化给定目标函数的
方法。它基于梯度下降的思想，每一步都会更新设计变量的取值，使
得目标函数在设计变量的邻域内最小化。
优化设计梯度法的具体步骤如下：
1）初始化设计变量；
2）计算目标函数在当前设计变量取值下的梯度；
3）根据梯度方向和步长因子更新设计变量；
4）重复步骤2和步骤3，直到满足收敛条件。
优化设计梯度法的优点是简单易用，容易实现。但是它也存在一些
问题，比如容易陷入局部最小值，收敛速度慢等。
2. 共轭梯度法
共轭梯度法是一种通过迭代算法求解线性方程组的方法，也可以用
于非线性优化问题。它的特点是每一步迭代都要寻找一个新的搜索方向，使得每一次迭代都能够有效利用之前的搜索历史。
共轭梯度法的具体步骤如下：
1）初始化设计变量和搜索方向；
2）计算目标函数在当前设计变量取值下的梯度；
3）根据搜索方向和步长因子更新设计变量；
4）计算新的搜索方向，使其与上一次的搜索方向共轭；
5）重复步骤2到步骤4，直到满足收敛条件。
共轭梯度法的优点是能够在较少的迭代次数内收敛到最优解，且具有较好的数值稳定性。然而，共轭梯度法在非精确线搜索时有一定局限性，并且对于非二次凸函数可能陷入非全局最小值。
3. 优化设计梯度法与共轭梯度法的比较
在实际应用中，选择合适的优化算法对于问题的解决和效率的提高至关重要。下面对优化设计梯度法和共轭梯度法进行比较。
4.4共轭方向法4.5 共轭梯度法
2
即 V 与 d j 是互相正交的（即互相垂直）。 因此，G 的共轭向量的几何意义为：若向量 d i（或 d j ）经过 线性变换 (G) 后，变成了一个与 d i（或 d j ）相正交的向量。
当 G I （单位矩阵）时，
即正交关系。 (d1)T Gd 2 d1d 2 0
性质1 若非零向量系 d 0 , d1,• • •, d m1 是对 G 共轭的， 则这 m 个向量是线性无关的。
1.2 共轭向量的几何意义及共轭方向的性质
对 (d i )T Gd j 0 ，若令 (Gd j ) V
则 (d i )T V 0 ，即
(d i )T • V • cos 0 ,
2
即 d i 与 V 是互相正交的（即互相垂直）。
或令 (d i )T G V ，则 Vd j 0
即
V • d j • cos 0 ,
3x1 2
x2
x1
x2
x11
0 0
x2 1
计算 X 2 点的海塞矩阵
H
3,1 1,1
是正定的，所以 X 2 点是极小点。
X
X
2
1 1
函数的极小值为
f (X ) 1
MATLAB演示
例1
f (X ) 2x12 6x22 2x1x2 2x1 3x2 3
共轭方向法
例2
共轭方向与共轭梯度法-最优化方法
min f ( X k Pk ),为最优步长,是个数值．
(3) X k1 X k k Pk ;
(4)若X
k
满足迭代终止准则，
1
输出X k1, 计算停止，
否则转下一步;
(5)根据某种共轭方向的构造方法获得搜索方向Pk 1 ,
令k k 1， 再次循环计算．
三、共轭梯度法
min f X 1.5x12 0.5x22 x1x2 2x1
解 f X 3x1 x2 2, x2 x1 T
X0 2, 4T , P0 f
X0
12, 6T , f
X0
2
180
f X0 P0
k
)]
, (f
(X
k 1 )
f
(X
k
)代QPk
)
f ( X k1 )T f ( X k1 ) f ( X k1 )T f ( X k ) Pk T f ( X k1 ) Pk T f ( X k )
由于X k1是沿Pk 方向进行一维搜索所得极小点, 所以有Pk T f ( X k1 ) 0
如果Q取单位向量，那么Q共轭向量就是相互正交的向量。
所以可认为共轭的概念是正交概念（
xiT x j 0 )的推广。
定理3.31 组。
最优化共轭梯度法
最优化共轭梯度法
最优化共轭梯度法（Conjugate Gradient Method）是一种迭代求解线性方程组或优化问题的方法。它的特点是对于二次正定函数，可以在有限次迭代内精确地求出最优解。在非二次函数的优化问题中，共轭梯度法表现出了较好的收敛性和全局能力。
共轭梯度法的核心思想是通过选择适当的方向，使得每一次方向的梯度互相“共轭”，从而加快收敛速度。当目标函数为二次函数时，共轭梯度法能够在有限次迭代中得到精确解；而对于非二次函数的优化问题，共轭梯度法通过先验条件选择合适的方向，最大程度地减小目标函数值。
共轭梯度法的基本步骤如下：
1.初始化参数：设置初始点的位置和方向，对于非二次函数，通常选取梯度方向作为方向。
2. 计算步长：通过线方法（如Armijo准则、Wolfe准则等）定位到目标函数上降速度最快的点，并计算目标函数在该点的梯度。
3.更新方向：利用“共轭”梯度法，根据先验条件计算新的方向。
4.判断终止条件：判断目标函数值是否满足设定的终止条件，若满足则停止迭代，否则返回步骤2
对于二次函数，最优化共轭梯度法表现出了优良的性能。当目标函数是非二次函数时，共轭梯度法的表现会有所下降，但仍然比一般的梯度下降法更具有优势。因此，共轭梯度法常被用于求解大规模线性方程组、信号处理、数字滤波、机器学习等领域。
最优化共轭梯度法的优点在于：收敛速度较快，全局能力较强，不需要存储海量信息。然而，该方法也存在一些缺点。首先，共轭梯度法对目标函数的性质有一定的要求，例如目标函数必须是光滑的，并且梯度向量必须是有效的。其次，共轭梯度法对初始点的选择较为敏感，不同的初始点可能导致不同的解。
共轭梯度法求解优化问题
共轭梯度法求解优化问题
共轭梯度法是一种用于求解优化问题的迭代算法，常用于解决线
性方程组或者二次型目标函数的无约束优化问题。它的特点是具有快
速收敛速度和较好的数值稳定性，在优化问题中得到了广泛的应用。
共轭梯度法是一种迭代法，它通过在每次迭代中选择一个特定的
搜索方向来逐步逼近最优解。在优化问题中，我们通常会定义一个目
标函数和一组约束条件。目标函数通常表示我们希望最小化或最大化
的目标，而约束条件则表示问题的限制条件。
在共轭梯度法中，我们首先需要计算初始梯度，然后根据一定的
规则选择一个搜索方向。在每次迭代中，我们将根据预定义的条件更
新参数，并计算新的搜索方向。这个更新步骤将一直进行下去，直到
满足特定的终止条件。
共轭梯度法的核心思想是利用已有的搜索方向和之前的搜索方向
进行共轭，以提高搜索效率。这就意味着，如果选择了一个搜索方向后，我们将需要在下一次迭代中选择一个与之前搜索方向共轭的方向，以确保在这个方向上搜索不会重复之前的工作。
共轭梯度法的步骤如下：
1.初始化参数：选择一个初始点和一个初始搜索方向。
2.计算梯度：计算目标函数在当前点的梯度。
3.更新步长：根据预定义条件更新步长，并计算新的搜索方向。
4.更新参数：根据步长和搜索方向更新参数。
5.判断终止条件：判断是否满足终止条件，如果满足则停止迭代，否则返回步骤2。
共轭梯度法的收敛性证明较为复杂，但一般情况下，它具有较好
的收敛性和数值稳定性。最坏情况下，共轭梯度法的收敛速度为指数
级收敛，因此在实际应用中往往能够获得较好的优化结果。
共轭梯度法的应用广泛，特别适用于解决大规模线性方程组、二
工程优化 第4章-3
结论(b)成立，进而结论(2)成立。
共轭梯度法
定理1：设向量组 p , p ,..., p 是由上述方法产生的向量组，向量
组 g1 , g 2 ,..., g n 是由各点的梯度生成的向量组， ( g k f ( x ) ) 则
k
1 2 n
(1) g1 , g 2 ,..., g n 是正交向量组；
由假设可知，要证明 n=k +1时结论成立，只需证明
g k +1 与 g1 ,g 2 ,...,g k 正交，p k +1 与 p1 ,p 2 ,...,p k A共轭。 (a) 证明 g k +1 与 g1 ,g 2 ,...,g k 正交; 1 f ( x ), i 1, 因为 i p i i 1 f ( x ) p , i 2,..., n, i 1
(b) 证明 p k +1 与 p1 ,p 2 ,...,p k 是A共轭的;
k +1 k p 是A共轭的; p 与 p 由 的构造过程知， 下证 p k +1 与 p1 ,p 2 ,...,p k -1是A共轭的; i
p
k +1 T
Ap = gk +1 k p
i
k
源自文库
T
Ap
i
g p =0, i 1,2,..., k , 共轭向量组，从任意点x 出发，相继以p , p ,…, p 为搜索方向进行精确一维搜索，则
最优化方法3-5共轭梯度法和共轭方向法
当 gk 0时，构造下一个共轭方向 pk ，沿 pk 进行精确 一维搜索得 xk1。
构造 pk 与 p0, p1,L , pk1都共轭，并且
k 1
pk gk kj p j j0
现在来确定kj （ j 0,1,L L , k 1）。由定理 3.4.3
(gk
g
k 1)
1
k 1
g
g T
k 1 k
1
（2）Polak-Ribiere-Polyak 公式
故
k 1
g
T k
(
gk
g
k 1)
gkT1gk 1
此式是 Polak 和 Ribiere 以及 Polyak 分别于 1969
年提出的，故称 Polak-Ribiere-Polyak 公式，简称 PRP
称 Fletcher-Reeves 公式，简称 FR 公式。
k 1
gkT Gpk1 pkT1Gpk 1
Gpk 1
1
k 1
(gk
g
k 1 ) ，
gkT Gpk1
1
k 1
gkT
(gk
g
k 1)
，
共轭方向法和共轭梯度法
x
x
k 1
x p
k
k
在 x k 点处，用二次函数来近似原函数 f ( x) ，即
1 f ( x) Q( x) f ( x k ) g ( xk )T ( x xk ) ( x xk )T G( x k ) ( x xk ) 2
寻找近似二次函数的“中心”点，即令
显然，当 a1 = u1 – s1 时，上面的函数取最小值. 此时
x 0 → x 1 = u1 p 1 + s2 p 2 + · · ·+ sn pn
即 x1 与最优点在基底中第一个向量 p1 前的系数达到一致. x1也就是二次目标函数在集合 {x | x = x0 + a1 p1，a1∈R}
上的极小点.
《最优化理论与方法》
邵建峰
第三章 无约束最优化的梯度方法
信息与计算科学系
邵建峰
邵建峰
本章内容：
3.1 无约束最优化问题的最优性条件 3.2 最速下降法 3.3 Newton法 3.4 共轭方向法和共轭梯度法 3.5 拟Newton法 3.6 最小二乘问题
邵建峰
3.4 共轭方向法和共轭梯度法
x0 = s1 p1 + s2 p2 + · · ·+ sn pn
1 T min f ( x) ( x Qx bT x c) 2
共轭梯度法原理
共轭梯度法原理
共轭梯度法是一种用于求解大型稀疏线性方程组的优化算法。
它是一种迭代法，通过寻找一个搜索方向，并在该方向上进行搜索，逐步逼近最优解。共轭梯度法在优化问题中有着广泛的应用，尤其
在求解大规模线性方程组时表现出色。
共轭梯度法的原理可以从最小化函数的角度进行解释。假设我
们要最小化一个二次函数f(x)，其中x是一个n维向量。共轭梯度
法的目标是找到一个搜索方向d，使得沿着这个方向移动能够让函
数值最小化。在每一步迭代中，我们需要找到一个合适的步长α，
使得沿着搜索方向d移动后能够使函数值减小最快。
共轭梯度法的核心思想是利用历史信息来加速收敛。在每一步
迭代中，共轭梯度法会根据历史搜索方向的信息来选择当前的搜索
方向，以便更快地找到最优解。这种方法可以在较少的迭代次数内
找到最优解，尤其对于大规模问题来说，可以节省大量的计算资源。
在实际应用中，共轭梯度法通常用于求解线性方程组Ax=b，其
中A是一个对称正定矩阵。共轭梯度法的迭代过程可以通过以下步
骤进行描述：
1. 初始化，选择一个初始解x0，计算残差r0=b-Ax0，选择初
始搜索方向d0=r0。
2. 迭代更新，在第k步迭代中，计算步长αk，更新解xk=xk-
1+αkd，并计算残差rk=b-Axk。然后根据历史搜索方向的信息，计
算新的搜索方向dk= rk+βkdk-1，其中βk是一个根据历史信息计
算得到的参数。
3. 收敛判断，在每一步迭代中，可以根据残差的大小来判断算
法是否已经收敛。如果残差足够小，可以停止迭代并得到近似解x。
共轭梯度法的优点在于它对存储和计算资源的要求相对较低，
数值最优化方法范文
数值最优化方法范文
数值最优化方法是一种数学与计算机科学领域的方法，用于求解数学
模型中的最优解问题。在实际生活和工程实践中，我们经常遇到需要优化
一些目标函数的问题，如最小化成本、最大化收益、最短路径等。数值最
优化方法通过对目标函数进行迭代计算，逐步调整解的取值，来寻找最优解。
1. 梯度下降法（Gradient Descent）
梯度下降法是一种常用的数值优化方法，用于求解无约束优化问题。
该方法基于目标函数的梯度信息（导数），通过迭代的方式朝着梯度的反
方向走，来逐步接近最优解。梯度下降法的思想简单直观，并且易于实现。然而，该方法有时可能会陷入局部最优解。
2. 牛顿法（Newton's Method）
牛顿法是解决无约束优化问题的一种经典方法。通过利用目标函数的
二阶导数信息，牛顿法可以更快地接近最优解。然而，由于需要计算目标
函数的二阶导数，牛顿法的计算量较大，并且可能不稳定。
3. 共轭梯度法（Conjugate Gradient）
共轭梯度法是一种用于解决无约束优化问题的迭代法。该方法利用目
标函数的梯度信息，并通过一定的算法求解一组共轭方向，从而快速找到
最优解。相较于梯度下降法和牛顿法，共轭梯度法具有更快的收敛速度。
然而，该方法要求目标函数是二次函数，并且对于一般的非线性问题效果
可能不佳。
4. 割平面法（Cutting Plane Method）
割平面法是一种广泛应用于线性规划问题的优化方法。该方法通过逐
步添加与可行解集合之间差距最大的约束，来逼近最优解。割平面法可以
用于求解具有任意精度要求的线性规划问题，并且在实践中取得了较好的
最优化课程练习-共轭梯度法
无约束优化方法—共轭梯度法
1.共轭梯度法
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算海赛矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。其基本思想是利用负梯度方向，构造一共轭方向，使其尽快达到最优点。共轭梯度法迭代过程如图1所示。
1
X 2
图1 共轭梯度法迭代过程
()k 1x +点是沿()k x 点负梯度方向
()
()K k S
g =-搜索到的极值点。如果
接着从()
k 1x +点出发，不是按着其负梯度方向()k
g -搜索，而是沿着通过*
x 点的方向()
1K S +搜索，显然立即就能搜索到极值点*
x 。根据共轭理论，它们应
当满足
()
()(1)
1k T
k S
AS
+=
即()K
S 与()1K S +是互为共轭方向，新构造的共轭方向(
)
1K S +，可由矢量合成，
()
(1)
(1)
()
()
2k k k k S
g
S
β++=-+
()k β值可根据在极值点附近目标函数等值线近似为二次型函数的道理，推
到出：
()
(1)(1)(1)
2
()
()()()2
||||3||||
k T k k k k T k k g
g g g g g β
+++==
利用两个点的梯度()
k g
和(1)
k g
+，就可以构造一个与梯度矢量为共轭的矢量
(
)
1K S +，沿着该方向搜索，即可求得极值点。共轭梯度法程序框图如图2所示。
图2 共轭梯度法程序框图
2. 共轭梯度法的应用
用共轭梯度法计算22
最优化方法课件03-2
15
共轭梯度法(共轭方向的形成)
假设已经沿k个共轭方向p0, p1,· · · , pk-1逐次进 行一维搜索得xk. 若gk=g(xk)=0,则xk已是极小点,否则构造下一 个方向pk.令pk为-gk以及p0,p1,· · · ,pk的线性组合.
用pjTG(j=0,1,· · · ,k-1)左乘上式 因此
4
超平面上极小点的判断
引理 3.4.1 设f (x)为连续可微的严格凸函数,又 p1,p2,· · · ,pk为一组线性无关的n维向量, x1∈Rn ,则
是f(x)在x1与p1,p2,· · · ,pk所生成 的k维超平面Hk上唯一极小点的充分必要条件是 注:若k=n,易推出在xk+1的梯度为零向量.因此,这 一引理是一常用定理(极小点梯度为0)的推广.
是目标函数在k维超平面上的极小点. xn+1就是 目标函数在整个空间的极小点.
6
共轭向量
对于f(x)=xTGx/2+bTx+c,有g(x)=Gx+b,因此
gj+1-gj=G(xj+1-xj)=ajGpj, 因此 根据引理3.4.1,左边应为零,于是搜索方向满足 性质piTGpj=0(i ≠ j).
1 0.771110 0.623703 6.07e-4 3.02e-9 2.21e-14 2.79e-19 4.74e-24 6.14e-26 2.06e-26
最优化方法第三章(2).
其中 a1 , a2 , , am1 是任意实数。
定义3.4 设 p0 , p1 , x0 Rn 。那么形式为
m 1 i 0
, pm1是 R n 中的线性无关向量，
z x0 ai pi , a1 , a2 ,
, am1 R
的向量构成的集合，记为 L x0 ; p0 , p1, , pm1 ，称为由点 x 0 和向量 p0 , p1 , , Hale Waihona Puke Baidum1 所生成的线性流形。
本节内容对今后许多章节起着基础的作用。
1. 基本思想
现在把下降法用于形式为（3.36）的二次函数。为便 于说明共轭方向法的基本思想，首先考虑二维的情形。
（图3－14）
任选初始点 x0 ，沿它的某个下降方向，例如向量 p0 的方向，作直线搜索，得到（图3－14）。由（4.16）知 (3.37) f ( x1 )T p0 0 一个设想是，干脆选择下一个迭代的搜索方向 就从 x1 直指极小点 x *
推论3.3 在
n 维向量空间中，非零的共轭向量的
个数不超过 n 。 设 p0 , p1 , , pm1 是 R n 中的非零 Q 共轭向量。因为 线性无关，所以由它们可以张成 R n 的一个 m 维子空间， 且这个 m 维子空间中的任意一个向量 x 均可表示为
x ai pi ,
i 0 m 1
第三章非线性规划无约束问题的最优化方法
f x 1 4x1 2x2 , 2 f x 4 2
1 2x1 2x2
22
f x0
1 ,
1
2f x0
42 22
1
2f x0
11 22 11 2
第三节 牛顿法
构造牛顿方向：
1
p0
2f x0
f x0
11 2 21
1
11 2
1
3 2
从x(0)出发，沿牛顿方向做一维搜索，令步长变量为l，最优步长为l0
x0
p0 0
1 ,
x0
0 ,
f x0
2 ,
2 x2 1
0
2
p0
ห้องสมุดไป่ตู้
f x0
2
2
f x0
8
H x0
2f x
20 02
求最佳步长l0
f x0 T f x0
1
0
f
x0
T
H
x0
f x0
2
第二节 最速下降法
则：
x1 x0
0 f x0
f x1
0
0.01
x* x 1 1 1
0 12 1 0 22 1
第二节 最速下降法
三、最速下降法的锯齿现象
1 11
e1 2 3
02 03
f x 1 e1 3 1 2 2 22 32 3 1 2 17
优化设计无约束优化方法第04章-2
四、DFP算法
Ekyk=sk- Hkyk
由于前述变尺度矩阵的要求，校正矩阵Ek可取一种最简单的 形式，即令： DFP算法由Davidon于195 9年提出，1963年由Fletcher 其中， uk、vk 为待定向量，αk、βk为待定常量。 和Powell 加以发展和完善。 T则均为n维满秩的对称阵。 而ukukT 、 v v k k 当初始矩阵H 采用对称正定矩阵时，DFP算法将保证以
当Ak=I, 则得到梯度法 ；
当Ak=[▽2f(xk)]-1时，则得到阻尼牛顿法 ；
当矩阵Ak若能不断地迭代而能很好地逼近Ak=[▽2f(xk)]-1时， 就可以不再需要计算二阶导数，以及逆阵。
2、减小二次项偏心的尺度变换 x Qx
对于二次函数:
进行尺度变换x←Qx，在新的坐标系中，函数f(x)的二次 项变为：
如G是正定，则总存在矩阵Q，使得： 用矩阵Q-1右乘等式两边，得： 用矩阵Q左乘等式两边，得： 所以 上式说明：二次函数矩阵G的逆阵，可以通过尺度变换矩阵Q 来求得。
3、公式的统一 若记 QQT=H，H 称为尺度矩阵，则阻尼牛顿公式可写为：
或： 比较梯度法公式
xk+1=xk-αkH▽f(xk) xk+1=xk-αk▽f(xk)
二、共轭方向的性质
性质 1 若非零向量系 d0,d1,d2,…,dm-1 是对 G 共轭，则这 m 个向 量是线性无关的。 性质2 在n维空间中互相共轭的非零向量的个数不超过n。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
PkT1QPk
PkT1Q f
(X k
)
f
( X k )T QPk 1 PkT1QPk 1
Pk 1 0
且对j 0,1 , k 2, 有
2020/3/6
21
Biblioteka Baidu
3.共轭梯度法
证明
PjT QPk PjT Q f ( X k ) P k1 k1
共轭方向和共轭梯度法
2020/3/6
1
本节主要内容
1 共轭方向法的基本原理 2 共轭方向（定义+性质+方法） 3 共轭梯度法 4 例题 5 小结
2020/3/6
2
基本原理
2020/3/6
3
1.共轭方向法的基本原理
先看一个无约束极小化问题：
min f (x) 1 X T QX bT X c,Q为正定矩阵 2
P1应该满足的条件：X2=X1+λ1P1 (λ1为最优步长)
∵X2是无约束极小值点 ∴▽f(X2)=0 即QX2+b=0
P1要如何求呢？
(▽f(X)=QX+b)
有 f ( X 1 ) QX1 b
Q( X 2 1P1 ) b (QX 2 b) Q1P Q1P
与10是正交的，但是它们不是Q的共轭向量。而向量11与-11既是正交的， 又是Q的共轭。
2020/3/6
9
2.共轭方向-性质
定理3.31 共轭向量组是线性无关向量组
证明
设Q是正定矩阵，P0，P1， Pm1是Q共轭向量组。
m1
令 j Pj 0, ( j是常数) j0
• 线性流形几何意义
设P0, P1是3维空间E3中的两个线性无关向量,过X 0作平面法
向量为P0 P1,则
L( X 0; P0, P1)
2020/3/6
12
2.共轭方向-性质
定义3.18(线性流形定义)
设X 0 En , P0 , P1...Pm1是En中m个线性无关向量,则 称集合L( X 0; P0 , P1...Pm1)是由点X 0和向量组(P0 , P1...
2020/3/6
14
2.共轭方向-性质
证明: (1)因为X m是沿Pm1方向进行一维搜索所得的极小点, 根据最
优化性条件有f ( X m )T Pm1 0
当k
0,1,...,m
2时,因为X
k
是
1
沿Pk
方向进行一维搜索所得的极小
点, 所以0 f ( X k1)T Pk
(f
m1
j从k 1开始, 共轭故 jQPj为0) j k 1
2020/3/6
15
2.共轭方向-性质
(2) X k1 X k k Pk , k 0,1, m 1
m1
X m X 0 k Pk L( X 0 : P0 , , Pm1 )
1
2020/3/6
4
1.共轭方向法的基本原理
• 已知 X1 点是在 X 0 点在直线 l0 上沿 P0 搜索方向的一个极小 点。（l0 与 P0 是平行的）
• 过 X1 点找一个方向 P1 ，沿平行于P1 的直线 l1 进行一维搜索 ，找到点 X 2为全局的极小点。
2020/3/6
5
1.共轭方向法的基本原理
[
f ( X k1 ) f ( X k )
]2
2020/3/6
23
3.共轭梯度法
证明,由3 77有k QPk f ( X k1 ) f ( X k )
ak
f
( X k1 )T QPk Pk T QPk
f
( X k 1 )T Pk T [f
[f ( X k1 ) f ( X ( X k1 ) f ( X k )]
PjT Qf ( X k ) k1PjT QPk1 f ( X k )T QPj
f ( X k )T f ( X j1 ) f ( X j ) j f ( X k )T f ( X j1 ) f ( X k )T f ( X j ) j
m1
( k
k
)
PT k
f
(Xm)
0
k 0
又由于Q正定，所以
3 由1和2得出
( X X m )T Q( X X m ) 0，当X X m f ( X ) f ( X m )，当X X m 有X m是f ( X )在L(X 0 ; P0 , P1 , Pm1 )上的极小点
怎么理解？
2020/3/6
8
2.共轭方向-定义
已知向量x
(1,0)T
,
y
(
1 3
,
2)T 3
,Q
2 1
12.则xT
Qy
2 (1,0)1
12
1 3 2
3
0,
因此x, y是关于Q共轭正交的。但是x, y并不正交，因为xT y 0.而向量10
(4)若X
k
满足迭代终止准则，
1
输出X k1, 计算停止，
否则转下一步;
(5)根据某种共轭方向的构造方法获得搜索方向Pk 1 ,
令k k 1， 再次循环计算．
2020/3/6
17
共轭方向构造方法、 共轭梯度算法
2020/3/6
18
3.共轭梯度法-方向构造
定理3.33
设f
(X
)
1 2
10
设当m k时，P0，P1， ，Pk-1是共轭的,即
2.共轭方向-性质
• 推论 在n维空间中, 任一共轭向量组最多有n个向量 容易知道,若有n个非0向量P0, P1,...Pn1构成一个共轭向量组
则En中的任何向量均可表示为它们的线性组合．n 1个就 线性相关了．
2020/3/6
11
2.共轭方向-性质
P0 , P1, Pm1是关于Q的个共轭方向, X 0为初始点, 令
X k1 X k k Pk , k 0,1,...,m 1, k是一维搜索的最优步长．
则有结论:
(1)PjTf ( X m ) 0, j 0,1,...,m 1
(2) X m是f ( X )在线性流形L( X 0; P0 , P1...Pm1)上的极小点．
,
P1
,
.
.
.Pm
是
1
关于Q的共轭向量组．
2020/3/6
19
3.共轭梯度法
定理3.33
设f
(X)
1 2
X T QX
bT
X
c,Q正定,
X 0是初始点, P0
f
(X0)
X k 1
Xk
k Pk
,k
0,1...m
1,
k
是最优步长,
且
构造的
Pk1 f ( X k1 ) ak Pk
f ( X m ) f ( X m1) m1QPm1 f ( X m2 ) m2QPm2 m1QPm1
m1
... f ( X k1) jQPj (这是递推公式) j k 1
m1
PkT f ( X m ) PkT f ( X k1) jQPj 0( 前面已证PkT f ( X k1) 0 j k 1
m1
j PkT QPj 0, K 0,1, , m 1 j0
由Q的正定性以及Pj , Pk的共轭性，有PkT QPj
0，当k
0,当k
j , j
j
0,1,
m 1
故 j PjT QPJ 0, j 0,1, m 1
j 0, j 0,1, m 1
由3式可以看出
2020/3/6
16
2.共轭方向-共轭方向法
• 基本定义
利用共轭方向作为搜索方向的无约束极小化算法
• 通用步骤:
(1)任取X 0 ,以及在X 0的下降方向P0 , k 0; (1)求解一维搜索问题
min f ( X k Pk ),为最优步长,是个数值．
(3) X k1 X k k Pk ;
(
X
)T
k 1
Pk
)T
PkT f ( X k1)
f ( X k1) QX k1 b Q( X k k Pk ) b, ( X k 1 X k k Pk )
f ( X k1) (QX k b) kQPk f ( X k ) kQPk
Pm 1 )所生成的线性流形．
其中：
m1
L( X 0; P0 , P1,...Pm1) {X X X 0
j
Pj
,
是一个数值，
j
j0
可定义为步长}
2020/3/6
13
2.共轭方向-性质
定理3.32(共轭方向的极小点)
设X
En ,
f
(X
)
1 2
X
T QX
bT
X
c,其中Q为对称正定,
X1是f (x)沿P0方向的直线l0的极小点
f ( X1 )T P0 0
0
f ( X1 )T
P0
1
P 1
T QP0
即P 1
T QP0
0
这是P1满足X2是极小点一个 的必要条件
2020/3/6
6
定义、性质与共轭方向法
2020/3/6
7
2.共轭方向-定义
定义3.17
设矩阵Q是n阶正定矩阵，P0，P1，...,Pm-1是En中的m个非零向量，如
P0
P0T Qf ( X 1 ) f ( X 1 )T QP0 0 表明，P0与P1共轭。
2 设当m k时，P0，P1， ，Pk-1是共轭的,即
PiT QPj 0, i j, j k 1
3 证明P0，P1， ，Pk-1，Pk也是共轭的：
首先有
k 0
m1
现任取X L( X 0 : P0 , , Pm1 )有X X 0 k Pk
2
k 0
2 f (X) Q
线性流形
f (X)
f ( X m ) f ( X m )T ( X
Xm)
1 (X 2
X m )T Q(X
Xm)
m1
f ( X m )T ( X X m ) f ( X m )T ( ( k k )Pk ) k 0
X
T QX
bT
X
c, Q正定,
X 0是初始点,
P0
f
(X0)
X k1 X k k Pk , k 0,1...m 1, k是最优步长,且
Pk1 f ( X k1) ak Pk (这是构造的结果)
其中ak
f
( X k1)T QPk PkT QPk
,
P0
由（1）式和定理3.32的结论（1），有
f ( X k )T f ( X j1 ) f ( X k )T j Pj Pj1
jf ( X k )T Pj f ( X k )T Pj1 000 同理，有f ( X k )T f ( X j ) 0 故PjT QPk 0, j 0,1 , k 2 又由归纳法假设条件，
当m 2时 所以，P0，P1， Pm1是线性无关的。
P0T QP1
P0T Q f ( X 1 )
f ( X 1 )T QP0 P0T QP0
P0
P0T Qf ( X 1 ) f ( X 1 )T QP0 0
表明，P0与P1共轭。
2020/3/6
果满足条件
PiTQPj=0, (i≠j, i,j=0,1,...,m-1)
则称向量P0，P1，...,Pm-1是Q的共轭向量组，或称P0，P1，...,Pm-1是
关于Q的共轭方向。
如果取Q为单位矩阵，那么，Q的共轭向量就是相互正交的向 量。所以，可以认为共轭概念是正交概念的推广。正交是共轭 的一种特殊情况。。
1
方向
其中ak
f ( X k1 )T QPk Pk T QPk
,
那么P0 , P1,...Pm1是关于Q的共轭向量组．
2020/3/6
20
3.共轭梯度法
证明
1 当m 2时
P0T QP1
P0T Q f ( X 1 )
f ( X 1 )T QP0 P0T QP0
k
)] , (f
(X
k 1 )
f
(X
k
)代QPk
有PiT QPj 0, i j., i、j k 1 综合以上可断言P0，P1， ，Pk1, Pk是共轭向量。
2020/3/6
22
3.共轭梯度法
• 定理3.34(ak的简化)
在定理3.33条件下, ak可简化为
ak
f ( X k1 )T f ( X k1 ) f ( X k )T f ( X k )