数值分析11(共轭梯度法)
共轭梯度法公式
共轭梯度法公式
共轭梯度法是一种用于求解线性方程组的迭代算法。
其主要思想是通过利用前一次迭代的信息来加速当前迭代的速度，从而减少迭代次数和计算量。
共轭梯度法公式包括以下几个步骤：
1. 初始化：设初始解为x0，残量b0为Ax0-b，共轭方向d0=b0。
2. 迭代求解：对于第k次迭代，计算步长αk，使得xk+1=xk+αkd，其中d是共轭方向，满足dTkAd=0，即d是A的共轭向量。
3. 更新残量：计算新的残量bk+1=Axk+1-b，如果bk+1小于预设精度，则停止迭代。
4. 更新共轭方向：计算新的共轭方向dk+1=bk+1+βkdk，其中βk=(bk+1)Tbk+1/(bk)Tbk，保证dk+1与之前的共轭方向都是A的共轭向量。
5. 重复迭代，直到满足收敛条件，返回最终解xk+1。
共轭梯度法是一种高效的求解大型线性方程组的方法，尤其适用于稀疏矩阵和对称正定矩阵。
公式简单易懂，容易实现，且具有较快的收敛速度。
- 1 -。
共轭梯度法简介
算法步骤—FR共轭梯度法 算法步骤 FR共轭梯度法 FR
共轭梯度法
Step1: Step2: Step3: Step4: Step5: Step6: Step7:
共轭梯度法
举例
参见 P187 例7.3.1.
共轭梯度法
收敛性分析
与Newton法相比，共轭梯度 法相比， 法相比 全局收敛性 法具有较弱的收敛条件. 法具有较弱的收敛条件
共轭方向法和共轭梯度法
问题1: 问题 如何建立有效的算法？ 如何建立有效的算法？ 从二次模型到一般模型. 从二次模型到一般模型
问题2: 什么Leabharlann 的算法有效呢？ 什么样的算法有效呢？ 问题 二次终止性. 二次终止性
简介
共轭方向法和共轭梯度法
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导 共轭梯度法是介于最速下降法与牛顿法之间的一个方法， 数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储 数信息，但克服了最速下降法收敛慢的缺点， 和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组 和计算Hesse矩阵并求逆的缺点， Hesse矩阵并求逆的缺点 最有用的方法之一，也是解大型非线性最优化最有效的算法之一. 最有用的方法之一，也是解大型非线性最优化最有效的算法之一.
共轭方向法和共轭梯度法
特点 (1) 建立在二次模型上，具有二次终止性． 建立在二次模型上，具有二次终止性． (2) 一种有效的算法，克服了最速下降法的锯齿现象， 一种有效的算法，克服了最速下降法的锯齿现象 锯齿现象， 又避免了牛顿法的计算量大和局部收敛性的缺点． 又避免了牛顿法的计算量大和局部收敛性的缺点． (3) 算法简单，易于编程，无需计算二阶导数，存储 算法简单，易于编程，无需计算二阶导数， 空间小等优点， 空间小等优点，是求解中等规模优化问题的主要 方法． 方法．
共轭梯度法程序
一、共轭梯度法共轭梯度法（Conjugate Gradient）是共轭方向法的一种，因为在该方向法中每一个共轭向量都是依靠赖于迭代点处的负梯度而构造出来的，所以称为共轭梯度法。
由于此法最先由Fletcher和Reeves （1964）提出了解非线性最优化问题的，因而又称为FR 共轭梯度法。
由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用于实际问题中。
共轭梯度法是一个典型的共轭方向法，它的每一个搜索方向是互相共轭的，而这些搜索方向d仅仅是负梯度方向与上一次迭代的搜索方向的组合，因此，存储量少，计算方便，效果好。
二、共轭梯度法的原理设有目标函数f（X）=1/2X T HX+b T X+c 式1 式中，H作为f（X）的二阶导数矩阵，b为常数矢量，b=[b1,b2,b3,...b n]T 在第k次迭代计算中，从点X（k）出发，沿负梯度方向作一维搜索，得S(K)=-∆f（X（k））式2 X(k+1)=X(k)+ɑ(k)S(k) 式3在式中，ɑ（k）为最优步长。
设与S(k）共轭的下一个方向S(k+1)由点S(k）和点X(k+1)负梯度的线性组合构，即S (k+1)=-∆f （X （k+1））+β(k)S (k) 式4 根据共轭的条件有[S (k)]T ∆2f （X (k)）S (k+1)=0 式5 把式2和式4带入式5，得-[∆f(X (k))]T ∆2f （X (k)）[-∆f （X （k+1））+β(k)S (k) ]=0 式6 对于式1，则在点X (k)和点X (k+1)的梯度可写为∆f(X (k))=HX (k)+b 式7 ∆f （X （k+1）)=HX (k+1)+b 式8 把上面两式相减并将式3代入得ɑ(k)H S (k)=∆f （X （k+1）)-∆f(X (k)) 式9 将式4和式9两边分别相乘，并代入式5得-[∆f （X （k+1）)+β(k)∆f(X (k))]T [∆f （X （k+1）)-∆f(X (k)]=0 式10 将式10展开，并注意到相邻两点梯度间的正交关系，整理后得 β（k ）=22||))((||||))1((||k X f k X f ∆+∆ 式11把式11代入式4和式3，得 S （k+1）=-∆f （X (k)）+β（k ）S （k ）X (k+1)=X （k ）+ɑ（k ）S （k ）由上可见，只要利用相邻两点的梯度就可以构造一个共轭方向。
共轭梯度法(精品文档)
1
g2T (g2 d1T (g2
g1) g1)
g2T g2 g1T g1
4） 一般地，在第 k 次迭代中，令
k 1
dk gk idi i0
适当选取 i ，使 dkTGdi 0 （ i 0,
, k 1），可得到
i
gkT Gdi diT Gdi
gkT (gi1 gi ) diT (gi1 gi )
§4.2 共轭梯度法
提纲
1、共轭梯度法---F-R共轭梯度法 2、共轭梯度法性质定理及例题 3、再开始FR共轭梯度法 4、Beale三项共轭梯度法 5、预条件共轭梯度法（了解）
共轭梯度法
在上一节中讨论了共轭方向法，其中n个共轭方向是预先设定好的。但是如何 让获取这些共轭方向并为提及。本节讨论一种重要的共轭方向法——共轭梯 度法。这种方法是将共轭性和最速下降方向相结合，利用已知迭代点处的梯 度方向构造一组共轭方向，并沿此方向进行搜索，求出函数的极小点。因在 迭代过程中通过对负梯度方向进行适当校正获得共轭方向，故而称之为共轭 梯度法。
算法步骤—FR共轭梯度法
1、选取初始数据，选取初始点 x0 ，给定允许误差 0 ；
2、检查是否满足终止准则，计算 f (x0 ) ，若 || f (x0 ) || ,迭代终
止，x0为近似最优解，否则转向3；
3、 构造初始搜索方向，计算 d0 f (x0 ), k 0；
而
k 1
gkT (gk gk1)
dT k 1
(
gk
gk 1 )
gkT gk gkT1 gk 1
共轭梯度法的迭代公式为：
共轭梯度法 有限元
共轭梯度法有限元
共轭梯度法和有限元法是两种不同的数学方法，常用于求解大规模线性方程组的数值解。
共轭梯度法是一种迭代法，用于求解对称正定矩阵的线性方程组。
它的基本思想是通过一系列共轭的搜索方向，以最小化残差的方式逼近精确解。
该方法通常比直接求解线性方程组的方法更快。
共轭梯度法广泛应用于计算机图形学、计算机视觉、信号处理等领域。
有限元法是一种数值分析方法，用于求解偏微分方程的近似解。
它将复杂的连续体问题离散化为有限个小的元素，然后通过求解每个元素上的方程，得到整个问题的数值解。
有限元法广泛应用于工程、物理学、生物学、医学等领域。
在实际问题中，共轭梯度法和有限元法往往结合使用，例如求解结构力学问题。
有限元法用于离散化结构，将其分解为有限个小的单元，然后共轭梯度法用于求解每个单元上的力学方程，以得到整个结构的数值解。
共轭梯度法
2 2 min f ( x ) = x1 + 2x2 x
⎛1⎞ 给定初始点 x (0) = ⎜ ⎜1⎟ ⎟。 ⎝ ⎠
13
⎛ 2 x1 ⎞ ⎛ 2 0⎞ 2 首先， ∇f ( x ) = ⎜ ⎜ 0 4⎟ ⎟ ，以下利用(4.14)确定 β k 。 ⎜ 4x ⎟ ⎟ ，H= ∇ f ( x ) = ⎜ ⎝ ⎠ ⎝ 2⎠ k=0：
0
k +1
) 与搜索方向 s 0 ," , s k 均正交。同时，利用引理 4.1 马上
设 H ∈ R n×n 是对称正定阵，s ," , s
0
n −1
0
n −1
是非零 G—共轭方向组，x ∈ R 。 若对问题(UQP)，
0
n
从 x 出发，依次沿 s ," , s
0
进行最优一维搜索，最终得到 x ，则 x 是(UQP)的最优解。
为保证 H-共轭性，在 x 处必须取 s 为搜索方向，而不能取 α s (α > 0) 为搜索方向。
k k
k
利用定理 4.3，马上得到上述算法的有限终止性。 定理 4.4 设 H ∈ R n×n 是对称正定阵。若用凸二次规划的共轭梯度法求解 (UQP) 时产生迭代点
x1 ," , x K ，则 x K 是(UQP)的最优解，并且 K ≤ n 。
首先由(4.7)知， g = ∇f ( x ) ( j = 0, " , k -1)是 s ," , s 的线性组合，因此根据定理 4.2，
j j 0 j
( g k )T g j =0， j = 0, " , k -1
由于
共轭梯度法
共轭梯度法：设w 为n 维矢量，假设优化准则函数为二次函数：()t t J c =++w w Hw u w ，其中H 为n n ⨯的正定对称矩阵。
如果两个矢量,i j d d 满足0ti j =d Hd ，则称它们关于矩阵H 互为共轭。
在n 为空间中存在互为共轭的n 个矢量01,,n -d d ，并且它们是线性无关的。
证明沿共轭方向可以在n 步之内收敛于极值点共轭方向算法：1、 初始化起始点0w ，一组共轭矢量01,,n -d d ，0k =；2、 计算k α和1k +w ，使得：()()min k k k k k J J ααα+=+w d w d 1k k k k α+=+w w d3、 转到2，直到k=n-1为止。
定理：对于正定二次优化函数()J w ，如果按照共轭方向进行搜索，至多经过n 步精确的线性搜索可以终止；并且每一个1i +w 都是在0w 和方向0,,i d d 所张成的线性流形00i j j j α=⎧⎫=+⎨⎬⎩⎭∑w w w d 中的极值点。
证明：令i g 为第i 步的梯度，即：()i i J ==∇w w g w ，上述定理实际上只需证明对j i ∀≤，10ti j +=g d 即可，因为1i +g 正交于0,,i d d ，则1i +g 正交于它们所张成的线性流形，100ii j j j α+==+∑w w d 包含在此线性流形中，因此在此线性流形中()J w 的梯度为0，即1i +w 为在线性流形上的极值点。
当1i n +=时，01,,n -d d 所张成的线性流形即为整个n 维空间n R ，只有当n =g 0时，才有0tn j =g d 成立，因此n w 为极值点。
梯度()J =∇=+g w Hw u ，因此两次迭代之间梯度的差值矢量为：()11k k k k k k k α++=-=-=y g g H w w Hd对于j i ∀<:()111111111tt tttt ti j i j i j i j i j i j j ji t t j j k k j k j i tt j j k k j k j α++-+++=++=+=-+-+-+=+-=+∑∑g d g d g d g d g d g d g d g d g g d g d d Hd因为1k +w 是沿着j d 方向搜索的极值点，因此10tj j +=g d ，而0,,i d d 互为共轭，所以有10i t k k j k j α=+=∑d Hd ，因此：10ti j +=g d上述定理得证。
共轭梯度法详细解读
共轭梯度法详细解读
嘿，朋友们！今天咱就来好好唠唠共轭梯度法。
你想想啊，咱平常解决问题就像走迷宫似的，有时候会在里面转来转去找不到出路，而共轭梯度法呀，就像是在迷宫里给咱指了一条明路！比如说你想找一条最快从山这头到那头的路，共轭梯度法就能帮上大忙啦！
它可不是随随便便就出现的哦，那可是数学家们绞尽脑汁研究出来的宝贝呢！就好比一个超级英雄，专门来打救我们这些在复杂问题里苦苦挣扎的人。
在实际应用里，它可厉害着呢！比如说在工程计算中，要设计一个最完美的结构，共轭梯度法就能迅速算出最优解。
哇塞，这不就相当于有个超厉害的军师在帮咱出谋划策嘛！
你再想想，我们日常生活中很多事情都可以类比成用共轭梯度法来解决问题呀。
比如说你要规划一次旅行，怎么安排路线最合理，不就是在找那个最优的旅行路径嘛，这时候共轭梯度法的思路就能派上用场啦！它就像一个隐藏在幕后的高手，默默地为我们排忧解难。
而且哦，一旦你掌握了它，那种感觉就像是你突然掌握了一种绝世武功，能在各种难题面前游刃有余。
这可太酷了吧！
哎呀呀，共轭梯度法真的是太神奇、太有用啦！大家可一定要好好去了
解它、运用它呀，你绝对会被它的魅力折服的！相信我，没错的！。
共轭梯度方法
共轭梯度方法（Conjugate Gradient Method）是求解线性方程组的一种迭代算法。
该方法适用于求解大型稀疏的对称正定线性方程组，可以显著减少计算量和存储空间。
该方法的主要思想是利用共轭方向（Conjugate Directions）的性质，在有限次迭代中求解方程组的解。
共轭梯度方法的基本步骤如下：
选取一个初值$x_0$，并令$r_0=b-Ax_0$，其中$b$ 为方程组的右端向量，$A$ 为系数矩阵。
计算一个共轭方向$p_0=r_0$，即$p_0$ 与$r_0$ 正交，并满足$Ap_0 \neq 0$。
对于$k=0,1,2,\ldots$，执行以下操作：
a. 计算$\alpha_k=\frac{r_k^Tr_k}{p_k^TAp_k}$。
b. 更新解向量$x_{k+1}=x_k+\alpha_kp_k$。
c. 计算残差向量$r_{k+1}=r_k-\alpha_kAp_k$。
d. 计算$\beta_k=\frac{r_{k+1}^Tr_{k+1}}{r_k^Tr_k}$。
e. 更新共轭方向$p_{k+1}=r_{k+1}+\beta_kp_k$，即$p_{k+1}$ 与$p_k$ 具有共轭性。
如果残差向量$r_k$ 较小，则停止迭代，输出解向量$x_k$。
共轭梯度方法具有收敛速度快、存储空间小等优点，但对于非对称和非正定的线性方程组，该方法可能不收敛。
同时，该方法也有一些变体，如预处理共轭梯度法、共轭残差法等，可以更好地解决不同类型的线性方程组求解问题。
共轭梯度（ConjugateGradient，CG）算法
共轭梯度（ConjugateGradient，CG）算法
以下皆为从⽹络资料获取的感性认知
共轭定义
共轭在数学、物理、化学、地理等学科中都有出现。
本意：两头⽜背上的架⼦称为轭，轭使两头⽜同步⾏⾛。
共轭即为按⼀定的规律相配的⼀对。
通俗点说就是孪⽣。
在数学中有共轭复数、共轭根式、共轭双曲线、共轭矩阵等。
求解⽬标
共轭梯度法是数值分析⾥⾯⼀类⾮常重要的⽅法，是⽤来解决⽆约束凸⼆次规划问题的⼀种⽅法
⽅法的⽬的就是通过迭代求得多元⼆次函数 [公式] 的极值点
基本思想
每个⽅向上只找⼀次，对于 [公式] 维空间就进⾏ [公式] 次计算，也就是说，我每个⽅向上都能⾛到极致，这样我就不会⾛任何的回头路了，效率也就最⾼。
那么是如何实现的呢？如果每个⽅向上都是正交的，我肯定就是在这个⽅向上⾛到极致了，这样⽅向也就确定了，也就是每⼀次都⾛正交⽅向，然后再确定每次的步长就可以了。
抽象图。
共轭梯度法
共轭梯度法1. 算法原理求解一个系数矩阵为正定矩阵的线性方程组可通过求泛函)(x f 的极小值点来获得，进而可以利用共轭梯度法来求解。
共轭梯度法中关键的两点是，确定迭代格式)()()1(k k k k d x x α+=+中的搜索方向)(k d 和最佳步长k α。
实际上搜索方向)(k d是关于矩阵A 的共轭向量，在迭代中逐步构造之；步长k α的确定原则是给定迭代点)(k x 和搜索方向)(k d 后，要求选取非负数k α，使得)()()(k k k d x f α+达到最小，即选择0≥k α，满足)(min )()()(0)()(k k k k k d x f d x f kααα+=+≤。
设迭代点)(k x和搜索方向)(k d已经给定，k α可以通过一元函数)()()()(k k d xf g αα+=的极小化)()(min )()(0k k d xf g ααα+=≤来求得，所以最佳步长)()()()(k k k k k Addd r TT=α。
在给定初始向量)0(x 后，由于负梯度方向是函数下降最快的方向，故第1次迭代取搜索方向)0()0()0()0()(Ax b x f r d-=-∇==。
令)0(0)0()1(d x x α+=，其中)0()0()0()0(0Addd r TT=α。
第2次迭代时，从)1(x 出发的搜索方向不再取()1r，而是选取)0(0)1()1(d r d β+=，使得)1(d与()0d 是关于矩阵A 的共轭向量，即要求)1(d 满足()()()0,01=Ad d ，由此可求得参数)0()0()0()1(0-Ad d Ad r TT=β，然后从()1x 出发，沿方向)1(d进行搜索得)1(1)1()2(d x xα+=，其中1α已由上面k α的计算式获得。
一般地，设已经求出)()()1(k k k k d x x α+=+，计算)1()1(++-=k k Ax b r。
共轭梯度法 计算化学
共轭梯度法计算化学
共轭梯度法是一种常用于求解线性方程组的迭代方法，也可以用于计算化学中的一些问题。
在计算化学中，共轭梯度法常用于求解分子结构优化、能量最小化、电子结构计算等问题。
其中最常见的应用是求解非常大的线性方程组，如Hartree-Fock方程，即通过求解一个自洽的线性方程组来得到分子的基态电子结构。
共轭梯度法利用了线性方程组的特殊性质，通过迭代计算逼近线性方程组的解。
它不需要事先知道线性方程组的解的精确形式，只需要知道线性方程组的系数矩阵和右端向量。
在每一次迭代中，共轭梯度法利用之前的迭代结果和当前的残差信息来计算一个新的搜索方向，从而逼近解的位置。
通过多次迭代，共轭梯度法可以逐渐接近线性方程组的解。
在化学计算中，尤其是量子化学计算中，共轭梯度法经常用于求解大型稠密矩阵的特征值问题。
这些问题通常涉及求解特征方程，得到能量的本征值和本征函数。
共轭梯度法的迭代性质使得它非常适合处理大型稠密矩阵的特征值计算问题，因为它只需要存储和计算与当前解和残差相关的信息，而不需要存储和计算整个矩阵。
总之，共轭梯度法是一种非常有效的迭代方法，可以用于求解线性方程组以及一些涉及大型矩阵的计算化学问题。
在实际应用中，共轭梯度法经常与其他优化算法结合使用，以获得更高效、更准确的结果。
共轭梯度法
v
i 0
p Api
n
i T i
pi
证明：
任意向量 v (v R ) 可以表示成
v c j Pj
j 0
n 1
用 Pi A
T
(i 1,2,,n-1) 左乘式（1）得
n 1 j 0
PiT Av c j PiT APj ci PiT APi
ci P iT Av P i APi
共轭梯度法
(Fletcher-Reeves)
梯度法的特点 优点 迭代过程简单，编制程序较易，一次迭代的工作量较少，计 算机内存量小。 函数值下降方向明确，对初始点没有严格要求。 缺点 跌代过程中走许多弯路，有些情况下，收敛速度较慢。
d ( k ) -f (x ( k ) ) f (x ( k 1) ) d ( k ) 0
f (x )
(1)
f (x* ) A (x(1) 1d1 ) B A x (1) B 1Ad1 0
=
d (1)
f (x(1) ) 1Ad1 0
x*
1d (1)
d (f (x d f (x
( 0) T (0) T
(1)
) 1Ad(1) )
提供共轭向量系的方法有多种，如共轭梯度法，Powell方法等。
（二）共轭梯度法
Fletcher & Reeves (1964)
构造共轭方向的具体方法
x
(k )
x
( 0)
id(i )
i 0
k 1
(1) 初始搜索方向的确定 选定初始点
x (0) ，下降方向 d (0)
取
x (0) 处的负梯度方向；
线性方程组的共轭梯度法
迭代过程
计算方程组的雅可比矩阵A和右端项b，得到线性方程组Ax=b。 计算初始残差r0=b-Ax0。 进行迭代，对于k=0,1,2,...,max_iter，执行以下步骤
迭代过程
01
1. 计算搜索方向pk=-Ak^T。
02
2. 在搜索方向pk上进行线搜索，找到步长λk，使得 Axk+1=b-λk*r^k最小化。
感谢观看
THANKS
定义
线性方程组是由一组线性方程组成的 数学模型，其中包含未知数和已知数。
分类
根据方程的系数矩阵和常数项矩阵， 线性方程组可以分为多种类型，如超 定方程组、欠定方程组和恰定方程组。
线性方程组的求解方法
直接法
通过消元或迭代等方法将方程组化为标准形式，然后 求解。
迭代法
通过不断迭代更新解的近似值，逐步逼近方程的解。
在金融工程中的应用
投资组合优化
共轭梯度法可以用于求解投资组合优化问题 ，以最大化投资收益或最小化风险。
期权定价
在期权定价模型中，共轭梯度法可以用于求解 Black-Scholes方程，以得到期权的合理价格。
风险管理
在风险管理方面，共轭梯度法可以用于求解 风险评估模型中的最优化问题，以评估和管 理金融风险。
解效率。
02
常用的预处理方法包括对角占优预处理、不完全LU
分解预处理等。
03
预处理技术可以消除原始方程组中的病态条件，降低
数值误差的放大效应。
自适应步长调整策略
自适应步长调整策略可以根据上 一步的搜索结果动态调整步长， 提高算法的稳定性和收敛速度。
常见的自适应步长调整策略包括 Armijo线搜索、Goldstein线搜
科学计算
共轭梯度法的基本思路
共轭梯度法的基本思路共轭梯度法是一种优化算法，用于求解解析式的极小值。
这种算法成功的理论和实践应用广泛，是一种效率高的算法。
它的基本思路是利用迭代的方式，不断的寻找最小值，直到收敛。
共轭梯度法不同于其他优化算法的地方在于，它利用了向量之间的共轭关系，以一种不同于其他优化算法的方式计算最小化结果。
它的初始值是一个任意的向量值。
这个向量随着迭代的进行，会不断地被更新。
每一步迭代都会朝着更小的函数值的方向移动，这个方向就是梯度的反方向。
在共轭梯度法中，每一个迭代步骤都与前一个迭代步骤保持共轭。
这意味着在这个方向上的优化将只改变尚未被改变的维度，而沿着已经优化的方向不会再次搜索。
这种方式可以减少搜索空间和时间复杂度，从而使得算法更加高效。
此外，在共轭方向上，梯度的大小也逐渐减小，这也是共轭梯度法收敛速度更快的原因。
共轭梯度法最适用于大规模计算机系统上的大规模处理任务。
它通常用于解决线性方程组，如图像处理、信号处理、网络规划等。
它可以很好的解决非对称和非正定的问题。
需要指出的是，共轭梯度法很难用来寻找全局最小值，因为它只搜索梯度反方向上的最小值。
如果初值选的不好，可能会过早陷入局部最小值。
因此，对于一些特定的问题，如非线性规划等，可能需要考虑使用其他的优化算法。
总之，共轭梯度法是一种非常有用的工具，可以帮助我们快速地解决许多优化问题。
但是，它的成功与否也与问题本身和初值的选择有很大的关系，因此在实际应用中，我们需要根据具体情况进行合理的选择和调整。
共轭梯度法最简明解释
共轭梯度法最简明解释
嘿，你知道啥是共轭梯度法不？这玩意儿可神奇啦！就好比你在一
个迷宫里找出口，有好多条路可以走。
共轭梯度法呢，就是一种找到最优解的方法。
想象一下，你要去山
顶看最美的风景，但是山有很多坡，你得选择最合适的路往上爬。
比
如说你一开始随便选了一条路走，走着走着发现不太对，那咋办？这
时候共轭梯度法就发挥作用啦！它会帮你调整方向，让你更接近山顶。
我给你举个例子哈，就像你要减肥，你试过各种方法，节食啦，运
动啦。
那共轭梯度法就像是有个智慧的教练在旁边，告诉你啥时候该
多吃点，啥时候该加大运动量，让你能最快地达到减肥的目标。
它不是那种死板的方法，而是很灵活的。
比如说在解决一个复杂的
问题时，它会根据实际情况不断调整策略。
这多厉害呀！
咱再想想，要是没有共轭梯度法，那得多费劲呀！就像你在黑夜里
没有手电筒，摸黑走路，多容易摔跤呀！
共轭梯度法真的是数学和科学领域的一个大宝贝！它能让很多难题
变得简单起来，能帮我们更快地找到答案。
我觉得吧，共轭梯度法就像是一把神奇的钥匙，能打开很多知识和
技术的大门，让我们看到更广阔的世界！你说是不是？。
共轭梯度法
共轭梯度法
梯度下降法是机器学习中最常用的优化算法之一，它可以有效地求解最优化问题。
然而，
梯度下降法存在一些缺点，比如它可能会收敛到局部最优解，而不是全局最优解，这就需
要我们寻找更好的优化算法。
共轭梯度法就是一种更好的优化算法，它可以有效地求解最优化问题，并且可以避免收敛到局部最优解。
共轭梯度法是一种迭代优化算法，它的基本思想是：在每一步迭代中，根据当前的梯度和
上一步的搜索方向，计算出一个新的搜索方向，并使用这个新的搜索方向来更新参数。
这样，每一步迭代都可以更快地收敛到最优解。
共轭梯度法的优点是，它可以有效地求解最优化问题，并且可以避免收敛到局部最优解。
它的缺点是，它的计算复杂度比梯度下降法要高，因为它需要计算每一步迭代的搜索方向。
总之，共轭梯度法是一种有效的优化算法，它可以有效地求解最优化问题，并且可以避免收敛到局部最优解。
它的缺点是计算复杂度较高，但是它可以更快地收敛到最优解，因此
在某些情况下，它是一种更好的优化算法。
数值分析11(共轭梯度法)
2 f 2 f 2 2 2 x x x 2 x 1 1 n 2 x3 Hessf Hessf 4 x x x 2 1 2 3 2 2 2 f f 4 x x 1 2 x3 2 x x x n n 1
第三步: k k+ 1, 如果 ||rk|| ≥ ,转第二步;
否则输出 x(k), 结束。
注释: 最速下降算法思想简单且容易实现,是 求解无约束优化问题的经典方法。 11:51
13/41
最好
+ 最好 =
最好 ?
• 方向(最速下降) (best rk) • 步长(精确搜索) (best tk) • x(k+1) = x(k) + tkrk 是否最好 ?
11:51
20/41
The Best of the 20th Century: Editors Name Top 10 Algorithms, SIAM News
现代迭代方法: Krylov子空间方法 共轭梯度法的关键是构造一组两两共 轭的方向(即一组线性无关向量)。巧妙的 是, 共轭方向可以由上次搜索方向和当前的 梯度方法之组合来产生。
参考: Two-Point Step Size Gradient Method
11:51
f(x1,x2)=100x12+x22
11:51
最速下降法
f(x1,x2)=100x12+x22
11:51
BB方法
局部思想: 最速下降法思想简单,但是收敛速度慢。本 质上是因为负梯度方向函数下降快是局部性质。 全局思想: N 维空间的任意向量可以由N个线性无关的 向量线性表示。
共轭梯度法
又称共轭斜量法，是解线性代数方程组和非线性方程组的一种数值方法，例如对线性代数方程组A尣＝ƒ, (1)式中A为n阶矩阵，尣和ƒ为n维列向量,当A对称正定时,可以证明求(1)的解尣*和求二次泛函(2)的极小值问题是等价的。
此处(尣,у)表示向量尣和у的内积。
由此，给定了初始向量尣，按某一方向去求(2)取极小值的点尣,就得到下一个迭代值尣,再由尣出发，求尣等等，这样来逼近尣*。
若取求极小值的方向为F在尣(k＝1,2,…)处的负梯度方向就是所谓最速下降法，然而理论和实际计算表明这个方法的收敛速度较慢，共轭梯度法则是在尣处的梯度方向r和这一步的修正方向p所构成的二维平面内，寻找使F减小最快的方向作为下一步的修正方向,即求极小值的方向p（其第一步仍取负梯度方向）。
计算公式为再逐次计算(k=1,2,…)。
可以证明当i≠j时，从而p,p形成一共轭向量组;r,r,…形成一正交向量组。
后者说明若没有舍入误差的话，至多n次迭代就可得到(1)的精确解。
然而在实际计算中,一般都有舍入误差，所以r,r,…并不真正互相正交，而尣尣,…等也只是逐步逼近(1)的真解,故一般将共轭梯度法作为迭代法来使用。
近来在解方程组(1)时,常将共轭梯度法同其他一些迭代法结合作用。
特别是对病态方程组这种方法往往能收到比较显著的效果。
其方法是选取一对称正定矩阵 B并进行三角分解，得B=LL T。
将方程组(1)化为hу＝b, (3)此处y＝l T尣,b＝l-1ƒ,h＝l-1Al-T,而。
再对(3)用共轭梯度法，计算公式为(k=0,1,2,…)适当选取B，当B 很接近A时，h的条件数较之A大大减小,从而可使共轭梯度法的收敛速度大为加快，由一些迭代法的矩阵分裂A=M -N，可选取M 为这里的B，例如对称超松弛迭代(SSOR)，强隐式迭代(SIP)等,这类方法常称为广义共轭梯度法或预条件共轭梯度法，它也可用于解代数特征值问题。
势函数的一种二阶偏微分方程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7/41
定理4.10(初等变分原理 ) 设A =(aij )n×n为实对称正 定矩阵, x, b? Rn 则 x是二次函数
f ( x) ? 1 ( Ax, x) ? (b, x) 2
的极小值点 ? x 是线性方程组 Ax = b 的解。
证明: 设 u 是 Ax = b的解 ? Au = b ? f (u) ? ? 1 ( Au, u)
?x1 ?x2
?f T ?xn
例如 f(x1,x2,x3)=x12x22x32
?f
Hessian 矩阵 :
(x)
?
? ? ? ???
?f ? x1
?f ?x2
?f ?x3
? ? ?=
? ? ?
2 2
x1 x12
x22 x2
x32 x32
??? ?? 2 x12 x22 x3
? ? ? ??
? ?2 f
(a,b) ? || a ||| b || cos ? a,b ? ,其中 ? a,b ? 表示向量a和b的夹角。
从初值点 x(0) 出发,以负梯度方向 r 为搜索方向
选择步长 t0, 使 x(1) = x(0) + t0r 为 f(x) 极小值点
最速下降方向 : r = –? f = b – Ax
?x12
L
?2 f ?
?x1?xn
? ?
Hessf ? ? M O
M ?? A
?
?
04:09
? ?2 f ???xn?x1
L
?2 f ? ?xn2 ??
6/41
费马引理:
设x0是f ( x)的一个极值点 ,且f ( x)在x0处导数存在 ,则 f ?( x0 )=0
注释: 费 , 有
g(t) ? f (u ? tx) ? 1 ( A(u ? tx), u ? tx) ? (b, u ? tx)
?
f
2 (u) ?
t( Au ?
b,
x) ?
t2
( Ax,
x)
2
当 t=0 时, g(0)= f(u)达到极小值 , 所以 g′ (0) =0 ,即
( Au – b , x ) = 0 ? Au – b = 0
? ?
?x12
L
Hessf ? ? M O
?
? ?2 f ???xn?x1
L
?2 f ?
?x1?
xn
? ?
M?
?
Hessf
?
???42xx1 x22 x2 x32 32
?2 f ? ?xn2 ??
??4 x1 x22 x3
4
x1
x
2
x
2 3
2 x12 x32
4 x12 x2 x3
4 4
x1 x12
x22 x2
(
x
?
xk )T Hessf (xk )(x ?
xk ) ?
R
04:09
一阶导数推广
二阶导数推广
5/41
预备知识 IV
f ( x) ? 1 ( Ax, x) ? (b, x) 2
n
n
? ? =
1 2
aij xi x j ? bi xi
i, j? 1
i?1
gradf ? Ax ? b
? ?2 f
? ?
04:09
11/41
取初值点 x(0), 取负梯度方向 r0 = b – A x(0)
《数值分析》 11
? 初等变分原理 ? 最速下降法 ? 共轭梯度法 ? 数值试验算例
04:09
1/41
从瞎子下山到最优化方法
Science of Better
04:09
预备知识I
设 x, y? Rn , 记 ( x , y) = xT y ?( x, y ) = ( y, x ); ?( tx, y ) = (x, ty )= t ( x, y); ?( x+ y, z ) = ( x, z ) + ( y, z ); ?( x, x) ≥ 0, 且( x, x) = 0 ? x = 0; ?(x,y)=||x||2|y||2cos<x,y>;
R
n
? f ( x) ? f ( xk ) ?
( x ?f ( xk )
?xi
i
?
xik )
i?1
n
? ?
1 2
( x ? 2 f ( xk )
?xi?x j
i
?
x
k i
)(
x
j
?
x
k j
)
?
R
i , j?1
f (x) ?
f ( xk ) ? (gradf ( xk ))T ( x ?
xk ) ?
1 2
2
对任意 x∈R n , 只须证明 f (x) – f (u) ≥ 0
f ( x) ? f (u) ? 1 ( Ax, x) ? (b, x) ? 1 ( Au, u)
2
2
? 1 ( A( x ? u), ( x ? u)) ? 0 2
04:09
8/41
设 u 使 f(x) 取极小值。取非零向量 x∈R n,
x x
3 3
? ? ?
2 x12 x22 ??
04:09
4/41
泰勒展式 :
预备知识 III
f ( x) ? f ( xk ) ? f ?( xk )( x ? xk ) ? f ??( xk )( x ? xk )2 ? R
f (x) ?
f (xk) ?
( x ? ?f ( xk )
?x1
1
x1k ) ?
在 x 处,梯度方向是 f(x) 增长最快方向 负梯度方向是 f(x) 下降最快方向
f ( x) ? f ( x k ) ? (gradf ( x k ))T ( x ? xk ) ? f ( x k ) ? tk(gradf ( x k ))T dk , 其中dk为x ? xk单位向量, tk为步长。
所以u 是方程组 Ax = b 的解。
04:09
9/41
瞎子与计算机
? 瞎子: 能感觉到脚下的坡度(这是海拔函数 在当前点的梯度值),但不知道山上其它点 的任何情况
? 计算机: 计算目标函数在该点的信息(如函 数值和梯度值), 但不知道其它点的信息
04:09
最速下降法 (Gradient Descent)
设A是 n 阶对称正定阵 ?( Ax, y ) = ( x, Ay )= (A y, x )= ( y, Ax ); ?( Ax，x ) ≥0, 且( Ax, x) = 0 ? x = 0
04:09
3/41
预备知识 II
? ? 梯度: ? f ( x) ? gradf ( x) ?
, ,L , ?f ?f
( x ?f ( xk )
?x2
2
?
x2k )
?
1 2
( x ? 2 f ( xk )
?x1?x1
1
?
x1k )( x1 ?
x1k ) ?
( x ? 2 f ( xk )
?x1?x2
1
?
x1k )( x2
?
x2k )
?
1 2
( x ? 2 f ( xk )
?x2?x2
2
?
x2k )( x2
?
x2k ) ?