共轭梯度法
共轭梯度法
•基本思想:把共轭性与最速下降法相结合,利用已 知点处的梯度构造一组共轭方向,并沿着这组方 向进行搜索,求出目标函数的极小点
4.4共轭梯度法
先讨论对于二次凸函数的共轭梯度法,考虑问题
min f (x) 1 xT Ax bT x c
3, giT d (i) giT gi (蕴涵d (i) 0)
证明: 显然m1,下用归纳法(对i)证之.
当i 1时,由于d (1) g1,从而3)成立,对i 2时, 关系1)和2)成立,从而3)也成立.
4.4共轭梯度法
设对某个i<m,这些关系均成立,我们证明对于i+1
也成立.先证2),
因此
2 / 3 1 5/ 9
d (2)
1/ 1
3
1 9
2 0
5/9 1
从x(2)出发,沿方向d (2)进行搜索,求步长2,使满足 :
f
( x (1)
2d (1) )
min
0
f
(x(2)
d (2))
2 0
4.4共轭梯度法
显然, d (1)不是目标函数在x(1)处的最速下降方向.
下面,我们用FR法构造两个搜索方向.
从x(1)出发,沿方向d (1)进行搜索,求步长1,使满足 :
f
( x (1)
1d (1) )
min
0
f
( x (1)
d (1) )
得1 2 3
A正定,故x是f(x)的极小值点.
共轭梯度法(精品文档)
1
g2T (g2 d1T (g2
g1) g1)
g2T g2 g1T g1
4） 一般地，在第 k 次迭代中，令
k 1
dk gk idi i0
适当选取 i ，使 dkTGdi 0 （ i 0,
, k 1），可得到
i
gkT Gdi diT Gdi
gkT (gi1 gi ) diT (gi1 gi )
§4.2 共轭梯度法
提纲
1、共轭梯度法---F-R共轭梯度法 2、共轭梯度法性质定理及例题 3、再开始FR共轭梯度法 4、Beale三项共轭梯度法 5、预条件共轭梯度法（了解）
共轭梯度法
在上一节中讨论了共轭方向法，其中n个共轭方向是预先设定好的。但是如何 让获取这些共轭方向并为提及。本节讨论一种重要的共轭方向法——共轭梯 度法。这种方法是将共轭性和最速下降方向相结合，利用已知迭代点处的梯 度方向构造一组共轭方向，并沿此方向进行搜索，求出函数的极小点。因在 迭代过程中通过对负梯度方向进行适当校正获得共轭方向，故而称之为共轭 梯度法。
算法步骤—FR共轭梯度法
1、选取初始数据，选取初始点 x0 ，给定允许误差 0 ；
2、检查是否满足终止准则，计算 f (x0 ) ，若 || f (x0 ) || ,迭代终
止，x0为近似最优解，否则转向3；
3、 构造初始搜索方向，计算 d0 f (x0 ), k 0；
而
k 1
gkT (gk gk1)
dT k 1
(
gk
gk 1 )
gkT gk gkT1 gk 1
共轭梯度法的迭代公式为：
共轭梯度法
最速下降法1.最速下降方向函数f(x)在点x处沿方向d的变化率可用方向导数来表示。
对于可微函数，方向导数等于梯度与方向的内积，即：Df(x;d) = ▽f(x)T d,因此，求函数f(x)在点x处的下降最快的方向，可归结为求解下列非线性规划：min ▽f(x)T ds.t. ||d|| ≤ 1当 d = -▽f(x) / ||▽f(x)||时等号成立。
因此，在点x处沿上式所定义的方向变化率最小，即负梯度方向为最速下降方向。
2.最速下降算法最速下降法的迭代公式是x(k+1) = x(k) + λk d(k) ,其中d(k)是从x(k)出发的搜索方向，这里取在x(k)处的最速下降方向，即d = -▽f(x(k)).λk是从x(k)出发沿方向d(k)进行一维搜索的步长，即λk满足f(x(k) + λk d(k)) = min f(x(k)+λd(k)) (λ≥0).计算步骤如下：(1)给定初点x(1) ∈ R n，允许误差ε> 0，置k = 1。
(2)计算搜索方向d = -▽f(x(k))。
(3)若||d(k)|| ≤ε，则停止计算；否则，从x(k)出发，沿d(k)进行一维搜索，求λk，使f(x(k) + λk d(k)) = min f(x(k)+λd(k)) (λ≥0).(4)令x(k+1) = x(k) + λk d(k)，置k = k + 1，转步骤(2)。
共轭梯度法1.共轭方向无约束问题最优化方法的核心问题是选择搜索方向。
以正定二次函数为例，来观察两个方向关于矩阵Ａ共轭的几何意义。
设有二次函数：f(x) = 1/2 (x - x*)T A(x - x*) ,其中A是n×n对称正定矩阵，x*是一个定点，函数f(x)的等值面1/2 (x - x*)T A(x - x*) = c是以x*为中心的椭球面，由于▽f(x*) = A(x - x*) = 0，A正定，因此x*是f(x)的极小点。
共轭梯度法
必有
p
T j
∇f
(X
n
)
=0(源自j=0,1,L,
n
− 1)
因为A正定，所以f (X ) 是凸函数，故 X n 是惟一的全局 极小点。
从而
∇f (Xk ) = AXk + b
=
AX
j+1
+
λ* j+1
Apj+1
+L+
λ* k −2
Apk−2
+
λ* k −1
Apk
−1
+
b
=
∇f
(X
⎡6 ⎢⎣17
12⎤ 17⎥⎦
⎢⎣⎡−
90 289
−
210⎤ 289⎥⎦
T
−
210⎤⎡ 3 289⎥⎦⎢⎣−1
−11⎥⎦⎤⎢⎣⎡−
90 289
−
210⎤T 289⎥⎦
= 17 10
X2
=
X1
+
λ1 p1
=
⎡ 26 ⎢⎣17
38 ⎤ T 17 ⎥⎦
+ 17 10
⎢⎣⎡−
90 289
−
210 ⎤ T 289 ⎥⎦
= [1
1]T
∇f ( X 2 ) = [0 0]T
练习： 试用共轭梯度法二次函数
min
f
(x)
=
x12
+
1 2
x22
+
1 2
x32
的极小点。取初始点为x( 0 ) = (1,1,1)T
3 、非二次函数的共轭梯度法
一般地，我们有：
⎧ X k+1 = X k + λk pk
共轭梯度法公式推导
共轭梯度法公式推导一、问题的提出与预备知识。
1. 二次函数的极小化问题。
- 考虑二次函数f(x)=(1)/(2)x^TAx - b^Tx + c，其中A是n× n对称正定矩阵，x,b∈ R^n，c∈ R。
- 对f(x)求梯度∇ f(x)=Ax - b。
- 求f(x)的极小值点，即求解Ax = b。
2. 共轭方向的概念。
- 设A是对称正定矩阵，若对于非零向量d_1,d_2∈ R^n，满足d_1^TAd_2 = 0，则称d_1和d_2是A - 共轭的（或A - 正交的）。
二、共轭梯度法的基本思想。
1. 迭代格式。
- 共轭梯度法是一种迭代算法，其基本迭代格式为x_k + 1=x_k+α_kd_k，其中x_k是第k次迭代的近似解，α_k是步长，d_k是搜索方向。
2. 确定步长α_k- 为了使f(x_k+1)最小，将x_k + 1=x_k+α_kd_k代入f(x)中，得到f(x_k+α_kd_k)=(1)/(2)(x_k+α_kd_k)^TA(x_k+α_kd_k)-b^T(x_k+α_kd_k)+c。
- 对α_k求导并令其为0，可得α_k=((r_k)^Td_k)/((d_k)^TAd_k)，其中r_k = b - Ax_k=∇ f(x_k)。
三、搜索方向d_k的确定。
1. 初始搜索方向。
- 取d_0=-r_0，其中r_0 = b - Ax_0，x_0是初始近似解。
2. 后续搜索方向。
- 对于k≥1，d_k=-r_k+β_k - 1d_k - 1，其中β_k-1=frac{(r_k)^TAd_k - 1}{(d_k - 1)^TAd_k - 1}。
- 下面推导β_k - 1的表达式：- 因为d_k - 1和d_k是A - 共轭的，所以d_k - 1^TAd_k = 0。
- 将d_k=-r_k+β_k - 1d_k - 1代入d_k - 1^TAd_k = 0，得到d_k - 1^TAd_k=-d_k - 1^TAr_k+β_k - 1d_k - 1^TAd_k - 1=0。
25共轭梯度法
共轭，即 piT Apj 0, i j ,i , j 1,2, ,k。 则称这组方向是关于A共轭的，也称它们是一组A共轭方向。
注：如 果A是 单 位 矩 阵 ， 则
p1T I p2 0 p1T p2 0
p1 p2
§2.5 共轭梯度法
预备知识 最速下降法 共轭梯度法 数值试验算例
21:26
预备知识：内积的定义
I II
方程组问题: 极值问题:
Ax =
min
b
f
(x)
1
xT Ax
bT
x
xRn
设 x, y Rn , 记 ( x , y) = xT y
2
▪( x, y ) = ( y, x ); ▪( tx, y ) = t ( x, y); ▪( x+ y, z ) = ( x, z ) + ( y, z ); ▪( x, x) ≥ 0, 且( x, x) = 0 x = 0;
p(k 1) r (k 1) k p(k )
进行下一次迭代
例：用CG迭代法求解下列方程组: x(0) (0 0 0)T
2 0 1 x1
3
0 1 0 x2 1
1 0 2 x3
3
解： 易验证系数矩阵是对称正定的.
Step1 计算 p(0) r(0) b Ax(0) (3 1 3)T
0
x2 x1
x*
x3
注 最速下降方向反映了目 标函数的一种局部性质。它只是 局部目标函数值下降最快的方向。 最速下降法是线性收敛的算法。
f(x1,x2)=100x12+x22
最速下降法
共轭梯度法总结
共轭梯度法总结
共轭梯度法总结
一、什么是共轭梯度法
共轭梯度法（Conjugate Gradient Method），是一种用于求解线性方程组的迭代优化算法，它是一种搜索梯度的迭代算法。
共轭梯度法的基本思想是沿梯度的反方向搜索，并在每一步令搜索的方向接近更新的局部梯度。
它是一种非常有效的求解有约束的非线性优化问题的方法，是求解线性方程组的有效算法。
共轭梯度法可以看作是一种极小化函数的迭代方法，它最主要的思想是不断更新梯度的方向，从而寻找函数值最小的点。
二、共轭梯度法的原理
共轭梯度法是一种迭代优化算法，它以凸二次型函数为例，可以用来求解最小值问题。
它的基本思想是：
（1）首先求得函数的梯度，即每一步优化的搜索方向，使梯度变为最小；
（2）以梯度的反方向搜索，令搜索的方向接近更新的局部梯度，而不是与旧的梯度成正比的步长；
（3）逐步更新搜索的方向为新的梯度；
（4）重复这个过程，直到所有的自变量满足限制条件。
三、共轭梯度法的优缺点
共轭梯度法最大的优点是它具有收敛速度快，可以在有限的迭代步数内收敛到最优解；另外，它还具有计算量小，不需要计算精确的
Hessian矩阵的优点。
共轭梯度法的缺点是它不能用来求解非凸优化问题，因为它只能求解凸优化问题；另外，它也不能用于强不可约的优化问题。
共轭梯度法
3. 算法的 MATLAB 实现
在 MATLAB 中编程实现的共轭梯度法函数为： min GETD 功能：用共轭梯度法求解多维函数的极值。
调用格式： [ x, min f ] min GETD( f , x0, var, eps) 其中， f ：目标函数；
x0 ：初始点； ：自变量向量； var x ：目标函数取最小值时的自变量值；
（6） 若 k 1 n ，令 x(0) x( n ) ，转步骤（3） ，否则转步骤（7） ；
（7） 令 p
( k 1)
f ( x
( k 1)
) k p
(k )
， k
f ( x ( k 1) ) f ( x )
(k )
2 2
， 置 k k 1， 转步骤 （4） 。
t 0
(k ) ( k ) （4） 用 一 维 搜 索 法 求 t k ， 使 得 f ( x kt p ) m i n f
( ) 5； x( k 1 ) x k( ) kt p k，转步骤
k( ) x
) 令， tk p( ，
（5） 若 f ( x
( k 1)
) ，停止，极小值点为 x ( k 1) ，否则转步骤（6） ；
1 f ( X ) d1 + x1 -x1* 2 1 =d1 + x1 -x1* 2
2
*
2
1 d1 a x1 -x1* 2
2b x1 -x1*
x -x c x -x
2
2b x1 -x1*
共轭梯度法beamforming_理论说明
共轭梯度法beamforming 理论说明1. 引言1.1 概述共轭梯度法（Conjugate Gradient Method）是一种常用的优化算法，广泛应用于解决线性方程组和最优化问题。
Beamforming是一种利用信号处理技术来实现指向性传输和接收的方法，在通信、雷达等领域有着广泛的应用。
本篇长文将探讨共轭梯度法在Beamforming中的理论应用。
1.2 文章结构本文将按照以下结构进行论述：首先介绍共轭梯度法的原理和基本思想，包括线性方程求解的问题、共轭梯度法的基本思想以及迭代过程与收敛性分析；然后，将详细阐述Beamforming的基本概念，包括信号传输和接收的需求、Beamforming技术在通信中的应用以及技术实现原理和方法；接着，我们将探究共轭梯度法在Beamforming中的具体应用，涵盖了优化问题表述、目标函数定义及优化过程说明以及基于共轭梯度法的Beamforming实例分析与结果讨论；最后总结主要研究发现并展望取得成果和应用前景，并提出后续研究工作的建议。
1.3 目的本文的目标是通过理论说明共轭梯度法在Beamforming中的应用，以深入探讨这一优化算法在指向性传输和接收技术中的实际效果。
通过对共轭梯度法及其在Beamforming中的应用进行分析，旨在提供有关该算法与通信技术结合方面的研究参考，为相关领域的学者和工程师提供新思路和解决问题的方法。
2. 共轭梯度法的原理2.1 线性方程求解的问题在讨论共轭梯度法的原理之前，我们首先来了解一下线性方程求解的问题。
线性方程组是由多个线性等式组成的方程组，如Ax = b，其中A为已知矩阵，x为待求解向量，b为已知向量。
线性方程求解即为找到满足该方程组的解x。
2.2 共轭梯度法的基本思想共轭梯度法是一种用于求解对称正定线性方程组Ax = b的迭代方法。
它基于以下基本思想：通过选择合适的搜索方向，将目标函数在各个搜索方向上取得最小值，并以此逼近实际的最优解。
共轭梯度法
共轭梯度法对物质的一种分析方法，共轭梯度分析法是近几十年发展起来的无损检测技术。
共轭梯度技术是将多种物理效应相结合，并且具有较高的检出率、分辨率和灵敏度，这是一种具有很大发展潜力的分析技术。
共轭梯度法主要包括：共轭电子效应、共轭磁效应、共轭梯度效应。
共轭梯度分析技术是一种高效的新型无损检测技术。
其主要优点在于：①不需要使用电子源；②同时利用共轭电子效应和共轭磁效应，可以消除多种原子的外层电子对核磁矩的屏蔽作用，同时，也降低了铁磁性物质的饱和磁化强度的影响；③能够实现对缺陷浓度较低的金属或非金属材料的快速检测。
共轭梯度技术是20世纪70年代发展起来的无损检测技术，它是利用一些特殊的元素（如铝、铅、铋等）与一些有色金属的原子形成离子，或在两者之间形成过渡族的元素（如汞、铊、铟等），从而达到产生强共轭的效果，再利用超声场或磁场改变他们的相互作用，而不改变他们的化学性质。
共轭梯度的基本原理：①共轭电子效应。
就是利用一些电负性比较强的元素作为原子核，因此他们最外层的电子被核外其他电子吸引，由于距离原子核较远，受到核外电子的排斥，所以核外电子浓度较小。
其电子从价带跃迁到导带，然后再跃迁回价带，所以他们不显电性。
反之，价带中的电子被导带中的电子所吸引，从而降低了价带的电子密度，增加了导带的电子密度，使得原子的核外电子浓度减少，同样会使原子的磁矩减弱。
因此，与这些元素形成化合物的非金属元素的电子都会向原子核附近集聚，从而影响原子的磁矩。
但是当原子序数越高，因为核外电子对核磁矩的屏蔽作用越弱，元素形成的化合物的稳定性越高，原子序数越高的元素的电子就越容易向原子核靠拢。
②共轭磁矩效应。
与电子的共轭电子效应相反，铁磁性物质的原子的核外电子轨道对外磁矩的影响相对比较大。
当这些原子处于磁化状态时，内层电子只能自旋平行，但是这个平行的自旋磁矩，会使这些原子的自旋磁矩大小相等，互相抵消，因此这些原子呈顺磁性。
但当这些原子处于非磁化状态时，内层电子的自旋磁矩可以取向不同，所以，铁磁性物质又显示出反铁磁性。
数值分析6.4共轭梯度法
.
(4.13)
的选择，可令
1 k 1
p
0
r ， p 选为 p , p , , p
k 0
的
A-共轭，它并不唯一，可选为 r 与 p
k
k 1
的线
性组合.不妨设
p r p , 利用 p , p 0,可定出 r , Ap , p , A p
1
k 1
的 y x k .
r
第 二 个 极 小 就 是 (4.6) 式 的 极 小 , 由
k
b Ax 及(4.7)是式得
k
k
Ap
0
r , p
k k k
,p
k
CG 法 中 向 量 组
p , p ,
0 1
k
k
k
k 1
k 1
（4.14）
k 1
k
k 1
k 1
k 1
k 1
(4.15)
这样由 (4.14) 式和 (4.15) 式得到的 是 A-共轭的.
p
k
和
p
k 1
根据以上分析,取
x
0
n
,
r
0
b Ax
0
p
0
r 可按(4.13)式和(4.6)式求得 0 , x ,再
k 1
x min x p , 还希望 p 的选择使 x min x , p
a k
k 1 xspan
0
p
r
, 当 k 1 时确定
共轭梯度方法
共轭梯度方法（Conjugate Gradient Method）是求解线性方程组的一种迭代算法。
该方法适用于求解大型稀疏的对称正定线性方程组，可以显著减少计算量和存储空间。
该方法的主要思想是利用共轭方向（Conjugate Directions）的性质，在有限次迭代中求解方程组的解。
共轭梯度方法的基本步骤如下：
选取一个初值$x_0$，并令$r_0=b-Ax_0$，其中$b$ 为方程组的右端向量，$A$ 为系数矩阵。
计算一个共轭方向$p_0=r_0$，即$p_0$ 与$r_0$ 正交，并满足$Ap_0 \neq 0$。
对于$k=0,1,2,\ldots$，执行以下操作：
a. 计算$\alpha_k=\frac{r_k^Tr_k}{p_k^TAp_k}$。
b. 更新解向量$x_{k+1}=x_k+\alpha_kp_k$。
c. 计算残差向量$r_{k+1}=r_k-\alpha_kAp_k$。
d. 计算$\beta_k=\frac{r_{k+1}^Tr_{k+1}}{r_k^Tr_k}$。
e. 更新共轭方向$p_{k+1}=r_{k+1}+\beta_kp_k$，即$p_{k+1}$ 与$p_k$ 具有共轭性。
如果残差向量$r_k$ 较小，则停止迭代，输出解向量$x_k$。
共轭梯度方法具有收敛速度快、存储空间小等优点，但对于非对称和非正定的线性方程组，该方法可能不收敛。
同时，该方法也有一些变体，如预处理共轭梯度法、共轭残差法等，可以更好地解决不同类型的线性方程组求解问题。
共轭梯度法
共轭梯度法共轭梯度法(also known as Pearson-Newman gradient method)是电化学反应动力学中一种很有用的技术，主要应用于分析化学、环境工程、农药学、微生物学等领域。
用共轭梯度法时，以活性高的配体替代催化剂上的固定配体(一般为固定相)，使原来的催化剂仍能发挥作用，但具有选择性更好、灵敏度更高、应用范围更广的特点，同时能降低毒性和提高催化活性，还可改善催化剂的稳定性。
共轭梯度法(reaction-coordinate density technique，缩写为coAPD)，是由美国著名的电化学家S.C.R.（赫维斯特）于1976年提出的，最早是应用于考察水溶液中蛋白质在二级胺诱导下的变性行为。
后来，此方法被用于研究Cu(I)-Zn(II)氧化偶联反应，可用于测定其它一些金属离子。
它能够选择性地催化多种反应，并且操作简便，灵敏度高，催化效率高。
它与同样是基于电极过程机理的原位催化比较，在原理上具有优越性。
对于活性组分分子内部的小的不均匀结构，可以采用共轭梯度法实现更精确的测量。
在这个技术中，如果采用共轭体系，一般可以考虑将其作为一个三电子体系，而与电子得失的量子化运动相联系，即以共振状态作为激发条件。
因此，实验装置也称之为共振极限溶剂。
目前，已经开发了一些共轭体系，其中主要包括共轭二烯体系、共轭异戊二烯体系、共轭二炔体系等。
根据不同的选择性要求，又可将它们划分成几类：双齿配体系列、共轭乙炔体系列、共轭苯炔体系列、共轭乙烯体系列、共轭苯乙炔体系列、双烯类配体系列。
由于选择性较高，该技术广泛用于化学反应机理及反应产物分析。
特别是随着计算机技术的迅速发展，其应用更加广泛。
例如，在定量方面，可以在很短的时间内给出定量结果，可以很快地绘制出实验曲线或计算出数据。
在这个技术中，反应机理以原子轨道理论为基础。
根据反应机理，按照共振条件进行合理的实验设计，通过电化学反应测定反应的产物或催化剂的量，并绘制电位-时间图，即可达到定性、定量的目的。
共轭梯度法
v
i 0
p Api
n
i T i
pi
证明：
任意向量 v (v R ) 可以表示成
v c j Pj
j 0
n 1
用 Pi A
T
(i 1,2,,n-1) 左乘式（1）得
n 1 j 0
PiT Av c j PiT APj ci PiT APi
ci P iT Av P i APi
共轭梯度法
(Fletcher-Reeves)
梯度法的特点 优点 迭代过程简单，编制程序较易，一次迭代的工作量较少，计 算机内存量小。 函数值下降方向明确，对初始点没有严格要求。 缺点 跌代过程中走许多弯路，有些情况下，收敛速度较慢。
d ( k ) -f (x ( k ) ) f (x ( k 1) ) d ( k ) 0
f (x )
(1)
f (x* ) A (x(1) 1d1 ) B A x (1) B 1Ad1 0
=
d (1)
f (x(1) ) 1Ad1 0
x*
1d (1)
d (f (x d f (x
( 0) T (0) T
(1)
) 1Ad(1) )
提供共轭向量系的方法有多种，如共轭梯度法，Powell方法等。
（二）共轭梯度法
Fletcher & Reeves (1964)
构造共轭方向的具体方法
x
(k )
x
( 0)
id(i )
i 0
k 1
(1) 初始搜索方向的确定 选定初始点
x (0) ，下降方向 d (0)
取
x (0) 处的负梯度方向；
线性方程组的共轭梯度法
迭代过程
计算方程组的雅可比矩阵A和右端项b，得到线性方程组Ax=b。 计算初始残差r0=b-Ax0。 进行迭代，对于k=0,1,2,...,max_iter，执行以下步骤
迭代过程
01
1. 计算搜索方向pk=-Ak^T。
02
2. 在搜索方向pk上进行线搜索，找到步长λk，使得 Axk+1=b-λk*r^k最小化。
感谢观看
THANKS
定义
线性方程组是由一组线性方程组成的 数学模型，其中包含未知数和已知数。
分类
根据方程的系数矩阵和常数项矩阵， 线性方程组可以分为多种类型，如超 定方程组、欠定方程组和恰定方程组。
线性方程组的求解方法
直接法
通过消元或迭代等方法将方程组化为标准形式，然后 求解。
迭代法
通过不断迭代更新解的近似值，逐步逼近方程的解。
在金融工程中的应用
投资组合优化
共轭梯度法可以用于求解投资组合优化问题 ，以最大化投资收益或最小化风险。
期权定价
在期权定价模型中，共轭梯度法可以用于求解 Black-Scholes方程，以得到期权的合理价格。
风险管理
在风险管理方面，共轭梯度法可以用于求解 风险评估模型中的最优化问题，以评估和管 理金融风险。
解效率。
02
常用的预处理方法包括对角占优预处理、不完全LU
分解预处理等。
03
预处理技术可以消除原始方程组中的病态条件，降低
数值误差的放大效应。
自适应步长调整策略
自适应步长调整策略可以根据上 一步的搜索结果动态调整步长， 提高算法的稳定性和收敛速度。
常见的自适应步长调整策略包括 Armijo线搜索、Goldstein线搜
科学计算
共轭梯度法
一．介绍共轭梯度法（Conjugate Gradient ）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse 矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。
在各种优化算法中，共轭梯度法是非常重要的一种。
其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。
共轭梯度法中最关键的两点是，搜索方向)(k d 和最佳步长k α。
其基本步骤是在点)(k X 处选取搜索方向)(k d , 使其与前一次的搜索方向)1(-k d 关于A 共轭，即(1)()(1),0k k k d d Ad --<>=然后从点)(k X 出发，沿方向)(k d 求得)(X f 的极小值点)1(+k X , 即)(min )()()(0)1(k dX f X f k k αλ+=>+如此下去, 得到序列{)(k X }。
不难求得0,)1()(>=<-k k Ad d 的解为)()()1(k k k k d X X α+=+其中，><><-=)()()()(,,k k k k kAd d Ad r α注意到)(k d 的选取不唯一，我们可取)1(1)()()(--+-∇=k k k k d X f d β由共轭的定义0,)1()(>=<-k k Ad d 可得：><><-=----)1()1()1()(1,,k k k k k Ad d Ad r β 共轭梯度法的计算公式如下：⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎨⎧+=><><-=+=><><-=-=-==+------(k)(k)1)(k )()()()()1(1(k))()1()1()1()(1(k)(k)(0)(0)d X X,,r ,,X r Xr d k k k k k k k k k k k k k k Ad d Ad r d d Ad d Ad r A b A b ααββ 二．程序框图定义矩阵A 和向量bAx=b定义x 的初值将x 代入计算公式误差到达精度要求Yes输出xNo 迭代出新的x 结束开始三．源码n=100;%矩阵阶数，可以按照题目需要更改syms x1 r1 d1A=zeros(n,n);b=zeros(n,1);b(1,1)=-1;b(n,1)=-1;for i=1:nA(i,i)=-2;endfor i=1:n-1A(i,i+1)=1;A(i+1,i)=1;endx1=zeros(n,1);for i=1:n*1000r1=b-A*x1;d1=r1;a=(r1'*d1)/(d1'*A*d1);x1=x1+a*d1;r2=b-A*x1;if(norm(x1)<=eps)breakendbb=-(r2'*A*d1)/(d1'*A*d1);d1=r2+bb*d1;enddisp([x1])四．结果矩阵A100阶的结果200阶的结果400阶的结果。
共轭梯度法
共轭梯度法对于任意形式的目标函数()f X ，在极值点*X 附近展开成泰勒级数，且取前三项，有()()()****2**1()...2TT f X f Xf X X X X X f X X X ⎡⎤⎡⎤⎡⎤⎡⎤≈+∇-+-∇-⎣⎦⎣⎦⎣⎦⎣⎦因在极值点*X 处()*0f X ∇=，而()2**()f X H X ∇=为()f X 在*X 的二阶偏导数矩阵，即Hessian 矩阵，故()****1().().2T f X f X X X H X X X ⎡⎤⎡⎤≈+--⎣⎦⎣⎦ 对于二次函数来说，若令()()()2*2*2*221122,,f X f X f X a b c x x x x ∂∂∂===∂∂∂∂则()**1(),a b H X f X d b c ⎡⎤==⎢⎥⎣⎦而—常数 则，得到()()()()()()()()()()()()()()11221212121122*1**112*2**12**112**1222****11122-1()+--2---1=+--2--1-2---2x x a b f X d x x x x b c x x a x x b x x d x x x x b x x c x x d a x x b x x x x c x x ⎡⎤⎡⎤⎢⎥⎡⎤≈⎢⎥⎣⎦⎢⎥⎣⎦⎣⎦⎡⎤+⎢⎥⎡⎤⎣⎦⎢⎥+⎣⎦⎡⎤=+++⎢⎥⎣⎦由上式可知，当12*1**2x x X X x x ⎡⎤⎡⎤===⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦时，得到目标函数的极小值()*1()f X f X d ==，当22(),,...f X d d =时，则有等值线族。
令2()f X d =，代入上式，则有()()()()112222****2111221()-2---2f X d d a x x b x x x x c x x ⎡⎤=≈+++⎢⎥⎣⎦所以目标函数()f X 在*X 点附近的等值线方程为()()()()112222****1122-2---0a x x b x x x x c x x d +++=式中，122()d d d =-=常数。
共轭梯度法
共轭梯度法简介共轭梯度法是一种迭代的最优化算法，用于求解线性方程组或求解非线性优化问题。
它在解决大规模线性方程组时表现出色，尤其适用于对称正定矩阵的问题。
共轭梯度法结合了最速下降法和共轭方向法的优点，能够在有限次数的迭代中快速收敛到最优解。
背景在数值计算和优化问题中，线性方程组的求解是一个常见且重要的问题。
例如，在图像处理、数据分析和机器学习等领域，我们经常需要求解一个大规模的线性方程组。
然而，传统的直接方法，如高斯消元法或LU分解，对于大规模问题往往计算量巨大，耗时较长。
因此，我们需要寻找一种高效的迭代方法来解决这些问题。
共轭梯度法的核心思想是通过一系列共轭的搜索方向来逼近最优解。
具体来说，对于一个对称正定的线性方程组Ax=b，共轭梯度法的步骤如下：1.初始化解向量x0和残差x0=x−xx0。
2.计算初始搜索方向x0=x0。
3.进行共轭梯度迭代：重复以下步骤n次或直到收敛为止。
a.计算步长$\\alpha_k=\\frac{r_k^Tr_k}{d_k^TAd_k}$。
b.更新解向量$x_{k+1}=x_k+\\alpha_kd_k$。
c.更新残差$r_{k+1}=r_k-\\alpha_kAd_k$。
d.计算新的搜索方向$d_{k+1}=r_{k+1}+\\frac{r_{k+1}^Tr_{k+1}}{r_k^Tr_k}d_k$。
共轭梯度法与其他迭代方法相比有以下特点：1.高效性：共轭梯度法能够在有限次数的迭代中收敛到最优解，尤其适用于对称正定矩阵。
相比于直接方法，其计算量较小，具有更高的计算效率。
2.无需存储完整矩阵：共轭梯度法只需知道矩阵A的乘法运算结果，不需要存储完整的矩阵。
这对于大规模问题是一个很大的优势。
3.不需要计算矩阵的特征值：相比于其他迭代方法，共轭梯度法不需要计算矩阵的特征值，因此在实际问题中更加实用。
算法应用共轭梯度法广泛应用于各个领域的优化问题和线性方程组求解问题，包括：1.图像处理：共轭梯度法用于图像恢复、图像去噪和图像分割等问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（４） spanr0 ,, rk spanp0 ,, pk ( A, r0 , k 1) ，
其中
( A, r0 , k 1) span r0 , Ar0,, Ak r0
( xk pk ) ( xk ) T ( xk ) pk o pk ( xk ) rkT pk o pk
只要rkT pk 0， 则pk就是下降方向， 注意到rkT pk rk 2 pk 2 cos (是rk和pk 的夹角)． 因此， 当pk rk时下降速度最快．
算法终止常数 0，置k : 0，进入主步；
［主步］ （１）如果 rk ，终止算法，输出 xk x*；否则下行；
（２）计算： k
rkT rk pkT Apk
,
xk1 xk k Apk ;
（３）计算： rk1
b
Axk 1, k
rkT1rk 1 rkT rk
A
其中2 2 ( A)
A 2
A1 . 2
通常称之为 Krylov 子空间．
实用共轭梯度法及其收敛性
算法５·３·１（解对称正定方程组：实用共轭梯度法）
x 初值 ；
k 0; r b Ax ; r T r
while
b 2
and k kmax
k k 1
if k 1 pr
else
/ ~ ; p r p
span r0, Ar0,, Ak r0 span r0, Br0,, Bk r0
的维数不会超过r 1，由定理５.2.1 即知定理的结论成立。
定理 5·2·4 用共轭梯度法求得的 xk 有如下的误差估计
xk x* A 2
2 2
11k
x0 x*
H
2 ( x)
Hale Waihona Puke 2 ( x) xix j
A
故 ( x)的 驻 点(梯 度 的 零 点)必 为 ( x)的 极 小 值 点.反 之 亦 然.
至 此, 我 们 已 经 将 求 解 对 称 正定 线 性 方 程 组 的 问 题(5.1), 便 可 通 过 求 解 二 次 泛 函(5.2)的 极 小 值 点 来 实 现.本 章 讨 论 的 算 法 就 是 依 据 这 个 定 理 建立 的 几 个 求 解(5.2)极 小 值 点 的 算 法.
达 到 极 小,即
( x1 1 p1) ( x1 p1)
x1
p0 x0
p1
x3
x2 p2
如 此 这 般 地 做 下 去,便 得 到 一 串
0 ,1 , 2 , 和 p0 , p1, p2 , 我 们 称pk为 搜 索 方 向, k为 步 长.一 般 情 况 下,先 在xk点 找 下 山 方 向pk ,再 在 直 线 x xk pk上 搜 索 步 长 k使
,
pk
1
rk 1 k
pk
（４）置k : k 1，转入（１）．
共轭梯度法的理论支柱
定理５.2.1 由共轭梯度法得到的向量组{ri}和{ pi}具有如
下性质：
（１） piT rj 0 , 0 i j k;
（２）riT rj 0 , i j , 0 i, j k;
k rkT rk / rkT Ark xk1 xk k rk
rk1 b Axk1 k k 1
end
算法程序实现:
(1)在计算 k rkT rk / rkT Ark时,为避免溢出,可先对rk 作如下规格化
rk
,
rk rk /
相应地,只需注意
xk1 xk krk
( x0 0 p0 ) ( x0 p0 ). 即, 在 这 条 直 线 上, x1使 ( x)达 到 最 小.
再 从x1出 发, 确 定 一 个 下 山 方 向p1沿 直 线
x x1 p1 再 跨 一 步,即 找 一 个1使 ( x)在
x2 x1 1 p1
Th5.1 设A对称正定, x* Rn ,则Ax* b x*是 ( x)的极小点.
[ proof ]由 于 ( x)的 梯 度
( x)
( x)
x1
,
( x)
x2
,
,
( x
xn
)
T
Ax b
且 ( x)的Hessian矩 阵 为
k
rkT pk pkT Apk
,
k 0,1,, n 1.
(2) xn x* ,即xn恰是方程组Ax b的解.
这个结论给出了一类算法的构造思想。在实际应用中，通常 是每迭代一步，临时构造共轭方向，然后再迭代。
共轭梯度法
根据共轭方向法的基本思想,我们容易得出共轭梯度法 :
［预置步］任意x0 Rn ，计算r0 b Ax0，并令取： p0 r0.指定
确 定 了 搜 索 方 向 后， 我 们 再 来 给 出 计 算 步 长的 公 式． 为 此 令
f ( ) ( xk pk )
1 2 (xk
pk
)T
A( xk
pk )
bT
(xk
pk
)
(xk )
12 2
pkT
Apk
rkT
pk
为 求f ( )的 最 小 值， 令
求解二次泛函数极小点的爬山法
求二次函数的极小值问题，通常的做法就好像盲人爬山那样．
先 任 意 指 定 一 个 初 始 向量x0 , 确 定 一 个 下 山 方 向p0 ,沿 着 经 过 点x0而 方 向
为p0的 直 线x x0 p0找 一 个 点 x1 x0 0 p0 ,
使 得 对 所 有 实 数有
end
w Ap; / pT w; x x p r r w; ~ ; rT r
end
定理５.2.3 如果 A I B而且rank(B) r ，则共轭梯度法至多迭 代r 1步即可得到方程组的精确解。 证明 注意到rank(B) r 蕴含着子空间
f ( ) pkT Apk rkT pk 0
解得
k
rkT pk pkT Apk
代入pk rk， 则得
k
rkT rk rkT Ark
(5.3)
最速下降法的算法
综 合 上 述 讨 论， 我 们 得 到 解 对 称 正 定 方程 组 的 最 速 下 降 法：
x0 初值 r0 b Ax0 ; k 0 while rk 0
( xk k pk ) ( xk pk ), 然 后 求 出xk1 xk k pk .对 于 不 同 的 确 定 搜 索 方向 和 步 长 的 方 法,就 给 出 各
种 不 同 的 算 法.
最速下降法
根据瞎子爬山法求极小的思想,我们自然就会想到用负梯度方向作为 搜索方向,这是因为
河南师大数学与信息科学学院
第五章 共轭梯度法
本章讨论解对称正定线性方程组
共轭梯度算法. 主要内容包括：
Ax b
•最速下降法
•共轭方向法
•共轭梯度法
•实用共轭梯度法
最速下降法
针对求解对称正定线性方程组
Ax b
(5.1)
我们构造二次泛函
( x) 1 xT Ax bT x
2
(5.2)
(2)算法的终止． 设误差常量及最大迭代次数ＣNT， 迭代循环条件为
& &k CNT
共轭方向法
设p0 , p1,, pn1是两两A 共轭的,则从任意指定的初始点x0 Rn
出发,依次沿p0 , p1,, pn1搜索,所得向量序列xk nk0满足 :
(1) xk1 xk k pk ,