第三章 梯度法和共轭梯度法
共轭梯度法和梯度下降法
共轭梯度法和梯度下降法共轭梯度法和梯度下降法是两种常用的优化算法，它们在解决最优化问题时具有重要的作用。
本文将分别介绍共轭梯度法和梯度下降法的原理、优势和应用领域，并对它们进行比较和总结。
一、共轭梯度法共轭梯度法是一种迭代算法，用于求解线性最小二乘问题或者解线性方程组。
它的核心思想是通过迭代求解一系列的共轭方向，从而不断逼近最优解。
共轭梯度法的优势在于它能够充分利用问题的特殊结构，避免不必要的计算。
相比于梯度下降法，共轭梯度法通常收敛更快，并且对于大规模问题的求解效果更好。
共轭梯度法主要应用于求解线性方程组、最小二乘问题以及特定的优化问题，如信号处理、图像处理和机器学习等领域。
二、梯度下降法梯度下降法是一种基于梯度的迭代优化算法，用于求解无约束最优化问题。
它的核心思想是沿着负梯度方向不断迭代，直至达到最优解或者满足停止条件。
梯度下降法的优势在于它的简单性和易于实现性。
它不需要求解二阶导数，只需要计算一阶导数，因此对于大规模问题的求解也比较高效。
梯度下降法广泛应用于机器学习中的参数优化问题，如线性回归、逻辑回归和神经网络等。
此外，它还可以用于函数拟合、特征选择和降维等领域。
三、共轭梯度法与梯度下降法的比较共轭梯度法和梯度下降法都是常见的优化算法，它们的选择取决于具体的问题和需求。
1. 收敛速度：共轭梯度法通常比梯度下降法收敛更快。
共轭梯度法在每次迭代时利用了前面所有迭代步骤的信息，可以更快地逼近最优解。
2. 内存消耗：梯度下降法只需要存储当前的梯度信息，而共轭梯度法需要存储一系列的共轭方向。
因此，对于大规模问题，梯度下降法在内存消耗方面更具优势。
3. 线性方程组求解：共轭梯度法是一种求解线性方程组的有效方法，而梯度下降法通常不适用于求解线性方程组。
4. 二次型优化问题：共轭梯度法对于二次型优化问题的求解效果更好。
梯度下降法在处理非二次型问题时可能会出现收敛速度慢、局部最优等问题。
共轭梯度法和梯度下降法是两种常用的优化算法。
第三章 优化设计(4节
第四节多维无约束优化方法4.1最速下降法（梯度法）x，使f(x)minf(x+α对于多元函数，求极小点k+1k+1)=minf(x k kS k)，需要确定两个内容：步长αk，方向S k，不同的搜索方向导致了不同的优化方法。
主要有：梯度法、共轭导致了不同的优化方法主要有：梯度法共轭梯度法、牛顿法、变尺度法、坐标轮换法、Powell法。
z思想函数值变化最快的方向是其梯度方向，而且负梯度方向是函数值下降最快的方向。
故沿负梯度方向搜索。
方向是函数值下降最快的方向故沿负梯度方向搜索z迭代格式z步骤1）给定初始点，迭代精度，维数。
2）置0→k。
3）确定搜索方向：计算迭代点x k的剃度，以及剃度的模，进而确定搜索方向s k。
4）求最优步长αk：从x k点出发，沿负剃度方向进行维搜索求最优步长α，f(xαS)min f(xαS)。
一维搜索求最优步长k k+k k＝min f(x k+k5）检验是否满足终止条件，若满足，终止迭代，输k→x*k)→f(x*)，否则，进入下一步出最优解x x，f(x f(x)，否则，进入下步。
6）计算新的迭代点x k＋1＝x k+αk S k。
z搜索路线z特点1）迭代过程简单，存储量小，对初始点的选择要求低；2）在远离函数极小点的地方，函数值下降较快。
但是，由于所谓的最速下降方向函数在某点的负剃度方是，由于所谓的最速下降方向－函数在某点的负剃度方向，仅是对该点而言，一旦离开了这点，其方向就不再是最速方向了。
因而在这个优化过程中，沿某点的负剃是最速方向了因而在这个优化过程中沿某点的负剃度方向寻优，并不总是具有最速下降方向的性质。
因此，从局部看，在一点附近函数的下降是最快的，但从整体从局部看在点附近函数的下降是最快的但从整体看，函数的下降并不算快，而且越是接近极值点，收敛越慢。
越慢3）应用该方法可使目标函数在头几步下降很快，因此可以与其他无约束优化方法配合使用。
例子z目标函数f(x)=60-10x1-4x 2+x 12+x 22-x 1x 2，设初始点[00]精度001用梯度法求极小点和极小x 0=[0 0]T ，精度ε=0.01，用梯度法求极小点和极小值。
共轭梯度法
•基本思想:把共轭性与最速下降法相结合,利用已 知点处的梯度构造一组共轭方向,并沿着这组方 向进行搜索,求出目标函数的极小点
4.4共轭梯度法
先讨论对于二次凸函数的共轭梯度法,考虑问题
min f (x) 1 xT Ax bT x c
3, giT d (i) giT gi (蕴涵d (i) 0)
证明: 显然m1,下用归纳法(对i)证之.
当i 1时,由于d (1) g1,从而3)成立,对i 2时, 关系1)和2)成立,从而3)也成立.
4.4共轭梯度法
设对某个i<m,这些关系均成立,我们证明对于i+1
也成立.先证2),
因此
2 / 3 1 5/ 9
d (2)
1/ 1
3
1 9
2 0
5/9 1
从x(2)出发,沿方向d (2)进行搜索,求步长2,使满足 :
f
( x (1)
2d (1) )
min
0
f
(x(2)
d (2))
2 0
4.4共轭梯度法
显然, d (1)不是目标函数在x(1)处的最速下降方向.
下面,我们用FR法构造两个搜索方向.
从x(1)出发,沿方向d (1)进行搜索,求步长1,使满足 :
f
( x (1)
1d (1) )
min
0
f
( x (1)
d (1) )
得1 2 3
A正定,故x是f(x)的极小值点.
梯度法
A1=A0+△A0 推广到一般的k+1次构造矩阵
Ak+1=Ak+△Ak
矩阵序列的 基本迭代式
△Ak称为校正矩阵
拟牛顿条件
设F（x）为一般形式n阶的目标函数，并具有连续的一、二 阶偏导。在点 处的二次泰勒近似展开
该近似二次函数的梯度是
沿g(k)方向一维搜索，
求最优步长(k)。
x(k+1)= x(k)- (k) g(k)
出口
例 8-4 用最速下降法求解下列问题
min f (x) 2x12 x22 ，
给 定 初 始 点 x(1) (1, 1)T , 1 ．
10
解 目 标 函 数 f (x) 的 梯 度 及 x(1) 处 的 最 速 下 降 方 向 为
f(xk+1)
>
阻尼牛顿法
对原始牛顿法的改进
为解决原始牛顿法的不足，加入搜索步长(k)
因此，迭代公式变为：
x (k+1) = x (k) - (k) Hk-1gk 这就是阻尼牛顿法的迭代公式，最优步长(k)也称
为阻尼因子，是沿牛顿方向一维搜索得到的最优步 长。
牛顿法算法步骤
⑴任选初始点 ，给定精度ε，置k←0 ⑵计算 点的梯度矢量及其模
(x)=
x (k)
gk+
Hkx=0
得 x (k+1) = x (k) - Hk-1gk
即牛顿法迭代公式，方向- Hk-1gk称为牛顿方向
三、原始牛顿法的特点
若用原始牛顿法求某二次目标函数的最优解，则 构造的逼近函数与原目标函数是完全相同的二次式， 其等值线完全重合，故从任一点出发，一定可以一次 达到目标函数的极小点。
二、 确k定的方确法定自学，不作要求。记住
共轭梯度法(精品文档)
1
g2T (g2 d1T (g2
g1) g1)
g2T g2 g1T g1
4） 一般地，在第 k 次迭代中，令
k 1
dk gk idi i0
适当选取 i ，使 dkTGdi 0 （ i 0,
, k 1），可得到
i
gkT Gdi diT Gdi
gkT (gi1 gi ) diT (gi1 gi )
§4.2 共轭梯度法
提纲
1、共轭梯度法---F-R共轭梯度法 2、共轭梯度法性质定理及例题 3、再开始FR共轭梯度法 4、Beale三项共轭梯度法 5、预条件共轭梯度法（了解）
共轭梯度法
在上一节中讨论了共轭方向法，其中n个共轭方向是预先设定好的。但是如何 让获取这些共轭方向并为提及。本节讨论一种重要的共轭方向法——共轭梯 度法。这种方法是将共轭性和最速下降方向相结合，利用已知迭代点处的梯 度方向构造一组共轭方向，并沿此方向进行搜索，求出函数的极小点。因在 迭代过程中通过对负梯度方向进行适当校正获得共轭方向，故而称之为共轭 梯度法。
算法步骤—FR共轭梯度法
1、选取初始数据，选取初始点 x0 ，给定允许误差 0 ；
2、检查是否满足终止准则，计算 f (x0 ) ，若 || f (x0 ) || ,迭代终
止，x0为近似最优解，否则转向3；
3、 构造初始搜索方向，计算 d0 f (x0 ), k 0；
而
k 1
gkT (gk gk1)
dT k 1
(
gk
gk 1 )
gkT gk gkT1 gk 1
共轭梯度法的迭代公式为：
4.4共轭方向法4.5 共轭梯度法
序框图如下图所示。
开始
给定 X 0、d0、
k0
X (k 1) X k ak d k ak : min f ( X k ak d k )
k k+1
YES Xk X（k+1）
结束
NO
f (X k1) ＜
提供新的共轭方向
共轭方向 + 精确一维搜索 = 二次终结 设 Z1 ，Z2 ，……Zm 关于正定矩阵A共轭。则从任意初 始点出发 二次型目标函数
2 0
2 9
,
2 T 3
X
2
X1
1d1
2
3
0
2
1
9 2
3
2 3
2 9
1
2 3
1
将 X 2 代入原方程，将 n 维问题化成一维问题。
令 将
(1) 1 代入
0 X2
，解得 1
式得
3 2
。
X
2
2 3
2 9
1
2 3
1
1 1
计算 X 2 点的梯度
g2
f
(
X
2
)
4 0
(0 )
(0 ) 120 4
令 (0 ) 0 ，解得
0
1 3
将
0
1 3
代入
X1
式得
X
1
20
0
2
3
0
将 X 1 代入求梯度公式
g1
f
(
X
1)
3x1 2
x2
x1
x2
x1
2 3
x2 0
0
2
3
0
g1 g0
最优化方法第三章(2).
*
f x * Qx * b 0
f x1 t1Qp1 0 T 上式两边同时左乘 p0 ，并注意到 p0T f x1 0和 t1 0,
便得到
将（3.38）代入此式，并由（3.39）可得
p Qp1 0
T 0
（3.40）
* p p1 所必须满足的条件。 这就是为使 1 直指极小点 x ， 满足（3.40）的两个向量 p0 和 p1 称为 Q 共轭向量， 或称 p0和 p1 的方向是 Q 共轭方向。 利用（3.40）可以给出 p1 的表达式。设 p1 f x1 a0 p0 , （3.41）
n x R 其中 0 是任意选定的初始点，则
T p ⅰ） j f xm 0, 0 j m ；
（3.44）
ⅱ） xm是二次函数（3.36）在线性流形L x0 ; p0 , p1, , pm1 上的极小点。
T 证 ⅰ）根据（1.46），直接有 pm 1f xm 0 。以下 证明：对于 j 0,1, , m 2 ，（3.44）也成立。 由条件（3），有
p f ( x （其中 , , , 是任意实 数）都与 i i m ) 正交。 0 1 m1
i 0 m 1
共轭梯度法详细解读
共轭梯度法详细解读
嘿，朋友们！今天咱就来好好唠唠共轭梯度法。
你想想啊，咱平常解决问题就像走迷宫似的，有时候会在里面转来转去找不到出路，而共轭梯度法呀，就像是在迷宫里给咱指了一条明路！比如说你想找一条最快从山这头到那头的路，共轭梯度法就能帮上大忙啦！
它可不是随随便便就出现的哦，那可是数学家们绞尽脑汁研究出来的宝贝呢！就好比一个超级英雄，专门来打救我们这些在复杂问题里苦苦挣扎的人。
在实际应用里，它可厉害着呢！比如说在工程计算中，要设计一个最完美的结构，共轭梯度法就能迅速算出最优解。
哇塞，这不就相当于有个超厉害的军师在帮咱出谋划策嘛！
你再想想，我们日常生活中很多事情都可以类比成用共轭梯度法来解决问题呀。
比如说你要规划一次旅行，怎么安排路线最合理，不就是在找那个最优的旅行路径嘛，这时候共轭梯度法的思路就能派上用场啦！它就像一个隐藏在幕后的高手，默默地为我们排忧解难。
而且哦，一旦你掌握了它，那种感觉就像是你突然掌握了一种绝世武功，能在各种难题面前游刃有余。
这可太酷了吧！
哎呀呀，共轭梯度法真的是太神奇、太有用啦！大家可一定要好好去了
解它、运用它呀，你绝对会被它的魅力折服的！相信我，没错的！。
共轭梯度法总结
共轭梯度法总结
共轭梯度法总结
一、什么是共轭梯度法
共轭梯度法（Conjugate Gradient Method），是一种用于求解线性方程组的迭代优化算法，它是一种搜索梯度的迭代算法。
共轭梯度法的基本思想是沿梯度的反方向搜索，并在每一步令搜索的方向接近更新的局部梯度。
它是一种非常有效的求解有约束的非线性优化问题的方法，是求解线性方程组的有效算法。
共轭梯度法可以看作是一种极小化函数的迭代方法，它最主要的思想是不断更新梯度的方向，从而寻找函数值最小的点。
二、共轭梯度法的原理
共轭梯度法是一种迭代优化算法，它以凸二次型函数为例，可以用来求解最小值问题。
它的基本思想是：
（1）首先求得函数的梯度，即每一步优化的搜索方向，使梯度变为最小；
（2）以梯度的反方向搜索，令搜索的方向接近更新的局部梯度，而不是与旧的梯度成正比的步长；
（3）逐步更新搜索的方向为新的梯度；
（4）重复这个过程，直到所有的自变量满足限制条件。
三、共轭梯度法的优缺点
共轭梯度法最大的优点是它具有收敛速度快，可以在有限的迭代步数内收敛到最优解；另外，它还具有计算量小，不需要计算精确的
Hessian矩阵的优点。
共轭梯度法的缺点是它不能用来求解非凸优化问题，因为它只能求解凸优化问题；另外，它也不能用于强不可约的优化问题。
共轭梯度法
3. 算法的 MATLAB 实现
在 MATLAB 中编程实现的共轭梯度法函数为： min GETD 功能：用共轭梯度法求解多维函数的极值。
调用格式： [ x, min f ] min GETD( f , x0, var, eps) 其中， f ：目标函数；
x0 ：初始点； ：自变量向量； var x ：目标函数取最小值时的自变量值；
（6） 若 k 1 n ，令 x(0) x( n ) ，转步骤（3） ，否则转步骤（7） ；
（7） 令 p
( k 1)
f ( x
( k 1)
) k p
(k )
， k
f ( x ( k 1) ) f ( x )
(k )
2 2
， 置 k k 1， 转步骤 （4） 。
t 0
(k ) ( k ) （4） 用 一 维 搜 索 法 求 t k ， 使 得 f ( x kt p ) m i n f
( ) 5； x( k 1 ) x k( ) kt p k，转步骤
k( ) x
) 令， tk p( ，
（5） 若 f ( x
( k 1)
) ，停止，极小值点为 x ( k 1) ，否则转步骤（6） ；
1 f ( X ) d1 + x1 -x1* 2 1 =d1 + x1 -x1* 2
2
*
2
1 d1 a x1 -x1* 2
2b x1 -x1*
x -x c x -x
2
2b x1 -x1*
最优化方法3-5共轭梯度法和共轭方向法
算法 3.5.1
设目标函数为 f (x) 1 xTGx bT x c，其中G 正定。 2
给定控制误差 。
Step1. 给定初始点 x0及初始下降方向 p0，令k 0。
Step2. 作精确一维搜索，求步长k
f
( xk
k
pk )
min
0
f
( xk
pk
)
Step3. 令 xk1 xk k pk 。
称 Fletcher-Reeves 公式，简称 FR 公式。
k 1
gkT Gpk1 pkT1Gpk 1
Gpk 1
1
k 1
(gk
g
k 1 ) ，
gkT Gpk1
1
k 1
gkT
(gk
g
k 1)
，
pkT1Gpk 1
1
k 1
(g
k1 k2
pk2 )T
(gk
g
k 1)
1
k 1
g
g T
k 1 k
1
（2）Polak-Ribiere-Polyak 公式
故
k 1
g
T k
(
gk
g
k 1)
gkT1gk 1
此式是 Polak 和 Ribiere 以及 Polyak 分别于 1969
年提出的，故称 Polak-Ribiere-Polyak 公式，简称 PRP
0，i
1,2,L
,k
(ii) xk1是二次函数在k 维超平面Hk 上的极小点。
证明 由引理 3.5.2，只需证明(i)，
共轭梯度法
共轭梯度法共轭梯度法(also known as Pearson-Newman gradient method)是电化学反应动力学中一种很有用的技术，主要应用于分析化学、环境工程、农药学、微生物学等领域。
用共轭梯度法时，以活性高的配体替代催化剂上的固定配体(一般为固定相)，使原来的催化剂仍能发挥作用，但具有选择性更好、灵敏度更高、应用范围更广的特点，同时能降低毒性和提高催化活性，还可改善催化剂的稳定性。
共轭梯度法(reaction-coordinate density technique，缩写为coAPD)，是由美国著名的电化学家S.C.R.（赫维斯特）于1976年提出的，最早是应用于考察水溶液中蛋白质在二级胺诱导下的变性行为。
后来，此方法被用于研究Cu(I)-Zn(II)氧化偶联反应，可用于测定其它一些金属离子。
它能够选择性地催化多种反应，并且操作简便，灵敏度高，催化效率高。
它与同样是基于电极过程机理的原位催化比较，在原理上具有优越性。
对于活性组分分子内部的小的不均匀结构，可以采用共轭梯度法实现更精确的测量。
在这个技术中，如果采用共轭体系，一般可以考虑将其作为一个三电子体系，而与电子得失的量子化运动相联系，即以共振状态作为激发条件。
因此，实验装置也称之为共振极限溶剂。
目前，已经开发了一些共轭体系，其中主要包括共轭二烯体系、共轭异戊二烯体系、共轭二炔体系等。
根据不同的选择性要求，又可将它们划分成几类：双齿配体系列、共轭乙炔体系列、共轭苯炔体系列、共轭乙烯体系列、共轭苯乙炔体系列、双烯类配体系列。
由于选择性较高，该技术广泛用于化学反应机理及反应产物分析。
特别是随着计算机技术的迅速发展，其应用更加广泛。
例如，在定量方面，可以在很短的时间内给出定量结果，可以很快地绘制出实验曲线或计算出数据。
在这个技术中，反应机理以原子轨道理论为基础。
根据反应机理，按照共振条件进行合理的实验设计，通过电化学反应测定反应的产物或催化剂的量，并绘制电位-时间图，即可达到定性、定量的目的。
线性方程组的共轭梯度法
迭代过程
计算方程组的雅可比矩阵A和右端项b，得到线性方程组Ax=b。 计算初始残差r0=b-Ax0。 进行迭代，对于k=0,1,2,...,max_iter，执行以下步骤
迭代过程
01
1. 计算搜索方向pk=-Ak^T。
02
2. 在搜索方向pk上进行线搜索，找到步长λk，使得 Axk+1=b-λk*r^k最小化。
感谢观看
THANKS
定义
线性方程组是由一组线性方程组成的 数学模型，其中包含未知数和已知数。
分类
根据方程的系数矩阵和常数项矩阵， 线性方程组可以分为多种类型，如超 定方程组、欠定方程组和恰定方程组。
线性方程组的求解方法
直接法
通过消元或迭代等方法将方程组化为标准形式，然后 求解。
迭代法
通过不断迭代更新解的近似值，逐步逼近方程的解。
在金融工程中的应用
投资组合优化
共轭梯度法可以用于求解投资组合优化问题 ，以最大化投资收益或最小化风险。
期权定价
在期权定价模型中，共轭梯度法可以用于求解 Black-Scholes方程，以得到期权的合理价格。
风险管理
在风险管理方面，共轭梯度法可以用于求解 风险评估模型中的最优化问题，以评估和管 理金融风险。
解效率。
02
常用的预处理方法包括对角占优预处理、不完全LU
分解预处理等。
03
预处理技术可以消除原始方程组中的病态条件，降低
数值误差的放大效应。
自适应步长调整策略
自适应步长调整策略可以根据上 一步的搜索结果动态调整步长， 提高算法的稳定性和收敛速度。
常见的自适应步长调整策略包括 Armijo线搜索、Goldstein线搜
科学计算
第三章 线性代数方程组的共轭梯度法
对于 k = 0 ,1, 2 ,
tk
=
(r(k) )T p(k) (p(k) )T Ap(k)
x (k+1) = x (k) + t k p(k)
r(k+1) = b − Ax(k+1) = r(k) − t k Ap(k)
sk
=
− (p(k) )T Ar(k+1) (p(k) )T Ap(k)
p(k+1) = r (k+1) + sk p(k)
2：在射线x = x(k ) + tp (k )上求f ( x)的极小点x(k +1) , 即 f ( x(k +1) ) = min f ( x(k ) + tp (k ) )
t>0
3： 判 断 ∇ f ( x (k +1) ) ≤ ε , 或 x(k +1 ) − x(k) ≤ ε ！
是 ！ x* ≈ x (k +1)， 停 止 ; 否 ！ k = k + 1, 转 1.
=
x(0)
+t0p(0).
华北电力大学数理学院
School of mathematics & physics
§3 共轭梯度法
对于 k = 1,2,
现有x ( k )及共轭方向p ( k −1)，则
r(k) = b − Ax(k)
在r ( k )和p ( k −1) 确定的超平面上 找共轭方向
其中
p(k) = r(k) + sk p(k−1)
华北电力大学数理学院
School of mathematics & physics
定理1：设p 1 , p 2 , p n 是关于n阶对称正定 矩阵A共轭的向量组，则以 p(k)为下降方向的算
(最新整理)第三章无约束非线性规划
#
一维搜索——黄金分割法
2.算法步骤
用 黄 金 分 割 法 求 无 约 束 问 题 m i n f ( x ) 的 基 本 算 法 步 骤 如 下 x R
① 选 1定 a初 1始 0.区 38间 2([ba11 ,ba11 ])及 精 度 0， 计 算 试 探 点 :令
1a10.618(b1a1)
#
一维搜索——黄金分割法
黄金分割法也叫0.618法，它是基于一种区间 收缩的极小点搜索算法，当确定搜索区间 [a,b]后，我们只知道极小点包含于搜索区间 内，但是具体是哪个点，无法得知。
1.算法原理
黄金分割法的思想很直接，既然极小点包含 于搜索区间内，那么可以不断的缩小搜索区 间，就可以使搜索区间的端点逼近到极小点 。
#
最优性条件
迭代算法的步骤 第一步：给定最优解的一个初始估计，选择初始点x(0)，置k 0； 第二步：如果x(k)满足最优解估计的终止条件，停止迭代； 第三步：确定下降方向d (k) ,使得目标函数f (x)从x(k)出发，沿
d (k)方向，在射线x(k) d (k) ( 0)上选取步长k，使得 f(x(k) kd (k) )<f (x(k) )
#
黄金分割法源程序
function [x,minf] = minHJ(f,a,b,eps) format long; if nargin == 3
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
#
一维搜索——黄金分割法
a
共轭梯度法
共轭梯度法对于任意形式的目标函数()f X ，在极值点*X 附近展开成泰勒级数，且取前三项，有()()()****2**1()...2TT f X f Xf X X X X X f X X X ⎡⎤⎡⎤⎡⎤⎡⎤≈+∇-+-∇-⎣⎦⎣⎦⎣⎦⎣⎦因在极值点*X 处()*0f X ∇=，而()2**()f X H X ∇=为()f X 在*X 的二阶偏导数矩阵，即Hessian 矩阵，故()****1().().2T f X f X X X H X X X ⎡⎤⎡⎤≈+--⎣⎦⎣⎦ 对于二次函数来说，若令()()()2*2*2*221122,,f X f X f X a b c x x x x ∂∂∂===∂∂∂∂则()**1(),a b H X f X d b c ⎡⎤==⎢⎥⎣⎦而—常数 则，得到()()()()()()()()()()()()()()11221212121122*1**112*2**12**112**1222****11122-1()+--2---1=+--2--1-2---2x x a b f X d x x x x b c x x a x x b x x d x x x x b x x c x x d a x x b x x x x c x x ⎡⎤⎡⎤⎢⎥⎡⎤≈⎢⎥⎣⎦⎢⎥⎣⎦⎣⎦⎡⎤+⎢⎥⎡⎤⎣⎦⎢⎥+⎣⎦⎡⎤=+++⎢⎥⎣⎦由上式可知，当12*1**2x x X X x x ⎡⎤⎡⎤===⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦时，得到目标函数的极小值()*1()f X f X d ==，当22(),,...f X d d =时，则有等值线族。
令2()f X d =，代入上式，则有()()()()112222****2111221()-2---2f X d d a x x b x x x x c x x ⎡⎤=≈+++⎢⎥⎣⎦所以目标函数()f X 在*X 点附近的等值线方程为()()()()112222****1122-2---0a x x b x x x x c x x d +++=式中，122()d d d =-=常数。
第三章非线性规划无约束问题的最优化方法
x0
0p 0
1.919877 还需要经过10次迭代才
能满足精度要求
0.003070
第三节 牛顿法
3. 牛顿法的缺点： 牛顿法要求初始解离最优解不远，若初始点选得离最优解太
远时，牛顿法并不能保证其收敛，甚至也不是下降方向。因此， 常将牛顿法与最速下降法结合起来使用。前期使用最速下降法， 当迭代到一定程度后，改用牛顿法，可得到较好的效果。 4. 修正牛顿法 基本思想： 保留了从牛顿法中选取牛顿方向作为搜索方向，摒弃其步长恒 为1的做法，而用一维搜索确定最优步长来构造算法。
2
2
0
2e2 2 3
00 21 0
03
f x3 9
第二节 最速下降法
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
0 x 3 e3 0
3
00 00 13
f x 3 e3
32
f' 0 x4 x3
3
3
0
3e3 0 0
f x4 0
第二节 最速下降法
因为 x 1
x 4 ，0故.0以1 x(4)点作为新的x(1) ，进行新一轮迭代。
0
1 33 22
f x0
p0
52 5
42
f' x0
p0 5 5 0
22
01
第三节 牛顿法
x1 x0
1 p0 3
2
3
f x1
14
12 2
0
30
12 1 2
2
f x1
所以选取 x* x 1
1 3 作为极小点。 2
第三节 牛顿法
6. 修正牛顿法的缺点： 修正牛顿法虽然比牛顿法有所改进，但也有不足之处：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
求迭代一次后的迭代点 x 2 。
解： f ( x ) ( 2 x1 , 6 x 2 )T ,
d 1 f ( x 1 ) ( 4 , 6 )T . x 1 d 1 ( 2 4 , 1 6 )T . 令 ( ) f ( x 1 d 1 ) ( 2 4 ) 2 3 ( 1 6 ) 2 ，
则有 f ( x k k d k )T d k 0 。
令 ( ) f ( x k d k )， 所以 证明：
( ) f ( x k d k )T d k .
f ( x k k d k ) min f ( x k d k )
椭球面。
x2 x3
x*
x1
注
最速下降方向反映了目 标函数的一种局部性质 。 它只是
局部目标函数值下降最快的方向。
最速下降法是线性收敛的算法。
三. 共轭梯度法
1. 共轭方向和共轭方向法
Rn中的两个非零向量d 1 和 d 2， 定义 设 A 是 n n 的对称正定矩阵，对于
若有 d
1T
Ad 2 0 ，则称 d 1和d 2关于A共轭。
最速下降法（梯度法）：
1. 搜索方向： d k f ( x k ) , 也称为最速下降方向；
2. 搜索步长 : k 取最优步长, 即满足 f ( x k k d k ) min f ( x k d k ) 。
最速下降法算法步骤：
1. 给定初始点 x 1 R n , 允许误差 0 , 令k 1 。 2. 计算搜索方向 d k f ( x k ) ;
k （i）如果点列 { x } 收敛于最优解 x* ，则称算法A收敛。
0 1 k （ii）如果 f ( x ) f ( x ) f ( x ) ，则称算法A为
下降迭代算法。
x1
.
x0
.
.
x2
2.下降迭代算法步骤 （1）给出初始点 x 0 ，令 k 0 ；
k
（2）按照某种规则确定下降搜索方向 d ；
1T
d2 0
d1 d 2
共轭是正交的推广。
d 1 , d 2 ,, d k 是 k 个 A 共轭的非零 定理 1. 设 A是 n阶对称正定矩阵，
向量，则这个向量组线性无关。
证明
设存在实数 1 , 2 ,, k ，使得
i 1
id 0,
T
k
i
上式两边同时左乘 d j A ，则有
求解
min ( )
令 ( ) 8 ( 2 4 ) 36( 1 6 ) 0 1
36 8 T x x 1d ( , ) 31 31
2 1 1
13 62
收敛性
步长 k 满足 性质. 设 f ( x) 有一阶连续偏导数，若
f ( x k k d k ) min f ( x k d k )
（3）按照某种规则确定搜索步长 k ，使得
f ( x k k d k ) f ( x k ) ；
k : k 1 ； （4）令 x k 1 x k k d k ，
k （5）判断 x 是否满足停止条件。是则停止，否则转第2步。
搜索步长确定方法：
f ( x k k d k ) min f ( x k d k )
( k ) f ( x k k d k )T d k 0 .
注： 因为梯度法的搜索方向 d k 1 f ( x k k d k )， 所以
(d k 1 )T d k 0 d k 1 d k 。
锯齿现象
在极小点附近，目标函数可以用二次函数近似，其等值面近似
3. 若 || d k || , 则停止计算， x k 为所求极值点； 否则，求最优步长 k
使得 f ( x k k d k ) min f ( x k d k )。
4. 令 x k 1 x k k d k , 令 k : k 1 , 转2。
2 2 例. 用最速下降法求解 : min f ( x ) x1 3 x2 , 设初始点为 x 1 ( 2 , 1 )T ,
i 1 k
k
id
jT
jT
Ad i 0 ,
因为 d 1 , d 2 , , d 是 k 个 A 共轭的向量，所以上式可化简为 0 , 而 A是正定矩阵，所以 d
所以
Ad j 0，
j 0 , j 1 , 2 , , k 。
因此 d 1 , d 2 , , d k 线性无关。
设 d 1 , d 2 ,, d k 是 Rn 中一组非零向量，如果 它们两两关于A
共轭，即 d i Ad j 0 , i j , i , j 1 , 2 ,, k 。
T
则称这组方向是关于 A共轭的，也称它们是一 组A共轭方向。
注：如果A是单位矩阵，则
d
1T
I d 0d
2
一. 无约束最优化问题
无约束最优化问题 min
f ( x) x Rn
s.t .
其中f ( x ) 有一阶连续偏导数。
解析方法：利用函数的解析性质构造迭代公式，使之收敛到最优解。
下降迭代算法的概念回顾
1.一般迭代算法
集合S上的迭代算法A：
（1）初始点 x 0 ； （2）按照某种规则A产生下一个迭代点 x k 1 A( x k ) 。
称 k 为最优步长，且有 f ( x k k d k )T d k 0 。
二. 最速下降法（梯度法） 迭代公式：
x k 1 x k k d k
如何选择下降最快的方向？
f ( x k ) 函数值增加最快的方向
xk
函数值下降的方向
f ( x k ) 函数值下降最快的方向
几何意义
1 f ( x ) ( x x )T A( x x ) 2 其中 A 是 n n 对称正定矩阵，x 是一个定点。 1 ( x x )T A( x x ) c 则函数 f ( x ) 的等值面 2