第5章 无约束最优化方法

过比较目标函数值的大小来移动迭代点。
一般来说，无约束最优化问题的求解是通
过一系列一维搜索来实现。
如何选择搜索方向是求解无约束最优化问
题的核心问题，搜索方向的不同选择，形 成不同的求解方法。
5.1最速下降法
5.1.1 最速下降法原理
5.1.2 最速下降法的计算步骤
clear syms x1 x2; %定义符号变量 fx=2*x1^2+x2^2; %定义符号函数 X0=[1,1]; %初值 g=jacobian(fx,[x1,x2]); %求符号函数的梯度 H=jacobian(g,[x1,x2]); %求符号函数的海塞矩阵 x1=X0(1,1);x2=X0(1,2); %赋初值 g0=eval(g);H0=eval(H); %求符号函数在x1=1、x2=1梯度、海塞矩阵 k=0; fprintf('\n') while norm(g0)>eps %停机判断条件 lamda=g0*g0‘/(g0*H0*g0’); %求lamda fprintf(' k=%2d, lamda=%19.16f, x1=%19.16f, x2=%19.16f, fx=%19.16f, norm(p)=%19.16f\n', k,lamda,x1,x2,eval(fx),norm(g0)) X0=X0-lamda*g0; x1=X0(1,1);x2=X0(1,2); g0=eval(g);H0=eval(H); k=k+1; end
5.2.4 非二次函数的共轭梯度法
5.2.5 共轭梯度法的收敛性
5.3牛顿法
对一维搜索方法中的牛顿法加以推广，就得
到了求解无约束优化问题的牛顿法。
该方法具有收敛速度快的特点，
在牛顿法基础上的改进算法如阻尼牛顿法在
实际中被广泛应用。
5.3.1牛顿法原理
利用二次函数近似目标函数。
例5-5 最优解搜索过程
例5-5 三维图
5.4 .5 变尺度法的性质与收敛性
5.5步长加速法

解析法：最速下降法、共轭梯度法 、牛顿法 和变尺度
法需要计算目标函数的梯度。 直接法：不需要求目标函数的梯度。

5.5.1步长加速法的基本思想

又称模式搜索法（Pattern Search Method）。 由胡克（Hooke）和基夫斯（Jeeves）于1961年提出的。 它不仅易于编制计算机程序，而且具有追循谷线加速移向最优 点的性质。

基本思想从几何上讲，就是寻找具有较小函数值的“山谷”，
力图使迭代产生的序列沿“山谷”逼近极小点。
5.5.2步长加速法的搜索过程

步长加速法由“探测移动”和“模式搜索”两个交替的动作构 成。
探测移动：依次沿n个坐标轴进行，用以确定新的基点和有
利于函数值下降的方向。
使函数值下降的更快（见图5-4）。
5.1.3 最速下降法的收敛性

由定理5-1知，在最速下降法中，前后两次的搜
索方向垂直（见图5-1）。


锯齿形的搜索轨迹使最速下降法效率低下。
最速下方向反映了目标函数的一种局部性质。从 局部看，最速下降方向的确是函数值下降最快的 方向，选择这样的方向进行搜索是有利的， 从全局看，由于锯齿现象的出现，当在极小点附 近时，即使向着极小点移动不太大的距离，也要 经历不少的弯路，从而使收敛速度大为减慢。
Hale Waihona Puke Baidu
模式搜索：沿相邻两个基点连线方向进行，试图顺着“山谷”
5.5.3步长加速法的计算步骤
5.6旋转方向法
5.6.1旋转方向法的基本思想
5.6.2旋转方向法的搜索过程
5.6.3旋转方向法的计算步骤
5.9最小二乘法
5.9.1线性最小二乘问题
5.9.2 非线性最小二乘问题

该方法具有收敛速度快、存储空间小等特点，尤其是 对于正定二次函数能在有限步内达到极小点，即具有 二次终结性。
5.2共轭梯度法
5.2.1 共轭方向与共轭方向法
你能找到 A共轭方向吗？
P(0)和p(1)正交吗？
（5-2）
5.2.2 正定二次函数的共轭梯度法
5.2.3 共轭梯度法的计算步骤


最速下降法不仅简单，而且具有全局收敛性，
并且是线性收敛的。

为避免锯齿现象对收敛速度的影响，在计算初 期可使用最速下降法，在迭代一段时间以后， 改用其它更有效的方法，如牛顿法等。

对一般的下降算法，只要搜索方向与迭代点处 的负梯度方向的夹角小于90°，使用精确一维 搜索和不精确一维搜索在一定的条件下，可以 证明下降算法具有全局收敛性。
5.3.3 牛顿法的改进
1. 阻尼（广义）牛顿法
2.Goldstein-Price方法
5.4 变尺度法
5.4 .1 变尺度法原理
5.4 .2 DFP变尺度法
5.4 .3 BFGS变尺度法与初始尺度矩阵的修正
5.4 .4变尺度法的计算步骤
使用MATLAB软件实现DFP算法
第5章 无约束最 优化方法
5.1最速下降法
5.2共轭梯度法
主 要 内 容
5.3牛顿法
5.4变尺度法
5.5步长加速法
5.6旋转方向法
5.7方向加速法
5.8信赖域方法
5.9最小二乘法
无约束最优化问题的求解方法：解析法和
直接法。
解析法需要计算函数的梯度，直接法仅通
5.9.3 非线性最小二乘问题的阻尼Causs-Newton法计 算步骤
5.3.2牛顿法的特点与收敛性
牛顿法优点：牛顿法具有二阶收敛速度。对二次正定函数，仅 需一步迭代即可达到最优解，具有二次终结性。
牛顿法缺点：
（1）牛顿法是局部收敛的，即初始点选择不当，可能会导致不 收敛；
（2）牛顿法不是下降算法，当二阶Hesse阵非正定时，不能保证
是下降方向； （3）二阶Hesse阵必须可逆，否则算法将无法进行下去； （4）对函数分析性质要求苛刻，计算量大，仅适合小规模优化 问题。 由于牛顿法有良好收敛速度，人们对它的缺点进行了多方面改 进和修正。
5.2共轭梯度法

共轭梯度法最初由Hesteness和Stiefel于1952年为求解线
首先提出了求解无约束最优化问题的共轭梯度法。
性方程组而提出，1964年Fietcher和Reever在此基础上，

共轭梯度法的基本思想：把共轭性与最速下降法相结 合，利用已知点处的梯度构造一组共轭方向，并沿这 组方向进行一维搜索，求出目标函数的极小点。