第5章 无约束最优化方法
约束问题的最优化方法
可用于处理等式约束。
§5.3 外点惩罚函数法
三. 几个参数的选择：
r(0) 的选择:
r(0) 过大，会使惩罚函数的等值线变形或偏心，求极值困难。r (0) 过小，迭代次数太多。
建议 ：r0 max ru0 u 1,2,...m
其中：ru0
m gu
0.02 x0 f
x0
x(0) 的选择：
2
若均满足，停止迭代，有约束优化问题的最优点为 x* = xk*； 若有一个准则不满足，则令 x(0) xk * (r(k) ),r(k1) c r(k) , k k 1 并转入第 3 步，继续计算。
§5.2 内点惩罚函数法
算法框图
§5.2 内点惩罚函数法
四. 几个参数的选择： 1. 惩罚因子初始值 r(0) 的选择：
§5.1 引言
有解的条件： ① f(x) 和 g(x) 都连续可微； ② 存在一个有界的可行域； ③ 可行域为非空集； ④ 迭代要有目标函数的下降性和设计变量的可行性。
三. 间接解法的基本思想： 目的：将有约束优化问题转化为无约束优化问题来解决。
方法：以原目标函数和加权的约束函数共同构成一个新的目标函数
（略） 2. 数学模型：
设计变量 ： X x1,x2 T t f ,h T
目标函数 ： min. f x 120x1 x2
单位长度的质量
§5.2 内点惩罚函数法
约束函数 ： g1x x1 0 g 2 x x2 0 g3 x 1 0.25x2 0
g4
x
1
7 45
x1x2
0
g5
x
§5.3 外点惩罚函数法 (衰减函数法）
一. 基本思想：
外点法将新目标函数 Φ( x , r ) 构筑在可行域 D 外， 随着惩罚因子 r(k) 的不断递增， 生成一系列新目标函数 Φ(xk ,r(k))，在可行域外逐步迭 代，产生的极值点 xk*(r(k)) 序 列从可行域外部趋向原目标函 数的约束最优点 x* 。
用最速下降法求解无约束非线性规划问题
运筹学实习报告姓名： xxxxxxxxxx 学号： xxxxxxxxxxx 专业班级： xxxxxxxxxxxx 2 0 1 3年 7 月 0 4 日题目：用最速下降法求解无约束非线性规划问题 摘要：无约束最优化问题的求解方法分为解析法和直接法两大类。
解析法需要计算函数的梯度，其中最速下降法就属于解析法中的一种。
对于一个无约束非线性规划利用最速下降法求解，首先需要确定其优化方向，此优化方向应该选择为f 在当前点处的负梯度方向，利用一维搜索法找出沿此方向上的最小值及其对应点，此后将该点作为新的出发点重复上述过程，直到达到允许的误差为止。
本文通过理论的计算方法，进一步分析，最后用c++编程实现求出允许误差内的最优解。
此编程可用于计算符合下列形式的函数求最优解过程：f(x)=a[0]x1*x1+a[1]x2*x2+a[2]x1*x2+a[3]x1+a[4]x2+a[5]其中：a[i] (i=0,1,2,3,4,5) 为函数的系数。
本文以“ 李占利 主编，中国矿业大学出版社出版”的《最优化理论与方法》 第五章 “无约束最优化方法，5.1 最速下降法 ”例5—1为实例，首先利用上述迭代的方法，计算出各迭代点的函数值，梯度及其模。
然后应用c++语言编程，得到在精度范围内的精确最优解。
C++编程计算的最优解为 : T x x ]0329218.0,00823045.0[)3(*-==。
即转化为分数结果为：⎥⎦⎤⎢⎣⎡-==412432)3(*x x 。
满足精度要求的模为：1010736154.0||||)3(=<=εp 。
关键词：无约束非线性规划 解析法 最速下降法 梯度 模 最优解一、算法思想无约束最优化方法中的最速下降法首先需要确定其优化方向，此优化方向应该选择为f 在当前点处的负梯度方向，利用一维搜索法找出沿此方向上的最小值及其对应点，此后将该点作为新的出发点重复上述过程，直到达到允许的误差为止。
西南交大运筹学《无约束最优化方法》
运筹学Operations Research无约束最优化方法西南交通大学经济管理学院§1.最速下降法§2.Newton法§3.共轭梯度法§4.变尺度法§5.直接法)()()()(0)(,,1,P o P X f X f P X f X f X f P E P T k k k k kn λλλ+∇+=+≠∇=∈非零：处的梯度它在是连续可微的函数即是单位向量设P X f o P X f X f P X f P f P X X f T k T k k k k)()()(lim )()(lim )(00∇=+∇=−+=∂∂→→λλλλλλλ的方向导数为：处关于方向在点k k k k T k kk T k X f P X f P X f P X f P P X f θθθcos )(cos )()()()(∇=⋅∇=∇∇∇之间的夹角，则和为。
记就是使下降最快的方向取最小的使处的最速下降方向。
在点通常把它叫做下降最快的方向。
出发使是从点时，上式最小，所以可知，当k kk k k X f f X X f P )(:−∇==πθ下降的搜索方向。
再去寻找使处不需要在点这时的点局部最优解的必要条件的已是满足的驻点。
是，则若f X X f X X f k k k k ,,)NP (0)(=∇:,)(,,,;,,,,,1的最佳步长，即作为点最小的确定使来的一维搜索即通过在负梯度方向上最佳步长方法采用振荡的情况。
所以一般在极值点附近出现来回则若步长选得大计算次数较多则收敛慢长选得小若步。
选择用固定步长时还要确定步长方向之后在选定了搜索得到下一个近似点为了由点＋kk k k X X f X X λλ))((min ))((0kk k k k X f X f X f X f ∇−=∇−>λλλ§1.最速下降法)()()()()(0)()()()()())(()()()(21)()()())((2k k T k k T k k k k T k k T k k k k k T k kT k k k k X f X H X f X f X f X f X H X f X f X f d X f X df X f X H X f X f X f X f X f X f ∇∇∇∇==∇∇+∇−∇=∇−∇∇+∇∇−≈∇−λλλλλλλλ得：求导并令其等于零，则对§1.最速下降法Step1.。
约束问题的最优化方法
m
⑤ .Φ ( x, r ) = f ( x) − r ∑ ln[− g u ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0 ) > r (1) > ....r ( k )
0< c <1
r ( k −1) ⋅ c = r ( k )
xk * → x *
当lim r ( k ) → 0
x ∈ D ⊂ Rn s.t. g u ( x ) ≥ 0, u = 1,2,..., p hv ( x ) = 0, v = 1,2,..., q min F ( x )
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
其中：g u ( x) ≥ 0, u = 1,2,...m
③ .Φ ( x, r ) = f ( x) − ∑ ru ( k )
(k ) u =1
m
1 g u ( x)
④ .Φ ( x, r ) = f ( x) + r
(k )
(k )
(k )
1 ∑ 2 u =1 [ g u ( x )]
m u =1
k →∞
则Φ ( x, r ( k ) ) → f ( x) ,
) x12 + x22 例： 用内点法求 min f ( x=
s.t. g ( x ) = 1 − x1 ≤ 0
的约束最优解。
2 解: 首先构造内点惩罚函数:φ ( x , r ) = x12 + x2 − r k ln( x1 − 1)
(k ) u =1 m
lim r2 H [hv ( x ( k ) )] = 0
无约束问题的最优化条件
即，在算法每次迭代中，求解信赖域子问题：
1 T min (d ) f ( xk ) g k d d Gk d 2
(k ) T
s.t
d hk
在信赖域算法中，信赖域半径 hk 采用自适应方式调整， 若
(k )
(d ) 与 f ( xk d ) 近似程度好，则 hk 尽可能取大，
T (0)
2)方向
d
(0)
(G( x )) f ( x ) 1, 3 2
(0) 1 (0)
T
3)求最优步长
x
(0) dFra bibliotek(0)代入目标函数得：
(1)
1 0 3 3 0 2 2
(0)
三、最速下降算法收敛性定理
定理 5 设 f C1 (一阶连续可微), S x f ( x ) f ( x0 )
有界，则由最速下降法得到的迭代点列 xk 具有如下性质： 1） 数列 f ( xk ) 严格单调下降； 2） xk 的任何极限点（聚点） x 都是 f ( x ) 的驻点，
T k 1
d k 0
5.3 牛顿法
自动化学院
一、牛顿迭代公式
牛顿法的基本思想是利用目标函数在当前迭代点 xk 处 的二次近似的极小点作为 f ( x ) 的近似极小点。
设 xk 是当前迭代点， 2 f ( xk ) 正定，
1 f ( x) f ( xk ) f ( xk ) ( x xk ) ( x xk )T 2 f ( xk )( x xk ) 2 1 (k ) T Q ( x) f ( xk ) f ( xk ) ( x xk ) ( x xk )T 2 f ( xk )( x xk ) 2
运筹学-约束最优化方法
若AT的各个行向量线性无 关.根据Kuhn-Tucker条件, 在该线性规划的最优点y* 处存在乘子向量x*≥0,使得
即Ax*=b 对偶规划约束条件 及(ATy*-c)T x*=0 线性规划互补松弛条件
29
5.1.3 一般约束问题的最优性条件
定理1.3.1 在上述问题中,若 (i)x*为局部最优解, 有效集I*={i|ci(x*)=0,i∈I}; (ii)f(x),ci(x)(1≤i≤m)在x*点可微; (iii)对于i∈E∪I*, 线性无关, 则存在向量l*=(l1*,· · · ,lm*)使得
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
19
例题(Fritz-John条件)
min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0 c2(x)=x1≥0 c3(x)=x2≥0 即
35
惩罚函数法
惩罚是手段，不是目的
KT条件中li*ci(x*)=0 称为互补松弛条件. 它表明li*与ci(x*)不能 同时不为0.
28
线性规划情形
对于线性规划问题 min f(y)=-bTy s.t. -ATy≥-c 其中 y∈Rm,A∈Rm×n, b∈Rm,c∈Rn 问题有n个约束条件. 各个约束条件关于y 的梯度为-AT的行向 量(-pi).
借助于Farkas引理,可推出存在li*≥0(i∈I*), 使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.
第五章 无约束优化方法
由（5.3）得 X (1) X (0) [H ( X (0) )]1 F ( X (0) ) 0 3 1
S (0) 1 4,10T 0.3714 ,0.9285 T 10.770329
2 2 例 5-3 试用牛顿法求例5-1给出的目标函数 f ( X ) x1 x2 x1 x2 4x1 10x2 60的极小值， ( 0) T 设初始点 X (0) [ x1(0) , x2 ] [0，0]。 2 f 2 f
f ( X ) f ( X ) T 解： f ( X ( 0) ) , 4,10 x 2 x1
(0)
6 8
H 1F
X (k ) X*
X
X (1) 6 8
T
(1)
X
S
( 0)
x1(1) 0 0.3714 0.3714 0.9285 (1) 0 0 . 9285 x2
f ( X ) f ( X ) T 解： f ( X ) , 2 x1 x 2 4,2 x 2 x1 10 x 2 x1 2 2 f ( X ( 0) ) f ( X ( 0) ) ( 0) 2 2 f ( X ) x x (4) (10) 10.770329 1 2
即为最优点，只迭代一次就达到了X*。
图5.8牛顿法的修正
• 5.3.2 牛顿法的特点
由上述可见，当目标函数为二次函数时，收敛很快，属于二阶收敛，是目前算法中最快的 一种。即使目标函数不是二次函数，当初始点选得好时，也会很快收敛。但如果目标函数 非凸，初始点选择不当有可能远离极小点或导致不收敛（图5.8）。基于这种原因，为保 证每次迭代下降，对古典的牛顿法要做些修改，于是便出现了修正牛顿法。其修正方法是 在 X ( k ) 沿牛顿方向做一次一维搜索，避免远离极小点 X (k 1) X (k ) k [H ( X (k ) )]1 F ( X (k ) )
无约束最优化的直接方法 最优化理论与算法 教学PPT课件
y( j1) y( j)
j:= j
3. 若j<n,则置j:=j+1,转步2,否则,进行步4.
22
2. Rosenbrock算法
4.若f ( y(n1) ) f (x(k) ),则令 y(1)= y(n+1)
置j=1,转步2.若 f ( y(n1) ) f ( y(1) ),则进行步5.
24
24
12
1 模式搜索法
j x(k )
y( j) f (y( j))
x(2) 0 (1,1) 0 1 (1,1) 0
2 (1,1)
y( j) + ej f ( y( j) + ej) y( j) - ej f ( y( j) - e j)
(5 ,1) 1165 1.64 4 256
( 3 ,1) 1 5 1.02 4 256
给定初始点x(1),放大因子 1,缩减因子 (1,0)
给定初始搜索方向和步长.
14
2. Rosenbrock算法
设第k次迭代的初始点为x(k) ,搜索方向
d (1) , d (2) ,..., d (n)
它们是单位正交方向,沿各方向的步长为
1, 2 ,..., n
每轮探测的起点和终点用y(1) 和y(n+1) 表示. 令y(1) = x(k) ,开始第1轮探测移动
y(2) y(1) e1
并从y(2)出发,沿e2进行探测.
(1.2)
5
1.模式搜索法
若f ( y(1) e1) f ( y(1) ),则沿 - e1方向的探测失败,令
y(2) y(1)
(1.3)
5_常用无约束最优化方法
（5.4）
第 五 章 常 用 无 约 束 优 化 方 法
可以推出显式迭代公式． 设第k次迭代点为Xk，我们来求Xk+1的表达式．对式 （5.4）关于X求梯度，有
g ( X ) AX b
（5.5）
因此， gk g ( X k ) AXk b （5.6） 现在从Xk出发沿-gk作直线搜索以确定Xk+1，于是
对于问题（5.1），假定我们已经迭 代了k次，获得了第k个迭代点Xk．现 在从Xk出发，可选择的下降方向很多 ，一个非常自然的想法是沿最速下降 方向（即负梯度方向）进行搜索应该 是有利的，至少在邻近的范围内是这 样．因此，取搜索方向为:
Pk f ( X k )
为了使目标函数在搜索方向上下降最多，沿Pk进行一维 搜索，由此得到第k+1个迭代点，即 X k 1 X k t k f ( X k ) f ( X k tf ( X k )) 来确定。 其中步长tk因子由 f ( X k t k f ( X k )) min t 记为 X k 1 ls( X k , f ( X k )) 令k=0,1,2,... ，就可以得到一个点列（初始点可任意选 择）。当函数满足一定的条件时， 该点列必收敛于函 数的极小点。 为书写方便，记 g ( X ) f ( X ) ．故 g ( X k ) f ( X k ) ．在不发生 混淆时，再记 g k g ( X k ) f ( X k ) ．
第 五 章 常 用 无 约 束 优 化 方 法
0 8
2 x1 梯度表达式是 f ( X ) f ( x1 , x2 ) 8 x2
第 五 章 常 用 无 约 束 优 化 方 法
无约束优化理论发展较早，比较成熟，方法也很多， 新的方法还在陆续出现．把这些方法归纳起来可以分 成两大类：一类是仅用计算函数值所得到的信息来确 定搜索方向，通常称它为直接搜索法，简称为直接法， 另一类需要计算函数的一阶或二阶导数值所得到的信 息来确定搜索方向，这一类方法称为间接法（或解析 法）．直接法不涉及导数和Hesse矩阵，适应性强，但 收敛速度一般较慢；间接法收敛速度一般较快，但需 计算梯度，甚至需要计算Hesse矩阵．一般的经验是， 在可能求得目标函数导数的情况下还是尽可能使用间 接方法；相反，在不可能求得目标函数的导数或根本 不存在导数的情况下，当然就应该使用直接法．
无约束优化方法PPT课件-PPT精选文档
等式两边同乘 d
0
T
得
d Gd 0
0 T 1
fxa fx fx 0
k k T k k
k f x f x 0 k 1 T
d
k 1 T
dk 0
由此可知，在最速下降法中，相邻两个迭代点上 的函数梯度相互垂直。而搜索方向就是负梯度方 向，因此相邻两个搜索方向互相垂直。
第四章
无约束优化方法
第一节 概述
从第一章列举的机械设计问题，大多数实际问题 是约束优化问题。 约束优化问题的求解——转化为一系列的无约束 优化问题实现的。
因此，无约束优化问题的解法是优化设计方法 的基本组成部分，也是优化方法的基础。
无约束优化问题的极值条件
f x* 0
解析法(间接解法)
4.3.2 阻尼牛顿法 牛顿法的缺陷是，在确定极值点的过程中，并不含有沿 下降方向搜索的概念。因此对于非二次型函数，在迭代过 k 1 k 程中，可能出现 f( X )f( X )
的现象。为此人们提出了所谓的阻尼牛顿法。
令
k d H ( X ) f ( X ) k
1 k
以上二种经典方法中，人们不断努力，发掘，提出了不
同的改进方法。
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。
一、共轭方向的概念 共轭方向的概念是在研究二次函数
1T T f x x bx c xG 2
时引出的。 首先考虑二维情况
数值法(直接解法)
第五章约束问题的最优化方法
g1 ( x) [ 1 , 1 ]T
g2 ( x) x1 ,
g2 ( x) [ 1 , 0 ]T 。
g3 ( x) x2 ,
g3 ( x) [ 0 , 1 ]T 。
18
由K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
第七讲 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件
1、约束极值问题的表示 min f ( x ) hi ( x ) 0 i 1 , 2 ,, m s .t . g j ( x ) 0 j 1 , 2 , , l
8
2 g3 ( x ) 0。 2
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向?
9
定理1:
给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 I ( x )。 给 定 向 量 d ， 如果对任意的 i I ( x ) 有 gi ( x )T d 0 , 则 d 是 点 x 的 可 行 方 向 。
则 向 量d 是 点 x 处 的 可 行 下 降 方 向 。
证略
③极值点的必要条件: 定理3:
设 x* Q， I ( x*)是其积极约束指标集。
f ( x) 和 gi ( x) (i I ( x*)) 在点x * 处可微，
无约束最优化的常用方法
⽆约束最优化的常⽤⽅法11/22/2017 12:40:56 PM优化问题在很多领域有着重要的应⽤。
为了⽇后查阅⽅便，本⽂列举常见的⽆约束优化⽅法的计算公式。
需要说明的是，本⽂的⼤部分内容选⾃图书《算法笔记》。
⼀、梯度下降法梯度下降法（Gradient Descent Method）也叫做最速下降法（Steepest Descent Method），因为负梯度是函数局部下降最快的⽅向。
梯度下降梯度下降法的迭代格式为x k+1=x k−αk∇f(x k)梯度下降法⾮常简单，只需要知道如何计算⽬标函数的梯度就可以写出迭代格式。
因此，尽管在不少情况下梯度下降法的收敛速度都很慢，也依然不影响它在⼯业界的⼴泛应⽤。
梯度下降法应⽤到⼀些具体模型上有时也会被视作⼀类特定的算法，例如神经⽹络中的后向传导算法（Back Propagation Algorithm）。
随机梯度下降在机器学习中经常有f(x)=∑m i=1ℓi(x)，其中ℓi(x)是第i个训练样本的损失函数。
这时我们可以使⽤随机梯度下降法（Stochastic Gradient Descent Method）。
其迭代格式为x k+1=x k−αk∇ℓr(x k)其中r∈1,2,⋯,m为随机数。
这种做法可以理解为随机选择⼀个训练样本，进⾏⼀次梯度下降的训练。
在机器学习的问题中，我们通常不需要真的求得最优值，这样不精确的迭代，使得算法不容易过拟合。
由于随机梯度下降法的普及，与此相对的梯度下降法有时被称为批量梯度下降法（Batch Gradient Descent Method），因为它同时考虑所有训练样本。
介于批量梯度下降法和随机梯度下降法之间，还有⼩批量梯度下降法（Min-Batch Gradient Descent Method），也就是每次迭代选择若⼲个训练样本。
步长αk的选取梯度下降法可采⽤BB步长（Barzilai Borwein）。
BB步长有两个计算公式，选择其⼀即可。
无约束最优化2009工研
搜索方向替换的判别准则
搜索方向替换的判别准则
搜索方向替换的判别准则
搜索方向替换的判别准则
搜索方向替换的判别准则
搜索方向替换的判别准则
搜索方向替换的判别准则
搜索方向替换的判别准则
搜索方向替换的判别准则
缺点 收敛速度慢，仅线性收敛，会 出现锯齿现象； 不具有二次终止性。 局部收敛，可能不收敛，和初 始点有关。 需要计算 Hesse 矩阵及其 逆矩 阵，计算量大，存贮量大。 不需要计算 Hesse 矩阵及其 逆 矩阵； 存贮量小，适合大型优化问 题，尤其在最优控制中。
对于大型问题，存储量比共轭 梯度法大； 公式复杂。
无约
束最
优化
方法
使
最速下降法
用
牛顿法
导
共轭梯度法
数
拟牛顿法
不
模式搜索法
使
Rosenbrock法
用
单纯形搜索法
导
Powell方法
数
Powell 方法（1964） (方向加速法）
Powell 方法
Powell 方法
Powell 方法
Powell 方法
Powell 方法
Powell 方法
搜索方向
最 速 下 降 法
最 速 下 降 法
最 速 下 降 法
最 速 下 降 法
最 速 下 降 法
最速下降法
最速下降法
最速下降法
最 速 下 降 法
最 速 下 降 法
Questions
最 最速下降法收敛吗？ 速 若收敛，收敛速度是多少？ 下 降 法
最速下降法
最速下降法
最 速 下 降 法
方 向 法
共 轭 方 向 法
5 常用无约束最优化方法PPT课件
优 化
又因 g(Xk1)Tgk0，再结合式（5.5）、（5.6）、（5.7）来自方可得法
[A (X ktkgk)b]Tgk0 或 [gktkAkg ]Tgk0
由此解出
tk
g
T k
g
k
g
T k
Ag
k
代入式（5.7）中得到
Xk1 Xk ggkTkTAgkgk gk （5.8）
第 五 章
例5.1 试用最速下降法求函数 f(x1,x2)x1 24x2 2的极小 点．迭代两次，计算各迭代点的函数值，梯度及其模， 并验证相邻两个搜索方向是正交的．设初始点
常 用 无
为 X0 [1,1]T． 解 与式（5.4）比较，得
A
2 0
0 8
约
束 优
梯度表达式是 f(X)f(x1,x2)82xx21
化 方
由 X0 [1， 1]T ，计算出
法
f(x0)124125
2 g0 f (X0)8 || g0 ||8.24621
因为目标函数是二次的，可以使用式（5.8），所以有
束
计算梯度，甚至需要计算Hesse矩阵．一般的经验是，
优
在可能求得目标函数导数的情况下还是尽可能使用间
化
接方法；相反，在不可能求得目标函数的导数或根本
方
不存在导数的情况下，当然就应该使用直接法．
法
5.1 最速下降法
为求问题（5.1）的最优解，按最优化算法的基本思想
是从一个给定的初始点 X 0 出发，通过基本迭代公式
化
无约束优化方法是优化技术中极为重要,它不仅可以直
方
接用来求解无约束优化问题，而且很多约束优化问题
法
也常将其转化为无约束优化问题，然后用无约束优化
无约束最优化
无约束最优化绪论人们总是尽可能的找优化方法，航空公司合理安排时刻表，工作人员和飞行器，使支出最小。
投资者寻找投资组合，避免风险，从而获得更高的回报。
生产商在设计和操作方面使他们的操作过程效率最大化。
自然优化，物理系统使一个系统趋向能量最小的状态，分子在一个隔离的化学系统中相互反应直到电子能量总和最小。
光线跟随着一定的路径，使传播的时间最小。
最优化问题在工程技术和科学研究中是一个重要的工具。
为了使用最优化，必须定义一个目标，选取决策变量的值，使函数值取得最大值或者最小值。
这个目标可以用一个简单的数值代表（比如利润、时间、势能或者任何一个组合变量）。
这个目标取决于系统特征，称为变量或者未知量。
我们的目标是求出使目标函数最优的一个值。
这些变量可以是受限的也可以是不受限的。
同样，分子中的电子量和贷款的利率不可能是负数。
对于一个给定的问题，定义目标函数和变量约束条件的时候可以认为是一个最优化问题模型，适当的模型约束条件是第一步也是最重要的一步。
如果模型太简单就不能给实用问题一个有用的解，太复杂就解不出来解了。
一旦模型有了公式表达，最优化算法就可以得到解决。
通常算法和模型可以复杂到连计算机都不能算出整个最优化过程，然而仍然有很多算法可以处理实际问题。
通常由用户选择合适的算法来应用于他们的问题，这个选择很重要，它决定着是否可以很快的解决问题，决定着能否建立解决方案。
一个优化算法是否能用取决于它是否能在一个模型中得到一个确切的解。
很多时候，我们利用决策变量把问题的条件表示成等式或不等式，称为约束条件。
如果约束条件不满足问题，则通常利用给出的信息来估计这个问题是否可以改善。
最后，可以在例如灵敏性分析的应用技术来改善模型和数据。
数学公式在数学中，优化就是在约束条件下求出变量的值，使目标函数取得最大值或者最小值。
我们采用以下符号：X：未知变量F : 目标函数Ci ：约束条件约束问题可以写成********************************************** 式（1.1）其中f 、c 是关于x的函数，Г、ε为指标集。
无约束最优化解析法
是正定矩阵。
Page 13
上一页 下一页 返回
X
(1)
=X
(0)
+p
(0)
2 −2 0 = + = . 2 −2 0
(1)
0 ∇f ( X ) = . 0
∇f ( X (1) ) < ε .
停止迭代， 停止迭代，并输出 X
Page 11
2. 算法步骤 第1步: 选取初始点 X ( 0 ) ∈ R n , 精度ε > 0 , 令k:=0 第2步: 终止性判断 计算∇ f ( X ( k ) ), 则停, 若|| ∇ f ( X ( k ) ) || ≤ ε , 则停 得
X * ≈ X ( k ) 否则 转第 步 否则,转第 转第3步
2
Page 18
上一页 下一页 返回
故有
∇f ( X
(0)
1 2 4 2 (0) ) = ,∇ f (X ) = . −1 2 2
−1
X
( k +1)
=X
(k )
− ∇ f ( X
2 2
(k )Biblioteka ) ⋅∇f ( X ( k ) ) = 0. ) ⋅∇f ( X ( k ) )
−1
(11.3.7) (11.3.8) (11.
上一页 下一页 返回
p = − ∇ f ( X
k
(k )
X ( k +1) = X ( k ) + p ( k ) .
Chapter 5 无约束最优化的解析法
5.1 最速下降法 5.2 牛顿法 5.3 共轭梯度法 5.4 变尺度法
上一页 下一页 返回
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.3.2牛顿法的特点与收敛性
牛顿法优点：牛顿法具有二阶收敛速度。对二次正定函数，仅 需一步迭代即可达到最优解，具有二次终结性。
牛顿法缺点：
（1）牛顿法是局部收敛的，即初始点选择不当，可能会导致不 收敛；
（2）牛顿法不是下降算法，当二阶Hesse阵非正定时，不能保证
是下降方向； （3）二阶Hesse阵必须可逆，否则算法将无法进行下去； （4）对函数分析性质要求苛刻，计算量大，仅适合小规模优化 问题。 由于牛顿法有良好收敛速度，人们对它的缺点进行了多方面改 进和修正。
5.2共轭梯度法
共轭梯度法最初由Hesteness和Stiefel于1952年为求解线
首先提出了求解无约束最优化问题的共轭梯度法。
性方程组而提出，1964年Fietcher和Reever在此基础上，
共轭梯度法的基本思想：把共轭性与最速下降法相结 合，利用已知点处的梯度构造一组共轭方向，并沿这 组方向进行一维搜索，求出目标函数的极小点。
模式搜索：沿相邻两个基点连线方向进行，试图顺着“山谷”
5.5.3步长加速法的计算步骤
5.6旋转方向法
5.6.1旋转方向法的基本思想
5.6.2旋转方向法的搜索过程
5.6.3旋转方向法的计算步骤
5.9最小二乘法
5.9.1线性最小二乘问题
5.9.2 非线性最小二乘问题
5.1.3 最速下降法的收敛性
由定理5-1知，在最速下降法中，前后两次的搜
索方向垂直（见图5-1）。
锯齿形的搜索轨迹使最速下降法效率低下。
最速下方向反映了目标函数的一种局部性质。从 局部看，最速下降方向的确是函数值下降最快的 方向，选择这样的方向进行搜索是有利的， 从全局看，由于锯齿现象的出现，当在极小点附 近时，即使向着极小点移动不太大的距离，也要 经历不少的弯路，从而使收敛速度大为减慢。
过比较目标函数值的大小来移动迭代点。
一般来说，无约束最优化问题的求解是通
过一系列一维搜索来实现。
如何选择搜索方向是求解无约束最优化问
题的核心问题，搜索方向的不同选择，形 成不同的求解方法。
5.1最速下降法
5.1.1 最速下降法原理
5.1.2 最速下降法的计算步骤
clear syms x1 x2; %定义符号变量 fx=2*x1^2+x2^2; %定义符号函数 X0=[1,1]; %初值 g=jacobian(fx,[x1,x2]); %求符号函数的梯度 H=jacobian(g,[x1,x2]); %求符号函数的海塞矩阵 x1=X0(1,1);x2=X0(1,2); %赋初值 g0=eval(g);H0=eval(H); %求符号函数在x1=1、x2=1梯度、海塞矩阵 k=0; fprintf('\n') while norm(g0)>eps %停机判断条件 lamda=g0*g0‘/(g0*H0*g0’); %求lamda fprintf(' k=%2d, lamda=%19.16f, x1=%19.16f, x2=%19.16f, fx=%19.16f, norm(p)=%19.16f\n', k,lamda,x1,x2,eval(fx),norm(g0)) X0=X0-lamda*g0; x1=X0(1,1);x2=X0(1,2); g0=eval(g);H0=eval(H); k=k+1; end
5.9.3 非线性最小二乘问题的阻尼Causs-Newton法计 算步骤
基本思想从几何上讲，就是寻找具有较小函数值的“山谷”，
力图使迭代产生的序列沿“山谷”逼近极小点。
5.5.2步长加速法的搜索过程
步长加速法由“探测移动”和“模式搜索”两个交替的动作构 成。
探测移动：依次沿n个坐标轴进行，用以确定新的基点和有
利于函数值下降的方向。
使函数值下降的更快（见图5-4）。
5.2.4 非二次函数的共轭梯度法
5.2.5 共轭梯度法的收敛性
5.3牛顿法
对一维搜索方法中的牛顿法加以推广，就得
到了求解无约束优化问题的牛顿法。
该方法具有收敛速度快的特点，
在牛顿法基础上的改进算法如阻尼牛顿法在
实际中被广泛应用。
5.3.1牛顿法原理
利用二次函数近似目标函数。
该方法具有收敛速度快、存储空间小等特点，尤其是 对于正定二次函数能在有限步内达到极小点，即具有 二次终结性。
5.2共轭梯度法
5.2.1 共轭方向与共轭方向法
你能找到 A共轭方向吗？
P(0)和p(1)正交吗？
（5-2）
5.2.2 正定二次函数的共轭梯度法
5.2.3 共轭梯度法的计算步骤
5.3.3 牛顿法的改进
1. 阻尼（广义）牛顿法
2.Goldstein-Price方法
5.4 变尺度法
5.4 .1 变尺度法原理
5.4 .2 DFP变尺度法
5.4 .3 BFGS变尺度法与初始尺度矩阵的修正
5.4 .4变尺度法的计算步骤
使用MATLAB软件实现DFP算法
最速下降法不仅简单，而且具有全局收敛性，
并且是线性收敛的。
为避免锯齿现象对收敛速度的影响，在计算初 期可使用最速下降法，在迭代一段时间以后， 改用其它更有效的方法，如牛顿法等。
对一般的下降算法，只要搜索方向与迭代点处 的负梯度方向的夹角小于90°，使用精确一维 搜索和不精确一维搜索在一定的条件下，可以 证明下降算法具有全局收敛性。
第5章 无约束最 优化方法
5.1最速下降法
5.2共轭梯度法
主 要 内 容
5.3牛顿法
5.4变尺度法
5.5步长加速法
5.6旋转方向法
5.7方向加速法
5.8信赖域方法
5.9最小二乘法
无约束最优化问题的求解方法：解析法和
直接法。
解析法需要计算函数的梯度，直接法仅通
例5-5 最优解搜索过程
例5-5 三维图
5.4 .5 变尺度法的性质与收敛性
5.5步长加速法
解析法：最速下降法、共轭梯度法 、牛顿法 和变尺度
法需要计算目标函数的梯度。 直接法：不需要求目标函数的梯度。
5.5.1步长加速法的基本思想
又称模式搜索法（Pattern Search Method）。 由胡克（Hooke）和基夫斯（Jeeves）于1961年提出的。 它不仅易于编制计算机程序，而且具有追循谷线加速移向最优 点的性质。