常用无约束最优化方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
都但有大多f (数X *最) 优f化(X方) 法则只点能X*求就到是局问部题最的优全点局,最即优在点Rn.中找到一点X*,使得
上述不等式在X*的某个领域中成立. 这个矛盾对于实际问题一般容易解决.根据问题的实际意义多半可以判 定用优化方法求出的局部最优解是否为全局最优解. 而在理论上这是个比较复杂的问题,本书不涉及. 无约束优化方法是优化技术中极为重要和基本的内容之一. 它不仅可直接求解无约束优化问题,而且很多约束优化问题也常转化为 无约束优化问题,然后用无约束优化方法来求解. 另,有些无约束优化方法只略加处理,即可求解约束优化问题. 无约束优化理论发展较早,比较成熟,方法也很多,新的方法还在陆续出 现.把这些方法归纳起来可以分成两大类: 一类是仅用计算函数值所得到的信息来确定搜索方向,通常称它为直接 搜索法,简称为直接法, 另一类需要计算函数的一阶或二阶导数值所得到的信息来确定搜索方 向,这一类方法称为间接法(解析法). 直接法不涉及导数、Hesse矩阵,适应性强,但收敛速度较慢; 间接法收敛速度快,但需计算梯度,甚至需要计算Hesse矩阵. 一般情况是,在可能求得目标函数导数时尽可能用间接方法; 在不能求目标函数导数或根本不存在导数时就使用直接法.
其中[tkA是( X最k 优tk g步k )长 b因]T 子gk .有0 或 [gk tkQgk ]T gk 0
得: 由此解出:
t
k
g
T k
g
k
g
T k
Qgk
从而得到
X k 1
Xk
g
T k
g
k
g
T k
Qgk
Leabharlann Baidu
gk
即为最速下降法用于二次函数的显式迭代公式.
例5.1(P ) 试迭交用代的最两.设速次初,下计始降算点法各为求迭函代数点的函数f值(,x梯1,度x及28)9其模的x,12并极验小4证点x2相2. 邻两个搜索方向是正
f (X
tf (
k ))
X
k
))
显然,令k=0,1,......就可以得到一个点列X 0 , X1, X 2
其中X0是初始点,由计算者任意选定. 当f (X )满足一定的条件时,上面所产生的点列{Xk}必收 敛于的极小点.
以后为书写方便,记 g(X ) f (X )
因此, g(X k ) f (X k )
准⑶则当:算法fk1涉fk f及k 到1梯, X度kX1 时k X,k可用1 下并列要准求则: fk 2, Xk 2
|| f (Xk)||< ε3 通常 ε1 = ε2 =10-5、 ε3 =10-4
对于无约束§最优5.化1 问最题的速求下解降,按法最优化算法的基本思想
是 Xk从+1=一X个k+t给kP定k,按的照初特始定点的X0算出法发A,通产过生基一本串迭点代列格{X式k},如果 此点列收敛,则其极限点为所求的最优解.
第五章 常用无约束最优化方法
§5.1 §5.2 §5.3 §5.4 §5.5 §5.6 §5.7 §5.8
内容
最速下降法 Newton法 修正Newton法 共轭方向法 共轭梯度法 变尺度法 坐标轮换法 单纯形法
引言
本章讨论多维无约束最优化问题:min f (X) 其中 f：Rn R1
它的求解是指,在Rn中找一点 X*,使得对于任意的 X Rn
⑴分这此证所其⑵严小 样 准 以 中 格|当当|X时可则要f了第fkkk-=的X用是增,,kfX即(次*值Xk不 加|||可满|迭kX充或)完 条,k作足代分-代XfXk全 件为上k+点小k分1终+可:=最述1X|,量f||这止(靠|fkX优准<k与的-时εk的准f解+则1但k最值1作函+,)则1,因就实优与|为数|<为要(际解1迭Hε值相1,用计X准就代|的|*比很X算充比则终差k很多-中分较X止|)|大计kfX靠可(+准X*1时算是近|靠k|则充),.-未,上此了f即,(分X知述时,|k|小X+的准可1k并)-.|则用X|很不*就下|大能|充太列,保
目标函数为正定二次函数的最速 设正定二次函数 f (X下) 降12 法X T AX bT X c 第k次迭代点为Xk
求 Xk+1的表达式.
f(X)关于X 求梯度: g(X)=AX+b
gk= g(Xk+1)=
AXk+1+b
X k1 X k tk gk
现在从Xk出发沿-gk作直线g搜(X索k1以)T 确gk 定 0Xk+1:
一、最速下降法基本原理
在 目基标本函迭数代f(X格)的式负X梯k+1度=X方k+向tkP,即k中P,k每=-次f 迭(X代k) 搜,而索每方次向迭P代k取 的步长tk取最优步长,由此所确定的算法A称为最速下降 法. 如图所示, 假经过k次迭代得到第 k个迭代点 Xk. 现 一在个从非常Xk自出然发的,可想选法择是的沿下最降速方下向降很方多向,
开始
⑶检测是否满足终止准则.
选定X0
若满足,
计算f0= f(X0) , g0=
则打印最优解Xk+1,f(Xk+1)停机; 否则, 置 k= k+1转(2).
直线搜索g(X:X0)= ls(X0-
g0) 计算 f= f(X) ,g= g(X)
输 出
X,
最速下降法算法流程图
满足终 止准则
N
Yf 结
X0= X , f0= f , g0= g 束
解 其中
2 0
由由降二法次的X函迭0 数代A11最公速式f0下有(x08)
梯度表达式是
12 4 12 5
g0
f
f
X 0 [1, 1]T
( X ) f (
2 (X 0 ) 8
(即负梯度方向)进行搜索应该是有利的, 至少在 Xk邻近的范围内是这样.
为了使目标函步数长在因搜子索方的向确上定获得最多的下降,沿Pk进
行一维搜索,由此得到第k+1个迭代点
即Xk+1=Xk+tkPk,其中步长因子tk按下式确定
f (Xk
记为 X
tkf (X
k1 ls
k ))
(Xk
min
t
,
f (Xk
在不发生混淆时,再记 gk g(X k ) f (X k )
已知目标二函、数最f(速X)及下其降梯法度迭g代(X)步,终骤止限ε1、ε2和ε3 .
⑴选定初始点 X0 ,计算f0= f(X0) , g0= g(X0) ;置 k= 0.
⑵作直线搜索:Xk+1 = ls(Xk-gk); 计算 fk+1= f(Xk+1) ,gk+1= g(Xk+1) .
上述不等式在X*的某个领域中成立. 这个矛盾对于实际问题一般容易解决.根据问题的实际意义多半可以判 定用优化方法求出的局部最优解是否为全局最优解. 而在理论上这是个比较复杂的问题,本书不涉及. 无约束优化方法是优化技术中极为重要和基本的内容之一. 它不仅可直接求解无约束优化问题,而且很多约束优化问题也常转化为 无约束优化问题,然后用无约束优化方法来求解. 另,有些无约束优化方法只略加处理,即可求解约束优化问题. 无约束优化理论发展较早,比较成熟,方法也很多,新的方法还在陆续出 现.把这些方法归纳起来可以分成两大类: 一类是仅用计算函数值所得到的信息来确定搜索方向,通常称它为直接 搜索法,简称为直接法, 另一类需要计算函数的一阶或二阶导数值所得到的信息来确定搜索方 向,这一类方法称为间接法(解析法). 直接法不涉及导数、Hesse矩阵,适应性强,但收敛速度较慢; 间接法收敛速度快,但需计算梯度,甚至需要计算Hesse矩阵. 一般情况是,在可能求得目标函数导数时尽可能用间接方法; 在不能求目标函数导数或根本不存在导数时就使用直接法.
其中[tkA是( X最k 优tk g步k )长 b因]T 子gk .有0 或 [gk tkQgk ]T gk 0
得: 由此解出:
t
k
g
T k
g
k
g
T k
Qgk
从而得到
X k 1
Xk
g
T k
g
k
g
T k
Qgk
Leabharlann Baidu
gk
即为最速下降法用于二次函数的显式迭代公式.
例5.1(P ) 试迭交用代的最两.设速次初,下计始降算点法各为求迭函代数点的函数f值(,x梯1,度x及28)9其模的x,12并极验小4证点x2相2. 邻两个搜索方向是正
f (X
tf (
k ))
X
k
))
显然,令k=0,1,......就可以得到一个点列X 0 , X1, X 2
其中X0是初始点,由计算者任意选定. 当f (X )满足一定的条件时,上面所产生的点列{Xk}必收 敛于的极小点.
以后为书写方便,记 g(X ) f (X )
因此, g(X k ) f (X k )
准⑶则当:算法fk1涉fk f及k 到1梯, X度kX1 时k X,k可用1 下并列要准求则: fk 2, Xk 2
|| f (Xk)||< ε3 通常 ε1 = ε2 =10-5、 ε3 =10-4
对于无约束§最优5.化1 问最题的速求下解降,按法最优化算法的基本思想
是 Xk从+1=一X个k+t给kP定k,按的照初特始定点的X0算出法发A,通产过生基一本串迭点代列格{X式k},如果 此点列收敛,则其极限点为所求的最优解.
第五章 常用无约束最优化方法
§5.1 §5.2 §5.3 §5.4 §5.5 §5.6 §5.7 §5.8
内容
最速下降法 Newton法 修正Newton法 共轭方向法 共轭梯度法 变尺度法 坐标轮换法 单纯形法
引言
本章讨论多维无约束最优化问题:min f (X) 其中 f：Rn R1
它的求解是指,在Rn中找一点 X*,使得对于任意的 X Rn
⑴分这此证所其⑵严小 样 准 以 中 格|当当|X时可则要f了第fkkk-=的X用是增,,kfX即(次*值Xk不 加|||可满|迭kX充或)完 条,k作足代分-代XfXk全 件为上k+点小k分1终+可:=最述1X|,量f||这止(靠|fkX优准<k与的-时εk的准f解+则1但k最值1作函+,)则1,因就实优与|为数|<为要(际解1迭Hε值相1,用计X准就代|的|*比很X算充比则终差k很多-中分较X止|)|大计kfX靠可(+准X*1时算是近|靠k|则充),.-未,上此了f即,(分X知述时,|k|小X+的准可1k并)-.|则用X|很不*就下|大能|充太列,保
目标函数为正定二次函数的最速 设正定二次函数 f (X下) 降12 法X T AX bT X c 第k次迭代点为Xk
求 Xk+1的表达式.
f(X)关于X 求梯度: g(X)=AX+b
gk= g(Xk+1)=
AXk+1+b
X k1 X k tk gk
现在从Xk出发沿-gk作直线g搜(X索k1以)T 确gk 定 0Xk+1:
一、最速下降法基本原理
在 目基标本函迭数代f(X格)的式负X梯k+1度=X方k+向tkP,即k中P,k每=-次f 迭(X代k) 搜,而索每方次向迭P代k取 的步长tk取最优步长,由此所确定的算法A称为最速下降 法. 如图所示, 假经过k次迭代得到第 k个迭代点 Xk. 现 一在个从非常Xk自出然发的,可想选法择是的沿下最降速方下向降很方多向,
开始
⑶检测是否满足终止准则.
选定X0
若满足,
计算f0= f(X0) , g0=
则打印最优解Xk+1,f(Xk+1)停机; 否则, 置 k= k+1转(2).
直线搜索g(X:X0)= ls(X0-
g0) 计算 f= f(X) ,g= g(X)
输 出
X,
最速下降法算法流程图
满足终 止准则
N
Yf 结
X0= X , f0= f , g0= g 束
解 其中
2 0
由由降二法次的X函迭0 数代A11最公速式f0下有(x08)
梯度表达式是
12 4 12 5
g0
f
f
X 0 [1, 1]T
( X ) f (
2 (X 0 ) 8
(即负梯度方向)进行搜索应该是有利的, 至少在 Xk邻近的范围内是这样.
为了使目标函步数长在因搜子索方的向确上定获得最多的下降,沿Pk进
行一维搜索,由此得到第k+1个迭代点
即Xk+1=Xk+tkPk,其中步长因子tk按下式确定
f (Xk
记为 X
tkf (X
k1 ls
k ))
(Xk
min
t
,
f (Xk
在不发生混淆时,再记 gk g(X k ) f (X k )
已知目标二函、数最f(速X)及下其降梯法度迭g代(X)步,终骤止限ε1、ε2和ε3 .
⑴选定初始点 X0 ,计算f0= f(X0) , g0= g(X0) ;置 k= 0.
⑵作直线搜索:Xk+1 = ls(Xk-gk); 计算 fk+1= f(Xk+1) ,gk+1= g(Xk+1) .