最优化方法 信赖域算法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一
算法概述
二 三 四
信 赖 域 算 法
算法思想 算法流程 算法收敛性
五
子模型求解
一、方法概述
信赖域算法概述
线搜索方法是把一个复杂的最优化问题转化成一系列简 单的一维寻优问题。方法的核心思想是先寻找“理想” 的下降方向，然后在确定的方向上确定长度。
信赖域方法是把最优化问题转化为一系列相对简单的局 部寻优问题。方法能够对局部的所有方向进行“搜索”， 进而同时确定“局部最好”的前进方向及长度。
k . sk ,
定义比值：
给定信赖域方法模型子问题的解
f xk f xk sk Ared k rk qk 0 qk sk Pred k
它衡量模型函数
qk s 与目标函数 f x 的一致性程度。
二、算法思想
f xk f xk sk Ared k rk qk 0 qk sk Pred k
三、算法流程
信赖域方法流程 步骤1: 给出
x0 R n , 信赖域半径的上界 , 0 0, , 0, 0 1 2 1, 0 1 1 2 , k 0.
g k , 停止． 求解子问题得到 sk .
如果
T k
步骤2: 步骤3:
1 T min qk s f k g s s Gk s 2
s.t
s k
步骤4:
计算
f xk sk 和 rk , 令：
xk sk xk rk 1 others
xk 1
四、算法流程
步骤5: 校正信赖域半径，令：
k 1 0, 1 k
rk 越接近于１， 表明模型函数 qk ( s )与目标函数 f ( x )
一致性程度越好， 可以增大 k 以扩大信赖域(“更优”)。
rk 0 不接近于１， 可以保持 k 不变。
与目标函数 f ( x )的 rk 接近于零或取负值，表明 qk ( s)
一致性程度不好， 可以减小 k 以缩小 信赖域．
1 T min qk s f k g s s Gk s 2 s.t s k
T k
是Hesse阵 f xk
2
的近似
2 f xk 的计算，可以利用数值微分近似，也可以按
照多尺度方法(拟牛顿法)构造近似矩阵的方法进行近似。
二、算法思想 信赖域半径的选择
根据模型函数 qk s 与目标函数 f x 的逼近程度来调整 信赖域半径
以上方法只能保证算法的局部收敛性， 为了建立全局收敛性 算法，阻尼Newton法采用线搜索技术。但它没有进一步利 用导致算法快速收敛的二次函数逼近模型。
信赖域方法是另一种新的保证算法全局收敛的方法。在 迭代过程中不断利用二次函数模型对目标函数进行逐步 逼近。
二、算法思想
信赖域方法在每次迭代中给出一个小区域，称为信赖域， 这个信赖域一般是当前迭代点 xk 的一个小邻域。后在这 . 个邻域内求解一个带约束（信赖域约束）优化子问题， 得到“局部最优”位移 sk ，接着用某一评价函数来决 定是否接受该位移以及确定下一次迭代的信赖域。 如果试探步长被接受，则：
步骤6:
k 1 k , min 2 k , rk 2 产生 Gk 1 , 校正 qk (s), 令 k k 1, 转 步骤2
k 1 1 k , k
rk 1 rk [1 , 2 )
参数建议取：
1 0.01,2 0.75 , 1 0.5, 2 2, 0 1
k k
1 1 时, s所满足的不等式由Powell(1975)给出,信赖域方法 2 1 的收敛性主要是基于试探步满足当 1 2 时的不等式。
为了降低计算的复杂度，有时并不精确求解二次模型子
问题,而是计算满足上式的试探步。
四、算法收敛性
信赖域方法的收敛定理
1 0 设函数 f ( x) 在 R n上连续可微，如果对任意的k，
信赖域方法是否收敛？
模型子问题求解方法？
四、算法收敛性
信赖域方法的收敛性 定义柯西点
s k
c k
其中
k gk gk
T gk Gk g k 0,
1 3 k gk min g T G g ,1 k k k k
xk 1 xk sk
否则，
xk 1 xk
新的信赖域的大小取决于试探步的好坏，粗略地说， 如果试探步较好，下一步信赖域扩大或保持不变，否 则减小信赖域。
二、算法思想
信赖域方法的模型子问题
其中
s x xk , g k f xk , Gk k 0
为信赖域半径．
二、算法思想 信赖域算法特点
这种方法既具有牛顿法的快速局部收敛性，又具有
理想的全局收敛性。 不要求目标函数的Hesse阵是正定的。 利用了二次模型来求修正步长， 使得目标函数的下降比
线性搜索方法更有效。
由于步长受到使Taylor展开式有效的信赖域的限制，
故方法又称为有限步长法。
������3
������1
������2
二、算法思想 信赖域算法基本思想 牛顿法的基本思想是在迭代点
T k
逼近精度？
xk
附近用二次 函数逼近 并以
1 T f x qk s f k g s s Gk s, s x xk 2
的极小点 sk 修正
qk s
xk , ,
T k
柯西点是可行点，且平行于目标函数的负梯度方向。
可以证明，柯西点可以带来二次模型一定量的下降。
四、算法收敛性
二次模型子问题中的精确解, 近似解, Cauchy点均满足:
gk q 0 q sk 1 g k min k , 1 0,1 Gk
算法概述
二 三 四
信 赖 域 算 法
算法思想 算法流程 算法收敛性
五
子模型求解
一、方法概述
信赖域算法概述
线搜索方法是把一个复杂的最优化问题转化成一系列简 单的一维寻优问题。方法的核心思想是先寻找“理想” 的下降方向，然后在确定的方向上确定长度。
信赖域方法是把最优化问题转化为一系列相对简单的局 部寻优问题。方法能够对局部的所有方向进行“搜索”， 进而同时确定“局部最好”的前进方向及长度。
k . sk ,
定义比值：
给定信赖域方法模型子问题的解
f xk f xk sk Ared k rk qk 0 qk sk Pred k
它衡量模型函数
qk s 与目标函数 f x 的一致性程度。
二、算法思想
f xk f xk sk Ared k rk qk 0 qk sk Pred k
三、算法流程
信赖域方法流程 步骤1: 给出
x0 R n , 信赖域半径的上界 , 0 0, , 0, 0 1 2 1, 0 1 1 2 , k 0.
g k , 停止． 求解子问题得到 sk .
如果
T k
步骤2: 步骤3:
1 T min qk s f k g s s Gk s 2
s.t
s k
步骤4:
计算
f xk sk 和 rk , 令：
xk sk xk rk 1 others
xk 1
四、算法流程
步骤5: 校正信赖域半径，令：
k 1 0, 1 k
rk 越接近于１， 表明模型函数 qk ( s )与目标函数 f ( x )
一致性程度越好， 可以增大 k 以扩大信赖域(“更优”)。
rk 0 不接近于１， 可以保持 k 不变。
与目标函数 f ( x )的 rk 接近于零或取负值，表明 qk ( s)
一致性程度不好， 可以减小 k 以缩小 信赖域．
1 T min qk s f k g s s Gk s 2 s.t s k
T k
是Hesse阵 f xk
2
的近似
2 f xk 的计算，可以利用数值微分近似，也可以按
照多尺度方法(拟牛顿法)构造近似矩阵的方法进行近似。
二、算法思想 信赖域半径的选择
根据模型函数 qk s 与目标函数 f x 的逼近程度来调整 信赖域半径
以上方法只能保证算法的局部收敛性， 为了建立全局收敛性 算法，阻尼Newton法采用线搜索技术。但它没有进一步利 用导致算法快速收敛的二次函数逼近模型。
信赖域方法是另一种新的保证算法全局收敛的方法。在 迭代过程中不断利用二次函数模型对目标函数进行逐步 逼近。
二、算法思想
信赖域方法在每次迭代中给出一个小区域，称为信赖域， 这个信赖域一般是当前迭代点 xk 的一个小邻域。后在这 . 个邻域内求解一个带约束（信赖域约束）优化子问题， 得到“局部最优”位移 sk ，接着用某一评价函数来决 定是否接受该位移以及确定下一次迭代的信赖域。 如果试探步长被接受，则：
步骤6:
k 1 k , min 2 k , rk 2 产生 Gk 1 , 校正 qk (s), 令 k k 1, 转 步骤2
k 1 1 k , k
rk 1 rk [1 , 2 )
参数建议取：
1 0.01,2 0.75 , 1 0.5, 2 2, 0 1
k k
1 1 时, s所满足的不等式由Powell(1975)给出,信赖域方法 2 1 的收敛性主要是基于试探步满足当 1 2 时的不等式。
为了降低计算的复杂度，有时并不精确求解二次模型子
问题,而是计算满足上式的试探步。
四、算法收敛性
信赖域方法的收敛定理
1 0 设函数 f ( x) 在 R n上连续可微，如果对任意的k，
信赖域方法是否收敛？
模型子问题求解方法？
四、算法收敛性
信赖域方法的收敛性 定义柯西点
s k
c k
其中
k gk gk
T gk Gk g k 0,
1 3 k gk min g T G g ,1 k k k k
xk 1 xk sk
否则，
xk 1 xk
新的信赖域的大小取决于试探步的好坏，粗略地说， 如果试探步较好，下一步信赖域扩大或保持不变，否 则减小信赖域。
二、算法思想
信赖域方法的模型子问题
其中
s x xk , g k f xk , Gk k 0
为信赖域半径．
二、算法思想 信赖域算法特点
这种方法既具有牛顿法的快速局部收敛性，又具有
理想的全局收敛性。 不要求目标函数的Hesse阵是正定的。 利用了二次模型来求修正步长， 使得目标函数的下降比
线性搜索方法更有效。
由于步长受到使Taylor展开式有效的信赖域的限制，
故方法又称为有限步长法。
������3
������1
������2
二、算法思想 信赖域算法基本思想 牛顿法的基本思想是在迭代点
T k
逼近精度？
xk
附近用二次 函数逼近 并以
1 T f x qk s f k g s s Gk s, s x xk 2
的极小点 sk 修正
qk s
xk , ,
T k
柯西点是可行点，且平行于目标函数的负梯度方向。
可以证明，柯西点可以带来二次模型一定量的下降。
四、算法收敛性
二次模型子问题中的精确解, 近似解, Cauchy点均满足:
gk q 0 q sk 1 g k min k , 1 0,1 Gk