关于无约束最优化问题的信赖域解法

关于无约束最优化问题的信赖域解法

一、引言

无约束优化问题是实际工程中最常见的问题之一。这类问题虽然形式比较简单，但是对于某些大规模的或者非线性很强的问题，求解它们仍然是有相当难度的。

无约束问题的算法大致分成两类：一类在计算过程中要用到目标函数的导数，另一类则只要求目标函数值。本文中所讲述的信赖域法，与牛顿法、最速下降法、共轭梯度法一样，同属于第一类方法。

二、信赖域法的主要内容

2.1 信赖域法的基本思想

虽然信赖域法与最速下降法等同属于一大类，但是在基本思想上还是有所不同。其他几种方法的基本策略是：给定点x(k)后，定义搜索方向d(k),再从x(k)出发沿d(k)作一维搜索，信赖域法则不然，下面重点阐述一下其基本思想：首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。然后,通过求解这个区域内的“信赖域子问题”(目标函数的二次近似模型) 的最优点来确定“候选位移”。若候选位移能使目标函数值有充分的下降量, 则接受该候选位移作为新的位移,并保持或扩大信赖域半径, 继续新的迭代。否则, 说明二次模型与目标函数的近似度不够理想,需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。如此重复下去，直到满足迭代终止条件。

2.2 信赖域法的数学分析

三、 运用信赖域法求解具体问题

考虑无约束问题

432

1122min

()

45f x x x x x =++-+

取初点(1)00x ⎡⎤

=⎢⎥⎣⎦，信赖域半径r 1=1，取μ=0.25，η=0.75.用信赖域法求解过

程：

1) 将初值代入目标函数求得函数值f(x (1))=5，目标函数的梯度

即为求解

22

1212min ()54..||||1

d d d d s t

d ϕ=-++≤

可得最优解(1)(1)

1(1)201d d

d ⎡⎤⎡⎤

==⎢⎥⎢⎥⎣⎦

⎣⎦，函数值(1)(1)()2f x d += 3) 可得11ρη=>，逼近成功，令(2)(1)(1)

01x x d ⎡⎤=+=⎢⎥⎣⎦，2122r r ==

4) 进行二次迭代，函数值为2，(2)0()2f x ⎡⎤

∇=⎢⎥-⎣⎦， 2(2)20()02f x ⎡⎤∇=⎢⎥

⎣⎦ 5) 求解子问题

22

22122

21

2

min ()22..4

d d d d s t

d d ϕ=-+++≤

可得最优解(2)(2)

1(2)201d d

d ⎡⎤⎡⎤

==⎢⎥⎢⎥⎣⎦

⎣⎦，(2)(2)()0f x d +=，(2)2()1d ϕ= 6) 可得22ρη=>，令(3)

(2)

(2)

02x

x

d

⎡⎤

=+=⎢⎥⎣⎦

，3224r r == 7) 计算得(3)(3)(3)00()1,(),02f x f x x ⎡⎤⎡⎤

=∇==⎢⎥⎢⎥⎣⎦⎣⎦是最优解