全局最优化算法

定理 3：设 f : Rn a R 在点 x ∈ Rn 处的 Hesse 矩阵 ∇2 f (x* ) 存在。若 ∇f (x* ) = 0，并且 ∇2 f (x* ) 正定，则 x*是(UMP)的局部最优解。
定理 4：设 f : Rn a R ， x* ∈ Rn ，f 是 Rn 上得可微凸函数。若有 ∇f (x* ) = 0，则 x* 是(UMP)的整体最优解。
min f ( x) = 1 xT Ax + bT x + c （AP） 2
其中 A 是 n 阶实对称正定矩阵， b ∈ Rn ， c ∈ R
定理： 对于问题(AP)，若 p0 , p1 ,..., pn−1 为任意一组 A 共轭方向， 则由任意初始点 x 0 ∈ R n 出发，依次沿 p0 , p1 ,..., pn−1 进行精 确一维搜索，则最多经 n 次迭代可达(AP)的整体最优解。
第 7 步 用 F-R 公式取 pk+1 = −∇f (xk+1) + λk pk ，其中 λk = ∇f (xk ) 2 。令 k:=k+1，
转第 4 步。
带约束局部最优化解定理
• K-T条件
X
=
⎪⎧ ⎨
x
∈
⎪⎩
Rn
gi (x) hj (x)
≤ =
0, i = 1,..., p⎪⎫ 0, j = 1,..., q⎪⎭⎬
无约束局部最优算法
• 最速下降法
控制误差ε ＞0,
初始点xk (k = 0), 迭代步骤： ①：≤ε , 则取x*= xk, 停； 否则, 令 pk = -▽f(xk ) , 用一维搜索法求λk , 使得f(xk + λk pk ) = min {f(xk+λpk) | λ≥0}.
Hk+1 = (E − ρk pkqkT )Hk (E − ρkqk pkT ) + ρk pk pkT
H0 = E
ρk
=
1 qkT pk
pk = x(k+1) − x(k)
qk = ∇f ( x(k+1) ) − ∇f ( x(k) )
迭代停止条件： ∇f (x(k) ) < ε
二次严格凸函数的无约束最优
则称 f 是 S 上的严格凸函数，或 f 在 S 上是严格凸的。
带约束的优化
• 带约束的优化模型
g( x) = ( g1( x),..., g p ( x))T
h( x) = (h1( x),..., hq ( x))T ，
其中， g : Rn a R p , h : Rn a Rq ，那么
⎧min f ( x)
③：令 xk+1=xk+λk pk , k = k + 1, 转向①
优点：整体收敛性, 计算量小, 初始点要求不高 缺点：收敛速度慢
无约束局部最优算法
• BFGS拟牛顿算法（Boryden-Fletcher-Goldfarb- Shanno）
x(k+1) = x(k ) + αk dk
dk = − H k∇f ( x(k))
⎪⎨s.t. g(x) ≤ 0 或者 min f ( x)
⎪⎩ h( x) ≤ 0
x∈ X
定理：非线性优化模型，也称非线性规划(MP)，若 g i ( x ), i = 1,..., p ，皆为 R n 上的凸函数， h j ( x ), j = 1,..., q 皆 为线性函数，并且 f 是 X 上的凸函数，则(MP)是凸规划。
则称 x* 是(MP)的局部最优解或局部极小点，称 f (x*)是(MP)的局部 最优值或局部极小点。如果有
I f (x* ) < f (x), ∀ x ∈ Nδ (x* ) X, x ≠ x* ，
则称 x* 是(MP)的严格局部最优解或严格局部极小点，称 f (x*)是(MP) 的严格局部最优值或严格局部极小点。
可微，并且各 ∇gi (x* ), i ∈ I(x* ), ∇hj (x* ), j ∈ J 线性无关。若 x* 是
(MP)的局部最优解，则存在两组实数
λ*i
,
i
∈
I(
x*
)
和
μ
* j
,
j
∈
J
，
使得：
∑ ∑ ⎧⎪∇f
⎨
(x*) +
λ*i ∇gi ( x* ) +
i∈I ( x* )
j∈J
μ*j ∇hj ( x* )
⎪⎪[xy , xy] if x ≤ 0 and y ≥ 0
⎪⎪[xy , xy] if x ≤ 0 and y ≤ 0 ≤ y
⎪[xy , xy] if x ≤ 0 and y ≤ 0
⎪
⎪⎩[min(xy , xy), max(xy,xy)] if x ≤ 0 ≤ x and y ≤ 0 ≤ y
区间数的除法
定理 ： 凸规划的任一局部最优解都是它的整体最优解。
局部最优点
• 局部最优点：
定义： 对于非线性规划(MP)，若 x* ∈ X ，并且存在 x*的一个
{ } 领域 Nδ (x*) = x ∈ Rn x − x* < δ (δ > 0,δ ∈ R) ，使
I f (x* ) ≤ f (x), ∀ x ∈ Nδ (x* ) X ，
⎧[xy , xy] if x ≥ 0 and y ≥ 0
⎪
⎪[xy , xy] if x ≥ 0 and y ≤ 0 ≤ y
⎪⎪[xy , xy] if x ≥ 0 and y ≤ 0
Ix*Iy=
⎪⎪⎪⎨[[xxyy
, ,
xy] xy]
if x ≤ 0 ≤ x and y ≥ 0 if x ≤ 0 ≤ x and y ≤ 0
无约束局部最优解定理
定理 1：设 f : Rn a R 在点 x ∈ Rn 处可微。若存在 p ∈ Rn ，使 ∇f (x)T p < 0 ，则向量 p 是 f 在点 x 处的下降方向。
定理 2：设 f : Rn a R 在点 x ∈ Rn 处可微。若 x* 是(UMP)的局部最 优解，则 ∇f (x* ) = 0
∀ x* ∈ X 令 J = {1,2,..., q}，即hj ( x* ) = 0, j ∈ J
I ( x* ) = {i | gi ( x* ) = 0, i ∈ I }
定理：设 f : Rn a R 和 gi : Rn a R, i ∈ I(x* ) 在点 x* 处可微，
gi , i ∈ I \ I(x* ) 在点 x* 处连续， hj : Rn a R, j ∈ J 在点 x* 处连续
=
0
⎪⎩λ*i ≥ 0, i ∈ I(x* )
其它算法
定理 ： 对于(MP)问题，若 f, gi,i∈I, hj, j∈J在点 x*处连续可微，可行点 x* 满足(MP)的 K-T 条件，且 f, gi,i∈I(x*)是凸函数， hj, j∈J是线性函 数，则 x*是(MP)的整体最优解。
• 简约梯度法 • Wolfe法步骤 • 罚函数法 • 障碍函数法
M ⎡⎣an2 ,an2 ⎤⎦
L L O
⎡⎣a1n ⎡⎣a2n
, ,
a1n a2n
⎤⎦⎤⎦⎟⎟⎞
⎡⎣ann
M , ann
⎤⎦
⎟ ⎠⎟⎟
区间矩阵的运算： IA + IB={A + B | A ∈ IA, B ∈ IB}
IA − IB={A − B | A ∈ IA, B ∈ IB}
IA* IB={A*B | A ∈ IA, B ∈ IB}
满足： F(x1, x2, …,xn) = f(x1, x2, …, xn) 则称F为f 的区间扩张。
如果F是由实区间变量经有限次四则运算得到的实值 函数，则称F为f 的自然区间扩张。
一维可行区间集的求解方法
根据函数的中值定理
f (x) −
f
(x* ) =
(x −
x*
)f
' x
(ξ
),
ξ ∈[x , x* ]
全局最优化算法
沈云中
同济大学测量系 E-mail: yzshen@
提要
• 概述 • 局部最优算法 • 区间数学理论 • 全局最优算法 • 带约束全局最优算法
概述
• 最优化模型 函数模型：min : f ( x)
点集范围： x ∈ X
• 对于凸函数和凸集，只存在唯一的极值点
区间数的运算
• 区间数的加减法、开根与平方运算
Ix 操作 Iy ={x 操作 y: x ∈ Ix, y ∈ Iy}
Ix + Iy=[x + y , x + y]
Ix =[ x , x ], 若 x ≥ 0
Ix − Iy=[x − y , x − y]
• 区间的交与并
⎧[x 2 , x 2 ] 若 x ≥ 0
区间数学
• 区间数：设R为实数域，对于给定的两个实数 x, x ∈ R 而且 x ≤ x, 则
Ix = [ x, x ] = {x : x ∈ R, x ≤ x}
称为区间，或区间数。 x, x ，称为区间的端点。
实数是特殊的区间数。 如果两个区间数的端点相同，则称这两个区间数相同。
注：下面PPT的许多资料来自徐培亮
Ix**2=
⎪ ⎨[x
2
,
x
2
]
若 x≤0
⎪ ⎩
[0
,
m
ax(x
2,
x
2
)]
若 x≤0≤ x
Ix
∩
Iy=
⎧⎪[y ,
⎨ ⎪⎩
[x
,
x]，若 y], 若
y< y>