可行方向法-梯度投影法

搜索方向需要满足的条件: 搜索方向需要满足的条件:
T f (x( k ) )x k < 0
T g i (x( k ) )x k ≤ 0
目标函数下降的条件: 目标函数下降的条件: 约束条件: 约束条件: 搜索方向
线性约束条件下
min T f (x ( k ) )d k
s.t.
Axk ≤ b
Ex k = 0
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
ε
起作用约束可行方向法
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
Topkis – Veinott 全约束可行方向法
g ( x + α d ) g ( x ) = αg ( x ) d g ( x + αd ) ≤ 0 g ( x + αd ) g ( x) ≤ g ( x ) g ( x ) d ≤ g ( x )
( k +1) T (k ) k 的情况下, (4)如果 的情况下, i (x ) = 0 ,或 g i (x )x = 0 则 x )如果(3)的情况下 g 位于 g i (x) 在 (k ) ( k +1) x 点的切平面上,只有 g i (x)为现行时, x 点的切平面上, 为现行时, 才是可行点. 才是可行点. ( k +1)
g ( x + α d ) g ( x ) = α g ( x ) d g ( x + αd ) ≤ 0 g ( x) = 0 g ( x + αd ) g ( x ) ≤ g ( x ) g ( x ) d ≤ g ( x )
-
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
T f (x( k ) )x k < 0
x k = x( k +1) x( k +1)
( k +1) (k )
f (x( k +1) ) f (x( k ) ) < 0
则搜索方向是下降方向. (1)如果 f (x ) f (x ) < 0 或 T f (x( k ) )x k < 0 ,则搜索方向是下降方向. ) (k) (k ) ( k +1 ) (k ) k k g (k ) 在可行域内, (2)如果 x 在可行域内, i (x ) < 0 ,则总可取步长 α > 0 ,得 x = x + α d , ) ( k +1) 仍在可行域内,即任意搜索方向是可行方向. 使 x 仍在可行域内,即任意搜索方向是可行方向. (k) (k ) g (k) 在边界上, 来说, (3)如果 x 在边界上, i (x ) = 0 ,则对某个步长 α > 0来说,如果 ) ( k +1) ( k +1) (k ) T (k ) k gi (x ) = g i (x ) + g i (x )x < 0, i = 1,2,, m ,则 x 在可行域内,故可行的. 在可行域内,故可行的.
min f (x( k +1) ) f (x ( k ) ) min T f (x( k ) )d k
1 k min( f (x( k +1) ) f (x( k ) )) min T f (x( k ) )d k + d T T f (x( k ) )d k 2
minT f (x( k ) )d k
g1 (x) = 0
约束优化问题: 约束优化问题:
(1)搜索方向;受约束条件的限制. )搜索方向;受约束条件的限制. (2)迭代步长;受约束条件的限制. )迭代步长;受约束条件的限制.
(一)基本概念: 基本概念: (1)起作用的约束:起到限制性作用的约束. )起作用的约束:起到限制性作用的约束. 在可行域内的点, (2)可行方向:点 x 在可行域内的点,d 方向迭代后的新的点 )可行方向: (0) x = x + αd 也是可行域内的点,则搜索方向 d 称为可行方向. 也是可行域内的点, 称为可行方向. (3)可行下降方向:使目标函数下降的可行方向,称为可行下降方向. )可行下降方向:使目标函数下降的可行方向,称为可行下降方向.
λ j g j ( x) = 0 λj ≥ 0
g j (x) 线性无关
( j = 1,2, , m)
λ g (x) λ ≥0
2 2 2
f (x)
λ g (x) λ ≥0
2 2 2
f (x)
λ g (x) λ ≥0
1 1 1
λ g (x) λ <0
1 1 1
g1 (x)
f (x) = λ1g1 (x) + λ2g 2 (x) λ1 ≥ 0,λ2 ≥ 0
4.非线性结构优化 非线性结构优化
4.4 可行方向法
Find x min f (x ) s. t . g ( x ) ≤ 0 ( j = 1, 2, , n ) j
非线性约束优化问题
非线性) (目标函数—非线性) 目标函数 非线性 非线性) (约 束—非线性) 非线性
非线性优化问题
非线性) (目标函数—非线性) 目标函数 非线性
之间, 最优点 x* , f (x ) 一定在 g1 (x* )与 g 2 (x* ) 之间, * 非负线性组合表示. 所以 f (x ) 可以起作用的 g j (x* ) 非负线性组合表示.
*
(1) f (x) = ∑ λ j g j (x)
(4) λ j ≥ 0
j =1
m
( j = 1,2, , m)
搜索方向
迭代Байду номын сангаас长
梯度投影法
λ g (x) λ ≥0
2 2 2
f (x)
λ g (x) λ ≥0
2 2 2
f (x)
λ g (x) λ ≥0
1 1 1
λ g (x) λ <0
1 1 1
g1 (x)
f ( x ) = λ 1 g 1 ( x ) + λ 2 g 2 ( x ) λ 1 ≥ 0, λ 2 ≥ 0
f ( x ) = λ 1 g 1 ( x ) + λ 2 g 2 ( x ) λ 1 ≥ 0, λ 1 < 0
f (x)
g 2 (x) = 0
g 2 ( x)
g 2 (x) = 0
g 2 ( x)
f (x )
P
α>
π
2
x
*
g1 ( x)
P
α< π
2
g1 ( x)
g1 ( x) = 0
g1 ( x ) = 0
f (x) = λ1g1 (x) + λ2g 2 (x) λ1 ≥ 0,λ1 < 0
f (x)
g 2 ( x) = 0
g 2 (x) x)
g 2 ( x) = 0
g 2 (x) x)
f (x)
P
α>
π
2
x
*
g1 (x)
P
α< π
2
g1 (x)
g1 (x) = 0
g1 (x) = 0
P
f (x)
线性约束条件下
约束条件
Ax k ≤ b Ex k = 0
T g i (x( k ) )x k ≤ 0
A(xk + x k ) = Axk + Ax k ≤ b ∵ Axk = b Ax k ≤ b E(xk + x k ) = Exk + Ex k = e ∵ Exk = e Ex k = 0
搜索方向需要满足的条件: 搜索方向需要满足的条件:
线性约束问题的Zoutendijk可行方向法 可行方向法 线性约束问题的
起作用的约束 不起作用的约束
(1)搜索方向 )
非线性约束问题的Zoutendijk可行方向法 可行方向法 非线性约束问题的
搜索方向
迭代步长
起作用约束可行方向法
搜索方向
迭代步长
Topkis – Veinott 全约束可行方向法
K-K-T条件
L( x, λ) = f (x) + ∑ λ j g j (x)
j =1
m
(1) (2) (3) (4) (5)
f (x) + ∑ λ j g j (x) = 0 (梯度条件) 梯度条件)
j =1
m
g j ( x) ≤ 0
(约束条件) 约束条件) (松弛互补条件) 松弛互补条件) (非负条件) 非负条件) (正则条件或约束规格) 正则条件或约束规格)
f (x
( k +1 )
) = f (x ) + f (x )x
(k ) T (k )
k
f (x( k+1) ) f (x( k ) ) = α T f (x( k ) )d k
1 k f (x( k +1) ) f (x( k ) ) = αT f (x( k ) )d k + α 2 d T T f (x( k ) )d k 2
线性条件下
T g i (x( k ) )x k ≤ 0
非线性条件下 T g i (x( k ) )x k < 0
搜索方向需要满足的条件: 搜索方向需要满足的条件:
T f (x( k ) )x k < 0
目标函数下降的条件: 目标函数下降的条件: 约束条件: 约束条件:
T g i (x( k ) )x k ≤ 0
s.t.
Ax k ≤ b Ex = 0
k
1 k min T f (x( k ) )d k + d T T f (x( k ) )d k 2
s.t.
ad = 0
解析搜索法: 解析搜索法:可行方向法
线性约束问题的Zoutendijk可行方向法 可行方向法 线性约束问题的
起作用的约束 不起作用的约束
解析搜索法: 解析搜索法:可行方向法
进行taylor展开,取一次近四,则; 展开, 将每一个函数在 x 处对函数 f (x) 进行 展开 取一次近四,
f (x( k +1) ) = f (x( k ) ) + T f (x( k ) )x k
gi (x ( k +1) ) = g i (x( k ) ) + T g i (x( k ) )x k
解析搜索法: 解析搜索法:可行方向法
4.非线性结构优化 非线性结构优化
4.5 梯度投影法 梯度投影法 投影
解析搜索法: 解析搜索法:梯度投影法
投影矩阵的基本概念
q
x
R = P⊕Q
N
p
解析搜索法: 解析搜索法:梯度投影法
解析搜索法: 解析搜索法:梯度投影法
约束优化问题: 约束优化问题:
(1)搜索方向;受约束条件的限制. )搜索方向;受约束条件的限制. (2)迭代步长;受约束条件的限制. )迭代步长;受约束条件的限制.
P
f (x)
解析搜索法: 解析搜索法:梯度投影法
f ( x ( k +1) ) = f ( x ( k ) ) + α lT f (x ( k ) )d k T f (x ( k ) ) k T f (x ( k ) ) x k (k ) (k ) = f (x ) + α d = f (x ) + α d l x l
起作用的约束经过最优点 , g j ( x) = 0 , λ j ≥ 0
(3) λ j g j (x) = 0
最优点满足所有的约束条件, 最优点满足所有的约束条件
g 2 (x) = 0
g 2 (x)
(2) g j (x) ≤ 0
这就是K-K-T条件 这就是 条件, 条件
f (x)
P
α>
π
2
x
*
g1 (x)
(0)
起作用的约束 g ( x) = 0
i
d
d
g j ( x) = 0
g j ( x) ≤ 0
Find x min f (x ) s. t . g ( x ) ≤ 0 ( j = 1, 2, , n ) j
(k )
g i ( x) = 0 g i (x)
d
线性条件下
g j ( x) ≤ 0
线性约束优化问题
非线性) (目标函数—非线性) 目标函数 非线性 (约 束—线 性) 线
有约束优化问题 线性优化问题
线性) (目标函数—线性) 目标函数 线性 线性) (约 束—线性) 线性
K-K-T条件
(1)K-K-T条件
定义: 定义:
min f ( x) s.t g j (x) ≤ 0 ( j = 1,2, , m)
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
解析搜索法: 解析搜索法:可行方向法
非线性约束问题的Zoutendijk可行方向法 可行方向法 非线性约束问题的
T f (x( k ) )x k < 0
目标函数下降的条件: 目标函数下降的条件: 约束条件: 约束条件:
Ax k ≤ b Ex k = 0
可行方向法
二次规划
1 f (x( k +1) ) = f (x( k ) ) + T f (x( k ) )x k + T x k T f (x( k ) )x k 2