最优性条件

(k )
x * ||
x * ||
然 而 x * 是 未 知 的 , 这样的准则并不具有任何实用价值.
但是 || x ( k 1) x * ||
|| x
(k )
x * ||
(k )

|| x
( k 1)
x
(k )
(k )
x * ||
|| x
( k 1) (k )
L x j f x j

i 1
m
ci
i
x j
0, j 1, , n ,
可行性条件
L i
c i 0, i 1, , m .
}
一阶 最优 性条 件
§ 1.4 最优化方法概述
现实生活中大量的最优化问题，除极个别 例子外，即使一些看似简单的问题，一般都不 可能给出问题的解的显示表达式. 因此，求最优化问题的解一般用迭代的方法.
1.给定最优解得一个初始估计 x (0) , 置k=0； 2.如果 x ( k ) 满足对最优解估计得终止条件，停止迭代； 3.确定一个改善 x
(k )
的修正量 s
(k )
;
4.得到最优解的一个更好的估计 x ( k 1) x ( k ) s ( k ) , 置k=k+1后转步2.
初始点的选取依赖于方法的收敛性能.
反证法.假设 G ( x *) 不 定 . 设 x x * d .

f ( x ) f ( x *)
1 2
d G ( x *) d o (|| g ( x *) || ).
2 T 2
由连续性知 x N ( x *), G ( x ) 不 定 .
, d , s .t . x * d N ( x *), 且 d G ( x *) d 0.
收敛速度
设向量序列 { x ( k ) } R n 收敛于 x *, 定义误差序列
ek x
(k )
x *.
lim || e k 1 || || e k ||
r k
如果存在正的常数C和r使成立
C,
则称序列{x
线性收敛:
(k )
}r阶收敛于x *(以C为因子).
r=1, 0<C<1 r=1, C=0 r=2
这 与 x * 是 局 部 极 小 点 矛 盾.
0
定理（二阶必要条件）
设 f : D R R 在 开 集 D上 二 阶 连 续 可 微 ， 若
n 1
x D 是 m in f ( x )的 局 部 极 小 点 ， 则 n
x R

g ( x ) 0, G ( x ) 0 ( G ( x *) 正 半 定 ).
xR


证明: 假 设 g ( x *) 0. 设 x x * g ( x *), 0.
f ( x ) f ( x *) f ( x *) g ( x *) o (|| g ( x *) ||).
T
使 得 x 在 x * 的 任 意 小 的 邻 域 内 , 且 f ( x ) f ( x *).
小结
最优化问题一般形式的数学模型 几类主要最优化问题的标准形式：
线性规划、二次规划、无约束最优化、
等式约束最优化、不等式约束最优化
基本定义：
可行点、可行域；
有效约束、无效约束, 内点，边界点；
全局最优解、局部最优解
凸集
凸集的性质
投影定理
Farkas引理
点与闭凸集的分离定理
两个凸集的分离定理
点与凸集的分离定理
) f (x
(k )
) | | f ( x
( k 1)
) f ( x *) f ( x *) f ( x
)|
当f(x)二阶连续可微时
| f (x
( k 1)
) f (x
(k )
) | O (|| x
( k 1)
x
(k )
|| )
2
对于快速收敛的算法
| f (x
( k 1)
Lagrange(1760)提出了Lagrange方法，引进一个乘子,把约束附 加到目标函数上去，形成一个新的目标函数——Lagrange函数， 然后极小化无约束最优化问题. m 引进Lagrange函数 L( x, ) f ( x) i ci ( x ),
i 1
求这个函数的驻点： 驻点条件
基本思想：选取最优解得一个初始估计 x
(0)
D,
由这个初始点出发，依次产生一个点列：
x ,x
(1)
(2)
, x ( k ) ,,记为 x ( k ) ,

使得 {x } 有限时最后一个恰好是问题的一个最优解，
(k )
无限时任意一个聚点是问题的一个最优解。
算法(最优化方法的基本迭代格式)

|| x
( k 1)
x
|| || x
(k )
x * ||
|| x
(k )
x * ||

x
(k )
||
|| x
x * ||
1 0
{x
(k )
}超 线 性 收 敛 于 x * lim
Leabharlann Baidu|| x
( k 1) (k )
x * || x * ||
k
1.
|| x
T
f ( x ) f ( x *), 矛盾.
一般地, 目标函数的平稳点不一定是极 小点.但若目标函数是可微凸函数, 则其平稳 点就是其极小点,且有总体极小点.
定理（凸最优性定理）
设 f : D R R 是 凸 函 数 ， 且 f C .则
n 1 1
x 是 总 体 极 小 点 的 充 分 必 要 条 件 是 g ( x ) 0.
_
_
定理 设函数f(x)在点 处连续可微，如存在 x
非零向量s R 使成立 T f ( x) s 0
n
_
_
_
则s是f(x)在点 x 处的一个下降方向.
给出了在f(x)连续可微是下降方向同函数f(x) 的梯度 f ( x ) 之间的关系.
证明： f ( x s ) f ( x ) f ( x ) s o (|| s ||).
x3
x1
x2
设f(x)的一阶导数和二阶导数存在，且分别表示为
g ( x ) f ( x ), G ( x ) f ( x ).
2
定理（一阶必要条件）
设f : D R R 在开集D上连续可微，若
n 1
x D是 min f ( x)的局部极小点，则 g ( x ) 0. n
超线性收敛: 二次收敛:
迭代的终止条件
理论上，根据最优性的一阶必要条件，以及算法的设计思想 无约束最优化： || f ( x ( k ) ) || 依赖于函数在极小点领域内的性质. 适用于收敛速度 比较慢的算法.
x1 *
x1
x2 * x 2
一个理想的算法终止准则
|| x
x || x
(k )
|| , | f ( x
x
(k )
) |
(k )
( k 1)
||
|| x
(k )
,
| f (x
) f (x
(k )
( k 1)
)|

||
| f (x
)|
（4）|| x ( k 1) x ( k ) || , | f ( x ( k ) ) f ( x ( k 1) ) | . 其中
0 是预先给定的。
修正量s
（k）
(k )
s 对于大多数的最优化方法来说， 对简单易求解的最优化问题确定.
单调下降算法:
是通过求解一个相
每次迭代都使评价函数值下降
小结
最优性条件 下降方向
一阶必要条件 二阶必要条件 二阶充分条件 迭代格式 初始点选取
评价一个点好坏的准则
终止迭代准则
修正量
收敛速度的衡量
具有全局收敛性的算法才有实用意义。 但对算法的局部收敛性分析，在理论上 是重要的，因为它是全局收敛性分析的 基础。
迭代点的好坏：一般要选用一个评价函数来评价.
无约束最优化：目标函数作为评价函数
f (x
( k 1)
) f (x
(k )
)
约束最优化问题： 迭代点是可行点：目标函数作为评价函数. 迭代点不是可行点：一般既包括目标函数又包括约束函数.
) f (x
(k )
) |
也是一个相当有效的收敛准则.
|| x
(k )
|| , | f ( x
|| x
( k 1)
(k )
) |
| f (x
(k )
x
(k )
(k )
||
,
) f (x
(k )
( k 1)
)|

|| x
||
| f (x
)|
否则
|| x
( k 1)
证明: 必要性显然.证明充分性. 因为f是可微的凸函数, g ( x *) 0,
T 所 以 f ( x ) f ( x *) g ( x *) ( x x *) f ( x *), x D .


即x 是 总体极小点.

考虑等式约束最优化问题
m in s .t .
f (x) c i ( x ) o , i 1, , m .
T
f ( x ) s 0, 0, s .t (0, ),
T
f ( x ) s o (|| s ||) 0 .
T
f ( x s ) f ( x ), (0, ).
确 定 线 性 函 数 f ( x ) x1 x 2 x 3 - 1 ( x1 , x 2 , x 3 0 ) 的 所 有 下 降 方 向 .请 问 这 样 的 下 降 方 向 是 否 同 所 在 点 的 位 置 有 关 ？
§1.3 最优性条件
最优性条件是最优化问题的最优解（局 部的或全局的）所必须满足的条件，常用的 有一阶必要条件和二阶必要条件. 至于充分必要条件只对一些特殊的最优 化问题存在.最优性条件不仅对于最优化理 论的研究具有重要意义，而且对最优化问题 的求解、最优化算法的设计和算法终止条件 的确定都起重要作用.
对于一个超线性收敛算法， || x ( k 1) x ( k ) || || x ( k ) x *||
|| x
( k 1)
x
(k )
||
评价函数值序列来确定终止准则
|| f ( x
(k )
) f ( x *) ||
不能直接用
(k )
| f (x
( k 1)
x
(k )
|| , | f ( x
(k )
) f (x
( k 1)
) | .
常用的终止准则有：
(１)
f
xk
( k 1)

(k )
(２) || x
x
|| 或
(k )
| f (x
( k 1)
) f (x
(k )
) |
(３) || x
|| x
(k )
定义 设f(x)为定义在空间
_
R
n
上的连续函数，
n
点 x R，若对于方向
n
_
s R 存在数 0
_
使成立 f ( x s ) f ( x ), (0, ), 则称s为f(x)在 x 处的一个下降方向.在点 x 处的所有下降方向的全体记为 D ( x ).
_
凸函数
凸函数的性质
凸规划
可行域是凸集的判定 水平集的性质
目标函数是凸函数的判定
作业
P41: 14,16
2. m in x1
s .t . x1 ( x 2 2 ) 3,
2 2
x1 1,
2
画出问题的可行域和目标函数 的等位线，并由此确定问题的 所有局部最优解和全局最优解. 局部最优解


定理（二阶充分条件）
设 f : D R R 在 开 集 D上 二 阶 连 续 可 微 ，
n 1
则 x D是 f 的 一 个 严 格 局 部 极 小 点 的 充 分 条 件 是 g ( x ) 0 和 G ( x )是 正 定 矩 阵 .


证明：二阶必要条件
x 局 部 极 小 点 g ( x ) 0, G ( x ) 0.
一个算法称为收敛的，如果算法产生的序列 { x ( k ) } 满足
lim || x
k (k )
x * || 0, 其 中 x * 是 问 题 的 最 优 解 .
一个算法如果对于任意给定的初始点都能够收敛， 就说这个方法全局收敛或总体收敛. 有些算法只有当初始点接近或充分接近最优解时才有 收敛性，称这样的算法为局部收敛的方法. 对于全局收敛的算法初始点的选取可以没有任何的限制， 对于局部收敛的算法，要求初始点应尽可能接近最优解.
x1 1, x 2 [ 2 2,2 2]
x2
x1
3 , x2 2. 3 , x2 2.
全局最优解
3
-1
1
x1
x1
4 . D 1 { x | x1 x 2 1, x1 0} , D 2 { x | x1 x 2 0, x1 0} . D D 1 D 2 .证 明 D 1 , D 2 都 是 凸 集 , 但 D 不 是 凸 集 .