1_无约束最优化问题的最优性条件(1)

无约束最优化问题的最优性条件
一阶必要条件 定理3.1.1 若 x * 为f x 的局部极小点， 且在 N x * 内 f x 一阶连续可微， 则 g * f x* 0 . 注: (1) 仅仅是必要条件，而非充分条件．Stationary (2) 满足 g * f x*
无约束最优化问题的最优性条件
函数 f x 的Hesse阵：
0 2 x1 f x 0 2 x 2 2 故， 在点 x1 , x2 , x3 , x4处的Hesse阵依次为：
2
2 f x1 0
2
0 2 2 , f x2 0 2
1.无约束最优化问题的最优性条件
无约束最优化问题 min f(x) 其中f : R R.
n
无约束最优化问题的最优性条件
若n=1,则f(x)为一元函数. 回顾：一元函数的最优性条件 必 (1) 若 x * 为 f x 的局部极小点， 则 f x * 0 ; 要 * (2) 若 为 f x 的局部极小点， 则： x 条 件 f x * 0 , f x * 0. 充 * * * (3) 若 f x 0 , f x 0 , 则 为 f x x 分 条 的严格局部极小点； 件
4 2 2 4 例 f ( x ) x1 2 x1 x2 x2
分析: x0=(0,0)T为其严格局部极小点. 但有
0 0 f ( X 0 ) (0,0) , f ( X 0 ) 0 0 .
T 2
f ( x) x 2x x x
4 1 2 2 1 2
0 , 2
2 f x3 0
2
0 2 2 0 , f x4 . 2 0 2
无约束最优化问题的最优性条件
由于矩阵 2 f x1 , 2 f x4 不定， 则
x1 , x4 不是极小点．
无约束最优化问题的最优性条件
二阶必要条件
*
* N x 定理3.1.2 若 x 为f x 的局部极小点， 且在

内 f x 二阶连续可微， 则 f ( x * ) 0 , 2 f ( x * ) 半正定． 注: (1) f ( x) 刻画了f(x)在x处切平面的法向.
2 f (x) 刻画了曲面f(x) 的弯曲方向. (2)
无约束最优化问题的最优性条件
例 1： 利用极值条件解下列问题：
1 3 1 3 2 min f x x1 x2 x2 x1 3 3 f f 2 2 解： x1 1 x2 2 x2 x1 x2 令f x 0 , 即： 2 x 1 1 0 2 x2 2 x2 0 1 1 1 1 x1 得到驻点： 0 , x2 2 , x3 0 , x4 2 .
T 2
3 3 f ( x) f ( x1, x2 ) x1 x2
300 200 100 0 -100 -200 -300 -5 0 5 -5 0 5
无约束最优化问题的最优性条件
二阶充分条件
且 定理3.1.3 若在 N x * 内 f x 二阶连续可微， * * 2 * x f ( x ) 0 , f ( x ) 正定, 则 为严格局部 极小点． 注:(1)如果 G * 负定, 则 x * 为严格局部极大点． (2) 定理3.1.3仅仅是充分条件而非必要条件.
第四章 无约束最优性方法
1. Optimality Conditions
所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件，这些条件对于最优化算法的建立 和最优化理论的推整都是至关重要的.
第四章 无约束最优性方法
无约束最优化问题的最优性条件 等式约束最优化问题的最优性条件 不等式约束最优化问题的最优性条件 一般约束最优化问题的最优性条件
Point 0 的点称为驻点． 平稳点
驻点分为：极小点，极大点，鞍点．
Saddle Point
无约束最优化问题的最优性条件
一阶必要条件
f ( x ) 0的几何意义：函数曲面在x*处的切平面是水平的.
*
所谓x*是鞍点,从直观上说曲面在x*处沿某方向“向上 弯曲”，而沿另一方向“向下弯曲”.
无约束最优化问题的最优性条件
二阶必要条件 (3) 定理3.1.2仅仅是必要条件而非充分条件.
3 例 f ( X ) f ( x1 , x2 ) x13 x2 在x0=(0,0)T处，有
2 0 f ( X 0 ) (0,0) , f ( X 0 ) 0 0 , 即 2 f ( X 0 )半正定. 但x 0 不是局部极小点.
则 x 3 不是极小点， 2 f x3 负定， 实际上它是极大点．
f x2 正定， 则 x 2 是局部极小点．
2
1 3 1 3 2 f x x1 x2 x2 x1 3 3
2500 2000 1500 1000 500 0 5
4 2
Baidu Nhomakorabea
5 0 -5 0 -5
无约束最优化问题的最优性条件
凸优化问题-----一阶充要条件 定理3.1.4 设 f x 在 R n上是凸函数且在x*处一阶 连续可微， 则 x * 为 f x 的全局极小点的充要条件 是 f ( x * ) 0 . 定理3.1.5 设 f x 在 R n上是严格凸函数，在x*处 * 且 f ( x ) 0 , 则 x*为 f x 一阶连续可微， 的惟一全局极小点.