1 无约束最优化问题的最优性条件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
*
所谓x*是鞍点 从直观上说曲面在x*处沿某方向 所谓x*是鞍点,从直观上说曲面在x*处沿某方向 是鞍点, 向上弯曲” 而沿另一方向“向下弯曲” “向上弯曲”，而沿另一方向“向下弯曲”.
无约束最优化问题的最优性条件
二阶必要条件
*
Nε x* 定理3.1.2 的局部极小点， 定理3.1.2 若 x 为f ( x)的局部极小点， 且在
( )
二阶连续可微， 则 内 f ( x)二阶连续可微， ∇f ( x* ) = 0, ∇2 f ( x* ) 半正定． 半正定． 注: (1) ∇f (X ) 刻画了f(x)在x处切平面的法向. 刻画了f(x)在 处切平面的法向.
∇2 f ( X )刻画了曲面f(x) 的弯曲方向. (2) 刻画了曲面f(x) 的弯曲方向.
凸优化问题-----一阶充要条件 凸优化问题-----一阶充要条件 上是凸函数且在x* x*处一阶 上是凸函数且在x*处一阶 定理3.1.4 定理3.1.4 设 f ( x)在 Rn 连续可微， 连续可微， x* 为 f ( x) 的全局极小点的充要条件 则 全局极小点的充要 极小点的充要条件 是 ∇f ( x* ) = 0 . 上是严格凸函数 严格凸函数， x*处 上是严格凸函数，在x*处 定理3.1.5 定理3.1.5 设 f ( x)在 Rn 且 一阶连续可微， ∇f ( x* ) = 0 , 则 x*为 f ( x) 一阶连续可微， 惟一全局极小点 极小点. 的惟一全局极小点.
无约束最优化问题的最优性条件
一阶必要条件 定理3.1.1 的局部极小点， 定理3.1.1 若 x*为f ( x)的局部极小点， 且在 Nε (x* ) 内 f ( x) 一阶连续可微， g* = ∇f (x* ) = 0. 一阶连续可微， 则 (1)仅仅是必要条件 而非充分条件． 仅仅是必要条件， 注: (1) 仅仅是必要条件，而非充分条件．Stationary
无约束最优化问题的最优性条件
利用极值条件解下列问题： 例 1： 利用极值条件解下列问题：
1 3 1 3 2 m f ( x) = x1 + x2 − x2 − x1 in 3 3 ∂f ∂f 2 2 解： = x1 −1 = x2 − 2x2 ∂x1 ∂x2 令∇f ( x) = 0,即： 2 x1 −1 = 0 2 x2 − 2x2 = 0 1 1 − 1 − 1 得到驻点： 得到驻点x1 = , x2 = , x3 = , x4 = . ： 2 0 2 0
2
− 2 0 2 − 2 0 ∇ f ( x3 ) = 0 − 2 , ∇ f ( x4 ) = 0 2.
2
无约束最优化问题的最优性条件
由于矩阵 ∇2 f ( x1 ) , ∇2 f ( x4 )不定， 不定，则
x1 , x4 不是极小点． 不是极小点．
4 2 2 4 例 f ( x) = x1 + 2x1 x2 + x2
二阶充分条件
分析: 分析: x0=(0,0)T为其严格局部极小点. 但有 为其严格局部极小点.
0 0 ∇f ( X0 ) = (0,0) , ∇ f ( X0 ) = 0 0.
T 2
无约束最优化问题的最优性条件
T 2
无约束最优化问题的最优性条件
二阶连续可微， 且 定理3.1.3 定理3.1.3 若在 Nε (x* )内 f ( x) 二阶连续可微， * 2 * x* 为严格局部 极小点 ∇f ( x ) = 0, ∇ f ( x ) 正定 则 正定, 极小点． (1)如果 负定, 为严格局部极大点． 注:(1)如果 G* 负定, 则 x* 为严格局部极大点． (2) 定理3.1.3仅仅是充分条件而非必要条件. 定理3.1.3仅仅是充分条件而非必要条件 仅仅是充分条件而非必要条件.
无约束最优化问题的最优性条件
二阶必要条件 (3) 定理3.1.2仅仅是必要条件而非充分条件. 定理3.1.2仅仅是必要条件而非充分条件 仅仅是必要条件而非充分条件.
3 3 例 f ( X ) = f (x1, x2 ) = x1 − x2 在x0=(0,0)T处，有
2 0 ∇f ( X0 ) = (0,0) , ∇ f ( X0 ) = 0 0, 即∇2 f ( X0 )半正定 但x0不是局部极小点 . .
第三章 最优性条件
Optimality Conditions
所谓最优性条件 所谓最优性条件，是指最优化问题的最优解所要满足的 最优性条件， 必要条件或充分条件， 必要条件பைடு நூலகம்充分条件，这些条件对于最优化算法的建立 和最优化理论的推整都是至关重要的. 和最优化理论的推整都是至关重要的.
第三章 最优性条件
Point 的点称为驻点 平稳点 驻点． (2) 满足 g* = ∇f x* = 0 的点称为驻点．
( )
驻点分为：极小点，极大点，鞍点． 驻点分为：极小点，极大点，鞍点．
Saddle Point
无约束最优化问题的最优性条件
一阶必要条件
∇f ( x ) = 0的几何意义 函数曲面在x*处的切平面是水平的. 处的切平面是水平的. ：函数曲面在x*处的切平面是水平的
无约束最优化问题的最优性条件 等式约束最优化问题的最优性条件 不等式约束最优化问题的最优性条件 一般约束最优化问题的最优性条件
无约束最优化问题的最优性条件
无约束最优化问题 m f(x) in (3.1.1) f:R → R. 其中
n
无约束最优化问题的最优性条件
若n=1,则f(x)为一元函数. n=1,则f(x)为一元函数 为一元函数. 回顾： 回顾：一元函数的最优性条件 必 (1) 若 x* 为 f ( x) 的局部极小点， f ′( x* ) = 0; 的局部极小点， 则 要 (2) 若 x* 为 f ( x) 的局部极小点， ： 的局部极小点， 则 条 件 f ′( x* ) = 0 , f ′′( x* ) ≥ 0. 充分 条件 (3) 若 f ′( x* ) = 0 , f ′′( x* ) > 0, 则 x* 为 f ( x) 的严格局部极小点； 的严格局部极小点；
无约束最优化问题的最优性条件
Hesse阵 函数 f ( x) 的Hesse阵：
0 2x1 ∇ f ( x) = 0 2x2 − 2 故， 在点 x1 , x2 , x3 , x4处的Hesse阵依次为： 处的Hesse阵依次为： Hesse阵依次为
2
2 0 2 0 2 ∇ f ( x1 ) = 0 − 2, ∇ f ( x2 ) = 0 2,
负定， 则 不是极小点， ∇2 f ( x3 ) 负定， x3 不是极小点， 实际上它是极大点． 实际上它是极大点．
∇2 f ( x2 ) 正定， x2 是局部极小点． 正定， 则 是局部极小点．
所谓x*是鞍点 从直观上说曲面在x*处沿某方向 所谓x*是鞍点,从直观上说曲面在x*处沿某方向 是鞍点, 向上弯曲” 而沿另一方向“向下弯曲” “向上弯曲”，而沿另一方向“向下弯曲”.
无约束最优化问题的最优性条件
二阶必要条件
*
Nε x* 定理3.1.2 的局部极小点， 定理3.1.2 若 x 为f ( x)的局部极小点， 且在
( )
二阶连续可微， 则 内 f ( x)二阶连续可微， ∇f ( x* ) = 0, ∇2 f ( x* ) 半正定． 半正定． 注: (1) ∇f (X ) 刻画了f(x)在x处切平面的法向. 刻画了f(x)在 处切平面的法向.
∇2 f ( X )刻画了曲面f(x) 的弯曲方向. (2) 刻画了曲面f(x) 的弯曲方向.
凸优化问题-----一阶充要条件 凸优化问题-----一阶充要条件 上是凸函数且在x* x*处一阶 上是凸函数且在x*处一阶 定理3.1.4 定理3.1.4 设 f ( x)在 Rn 连续可微， 连续可微， x* 为 f ( x) 的全局极小点的充要条件 则 全局极小点的充要 极小点的充要条件 是 ∇f ( x* ) = 0 . 上是严格凸函数 严格凸函数， x*处 上是严格凸函数，在x*处 定理3.1.5 定理3.1.5 设 f ( x)在 Rn 且 一阶连续可微， ∇f ( x* ) = 0 , 则 x*为 f ( x) 一阶连续可微， 惟一全局极小点 极小点. 的惟一全局极小点.
无约束最优化问题的最优性条件
一阶必要条件 定理3.1.1 的局部极小点， 定理3.1.1 若 x*为f ( x)的局部极小点， 且在 Nε (x* ) 内 f ( x) 一阶连续可微， g* = ∇f (x* ) = 0. 一阶连续可微， 则 (1)仅仅是必要条件 而非充分条件． 仅仅是必要条件， 注: (1) 仅仅是必要条件，而非充分条件．Stationary
无约束最优化问题的最优性条件
利用极值条件解下列问题： 例 1： 利用极值条件解下列问题：
1 3 1 3 2 m f ( x) = x1 + x2 − x2 − x1 in 3 3 ∂f ∂f 2 2 解： = x1 −1 = x2 − 2x2 ∂x1 ∂x2 令∇f ( x) = 0,即： 2 x1 −1 = 0 2 x2 − 2x2 = 0 1 1 − 1 − 1 得到驻点： 得到驻点x1 = , x2 = , x3 = , x4 = . ： 2 0 2 0
2
− 2 0 2 − 2 0 ∇ f ( x3 ) = 0 − 2 , ∇ f ( x4 ) = 0 2.
2
无约束最优化问题的最优性条件
由于矩阵 ∇2 f ( x1 ) , ∇2 f ( x4 )不定， 不定，则
x1 , x4 不是极小点． 不是极小点．
4 2 2 4 例 f ( x) = x1 + 2x1 x2 + x2
二阶充分条件
分析: 分析: x0=(0,0)T为其严格局部极小点. 但有 为其严格局部极小点.
0 0 ∇f ( X0 ) = (0,0) , ∇ f ( X0 ) = 0 0.
T 2
无约束最优化问题的最优性条件
T 2
无约束最优化问题的最优性条件
二阶连续可微， 且 定理3.1.3 定理3.1.3 若在 Nε (x* )内 f ( x) 二阶连续可微， * 2 * x* 为严格局部 极小点 ∇f ( x ) = 0, ∇ f ( x ) 正定 则 正定, 极小点． (1)如果 负定, 为严格局部极大点． 注:(1)如果 G* 负定, 则 x* 为严格局部极大点． (2) 定理3.1.3仅仅是充分条件而非必要条件. 定理3.1.3仅仅是充分条件而非必要条件 仅仅是充分条件而非必要条件.
无约束最优化问题的最优性条件
二阶必要条件 (3) 定理3.1.2仅仅是必要条件而非充分条件. 定理3.1.2仅仅是必要条件而非充分条件 仅仅是必要条件而非充分条件.
3 3 例 f ( X ) = f (x1, x2 ) = x1 − x2 在x0=(0,0)T处，有
2 0 ∇f ( X0 ) = (0,0) , ∇ f ( X0 ) = 0 0, 即∇2 f ( X0 )半正定 但x0不是局部极小点 . .
第三章 最优性条件
Optimality Conditions
所谓最优性条件 所谓最优性条件，是指最优化问题的最优解所要满足的 最优性条件， 必要条件或充分条件， 必要条件பைடு நூலகம்充分条件，这些条件对于最优化算法的建立 和最优化理论的推整都是至关重要的. 和最优化理论的推整都是至关重要的.
第三章 最优性条件
Point 的点称为驻点 平稳点 驻点． (2) 满足 g* = ∇f x* = 0 的点称为驻点．
( )
驻点分为：极小点，极大点，鞍点． 驻点分为：极小点，极大点，鞍点．
Saddle Point
无约束最优化问题的最优性条件
一阶必要条件
∇f ( x ) = 0的几何意义 函数曲面在x*处的切平面是水平的. 处的切平面是水平的. ：函数曲面在x*处的切平面是水平的
无约束最优化问题的最优性条件 等式约束最优化问题的最优性条件 不等式约束最优化问题的最优性条件 一般约束最优化问题的最优性条件
无约束最优化问题的最优性条件
无约束最优化问题 m f(x) in (3.1.1) f:R → R. 其中
n
无约束最优化问题的最优性条件
若n=1,则f(x)为一元函数. n=1,则f(x)为一元函数 为一元函数. 回顾： 回顾：一元函数的最优性条件 必 (1) 若 x* 为 f ( x) 的局部极小点， f ′( x* ) = 0; 的局部极小点， 则 要 (2) 若 x* 为 f ( x) 的局部极小点， ： 的局部极小点， 则 条 件 f ′( x* ) = 0 , f ′′( x* ) ≥ 0. 充分 条件 (3) 若 f ′( x* ) = 0 , f ′′( x* ) > 0, 则 x* 为 f ( x) 的严格局部极小点； 的严格局部极小点；
无约束最优化问题的最优性条件
Hesse阵 函数 f ( x) 的Hesse阵：
0 2x1 ∇ f ( x) = 0 2x2 − 2 故， 在点 x1 , x2 , x3 , x4处的Hesse阵依次为： 处的Hesse阵依次为： Hesse阵依次为
2
2 0 2 0 2 ∇ f ( x1 ) = 0 − 2, ∇ f ( x2 ) = 0 2,
负定， 则 不是极小点， ∇2 f ( x3 ) 负定， x3 不是极小点， 实际上它是极大点． 实际上它是极大点．
∇2 f ( x2 ) 正定， x2 是局部极小点． 正定， 则 是局部极小点．