第四节最优性条件-最优化方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 1 t 2 (t 2 )
2
存在充分小的正数 ，当 o t 时，有
(t2 ) t2
1 2
故
1 t 2 (t 2 ) 0
2
取 X * 的 邻域 N(X *, ) ，P 1时，有 f (X * tp) f (X *) 0
所以 X *是 f (x) 的无约束严格局部极小点
证明：
引理：设Ｑ是n阶对称正定矩阵，1, n分别是它的最小 和最大特征值.则对于任意的n元单位向量Ｐ，都有
1 PT QP n
➢ 引理（lemma）是数学中为了取得某个更好的结论而作为 步骤被证明的命题，其意义并不在于自身被证明，而在于 为达成最终目的作出贡献。
➢ 一个引理可用于证明多个结论。数学中存在很多著名的引 理，这些引理可能对很多问题的解决有帮助。例如欧几里 得引理，乌雷松引理，德恩引理，法图引理，高斯引理， 中山引理，庞加莱引理，里斯引理和佐恩引理等。
f (X ) 0
定理证明
因为 X * 是无约束极小点，由极小 点定义，存在 X *的领域 N(X *, ) ， 使得对 N(X *, ) 内所有的点 X ,都有
f (X ) ( X *),X N ( X *, )
任意取定单位方向向量P，当 t 有
X * tP N ( X *, )
第三章：非线性系统的优化 第四节：最优性条件
主要内容 （本节是难点）
知识回顾 无约束最优条件 三个定理+引理
知识回顾
非线性规划问题与数学模型 预备知识（梯度；Hesse矩阵，多元函数Tailor展式等）
凸函数 定理和基本概念
定理
➢设函数 P f (X)
X* 在
点可微，如果存在方向
可微，f (X )使T P 0
证毕
需要强调指出的是，如果将定理3.14中
条件“Hesse矩阵 2 f (X*) 正定”减弱为半正 定，并不能相应得出 X *是（非严格）极 小点的结论
上节例3.5可知，X=0虽是极小点但在该 点不正定。这一反例表明，Hesse矩阵正定 并不是极小点的必要条件。
练习：例题3.7
➢a) f ( X ) (x1 1)2 (x2 3)2 ➢b) f ( X ) (x1 1)2 (x2 3)2 ➢c) f ( X ) x13 3x1 x23
ห้องสมุดไป่ตู้
X *)
1 (X
X * )T 2
f
( X )( X
X *) (
X
X*
2
)
2
删去上式中的高阶无穷小项，注意到2 f (X ) 0 ，所以有
f ( X ) f ( X *) 1 ( X X *)T 2 f ( X )( X X *) 2
即近似的有：
1 (X X *)T 2 f (X )(X X *) f (X ) f (X *) c f (X *) 0 2
故
f (X *)T P (t) 0
由于P是任意方向，故有
f (X *) 0
定理3.13 无约束极小点的二阶必要条件
设 f (X ) 二次可微，X 是 f (X ) 的无约束局部极小点， 则有： f (X *) 0 且 f (X ) 在 X 的Ｈesse矩阵 2 f (X ) 半正定。
f ( X (1) tP) f ( X (1) )
讨论函f数(X ) 在极小点及其附近的等值线（面）的 几何特征
如果看一下地图上的等高线（即海拔高 度的等值线），可以发现，在山峰顶 （局部最高点）及谷底（局部最低点） 的附近。
这一事实具有普遍意义，可以推 广为如下结论：
函数在极小点附近的等值面族是近似 的椭圆族
解：c)
f (X ) (3x12 3,3x22)T
2
f
(
X
)
6 x1
0
令 f (X ) 0 ，可解的 f (X ) 的驻点
0
6
x2
X (1) (1, 0)T , X (2) (1, 0)T
f (X )在 X (1) ，X (2) 的Hesse矩阵分别为：
由于 2 f (X )半正定，则由解析几何知道，
上式正是以 X 为中心的椭圆面方程。
Thank you！
引理和定理没有严格的区分。
定理3.14 严格无约束局部极小点充分条件
f (X设)
具有二阶连续偏导，X在* 2 f (X ) 0
点 ， 2 f (X，) 且Hesse矩阵 X * 正f (定X ) ，
则可断言 是
的严格局部极小点。
证明：因为 2 f (X ) 是正定矩阵，设其最小特征根为 ，则必 有 >0.由引理可知，对任意n单位向量P，都有
证明：设 X *是 f (X ) 的无约束极小点，f (X ) c是充分 靠近 X * 的一个等值面，显然， c f (X *)
因
X * 是 f (X ) 的无约束极小点
故
， 2 f ( X ) 0
半2 f正(X 定) 。
由Tailor展式，有
f
(X)
f
( X *) f ( X )T ( X
，则存 在 0 数 ，使得对
每(0,个 )
f，(X 有* p) f (X *)
最优性条件
无约束最优性条件
➢ 约束极小化问题的最优性条件，即讨论如 下问题 的极小点应满足的必要条件或充分条
件。 min f ( X ), X En
➢ 作为一元函数极值条件的推广，有如下的一 阶必要条件：
2
f
(
X
(1)
)
6 0
0 0
,
2
f
(
X
)
6
0
0 0
其中， 2 f (X (2)) 是半负正定，不满足极小点必要条件。2 f 是 (X (1))
半正定的，最然满足极小点必要条件，但也不是极小点，事
实上，若取方向P为 (1,0)T ，则对任意小的正数t>0,均有
记向量P的第i的为 pi ,i=1,2,3…,m, 则 xi xi* tp,i 1, 2,..., n
由复合函数求导法则得
(t) n f ( X * tP) • xi
i 1
xi
t
i
n
1
f
(X* xi
tP)
•
pi
f ( X * tP)T P
PT2 f (X *)P 0
由于 f (X *) 0，代入Taylor展式，有
f ( X * tp) f ( X * ) tf ( X * )T P 1 t 2 PT 2 f ( X * )P (t 2 )
2
1 t 2 PT 2 f ( X * )P (t 2 )
故 f ( X * tP) f ( X *) （3-22）
记 (t) f (X * tP), t （ 3-23） 函数 f (x)在点 X可* 微，故 (t)在t可 微。由（3-22）和（3-23）式可知， t=0是 (t)的定义域的内点，且是极 小点，于是有 (x) 0
定理3.12 无约束极小点的一阶必要条 件设函数 f (X )在点 X * 可微。若X *是f (X )的 无约束局部极小点，则必有
f (X ) 0
几何解释
➢ 若 X为* 局部极小点，则 f (X )在 X *处不能 有下降方向。从而，当 f (X ) 时，f (X ) 为 X * 在f (X ) 0处的一个下降方向，故若 X * Rn 为函数f (X )在Rn 的极值点，必有
2
存在充分小的正数 ，当 o t 时，有
(t2 ) t2
1 2
故
1 t 2 (t 2 ) 0
2
取 X * 的 邻域 N(X *, ) ，P 1时，有 f (X * tp) f (X *) 0
所以 X *是 f (x) 的无约束严格局部极小点
证明：
引理：设Ｑ是n阶对称正定矩阵，1, n分别是它的最小 和最大特征值.则对于任意的n元单位向量Ｐ，都有
1 PT QP n
➢ 引理（lemma）是数学中为了取得某个更好的结论而作为 步骤被证明的命题，其意义并不在于自身被证明，而在于 为达成最终目的作出贡献。
➢ 一个引理可用于证明多个结论。数学中存在很多著名的引 理，这些引理可能对很多问题的解决有帮助。例如欧几里 得引理，乌雷松引理，德恩引理，法图引理，高斯引理， 中山引理，庞加莱引理，里斯引理和佐恩引理等。
f (X ) 0
定理证明
因为 X * 是无约束极小点，由极小 点定义，存在 X *的领域 N(X *, ) ， 使得对 N(X *, ) 内所有的点 X ,都有
f (X ) ( X *),X N ( X *, )
任意取定单位方向向量P，当 t 有
X * tP N ( X *, )
第三章：非线性系统的优化 第四节：最优性条件
主要内容 （本节是难点）
知识回顾 无约束最优条件 三个定理+引理
知识回顾
非线性规划问题与数学模型 预备知识（梯度；Hesse矩阵，多元函数Tailor展式等）
凸函数 定理和基本概念
定理
➢设函数 P f (X)
X* 在
点可微，如果存在方向
可微，f (X )使T P 0
证毕
需要强调指出的是，如果将定理3.14中
条件“Hesse矩阵 2 f (X*) 正定”减弱为半正 定，并不能相应得出 X *是（非严格）极 小点的结论
上节例3.5可知，X=0虽是极小点但在该 点不正定。这一反例表明，Hesse矩阵正定 并不是极小点的必要条件。
练习：例题3.7
➢a) f ( X ) (x1 1)2 (x2 3)2 ➢b) f ( X ) (x1 1)2 (x2 3)2 ➢c) f ( X ) x13 3x1 x23
ห้องสมุดไป่ตู้
X *)
1 (X
X * )T 2
f
( X )( X
X *) (
X
X*
2
)
2
删去上式中的高阶无穷小项，注意到2 f (X ) 0 ，所以有
f ( X ) f ( X *) 1 ( X X *)T 2 f ( X )( X X *) 2
即近似的有：
1 (X X *)T 2 f (X )(X X *) f (X ) f (X *) c f (X *) 0 2
故
f (X *)T P (t) 0
由于P是任意方向，故有
f (X *) 0
定理3.13 无约束极小点的二阶必要条件
设 f (X ) 二次可微，X 是 f (X ) 的无约束局部极小点， 则有： f (X *) 0 且 f (X ) 在 X 的Ｈesse矩阵 2 f (X ) 半正定。
f ( X (1) tP) f ( X (1) )
讨论函f数(X ) 在极小点及其附近的等值线（面）的 几何特征
如果看一下地图上的等高线（即海拔高 度的等值线），可以发现，在山峰顶 （局部最高点）及谷底（局部最低点） 的附近。
这一事实具有普遍意义，可以推 广为如下结论：
函数在极小点附近的等值面族是近似 的椭圆族
解：c)
f (X ) (3x12 3,3x22)T
2
f
(
X
)
6 x1
0
令 f (X ) 0 ，可解的 f (X ) 的驻点
0
6
x2
X (1) (1, 0)T , X (2) (1, 0)T
f (X )在 X (1) ，X (2) 的Hesse矩阵分别为：
由于 2 f (X )半正定，则由解析几何知道，
上式正是以 X 为中心的椭圆面方程。
Thank you！
引理和定理没有严格的区分。
定理3.14 严格无约束局部极小点充分条件
f (X设)
具有二阶连续偏导，X在* 2 f (X ) 0
点 ， 2 f (X，) 且Hesse矩阵 X * 正f (定X ) ，
则可断言 是
的严格局部极小点。
证明：因为 2 f (X ) 是正定矩阵，设其最小特征根为 ，则必 有 >0.由引理可知，对任意n单位向量P，都有
证明：设 X *是 f (X ) 的无约束极小点，f (X ) c是充分 靠近 X * 的一个等值面，显然， c f (X *)
因
X * 是 f (X ) 的无约束极小点
故
， 2 f ( X ) 0
半2 f正(X 定) 。
由Tailor展式，有
f
(X)
f
( X *) f ( X )T ( X
，则存 在 0 数 ，使得对
每(0,个 )
f，(X 有* p) f (X *)
最优性条件
无约束最优性条件
➢ 约束极小化问题的最优性条件，即讨论如 下问题 的极小点应满足的必要条件或充分条
件。 min f ( X ), X En
➢ 作为一元函数极值条件的推广，有如下的一 阶必要条件：
2
f
(
X
(1)
)
6 0
0 0
,
2
f
(
X
)
6
0
0 0
其中， 2 f (X (2)) 是半负正定，不满足极小点必要条件。2 f 是 (X (1))
半正定的，最然满足极小点必要条件，但也不是极小点，事
实上，若取方向P为 (1,0)T ，则对任意小的正数t>0,均有
记向量P的第i的为 pi ,i=1,2,3…,m, 则 xi xi* tp,i 1, 2,..., n
由复合函数求导法则得
(t) n f ( X * tP) • xi
i 1
xi
t
i
n
1
f
(X* xi
tP)
•
pi
f ( X * tP)T P
PT2 f (X *)P 0
由于 f (X *) 0，代入Taylor展式，有
f ( X * tp) f ( X * ) tf ( X * )T P 1 t 2 PT 2 f ( X * )P (t 2 )
2
1 t 2 PT 2 f ( X * )P (t 2 )
故 f ( X * tP) f ( X *) （3-22）
记 (t) f (X * tP), t （ 3-23） 函数 f (x)在点 X可* 微，故 (t)在t可 微。由（3-22）和（3-23）式可知， t=0是 (t)的定义域的内点，且是极 小点，于是有 (x) 0
定理3.12 无约束极小点的一阶必要条 件设函数 f (X )在点 X * 可微。若X *是f (X )的 无约束局部极小点，则必有
f (X ) 0
几何解释
➢ 若 X为* 局部极小点，则 f (X )在 X *处不能 有下降方向。从而，当 f (X ) 时，f (X ) 为 X * 在f (X ) 0处的一个下降方向，故若 X * Rn 为函数f (X )在Rn 的极值点，必有