无约束问题的极值条件及约束问题的二阶条件

2 2 xL 0
2
0 , 2
在点 x 处

2 8 L(x , ) x 0
2
0 2
，其中，集合 Z x 中的

s s1 , 0
T
,其中 s 为任意实数，从而有
1
s x L x , s 2 1 4 s1
但, 反之一般不成立.
证明: 因为 x 超线性收敛于 x ,则有
(k )
x lim
k
( k 1)
x x


x
(k )
0
x
(k 1 )
x


又
x
(k )
x
x

(x
k(
x
1 )
k
) x (
( )
x
k
(
)
)
x
x x
(k )
k(
x
)


( k 1)
2

x 不再满足局部最优解的二阶必要条件， 从而，
0, 0
T
不是局部最优解.
（3）.当 为

1 4
时，利用二阶条件得不出结论，用其它方法：此时问题
m in s .t .
x1 x 2 2
2
2
1 4
x1 x 2 0
2
，
利用约束条件， 从目标函数中消去一个变量， 转化为无约束最优问题.
(k )
或称
算法是 r 阶收敛的.
特别的： (1). 当 r 1, 0 c 1 时, 称为线性收敛. (Linear convergence). (2). 当 r 1, c 0 时, 称为超线性收敛. (Huperlinear convergence). (3). 当 r 2 时, 称为二次收敛. (Quadratic convergence). 好的算法标准 2: 具有超线性收敛或二次收敛速度的算法是好的算法.
定理 10 设
x F

是 最 优 化 问 题 的 最 优 解 且 函 数 f x 与

c i ( x ), i 1, 2, , p 二阶连续可微，又设在 x

处 Z x L x ，从
z
而存在 Lagrange 乘子向量 使得 K-T 条件成立.如果严 格互补松弛条件在 x 处成立，
2
在 4 个驻点的的 Hesse 矩阵为：
f (x
2
1
2 ) 0
0 2
不定，不是极小点； 正定，局部极小点； 负定，不是极小点； 不定，不是极小点.
f (x
2
2
2 0 ) 0 2
f (x
2
1
2 0 ) 0 2 2 0 ) 0 2

则

s L x ,
T 2
xx

s 0

i i 1 p 2
对一切满足 s Z x L x 的方向 s 均成立.
z
L x, f ( x)
2 2
xx
ci ( x )
定理 12 考虑最优化问题， 函数 f x 与 c ( x ), i 1, 2, , p 二阶连续
0 0 0 设 ，从而，求得 4 0 ，可知 x 为 4 1 0
K-T 点.
Lagrange 函数为
L x, x x2 2 x x2
2 2 2
1 1

，
其关于 x 的 Hesse 矩阵为
T 2
2
.
（1） .当 从而， x


1 4
时， 对于每一个 s Z x ， s 有

T
T
1 L x , s 0 ，
2
0, 0
为局部最优解.
（2） .当
x


1 4
时， 对于每一个 s Z x ， s 有

T
1 L x , s 0 ，
第一章 基本概念 Basic conceptions
一．无约束问题的极值条件 二．约束问题的二阶最优性条件
一.
无约束问题的极值条件
无约束问题的极值条件 考虑问题
m in f ( x) x R .
n
定理 1 局部极小点的一阶必要条件 设函数 f ( x ) 在点 x 处可微，若 x 是局部极小点，则梯度
.

且有 s
k
s , k 0 ，则称 s 为可行域在点 x

处的零可行方
向，其集合记为 Z x ； 称满足 s
T
ci x

0, i 1, 2, , m , i I x 的非零向量 s 为约束线
z
性化后的零可行方向，其集合记为 L x .
1 2 1 3 1 4 1 ,x ,x ,x . 0 2 0 2
函数 f ( x ) 的 Hesse 矩阵为：
0 2 x1 f ( x) 0 2 x2 2
下降迭代算法。
x
1
.
x
0
.
.
x
2
1 .2 下降迭代算法步骤
（1）给出初始点
x
0
，令 k 0 ；
k
（2）按照某种规则确定下降搜索方向 d ； （3）按照某种规则确定搜索步长
f (x kd ) f (x )
k k k
k
，使得
（4）令 x k 1
； k k k x k d ， : k 1 ；
f (x
2
1
二. 约束问题的二阶最优性条件
定义 9 设在可行点 x 处严格互补松弛条件成立，如果存在非

零向量序列 s 和正数序列
k
k
0 ，使得
x
ci x
k
x ks

k
F ,k


k

0, i 1, 2, .m , i I x
lim x
k

(k )
} 满足:
(k )
x

0,
其中 x 是问题的 Khun-Tucker 点. 全局收敛(整体收敛):一个算法如果对于任意给定的初始点 都能够收敛,则这个方法是全局收敛或整体收敛. 局部收敛: 初始点的选取必须接近或充分接近最优解时算 法才收敛.
解集合 一般情况下,算法产生的迭代点收敛于全局最优解非 常困难, 因此, 把满足某些条件的点的集合定义为解集 合,当迭代点属于这个集合时, 算法停止迭代. 常用解集合: (1) x D (2)

x
(k )

x x
(k )
x x
(k )

x
( k 1)
x x
(k )
x
(k )
1
故
x lim
k
(k 1 )
x

k (
x D f ( x ) b
x D
x为 某 意 义 下 可 以 接 受 的 目 标 值
其中, b 为某个可以接受的目标值.上述算法称为实用收敛 性算法.
定义 2 二次终止性(quadratic termination) 如果某算法用于求解目标函数为二次函数的无约束 问题时, 只需经过有限步迭代就能达到最优解, 则称该算 法具有二次终止性. 讨论: 什么是”好”的算法? 1. 具有全局收敛性或二次终止性的算法! 原因: 一般的函数在最优解附近常常可以用二次函数来近 似, 故具有二次终止性的算法可望在接近最优解时具有好 的收敛性质.
k （5）判断 x 是否满足停止条件。是则停止，否则转第2步。
搜索步长确定方法：
f ( x k d ) m in f ( x d )
k k k k
称 k 为最优步长，且有 f ( x k k d k ) T d k 0
0
.
2.收敛性和收敛速度 初始点的选取是任意的? 定义 1 收敛性 一个算法称为收敛的,如果算法产生的序列{ x
例4 考虑下列非线性规划问题
x1 x 2 2
2 2 2
m in s .t .
x1 x 2 0
T
其中
为某个实数，讨论 x 0, 0
是否为局部最优解.
解 目标函数 f ( x ) 和约束函数 c ( x ) 在 x 处的梯度为

i
f
x

2 x1 0 2 x1 0 ,c x . 1 1 2 x2 4 4
定义 3 收敛速度 设由算法 A 产生的迭代点列 x 收敛于 x , 即有:
(k )

lim x
k
(k )
x

0.
如果存在实数 r 0 及一个与迭代次数 k 无关的常数 c 0 , 使:
x lim
k ( k 1)
x


x
(k )
x
r
c,
则称算法 A 产生的迭代点列 x 具有 r 阶收敛速度,
m in 4 x2 x2 2
2 2
,
易知， x 为局部最优解.

2.求解最优化问题
f ( x ) x1 3 x 2 1
2 2
m in
s .t .
g ( x ) x x 2 0;
2
1
h ( x ) 2 x1 x 2 3 0 .
例4 求
m in
f ( x)
1 3
x1
3
1 3
x 2 x 2 x1 .
3 2
解：根据 f ( x ) 的定义，有
f x1 x1 1,
2
2
f x2
x2 2 x2 .
2
令 f ( x ) 0 ，即 x
x
1
2 1
1 0, x 2 2 x 2 0 ，解此方程组得
x D
x是 局 部 最 优 解 或 全 局 最 优 解 x 是 满 足 最 优 解 必 要 条 件 的 点
讨论: 根据最优性条件, 无约束问题和约束问题的解集合 如何定义?
x D
f ( x ) 0
x D
x 为 K T 点
满足上述解集合的算法,称为理论收敛性算法. (3) 例如:
f ( x ) 0 .(反之不成立！).
满足上述条件的点称为平衡点或驻点.
无约束问题的极值条件 考虑问题
m in f ( x) x R .
n
定理 2 二阶必要条件 设函数 f ( x ) 在点 x 处二次可微，若 x 是局部极小点，则梯 度 f ( x ) 0 ，且 Hesse 矩阵半正定.反之，若梯度 f ( x ) 0 ， 且 Hesse 矩阵正定，则 x 是局部极小点.
1.1 一般迭代算法 集合D上的迭代算法A： （1）初始点 x 0 ； （2）按照某种规则A产生下一个迭代点
k 1
x
A( x )
k
。
（i）如果点列
（ii）如果
{ x } 收敛于最优解 x *
0 1 k
k
，则称算法A收敛。
，则称算法A为
f (x ) f (x ) f (x )
i
可微，设对于可行点 x ，存在 Lagrange 乘子向量 使


得 K-T 条件成立.有
s L x ,
T 2
xx

s 0
s G x


则 x 是最优化问题的严格局部最优解.

G x


c ( x ) s 0, i I x a n d 0 i i s c i ( x ) s 0, i I x a n d i 0 c i ( x ) s 0, i 1, 2, , m .
三.
最优化方法概述
1． 基本迭代格式 基本思想 给定最优解的一个初始估计, 记为 x ,方法产生一
(0)
个逐步改善的有限或者无限的迭代序列 { x
(k )
}
,在{ x
(k )
}
是有
(k )
限点列时,它的最后一个点是 Kuhn-Tucker 点,在{ x
}
是
无限点列时,其任意一个聚点是 Kuhn-Tucker 点,并在对 最优解的估计满足指定的精度要求时,停止迭代.
3.
算法终止准则 理想的算法终止准则为:
x
(k )
x
Leabharlann Baidu

讨论: 采用理想终止准则是否可行? 为了构造实用的终止迭代条件, 首先给出算法超 线性收敛的特征.
定理 4 如果点列 x 超线性收敛于 x , 则
(k )
x lim
k
( k 1)
x x
(k )
x
(k )
1,