收敛性分析
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
理论部分 收敛性分析
无约束最优化算法的一般迭代格式
Step1: 给出 x0 Rn ,0 1, k : 0
Step2: 计算f xk , 如果 f xk , 停．
Step3: 计算下降方向 dk . Step4: 计算步长因子 k . Step5: 令 xk1 xk k dk , 转步２.
证：由假设可知对任意 0 有：
f xk
dk
f
xk
g
T k
dk
1 2
2
d
T k
2
f
xk
dk
dk
, 0
1
令：
f
xk
g
T k
dk
g
T k
d
k
M dk
2
1 2M
2
dk
2
由于 k 是精确线搜索步长，故有：
f xk f xk k dk f xk f xk dk
f xk f xk k dk f xk f xk dk
,kK .
由于 sk k K 收敛到零，故由 gx 在水平集
上一致连续知上式右边趋于零，从而产生矛盾.
的夹角，即：cosk
d
T k
g
k
dk gk
定理3 设函数 f x 连续可微，梯度 gx 满足
Lipschitz连续条件：
gy gz M y z , 5
如果
f
xk
dk 下有界，
0, 则对满足 Wolfe
原则的任何 k 0 均有：
f xk
f xk
kdk
1
M
gk
2 cos2 k
证明：由Lipschitz条件和原则二得：
精确线搜索方法的收敛性
设k dk ,gk 表示向量 dk 与 gk 之间
的夹角，即：cosk
d
T k
g
k
dk gk
定理1 设 dk 是下降方向， k 是精确线搜索的
步长因子，若存在常数 M 0, 使得对所有
0 , 2 f xk dk M , k , 则：
f
xk
f
xk
kdk
1 2M
gk 2 cosk .
k
2
,
对某个
0
则或者对某个有限的 k 有gk 0, 或者
f xk , 或者 gk 0.
证：假定对所有的 k , gk 0, f xk 下有界．
由于f xk 单调下降，故极限存在，因而：
f xk f xk1 0 1
反证法：假定 gk 0 不成立，则存在常数 0
和一个子序列使得 gk , 从而：
其指标集为K，使得:
g
T k
sk
, k K .
sk
于是,由原则一：
f xk
f xk1
sk
g
T k
sk
sk
sk
.
又由于f xk 单调下降，因而收敛的，故
sk k K 收敛到零．
又由原则二：
1
g
T k
sk
gxk sk gk T sk
,k 0
因此：
g
T k
sk
1
sk 1
gxk sk gk
g
T k
d
k
dk
gk
cosk sin 1
2
又： f xk dk f xk gk T dk
f xk dk f xk gk T dk
f
xk
g
T k
dk
gk gk T dk
f xk
dk
g
T k
dk
dk
gk gk
3
其中 k 在 xk 与 xk dk 之间．
由于 g 在水平集 L 上一致连续，故存在
kM
dk
2
d
T k
g xk
k
dk
gk
1
d
T k
gk
即：k dk
1
M dk
dk
gk cosk
1
M
gk
cosk
6
利用原则一和(6),有：
f
xk
f
xk
kdk
k
d
T k
g
k
k dk gk cosk
gk
cosk
1
M
gk
cosk
1
M
gk
2 cos2 k
不精确线搜索方法的收敛性
定理4 设函数 f x 连续可微和下有界，gx 在
使得当 0 dk 时：
gk gk
1 2
1
4
依次利用(2),(3),和(4)得：
f xk
dk dk
f
xk
Hale Waihona Puke Baidu
g
T k
d
k
dk
1 2
1
f
xk
1 2
1
从而由精确线搜索可得：
f xk1
f
xk
dk dk
f
xk
1 2
1
这与(1)矛盾，从而有 gk 0.
不精确线搜索方法的收敛性
设k dk ,gk 表示向量 dk 与 gk 之间
水平集 L x Rn f x f x0 上一致连续．
设不精确线搜索方法采用Wolfe原则，则：
lim
k
gk
cosk 0.
7
如果夹角条件满足，则：
lim
k
gk
0.
8
证：由于
g
T k
sk
0,
又由于
f
x
下有界，因此
序列xk 是有定义的，且在水平集 L 中．
反证法：假定(6)不成立，则存在 0和子序列，
g
T k
d
k
1
2
2
M
dk
2
1 2
g
T k
d
k
M dk
2 2
1 2M
gk 2
g
T k
d
k
2
gk 2 dk 2
1 2M
gk 2 cos2 k
精确线搜索方法的收敛性
定理2 设梯度 gx 在 L x Rn f x f x0
上存在且一致连续，采用精确线搜索算法
产生的方向dk 与 gk 的夹角k 满足：
无约束最优化算法的一般迭代格式
Step1: 给出 x0 Rn ,0 1, k : 0
Step2: 计算f xk , 如果 f xk , 停．
Step3: 计算下降方向 dk . Step4: 计算步长因子 k . Step5: 令 xk1 xk k dk , 转步２.
证：由假设可知对任意 0 有：
f xk
dk
f
xk
g
T k
dk
1 2
2
d
T k
2
f
xk
dk
dk
, 0
1
令：
f
xk
g
T k
dk
g
T k
d
k
M dk
2
1 2M
2
dk
2
由于 k 是精确线搜索步长，故有：
f xk f xk k dk f xk f xk dk
f xk f xk k dk f xk f xk dk
,kK .
由于 sk k K 收敛到零，故由 gx 在水平集
上一致连续知上式右边趋于零，从而产生矛盾.
的夹角，即：cosk
d
T k
g
k
dk gk
定理3 设函数 f x 连续可微，梯度 gx 满足
Lipschitz连续条件：
gy gz M y z , 5
如果
f
xk
dk 下有界，
0, 则对满足 Wolfe
原则的任何 k 0 均有：
f xk
f xk
kdk
1
M
gk
2 cos2 k
证明：由Lipschitz条件和原则二得：
精确线搜索方法的收敛性
设k dk ,gk 表示向量 dk 与 gk 之间
的夹角，即：cosk
d
T k
g
k
dk gk
定理1 设 dk 是下降方向， k 是精确线搜索的
步长因子，若存在常数 M 0, 使得对所有
0 , 2 f xk dk M , k , 则：
f
xk
f
xk
kdk
1 2M
gk 2 cosk .
k
2
,
对某个
0
则或者对某个有限的 k 有gk 0, 或者
f xk , 或者 gk 0.
证：假定对所有的 k , gk 0, f xk 下有界．
由于f xk 单调下降，故极限存在，因而：
f xk f xk1 0 1
反证法：假定 gk 0 不成立，则存在常数 0
和一个子序列使得 gk , 从而：
其指标集为K，使得:
g
T k
sk
, k K .
sk
于是,由原则一：
f xk
f xk1
sk
g
T k
sk
sk
sk
.
又由于f xk 单调下降，因而收敛的，故
sk k K 收敛到零．
又由原则二：
1
g
T k
sk
gxk sk gk T sk
,k 0
因此：
g
T k
sk
1
sk 1
gxk sk gk
g
T k
d
k
dk
gk
cosk sin 1
2
又： f xk dk f xk gk T dk
f xk dk f xk gk T dk
f
xk
g
T k
dk
gk gk T dk
f xk
dk
g
T k
dk
dk
gk gk
3
其中 k 在 xk 与 xk dk 之间．
由于 g 在水平集 L 上一致连续，故存在
kM
dk
2
d
T k
g xk
k
dk
gk
1
d
T k
gk
即：k dk
1
M dk
dk
gk cosk
1
M
gk
cosk
6
利用原则一和(6),有：
f
xk
f
xk
kdk
k
d
T k
g
k
k dk gk cosk
gk
cosk
1
M
gk
cosk
1
M
gk
2 cos2 k
不精确线搜索方法的收敛性
定理4 设函数 f x 连续可微和下有界，gx 在
使得当 0 dk 时：
gk gk
1 2
1
4
依次利用(2),(3),和(4)得：
f xk
dk dk
f
xk
Hale Waihona Puke Baidu
g
T k
d
k
dk
1 2
1
f
xk
1 2
1
从而由精确线搜索可得：
f xk1
f
xk
dk dk
f
xk
1 2
1
这与(1)矛盾，从而有 gk 0.
不精确线搜索方法的收敛性
设k dk ,gk 表示向量 dk 与 gk 之间
水平集 L x Rn f x f x0 上一致连续．
设不精确线搜索方法采用Wolfe原则，则：
lim
k
gk
cosk 0.
7
如果夹角条件满足，则：
lim
k
gk
0.
8
证：由于
g
T k
sk
0,
又由于
f
x
下有界，因此
序列xk 是有定义的，且在水平集 L 中．
反证法：假定(6)不成立，则存在 0和子序列，
g
T k
d
k
1
2
2
M
dk
2
1 2
g
T k
d
k
M dk
2 2
1 2M
gk 2
g
T k
d
k
2
gk 2 dk 2
1 2M
gk 2 cos2 k
精确线搜索方法的收敛性
定理2 设梯度 gx 在 L x Rn f x f x0
上存在且一致连续，采用精确线搜索算法
产生的方向dk 与 gk 的夹角k 满足：