凸优化理论与应用无约束优化PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
条件数的上界：
r M /m
可编辑
7
下降法
下降法的基本原理： 迭代 x(k1) x(k) tx ，满足 f (x(k1) ) f (x(k ) )
x 为下降方向，t 为步长因子。 对于凸函数 f (x) ，当x 满足 f (x)T x 0 时，存在某
个 t，使得 f (x(k1) ) f (x(k) ) 。
凸优化理论与应用
第7章 无约束优化
可编辑
1
无约束优化问题
问题描述： minimize f (x) f (x) 为凸函数，且二次可微。
无约束问题求解的两种方法：
求解梯度方程：
f (x*) 0
迭代逼近：
f (x(k) ) p*
可编辑
2
例
二次优化：
minimize
1 2
) f (x x)
f
(x) f
(x)T x
1
xT 2
f
(x)x
2
泰勒展开可作为f (x) 在 x 附近的近似；
下降方向：
xnt 2 f (x)1f (x)
为二次范数 x 2 f (x) (xT2 f (x)x)1/2 上的最速下降方向。
可编辑
性质2：
f (x)T xnt (x)2
l1 范数：
xsd
f (x) xi
ei
可编辑
16
最速下降法
可编辑
17
收敛性分析
范数界：
x x , (0,1]
*
2
收敛速度因子：
c 1 2m 2 min{1, 2 / M}
可编辑
18
牛顿法
设函数 f (x) 二阶可微，则在 x 附近，f (x) 的泰勒展式为：
可编辑
8
下降法
下降法的一般步骤： 给出初始点 x domf ； 循环迭代
计算下降方向 x ； 搜索步长因子 t ； 迭代：x x tx
可编辑
9
步长因子搜索
精确一维搜索：t arg min f (x tx) t 0
回溯一维搜索：给定参数 (0,0.5), (0,1)
其中 c (0,1) 。
算法简单，但收敛速度较慢。
可编辑
12
收敛性分析
设函数 f (x) 具有强凸性，则存在m 0 和 M 0 ，满
足：
mI p 2 f (x) p MI
则有： f (x tx)
f (x) t
f (x) 2 Mt2
f (x) 2
22
迭代：
x(k) 1
k
1
1
x(k) 2
k
1 1
当 = 1 or ? 1 时，
算法收敛速度很慢。
可编辑
14
例
m
minimize cT x log(bi aiT x), m 500, n 100 i 1
步长因子采用回溯一维搜索。
2
若 t 采用精确一维搜索，则t 1/ M ，收敛速度因子：
c 1m/ M
若 t 采用回溯一维搜索，收敛速度因子：
c 1 min{2m, 2m / M}
条件数越大，收敛速度越小。
可编辑
13
例
minimize
1 2
(
x12
x22 ),
0
初始解为 ( ,1) ，采用精确一维搜索；
可编辑
15
最速下降法
归一化最速下降方向：
xnsd
arg min{f (x)T v | v
v
1}
非归一化最速下降方向
欧式范数：
xsd f (x) * xnsd
xsd f (x)
二次范数
x (xT Px)1/2 ： P
xsd P1f (x)
xT
Px
qT
x
r,
P
Sn
梯度方程
Px* q 0
可编辑
3
迭代起始点
起始点 x(0) 满足： 1.x(0) domf ； 2.S {x domf | f (x) f (x(0) )}为闭集。
满足条件2的几种函数：
函数 f (x) 任意下水平集都是闭集； 函数的定义域为 Rn 当 x bd domf 时， f (x)
初始化：令 t 1 ；
循环迭代
若 f (x tx) f (x) tf (x)T x ，则终止退出； 否则令 t t
可编辑
10
步长因子搜索
可编辑
m
11
梯度下降法
下降方向： x f (x)
终止条件： f (x) 2
收敛性： f (x(k) ) p* ck ( f (x(0) ) p*)
2m
2
p* 为最优值，则
f (x) p* 1 f (x) 2
2m
2
可编辑
5
强凸性
若函数 f (x) 在 S 上具有强凸性，则可以证明存
在M 0 ，满足
2 f (x) p MI
则有
f ( y) f (x) f (x)T ( y x) M y x 2
2
可编辑
4
强凸性wenku.baidu.com
定义：函数 f (x) 在 S 上具有强凸性，若f (x) 满足
2 f (x) f mI , m 0
若函数 f (x)具有强凸性，则有
f ( y) f (x) f (x)T ( y x) m y x 2
2
2
f (x) 1 f (x) 2
2
p* 为最优值，则
p* f (x) 1 f (x) 2
2M
2
可编辑
6
强凸性
对于 x S ，矩阵 2 f (x) Sn 的特征值从大到小依次
为 {1,..., n} 。则有： mI p nI p 2 f (x) p 1I p MI
定义：矩阵2 f (x) Sn 的条件数为最大特征值与最小 特征值之比，即 r 1 / n 。
19
牛顿法
可编辑
20
牛顿减量
令
(x) (f (x)T 2 f (x)1f (x))1/2
(x) 为 f (x) 在x 处的牛顿减量。
牛顿减量的性质1：
f (x) inf y
) f (y)
f (x)
) f (x xnt )
1 (x)2
2
牛顿减量可作为迭代求解的误差估计。
r M /m
可编辑
7
下降法
下降法的基本原理： 迭代 x(k1) x(k) tx ，满足 f (x(k1) ) f (x(k ) )
x 为下降方向，t 为步长因子。 对于凸函数 f (x) ，当x 满足 f (x)T x 0 时，存在某
个 t，使得 f (x(k1) ) f (x(k) ) 。
凸优化理论与应用
第7章 无约束优化
可编辑
1
无约束优化问题
问题描述： minimize f (x) f (x) 为凸函数，且二次可微。
无约束问题求解的两种方法：
求解梯度方程：
f (x*) 0
迭代逼近：
f (x(k) ) p*
可编辑
2
例
二次优化：
minimize
1 2
) f (x x)
f
(x) f
(x)T x
1
xT 2
f
(x)x
2
泰勒展开可作为f (x) 在 x 附近的近似；
下降方向：
xnt 2 f (x)1f (x)
为二次范数 x 2 f (x) (xT2 f (x)x)1/2 上的最速下降方向。
可编辑
性质2：
f (x)T xnt (x)2
l1 范数：
xsd
f (x) xi
ei
可编辑
16
最速下降法
可编辑
17
收敛性分析
范数界：
x x , (0,1]
*
2
收敛速度因子：
c 1 2m 2 min{1, 2 / M}
可编辑
18
牛顿法
设函数 f (x) 二阶可微，则在 x 附近，f (x) 的泰勒展式为：
可编辑
8
下降法
下降法的一般步骤： 给出初始点 x domf ； 循环迭代
计算下降方向 x ； 搜索步长因子 t ； 迭代：x x tx
可编辑
9
步长因子搜索
精确一维搜索：t arg min f (x tx) t 0
回溯一维搜索：给定参数 (0,0.5), (0,1)
其中 c (0,1) 。
算法简单，但收敛速度较慢。
可编辑
12
收敛性分析
设函数 f (x) 具有强凸性，则存在m 0 和 M 0 ，满
足：
mI p 2 f (x) p MI
则有： f (x tx)
f (x) t
f (x) 2 Mt2
f (x) 2
22
迭代：
x(k) 1
k
1
1
x(k) 2
k
1 1
当 = 1 or ? 1 时，
算法收敛速度很慢。
可编辑
14
例
m
minimize cT x log(bi aiT x), m 500, n 100 i 1
步长因子采用回溯一维搜索。
2
若 t 采用精确一维搜索，则t 1/ M ，收敛速度因子：
c 1m/ M
若 t 采用回溯一维搜索，收敛速度因子：
c 1 min{2m, 2m / M}
条件数越大，收敛速度越小。
可编辑
13
例
minimize
1 2
(
x12
x22 ),
0
初始解为 ( ,1) ，采用精确一维搜索；
可编辑
15
最速下降法
归一化最速下降方向：
xnsd
arg min{f (x)T v | v
v
1}
非归一化最速下降方向
欧式范数：
xsd f (x) * xnsd
xsd f (x)
二次范数
x (xT Px)1/2 ： P
xsd P1f (x)
xT
Px
qT
x
r,
P
Sn
梯度方程
Px* q 0
可编辑
3
迭代起始点
起始点 x(0) 满足： 1.x(0) domf ； 2.S {x domf | f (x) f (x(0) )}为闭集。
满足条件2的几种函数：
函数 f (x) 任意下水平集都是闭集； 函数的定义域为 Rn 当 x bd domf 时， f (x)
初始化：令 t 1 ；
循环迭代
若 f (x tx) f (x) tf (x)T x ，则终止退出； 否则令 t t
可编辑
10
步长因子搜索
可编辑
m
11
梯度下降法
下降方向： x f (x)
终止条件： f (x) 2
收敛性： f (x(k) ) p* ck ( f (x(0) ) p*)
2m
2
p* 为最优值，则
f (x) p* 1 f (x) 2
2m
2
可编辑
5
强凸性
若函数 f (x) 在 S 上具有强凸性，则可以证明存
在M 0 ，满足
2 f (x) p MI
则有
f ( y) f (x) f (x)T ( y x) M y x 2
2
可编辑
4
强凸性wenku.baidu.com
定义：函数 f (x) 在 S 上具有强凸性，若f (x) 满足
2 f (x) f mI , m 0
若函数 f (x)具有强凸性，则有
f ( y) f (x) f (x)T ( y x) m y x 2
2
2
f (x) 1 f (x) 2
2
p* 为最优值，则
p* f (x) 1 f (x) 2
2M
2
可编辑
6
强凸性
对于 x S ，矩阵 2 f (x) Sn 的特征值从大到小依次
为 {1,..., n} 。则有： mI p nI p 2 f (x) p 1I p MI
定义：矩阵2 f (x) Sn 的条件数为最大特征值与最小 特征值之比，即 r 1 / n 。
19
牛顿法
可编辑
20
牛顿减量
令
(x) (f (x)T 2 f (x)1f (x))1/2
(x) 为 f (x) 在x 处的牛顿减量。
牛顿减量的性质1：
f (x) inf y
) f (y)
f (x)
) f (x xnt )
1 (x)2
2
牛顿减量可作为迭代求解的误差估计。