凸优化理论与应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
仿射集的例：直线、平面、超平面
Ax b
9
仿射集
仿射包：包含集合C的最小的仿射集。
aff C { i xi | xi C, i 1}
仿射维数：仿射包的维数。
10
仿射集
内点（interior）： int C {x | B(x, r) C, r 0}
相对内点（relative interior）： relint C {x | B(x, r) affC C, r 0}
袁亚湘、孙文瑜，“最优化理论与方法”，科学出版 社，1999。
6
凸优化理论与应用
第一章 凸集
7
仿射集(Affine sets)
直线的表示：
y x1 (1 )x2, R .
线段的表示：
y x1 (1 )x2, [0,1].
8
仿射集(Affine sets)
仿射集的定义：过集合C内任意两点的直线均在集合C 内，则称集合C为仿射集。
凸优化理论与应用
庄伯金
Bjzhuang@bupt.edu.cn
1
优化理论概述
什么是优化问题？
minimize f0 (x)
Objective function
subject to fi (x) bi , i 1,..., m
xR n
Constraint functions
2
几类经典的优化问题
14
超平面和半空间
超平面(hyperplane) ： {x | aT x b}
半空间(Halfspace)：
{x | aT x b} {x | aT x b}
15
欧氏球和椭球
欧氏球(euclidean ball):
B(xc , r) {x |
x xc
r}
2
{x | (x xc )T (x xc ) r2}
f (x) Ax b, A Rmn ,b Rm
透视/投射函数(perspective function)
P(z,t) z / t, z R n,t R
20
保持凸性的运算
线性分式函数(linear-fractional function)
f (x) (Ax b) /(cT x d) AR mn,b R m,c R n, d R ,cT x d 0
11
凸集(Convex Sets)
凸集的定义：集合C内任意两点间的线段均在集合C内， 则称集合C为凸集。
x1, x2 C, [0,1],则 x1 (1 )x2 C
k
x1,..., xk C,i [0,1]且 i 1, i 1 k 则 i xi C i 1
12Hale Waihona Puke Baidu
凸集
凸包的定义：包含集合C的最小的凸集。
线性规划问题
fi (x)为线性函数
最小二乘问题
f0 (x)＝
Ax - b
2,
2
m
0.
凸优化问题
fi (x)为凸函数
凸优化问题理论上有 有效的方法进行求解！
3
本课程的主要内容
理论部分
凸集和凸函数 凸优化问题 对偶问题
应用部分
逼近与拟合 统计估计 几何问题
算法部分
非约束优化方法 等式约束优化方法 内点法
24
严格广义不等式的性质
1.x p K y x p K y; 2.x p K x; 3.x p K y,u p K v x u p K y v;
4.x p K y, 0 x p K y
5.x p K y,u足够小 x u p K y.
4
课程要求
熟悉了解凸优化理论的基本原理和基本方法； 掌握实际问题转化为凸优化问题的基本方法； 掌握最优化问题的经典算法。
5
参考书目
Stephen Boyd and Lieven Vandenberghe, “Convex
Optimization”, Cambridge University Press.
B(xc, r) {xc ru | u 2 1} 椭球(ellipsoid):
E {x | (x xc )T P1(x xc ) r 2}, P为对称正定矩阵
E {xc Au | u 2 1}, A P1/2
16
范数球和范数锥
范数(norm)： x 0, x 0当且仅当x 0; tx | t | x ,t R ；; xy x y
i0
i0
18
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X R nnn | X X T }
n阶半正定矩阵集：
S
n
{X
Sn
|
X
f
0}
n阶正定矩阵集：
Sn
{X
Sn
|
n阶半正定矩阵集为
X f 0} 凸锥！
19
保持凸性的运算
集合交运算 仿射变换
21
真锥(proper cone)
真锥的定义：锥 K Rn 满足如下条件 1.K为凸集；
2.K为闭集；
K具有内点
3.K非中空；
4.K有端点。
K内不含直线
22
广义不等式
真锥 K下的偏序关系：
x p K y y x K
广义不等式
x p K y y x int K
例：
严格广义不等式
逐项不等式
矩阵不等式
23
广义不等式的性质
1.x p K x; 2.x p K y, y p K x x y; 3.x p K y, y p K z x p K z; 4.x p K y,u p K v x u p K y v;
5.x p K y, 0 x p K y;
6.xi p K yi , lim xi x, lim yi y x p K y.
范数球(norm ball)：
B(xc,r) {x | x xc r}
范数锥(norm cone)：
{(x,t) | x t}
17
多面体(Polyhedra)
多面体： P {x | aTj x bj ,ciT x di}
单纯形(simplex)：
k
k
{ ivi | i 0, i 1, v1 v0,...,vk v0线性无关}
k
k
conv C { i xi | xi C,i 0, i 1}
i 1
i 1
13
锥(Cones)
锥的定义：
x C, 0,则有 x C.
凸锥的定义：集合C既是凸集又是锥。
x1, x2 C,1,2 0,则有1x1 2 x2 C.
锥包的定义：集合C内点的所有锥组合。
k
{ i xi | xi C,i 0} i 1
Ax b
9
仿射集
仿射包：包含集合C的最小的仿射集。
aff C { i xi | xi C, i 1}
仿射维数：仿射包的维数。
10
仿射集
内点（interior）： int C {x | B(x, r) C, r 0}
相对内点（relative interior）： relint C {x | B(x, r) affC C, r 0}
袁亚湘、孙文瑜，“最优化理论与方法”，科学出版 社，1999。
6
凸优化理论与应用
第一章 凸集
7
仿射集(Affine sets)
直线的表示：
y x1 (1 )x2, R .
线段的表示：
y x1 (1 )x2, [0,1].
8
仿射集(Affine sets)
仿射集的定义：过集合C内任意两点的直线均在集合C 内，则称集合C为仿射集。
凸优化理论与应用
庄伯金
Bjzhuang@bupt.edu.cn
1
优化理论概述
什么是优化问题？
minimize f0 (x)
Objective function
subject to fi (x) bi , i 1,..., m
xR n
Constraint functions
2
几类经典的优化问题
14
超平面和半空间
超平面(hyperplane) ： {x | aT x b}
半空间(Halfspace)：
{x | aT x b} {x | aT x b}
15
欧氏球和椭球
欧氏球(euclidean ball):
B(xc , r) {x |
x xc
r}
2
{x | (x xc )T (x xc ) r2}
f (x) Ax b, A Rmn ,b Rm
透视/投射函数(perspective function)
P(z,t) z / t, z R n,t R
20
保持凸性的运算
线性分式函数(linear-fractional function)
f (x) (Ax b) /(cT x d) AR mn,b R m,c R n, d R ,cT x d 0
11
凸集(Convex Sets)
凸集的定义：集合C内任意两点间的线段均在集合C内， 则称集合C为凸集。
x1, x2 C, [0,1],则 x1 (1 )x2 C
k
x1,..., xk C,i [0,1]且 i 1, i 1 k 则 i xi C i 1
12Hale Waihona Puke Baidu
凸集
凸包的定义：包含集合C的最小的凸集。
线性规划问题
fi (x)为线性函数
最小二乘问题
f0 (x)＝
Ax - b
2,
2
m
0.
凸优化问题
fi (x)为凸函数
凸优化问题理论上有 有效的方法进行求解！
3
本课程的主要内容
理论部分
凸集和凸函数 凸优化问题 对偶问题
应用部分
逼近与拟合 统计估计 几何问题
算法部分
非约束优化方法 等式约束优化方法 内点法
24
严格广义不等式的性质
1.x p K y x p K y; 2.x p K x; 3.x p K y,u p K v x u p K y v;
4.x p K y, 0 x p K y
5.x p K y,u足够小 x u p K y.
4
课程要求
熟悉了解凸优化理论的基本原理和基本方法； 掌握实际问题转化为凸优化问题的基本方法； 掌握最优化问题的经典算法。
5
参考书目
Stephen Boyd and Lieven Vandenberghe, “Convex
Optimization”, Cambridge University Press.
B(xc, r) {xc ru | u 2 1} 椭球(ellipsoid):
E {x | (x xc )T P1(x xc ) r 2}, P为对称正定矩阵
E {xc Au | u 2 1}, A P1/2
16
范数球和范数锥
范数(norm)： x 0, x 0当且仅当x 0; tx | t | x ,t R ；; xy x y
i0
i0
18
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X R nnn | X X T }
n阶半正定矩阵集：
S
n
{X
Sn
|
X
f
0}
n阶正定矩阵集：
Sn
{X
Sn
|
n阶半正定矩阵集为
X f 0} 凸锥！
19
保持凸性的运算
集合交运算 仿射变换
21
真锥(proper cone)
真锥的定义：锥 K Rn 满足如下条件 1.K为凸集；
2.K为闭集；
K具有内点
3.K非中空；
4.K有端点。
K内不含直线
22
广义不等式
真锥 K下的偏序关系：
x p K y y x K
广义不等式
x p K y y x int K
例：
严格广义不等式
逐项不等式
矩阵不等式
23
广义不等式的性质
1.x p K x; 2.x p K y, y p K x x y; 3.x p K y, y p K z x p K z; 4.x p K y,u p K v x u p K y v;
5.x p K y, 0 x p K y;
6.xi p K yi , lim xi x, lim yi y x p K y.
范数球(norm ball)：
B(xc,r) {x | x xc r}
范数锥(norm cone)：
{(x,t) | x t}
17
多面体(Polyhedra)
多面体： P {x | aTj x bj ,ciT x di}
单纯形(simplex)：
k
k
{ ivi | i 0, i 1, v1 v0,...,vk v0线性无关}
k
k
conv C { i xi | xi C,i 0, i 1}
i 1
i 1
13
锥(Cones)
锥的定义：
x C, 0,则有 x C.
凸锥的定义：集合C既是凸集又是锥。
x1, x2 C,1,2 0,则有1x1 2 x2 C.
锥包的定义：集合C内点的所有锥组合。
k
{ i xi | xi C,i 0} i 1