凸优化理论与应用

X 0} 凸锥！
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
19
保持凸性的运算
集合交运算 仿射变换
f (x) Ax b, A Rmn ,b Rm
透视/投射函数(perspective function)
P(z,t) z / t, z n,t
信息与通信工程学院 庄伯金
3.若K的闭包有端点，则K *非中空；
4.K **是K的闭凸包；
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
29
对偶广义不等式
广义不等式与对偶等价性质
x K y T x T y, for all K* 0; x K y T x T y, for all K* 0, 0.
最小元的对偶特性： x为集合S中关于K偏序的最小元
对所有 K* 0, x为使T z, z S最小的值.
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
30
对偶广义不等式
极小元的对偶特性
K* 0, x为使T z, z S最小的值 x为极小元.
反过来不一定成 立！
信息与通信工程学院 庄伯金
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
16
范数球和范数锥
范数(norm)： x 0, x 0当且仅当x 0; tx | t | x ,t ； xy x y
范数球(norm ball)：
B(xc,r) {x | x xc r}
范数锥(norm cone)：
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
5
参考书目
Stephen Boyd and Lieven Vandenberghe, “Convex Optimization”, Cambridge University Press.
袁亚湘、孙文瑜，“最优化理论与方法”，科学出版 社，1999。
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
33
凸函数的定义
凸函数的定义：函数 f : n
1.定义域 dom f为凸集；
2.x, y dom f , 0 1，有
，满足
f ( x (1 ) y) f (x) (1 ) f ( y).
凸函数的扩展定义：若 f 为凸函数，则可凸定函义数其的扩
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
6
凸优化理论与应用
第一章 凸集
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
7
仿射集(Affine sets)
直线的表示：
y x1 (1 )x2, .
线段的表示：
y x1 (1 )x2, [0,1].
凸优化问题理论上有 有效的方法进行求解！
3
本课程的主要内容
理论部分
凸集和凸函数 凸优化问题 对偶问题
应用部分
逼近与拟合 统计估计 几何问题
算法部分
非约束优化方法 等式约束优化方法 内点法
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
4
课程要求
熟悉了解凸优化理论的基本原理和基本方法； 掌握实际问题转化为凸优化问题的基本方法； 掌握最优化问题的经典算法。
k
则 i xi C i 1
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
12
凸集
凸包的定义：包含集合C的最小的凸集。
k
k
conv C { i xi | xi C,i 0, i 1}
i 1
i 1
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
13
5.x K y, 0 x K y;
6.xi K yi , lim xi x, lim yi y x K y.
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
24
严格广义不等式的性质
1.x K y x K y; 2.x K x; 3.x K y,u K v x u K y v;
凸优化理论与应用
庄伯金
Bjzhuang@bupt.edu.cn
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
1
优化理论概述
什么是优化问题？
minimize f0 (x)
Objective function
subject to fi (x) bi , i 1,..., m
x n
bjzhuang@bupt.edu.cn
31
作业
P60 2.8 P60 2.10 P60 2.14 P62 2.16 P62 2.18 P64 2.30 P64 2.31 P64 2.33
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
32
凸优化理论与应用
第二章 凸函数
14
超平面和半空间
超平面(hyperplane) ： {x | aT x b}
半空间(Halfspace)： {x | aT x b} {x | aT x b}
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
15
欧氏球和椭球
欧氏球(euclidean ball):
B(xc , r) {x |
bjzhuang@bupt.edu.cn
20
保持凸性的运算
线性分式函数(linear-fractional function)
f (x) (Ax b) /(cT x d) A mn,b m,c n, d ,cT x d 0
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
11
凸集(Convex Sets)
凸集的定义：集合C内任意两点间的线段均在集合C 内，则称集合C为凸集。
x1, x2 C, [0,1],则 x1 (1 )x2 C
k
x1,..., xk C,i [0,1]且 i 1, i 1
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
36
凸函数的例
e 指数函数 ax
幂函数 xa , x , a 1 or a 0. 负对数函数 log x
负熵函数 x log x
范数函数
x p
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
展函数 f : n {} 为
扩展函数
f
(x)
f
(x)
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
x domf x domf
也是凸函 数！
34
凸函数的一阶微分条件
若函数 f 的定义域 domf为开集，且函数 f 一阶可微， 则函数 f 为凸函数当且仅当 domf 为凸集，且对 x, y domf
21
真锥(proper cone)
真锥的定义：锥 K Rn 满足如下条件 1.K为凸集；
2.K为闭集；
K具有内点
3.K非中空；
4.K有端点。
K内不含直线
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
22
广义不等式
真锥 K下的偏序关系：
x K y y x K
广义不等式
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
8
仿射集(Affine sets)
仿射集的定义：过集合C内任意两点的直线均在集合 C内，则称集合C为仿射集。
仿射集的例：直线、平面、超平面
Ax b
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
9
仿射集
仿射包：包含集合C的最小的仿射集。
27
支撑超平面(supporting hyperplane)
定义：设集合 C ，x0 为 C 边界上的点。若存在 a 0， 满足对任意 x C ，都有 aT x aT x0 成立，则称超平 面 {x | aT x aT x0} 为集合 C在点 x0 处的支撑超平面。
定理：凸集边界上任意一点均存在支撑超平面。 定理：若一个闭的非中空集合，在边界上的任意一点
锥(Cones)
锥的定义：
x C, 0,则有 x C.
凸锥的定义：集合C既是凸集又是锥。
x1, x2 C,1,2 0,则有1x1 2 x2 C.
锥包的定义：集合C内点的所有锥组合。
k
{ i xi | xi C,i 0} i 1
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
aff C { i xi | xi C, i 1}
仿射维数：仿射包的维数。
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
10
仿射集
内点（interior）： int C {x | B(x, r) C, r 0}
相对内点（relative interior）： relint C {x | B(x, r) affC C, r 0}
{(x,t) | x t}
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
17
多面体(Polyhedra)
多面体： P {x | aTj x bj ,ciT x di}
单纯形(simplex)：
k
k
பைடு நூலகம்
{ ivi | i 0, i 1, v1 v0,...,vk v0线性无关}
4.x K y, 0 x K y
5.x K y,u足够小 x u K y.
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
25
最值和极值
最小元的定义：设 x S ，对y S ，都有 x K y 成立，则称 x 为S 的最小元。
极小元的定义：设 x S ，对于y S ，若 y K x ，则 y x 成立，则称 x 为 S 的极小元。
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
26
分割超平面(separating hyperplane)
定理：设C 和 D 为两不相交凸集，则存在超平面将C 和 D 分离。即：
x C, aT x b且x D, aT x b.
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
i0
i0
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
18
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X nn | X X T }
n阶半正定矩阵集：
S
n
{X
S
n
|
X
0}
n阶正定矩阵集：
Sn
{X
Sn
|
n阶半正定矩阵集为
存在支撑超平面，则该集合为凸集。
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
28
对偶锥(dual cone)
对偶锥的定义：设 K为锥，则集合
K* {y | xT y 0,x K}
称为对偶锥。
对偶锥的性质：
1.K *是闭凸集；
真锥的对偶锥仍 然是真锥！
2.若K非中空，则K *有端点；
x xc
r}
2
{x | (x xc )T (x xc ) r2}
B(xc, r) {xc ru | u 2 1} 椭球(ellipsoid):
E {x | (x xc )T P1(x xc ) r 2}, P为对称正定矩阵
E {xc Au | u 2 1}, A P1/2
f ( y) f (x) f (x)T ( y x)
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
35
凸函数的二阶微分条件
若函数 f 的定义域 domf 为开集，且函数 f 二阶可 微，则函数 f 为凸函数当且仅当 domf 为凸集，且 对 x domf ，其Hessian矩阵 2 f (x) 0.
x K y y x int K
例：
严格广义不等式
逐项不等式
矩阵不等式
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
23
广义不等式的性质
1.x K x; 2.x K y, y K x x y; 3.x K y, y K z x K z; 4.x K y,u K v x u K y v;
Constraint functions
信息与通信工程学院 庄伯金
bjzhuang@bupt.edu.cn
2
几类经典的优化问题
线性规划问题
fi (x)为线性函数
最小二乘问题
f0 (x)＝
Ax - b
2,
2
m
0.
凸优化问题
fi (x)为凸函数
信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn