凸集和凸函数和凸规划-课件

f(αx1+(1-α)x2 )
X1
αx1+(1-α)x2
X2
X
f(X) 任意两点的函数值的连线上的点都在曲线的上方
αf( x1 ) +(1- α) f( x2)
f(X2)
f(αx1+(1-α)x2 )
f(X1)
X1
αx1+(1-α)x2
X2
X
例4.2.1
(a) 凸函数
(b)凹函数
该定义的一个应用——证明不等式
ቤተ መጻሕፍቲ ባይዱ
x1p
x2p n
xnp
p
(
p
1),
1
P41 2.36
x1
n
xn
x1p
x2p n
xnp
p
(
p
1),
凸函数
性质
定理2
f1 , f2 ,..., fk 是凸集S上的凸函数, 则
k
(x) ifi (x),i 0(i 1,2,..., k)
i 1
和
正线性组合
(x) max 1 i k
设 D Rn 是非空凸集， f x : D R,
若对任意的 x, y D ,及任意的 0,1
都有：f x 1 y f x 1 f y 则称函数 f x 为 D 上的凸函数．
注：将上述定义中的不等式反向，可以得到 凹函数的定义．
凸函数
严格凸函数
设 D Rn 是非空凸集， f x : D R,
而 D1 D2 R2 凸集．
凸集-----凸包(Convex Hull)
定义 设 S SR中n , 任意有限个点的所有凸组合 所构成的集合称为S的凸包，记为H(S),即
m
m
H(S) i xi xi S, i 0, i 1,2...,m, i 1, m N
i1
i 1
定理2.1.4 H(S)是Rn 中所有包含S 的凸集的交集.
例：证明
11 x y xp yq ,
pq
其中x,
y
0,
p, q
0,
1 p
1 q
1.
f (t) ln t凹
Young不等式
x p yq xy
pq
1
1
推广：Hölder不等式
证法：在Young不等式中令
n
n
n
xk yk
n
xkp
p
n
ykq
q
k 1
k1 k1
x : xkp
凸函数
性质
定理1 设 f x是凸集 D Rn上的凸函数充要条件
k
x1, x2 ,..., xk D, i 0(i 1, 2,..., k ), i 1, 则 i 1
f
k
i xi
k
i f(x i
).詹生(Jensen)不等式
i1
i1
不等式应用: 设 xi 0 ，证明:
1
x1
n
xn
凸函数
例：试证线性函数是 Rn 上的凸函数． f x cT x c1 x1 c2 x2 cn xn
证明: 设x, y R, 0,1, 则
f x 1 y cT x 1 y
cT x 1 cT y f x 1 f y
故, cT x 是凸函数． 类似可以证明 cT x 也是凹函数.
极小点，且全体极小点的集合为凸集．
(2) 若 f x 是凸集 D Rn 上的严格凸函数， 且凸规划问题 min f x 局部极小点x*存在，
xD
则x*是唯一的全局极小点．
定理 凸规划的任一局部最优解都是它的整体最优解。
证明：设x*是凸规划的一个局部解，则存在δ>0,使
f (x*) f (x)， x X N (x*) （1）
函数值． 所以一元凸函数表示连接函数图形上任意两点 的线段总是位于曲线弧的上方．
f(X) f(X1) X1
f(X2) X
X2
f(X) f(X1) X1
f(X2) f(αx1+(1-α)x2 )
X αx1+(1-α)x2 X2
f(X) f(X1)
αf( x1 ) +(1- α) f( x2)
f(X2)
若对任意的 x, y D (x y),及任意的 0,1
都有：f x 1 y f x 1 f y
则称函数 f x 为 D 上的严格凸函数．
注：将上述定义中的不等式反向，可以 得到严格凹函数的定义．
凸函数
几何性质
对一元函数 f x,在几何上 f x1 1 f x2 0 1 表示连接 x1, f x1 ,x2, f x2 的线段． f x1 1 x2 表示在点 x1 1 x2处的
凸函数
凸函数
凸函数的判别定理---二阶条件
定理5: 设在开凸集 D Rn内 f x二阶可微,则
f x是 D内的凸函数的充要条件为: 对任意
x D, f x 的Hesse矩 Gx 半正定,
其中：
阵 2 f
x12
2 f
Gx
2
f
x
x2
x1
2 f 2 f
x1 x2
x1 xn
2 f x22
min f(x)
(1)
s.t
.h
j
(
x)
0,
j
1,...,
l,
min f(x)
(3)s.t.gi ( x) 0, i 1,..., m
hj ( x) 0, j 1,..., l,
min f(x)
(2)
s.t
.
gi
(
x)
0,
i
1,...,
m
凸规划
凸规划的基本性质 定理2.4 (1)凸规划问题的任一局部极小点是全局
H(S)是包含S 的最小凸集.
凸集-----凸锥 (Convex Cone)
定义 锥、凸锥
设S Rn , x0 S，如果对一切x S
及 0, 有x0 x S, 则称S是
以x0为顶点的锥. 如果S又是凸集， 则称S为凸锥.
凸函数
凸函数(Convex Function) ----定义2.4
i 1
凸组合 (Convex Combination)
m
m
i xi , 其中i R , xi Rn , i 1,2,...m且 i 1.
i 1
i1
凸锥组合 (Convex Cone Combination)
m
i xi , 其中i R , xi Rn , i 1,2,...m.
i 1
则称规划问题 min f x 为凸规划问题． xD
例：若f
x
为
Rn
上的凸函数，则 min xR n
f x
为无约束凸规划问题．
例： 线性规划 min CX
凸
s.t.AX b X0
规 划
例：
凸规划
设S Rn为开凸集，f是S上的凸函数，gi (i 1,2,..., m) 是S上的凹函数，h j ( j 1,2,..., l) 是Rn上的线性函数, 则下面三个规划问题都是凸规划：
第3讲 凸集、凸函数、凸规划
凸性(Convexity)是最优化理论必须涉及到基本概念.具有凸
性的非线性规划模型是一类特殊的重要模型，它在最优化 的理论证明及算法研究中具有非常重要的作用.
• 凸集 (Convex Set)
• 凸函数 (Convex Function) • 凸规划 (Convex Programming)
例： 证明超球 x r 为凸集． 证明：设 x , y 为超球中的任意两点，0 1,
则有： x 1 y x 1 y r 1 r r,
即点x 1 y 属于超球, 所以超球为凸集．
凸集-----性质
(1) 任意多个凸集的交集为凸集．
(2) 设 D 是凸集， 是一实数， 则下面的
凸函数
下面的图形给出了凸函数 f x, y x4 3x2 y4
y2 xy的等值线的图形，可以看出水平集是凸集.
凸函数
凸函数
凸函数的判别定理 定理1: 设 f x是定义在凸集 D Rn 上，x, y D ,
令 t f tx 1 t y, t 0,1, 则:
(1) f x是凸集 D上的凸函数的充要条件是对 任意的x, y D ,一元函数 t为 0,1上的凸函数.
(2)设 x, y D , x y,若 t 在 0,1 上为严格
凸函数，则f x在 D上为严格凸函数．
凸函数
该定理的几何意义是：凸函数上任意两点之 间的部分是一段向下凸的弧．
凸函数
凸函数的判别定理---一阶条件
定理4
设在凸集 D Rn上 f x可微，则：
f x在 D上为凸函数的充要条件是对任意的 x, y D , 都有：f y f x f xT y x.
fi ( x)
都是S上的凸函数.
凸函数
水平集(Level Set) S f , {x S | f (x) },其中S Rn, f : S R.
称为函数f在集合S上关于数 的水平集.
定理3
设 f x是凸集 S Rn 上的凸函数，则对任意 R ，水平集 S f , 是凸集．
注：定理3 的逆命题不成立.
x 1 y D,
则称集合 D 为凸集．
常见的凸集：单点集 { x }，空集 ，整个欧氏空间 Rn，
超平面：H x Rn a1 x1 a2 x2 an xn b ,
H
半空间：
x Rn a1x1 a2 x2
= x Rn aT x b
an xn b
凸集----举例
(4) S 是凸集当且仅当S中任意有限个点的凸 组合仍然在S中.P23,定理2.9