第3讲 凸集、凸函数、凸规划

而 D1 D2 R2 凸集．
凸集-----凸包(Convex Hull)
定义 设 S SR中n , 任意有限个点的所有凸组合 所构成的集合称为S的凸包，记为H(S),即
m
m
H(S) i xi xi S, i 0, i 1,2...,m, i 1, m N
i1
i 1
定理2.1.4 H(S)是Rn 中所有包含S 的凸集的交集.
x1p
x2p n
xnp
p
(
p
1),
1
P41 2.36
x1
n
xn
x1p
x2p n
xnp
p
(
p
1),
凸函数
性质
定理2
f1 , f2 ,..., fk 是凸集S上的凸函数, 则
k
(x) ifi (x),i 0(i 1,2,..., k)
i 1
和
正线性组合
(x) max 1 i k
αx1+(1-α)x2
X2
X
例4.2.1
(a) 凸函数
(b)凹函数
该定义的一个应用——证明不等式
例：证明
11 x y xp yq ,
pq
其中x,
y
0,
p, q
0,
1 p
1 q
1.
f (t) lpq
1
1
推广：Hölder不等式
证法：在Young不等式中令
H(S)是包含S 的最小凸集.
凸集-----凸锥 (Convex Cone)
定义 锥、凸锥
设S Rn , x0 S，如果对一切x S
及 0, 有x0 x S, 则称S是
以x0为顶点的锥. 如果S又是凸集， 则称S为凸锥.
凸函数
凸函数(Convex Function) ----定义2.4
极小点，且全体极小点的集合为凸集．
(2) 若 f x 是凸集 D Rn 上的严格凸函数， 且凸规划问题 min f x 局部极小点x*存在，
xD
则x*是唯一的全局极小点．
定理 凸规划的任一局部最优解都是它的整体最优解。
证明：设x*是凸规划的一个局部解，则存在δ>0,使
f (x*) f (x)， x X N (x*) （1）
第3讲 凸集、凸函数、凸规划
凸性(Convexity)是最优化理论必须涉及到基本概念.具有凸性
的非线性规划模型是一类特殊的重要模型，它在最优化的理 论证明及算法研究中具有非常重要的作用.
• 凸集 (Convex Set)
• 凸函数 (Convex Function) • 凸规划 (Convex Programming)
凸函数
例：试证线性函数是 Rn 上的凸函数． f x cT x c1 x1 c2 x2 cn xn
证明: 设x, y R, 0,1, 则
f x 1 y cT x 1 y
cT x 1 cT y f x 1 f y
故, cT x 是凸函数． 类似可以证明 cT x 也是凹函数.
x 1 y D,
则称集合 D 为凸集．
常见的凸集：单点集 { x }，空集 ，整个欧氏空间 Rn，
超平面：H x Rn a1 x1 a2 x2 an xn b ,
H
半空间：
x Rn a1x1 a2 x2
= x Rn aT x b
an xn b
凸集----举例
例： 证明超球 x r 为凸集． 证明：设 x , y 为超球中的任意两点，0 1,
则有： x 1 y x 1 y r 1 r r,
即点x 1 y 属于超球, 所以超球为凸集．
凸集-----性质
(1) 任意多个凸集的交集为凸集．
(2) 设 D 是凸集， 是一实数， 则下面的
凸函数
性质
定理1 设 f x是凸集 D Rn上的凸函数充要条件
k
x1, x2 ,..., xk D, i 0(i 1, 2,..., k ), i 1, 则 i 1
f
k
i xi
k
i f(x i
).詹生(Jensen)不等式
i1
i1
不等式应用: 设 xi 0 ，证明:
1
x1
n
xn
2 f
x2 xn
2 f
xn
x1
2 f xn x2
2 f
x
2 n
凸函数
凸函数的判别定理---二阶条件
定理2.3.6: 设在开凸集 D Rn内 f x二阶可微, 若在 D内Gx 正定, 则 f x在 D内
是严格凸函数． 注: 反之不成立．
例：f x x4
f(x)是严格凸的， 但在点x 0处Gx不是正定的
凸函数
下面的图形给出了凸函数 f x, y x4 3x2 y4
y2 xy的等值线的图形，可以看出水平集是凸集.
凸函数
凸函数
凸函数的判别定理 定理1: 设 f x是定义在凸集 D Rn 上，x, y D ,
令 t f tx 1 t y, t 0,1, 则:
(1) f x是凸集 D上的凸函数的充要条件是对 任意的x, y D ,一元函数 t为 0,1上的凸函数.
凸函数
凸函数
凸函数的判别定理---二阶条件
定理5: 设在开凸集 D Rn内 f x二阶可微,则
f x是 D内的凸函数的充要条件为: 对任意
x D, f x 的Hesse矩 Gx 半正定,
其中：
阵 2 f
x12
2 f
Gx
2
f
x
x2
x1
2 f 2 f
x1 x2
x1 xn
2 f x22
f(X) f(X2) αf( x1 ) +(1- α) f( x2) f(αx1+(1-α)x2 )
f(X1)
X1
αx1+(1-α)x2
X2
X
f(X) 任意两点的函数值的连线上的点都在曲线的上方 f(X2)αf( x1 ) +(1- α) f( x2)
f(αx1+(1-α)x2 ) f(X1)
X1
i 1
凸组合 (Convex Combination)
m
m
i xi , 其中i R , xi Rn , i 1,2,...m且 i 1.
i 1
i1
凸锥组合 (Convex Cone Combination)
m
i xi , 其中i R , xi Rn , i 1,2,...m.
i 1
设 D Rn 是非空凸集， f x: S R,
若对任意的 x, y D ,及任意的 0,1
都有：f x 1 y f x 1 f y 则称函数 f x 为 D 上的凸函数．
注：将上述定义中的不等式反向，可以得到 凹函数的定义．
凸函数
严格凸函数
设 D Rn 是非空凸集， f x: S R,
凸函数
凸函数的判别定理---二阶条件 例：
设f : Rn R为二次函数，即 f ( x) 1 xTQx bT x c, 2
其中Q是n阶对称矩阵，则 (1) f是Rn上的凸函数的充要条件是Q为半正定矩阵. (2) f是Rn上的严格凸函数的充要条件是Q为正定矩阵.
凸规划
凸规划(Convex
Prog设raDmmiRnng为) 凸集，f x为 D上的凸函数，
如果x*不是整体最优解，则 x X，使 f (x*) f (x)，
又因为f是凸函数，所以
f ( x (1 )x*) f (x) (1 ) f (x*)
f (x*) (1 ) f (x*) f (x*)
（2）
取α>0充分小，有
x (1 ) x* x* X N ( x*),
(2)设 x, y D , x y,若 t 在 0,1 上为严格
凸函数，则f x在 D上为严格凸函数．
凸函数
该定理的几何意义是：凸函数上任意两点之 间的部分是一段向下凸的弧．
凸函数
凸函数的判别定理---一阶条件
定理4
设在凸集 D Rn上 f x可微，则：
f x在 D上为凸函数的充要条件是对任意的 x, y D , 都有：f y f x f xT y x.
若对任意的 x, y D (x y),及任意的 0,1
都有：f x 1 y f x 1 f y
则称函数 f x 为 D 上的严格凸函数．
注：将上述定义中的不等式反向，可以 得到严格凹函数的定义．
凸函数
几何性质
对一元函数 f x,在几何上 f x1 1 f x2 0 1 表示连接 x1, f x1 ,x2, f x2 的线段． f x1 1 x2 表示在点 x1 1 x2处的
n
n
n
xk yk
n
xkp
p
n
ykq
q
k 1
k1 k1
x : xip
xkp y : yiq
ykq
P41 2.37
凸函数
例：设f x x 12 , 试证明 f x在 ,
上是严格凸函数．
证明: 设 x, y R, 且x y , 0,1都有： f x 1 y f x 1 f y x 1 y 12 x 12 1 y 12 1 x y2 0 因此, f x在 , 上是严格凸函数．
min f(x)
(1)
s.t
.h
j
(
x)
0,
j
1,...,
l,
min f(x)
(3)s.t.gi ( x) 0, i 1,..., m
hj ( x) 0, j 1,..., l,
min f(x)
(2)
s.t
.