运筹学2凸分析

最优化理论与算法
帅天平
北京邮电大学数学系 Email:tpshuai@, Tel:62281308,Rm:主楼814
§2，凸分析与凸函数
TP SHUAI 1
2. 凸集与凸函数
•2.1 凸集与锥
Df 2.1 设S 为n维欧氏空间R 中的一个集合。若对 任意两点x (1) , x ( 2 ) S 及每个实数 [0,1], 有 x (1) (1- ) x ( 2 ) S 则称S 为凸集。x (1) (1 - ) x ( 2 ) 称为x (1) 和x ( 2 )的凸组合。
i 1 m
TP SHUAI
5
2. 凸集与凸函数
运用定义不难验证如下命题：
命题2.1 设S1和S2为R 中两个凸集, 是实数, 则
n
1,S1 {x x S1}为凸集。
2，S1 S2为凸集 (1) (2) (1) (2) 3，S1 S2 ={x +x x S1 ,x S2 }为凸集 (1) (2) (1) (2) 4，S1 S2 ={x -x x S1 ,x S2 }为凸集 Df 2.3 集合T R n的凸包是指所有包含T的凸集的
TP SHUAI 14
x
d1 0
d2
2. 凸集与凸函数
• 2. 2 凸集分离定理
Df 2.7，设S1和S2是R n中两个非空集合，H {x pT x } 为超平面。若对x S1 , 有pT x ，对于x S 2 , 有 pT x （或情形恰好相反），则称超平面H 分离集合 S1和S2 .若S1 S 2 H , 则称H 正常分离S1和S 2。若S1 H , S2 H , 则称H 严格分离S1和S 2。若 S1 H () {x | pT x }, 0, S 2 H , 则称H 强分离 S1和S2。
Th2.7 设S ( )为R n中的闭凸集，y S , 则存在p 0 及实数 0，使得对点x S , 有 pT y pT x。
TP SHUAI 20
2. 凸集与凸函数
证明提纲
x S, ||y-x||=inf xS ||y-x||
(i) (x- x )(y- x )0 对任意 xX. (ii) 令 p=y- x ， =p Tp.
TP SHUAI
15
2. 凸集与凸函数
Df 2.8，设S ( ) R n , p R n，p 0, x S 若S H {x pT ( x x ) 0}或者S H － {x pT ( x x ) 0} 则称H {x pT ( x x )＝0}是S 在x 处的支撑超平面，若S H , 则称H 为S 在x 处的正常支撑超平面。
x5 x x2
x4
y
x3
TP SHUAI 7
2. 凸集与凸函数
命题2.2若集合S Rn为凸集，则它的闭包S 也是凸集。
Df 2.4设有集合C R n , 若对每一点x C ,当取 任何非负数时，都有x C , 称C为锥, 又若C为凸 集，则称C为凸锥.
例2. 3，向量集(1), (2),..., (k)的所有非负线性组合 构成的集合 { i (i) i 0,i 1,2,..., k}为凸锥。
约定: 非空集合S生成的凸锥,是指可以表示成S中有限 个元素的非负线性组合(称为凸锥组合)的所有点所构成 的集合,记为coneS. 若S凸,则 coneS=K(S) ∪{0}
TP SHUAI 9
2. 凸集与凸函数
Df 2.5 非空凸集中的点 x 称为 极点 , 若 x=x1+(1-)x2 , (0,1) , x1 ,x2 S, 则 x=x1=x2.换言之,x不能表示成S中两个不 同点的凸组合. x1 x S x4 x5 x x
2
y
x3
由上可知,任何有界凸集中任一点都可表成极点的凸组合.
TP SHUAI
10
2. 凸集与凸函数
Def 2.6. 设非空凸集SRn, Rn中向量d0 称为S的一个回收方 向(方向), 若对每一 xS, R(x.d)={x+d| 0 }S.S的所有方向 构成的尖锥称为S的回收锥,记为0+S 方向d1和d2 称为S的两个不同的方向,若对任意>0, 都有 d1d2；方向d称为S的极方向extreme direction ,若 d=d1+(1-)d2, (0,1),d1 ,d2 是S的两个方向,则有 d=d1=d2. 换言之d不能表成它的两个不同方向的凸锥组合 d d d
x Rn
kK jJ k 1, k 0, k K , j 0, j J kK
k j
TP SHUAI 13
x k x j d
(3)指标集J是空集当且仅当P是有界集合,即多胞形.
2. 凸集与凸函数
p
X x x
y
TP SHUAI
21
2. 凸集与凸函数
(1)在连线xx(如图)上取一点x (1 )x, 则 y x y (x (1 )x) y x (x x)
2 2 2 2 2 2
y x x x 2(y x)(x x)
i=1 k
TP SHUAI
8
2. 凸集与凸函数
由定义可知,锥关于正的数乘运算封闭,凸锥关于加法 和正的数乘封闭,一般的,对于凸集S,集合 K(S)={λx|λ>0,xS} 是包含S的最小凸锥. 锥C称为尖锥,若0S.尖锥称为突出的,若它不包含 一维子空间. • 多面集 {x|Ax0}也是凸锥，称为多面锥。
2
(m)
y)
(k)
2
2 x
y 2 x
(m)
y (x
TP SHUAI
y) (x
(m)
y)
2
17
2. 凸集与凸函数
2 x 2 x
(k )
y 2 x y 2 x
2 2 2
2
(m)ห้องสมุดไป่ตู้
y 4
2
2
(x
(k )
x 2
(m)
)
2
y
(k )
(m)
y 4r 2
(m)
TP SHUAI
3
2. 凸集与凸函数
p x0 p x-x0 x0
x-x0
x
x
例2.2 集合L {x x x (0) d ， 0}为凸集，其中d 为 给定的非零向量，x (0)为定点。
集合L {x x x (0) d , 0}称为射线,x (0)为射线的顶点
2. 凸集与凸函数
证明：令
inf y-x r 0
xS
于是,由下确界定义知,存在序列{x (k) }, x (k) S, 使得 y x (k) r.
先证{x (k) }存在极限x S.只须证{x (k) }为柯西数列。
x
(k)
x
(k)
(m) 2 2
(x
(k)
y) (x
TP SHUAI 4
2. 凸集与凸函数
Df 2.2 给定m个向量, x1 ,..., x m R n ,以及满足 i 1的
i 1
m
非负实数 i R, i 1,.., m, 称向量1 x1 ... m x m 为 {x1 , ..., x m }的凸组合.
Th2.1 集合S R n是凸集,当且仅当S 包含其中任意有限个 元素的凸组合,即对m R {1,2,...}, 任意的x1 ,..., x m R n , 有1 x1 ... m x m S , 其中 i 1, i 0 R, i 1,.., m.
TP SHUAI 19
2. 凸集与凸函数
Th2.6 设S R n的非空闭凸集，y S , 则点x S 为极小化问题 (2.4)的最优解当且仅且当( y - x)T ( x - x) 0
设S为闭凸集，y S,H {x | p T x }为超平面。 H分离点y 若pT y , 则p T x ，x S. 令pT y ，则y与S分离可表为 pT y pT x, x S.
n
TP SHUAI
2
2. 凸集与凸函数
例2.1 超平面H {x pT x }为凸集，其中p为n维列 向量，为实数。此外, 下面相对于法向量p的半空 间都是凸集 : 正的闭半空间H {x pT x } 负的闭半空间H - {x pT x } 正的开半空间H {x pT x } 负的开半空间H - {x pT x }
2( x
(k )
y r ) 2( x
y r 2 ) 0(k,m )
2
所以为柯西列，必有极限,且由S为闭集知。 此极限点必在S中。 下证明唯一性
TP SHUAI 18
2. 凸集与凸函数
ˆ S, 设有x ˆ y r. xy x 1 ˆ） 由S为凸集，有 （ x+x S, 由 Schwartz 不等式 2 1 1 1 ˆ ） x y x ˆ y r, y- （ x+x 2 2 2 1 1 1 ˆ ） x y x ˆ y r 再由r的定义 y- （ x+x 2 2 2 ˆ || y x ||| ||| y x ˆ || y x (y x) | | 1 1,因否则导出y S, 矛盾。
Df 2.9
设S R n非空，y R n , 则点y与集合S 之间的 dist （y, S ) inf y - x
xS
距离dist ( y, S )定义为 (2.4)
Th2.5设S为R n中的闭凸集，y S,则存在唯一的点x S, 使得 y-x inf y-x