周国标师生交流讲席008

1. 《周国标师生交流讲席008》
各位同学：
这次讲席的内容包括最优化课程中关于凸分析一章中有些没有在课堂上仔细讲的内容的补充；
请同学们针对自己的薄弱部分，有意识地补充和提高自己。

周国标
2007．10．17
关于凸分析的若干补缺
1．如同数学分析是以建立在实数域上的连续函数为研究对象的数学理论一样，凸分析是关于具有凸性的集合和函数的数学分析的理论，所以，它的主要对象是凸集和凸函数。

另一方面，凸函数在很多情况下是非光滑的，而非光滑优化问题的分析与求解理论，是以凸分析中较深入部分为理论基础的，这一部分称为非光滑分析。

由于本课程的性质和学时数的限制，我们在这一章中只讨论凸分析的基础内容。

如果有同学还想继续加深自己的学习，可以参考：
[1]胡毓达等 《凸分析与非光滑分析》，上海科学技术出版社，2000
[2]黄红选等 《数学规划》，清华大学出版社，2006
外文的版本不少，你可以以“convex analysis ”为主题词去查找。

比如，由Alexander Rubinov 写的《Abstract Convexity and Global Optimization 》就是一本很好的书，但需要时间去认真研度。

我想，在你的研究生期间，认真地而不是马虎地读2-3本经典原著，还是必要的。

2．几个重要的凸集合
（1）凸包（convex hell ） 凸包常用的定义有2个，一个是我们在课堂上讲的，即集合S 的凸包是n
R 中所有包含S 的凸集的交集。

另一个可以由此定义推出的一个定理： 定理2。

1（凸包表示定理）设n S R ⊆，则S 中有限个元素（点）的一切凸组合所构成的集合是凸集，并且此凸集就是S 的凸包，即 11(){|,1,0,1,,}m m
i i i i i i i H S x x S i m λλλ===∈=≥=∑∑L
凸包的运算性质可用下列定理来表示。

定理2。

2 设12,n
S S R ∈，那么
1）(H S 1212()()()H S S H S H S ∩⊂∩，
进一步若12,S S 是凸集，则1212()()()H S S H S H S ∩=∩；
2）1212()()()H S S H S H S +=+；
3）若12,S S 是凸集，则(H S 1212[0,1]()[(1)]H S S S S λλλ∈∪=∪+−。

关于此两定理的证明可以参看上述文献[1]。

（2）凸锥
其定义已经在课上讲了。

由定义，可以证明：集合
()()1{|,,0,1,,}m i i n i
i i S x x x x R i m λλ===∈≥=∑L
是一个凸锥。

我们称S 为由(1)(2)(),,,m x x x L 所生成的凸锥。

（3）多胞形和多面体
关于它们，后面还要补充。

3．凸集的分离定理
凸集的分离定理是应用凸集到最优化理论中的重要结果，这个结果在最优化理论中有重要的位置。

由于时间问题，我们在课堂上没有细讲。

这里宜补上。

所谓两个凸集分离，直观地看是指两个凸集合没有交叉和重合的部分，因此可以用一张超平面将两者隔在两边。

这样理解当然是对的，但数学上需要准确的定量描述，否则在以后的演绎证明过程中，不容易推导了。

定义 设
12,n S S R ⊆为两个非空集合，如果存在非零向量n p R ∈及R α∈，使得 12{|}
{|}
n T n T S H x R p x S H x R p x αα−+⊆=∈≤⊆=∈≥ 则称超平面{|}n T H x R p x α=∈=分离了集合1S 和2S 。

仔细看，如果两个被分离的集合在一点上“相切”，还是可以用一张超平面象一把薄刀，将它们劈开来。

为了证明凸集的分离定理，先给出闭凸集合的一个性质。

我们不妨把一个闭凸集想象为一个三维的充满了气体的汽球（不一定标准球形的其它形状，但必须是凸的），那么，在汽球外一点y ，到汽球各点x （包括内部）的距离是不一样的，但直觉告诉我们，肯定在汽球上有一点x ，它到y 的距离是所有距离中最小的。

这是凸集的特有性质。

如果不是凸集，就不会这样了，比如一个平面上对称心形的图形（它不是凸的）外一点，至少可以找到2点，使其到外面那一点的距离最小。

引理3。

1 设n S R ⊆为非空闭凸集，\n
y R S ∈，则存在唯一的x S ∈，使得该点与y 的距离最小，即有
||||inf{|||||}x y x y x S −=−∈ > 0
根据范数的等价性，这里的范数可以是任一种范数。

证明：先证明其存在性。

考虑单位超球
{|||||1}n B z R z =∈≤
取足够大的正数β，使 ({})D S y B βφ=∩+≠，（我们之所以要“制造”出这样一个集合，是为了有一个有界闭集！——想想看，为什么？）
因为 S 为闭集，
而{}y B β+是一个有界闭集，所以，D 是一个非空的有界闭集。

S D = 我们知道，范数()||||f x x y =−是一个连续函数，一个连续函数在有界闭集上总可以在其上的某一点取得它的最大值，在另一点上取得其最小值。

（对这个结论不太理解的话，你可以用一元函数在闭区间上画一条连续函数的图线就明白，不过，必须是闭区间！） 设这个最小值在x D ∈处达到，即x 是y 到S 的最小距离点。

记此距离值为r 。

再证唯一性。

假设还存在另一点x S ∈%，使||||||||x y x y r −=−=% （*） 记1ˆ()2
x
x x =+%。

因为 1111ˆ2222
x y x y x y −=−+−%，两边取范数，则有 11ˆ||||||||||||22x y x y x y r −≤−+−=%
但是S 为凸集，ˆx 是x S ∈与x S ∈%的凸组合，所以ˆx
S ∈。

而由于r 是y 到S 的最小距离，故ˆ||||x
y r −= （**） 根据平行四边形定律（两对角线长的平方和=一组邻边平方和的两倍）（这里要把
x y x y −−%和看为平行四边形的一组邻边，那么一条对角线长为x x
−%，另一条为ˆx y x y x
y −+−=−%） 2222ˆ||||4||||2||||2||||x x x
y x y x y −+−=−+−%% 把（*）（**）代入，有2222||||2240x x
r r r −=+−=%， 故有 x x x
=%， 唯一性得证。

□
在此基础上，可给出凸集分离定理。

这个定理说，对于凸集S 外的一点y ，存在一个向量p ，存在一个以此向量为法向量的超平面 T
p x α=，能够分离点y 与凸集S 。

定理3。

2 （凸集分离定理）设n S R ⊆为非空闭凸集，\n y R S ∈，则存在非零向量n p R ∈及R α∈，使得
,T T p x p y x S α≤<∀∈ （3。

1）
证明：因为S 为非空集合，y 是S 外的一点，故由引理3。

1知，存在一点S x ∈，使得 0}|||inf{||||||>∈−=−S x y x y x
设S x ∈，那么，因S 为凸集，故有)1,0(∈λ，使
S x x z ∈−+=)1(λλ 因此，222||)()(||||)1(||||||||||x x y x y x x y z y x −+−=−−+=−≤−λλλ
)()(2||||||||222x x y x x x y x T −−+−+−=λλ 上式两边的2||||y x −可消去，得
2||||2+−x x λS x x x y x T ∈∀∈∀≥−−),1,0(,0)()(λ
在上式中，令+→0λ，得
S x x x y x T ∈∀≥−−,0)()(
记 0≠−=x y p ，有
S x x x p T ∈∀≤−,0)( 若记x p T =α，则有
S x x p x p T T ∈∀≤≤,α
另一方面，由于
0||||)()()(2>−=−−=−=−x y x y x y x y p y p T T T α
所以
,T T p x p y x S α≤<∀∈
这正是我们要证明的结果。

4．凸集分离定理的一个应用例子
这里介绍Farkas 引理，这个定理在我们即将学习的最优性条件中是重要的基础。

定理4。

1（Farkas 引理）设n n m R b R A ∈∈×,，则下列两组关系式有且仅有一组有解：
（1） 0,
0>≤x b Ax T ；
（2） 0,≥=y b y A T 。

证明： 要证明两组关系式只有一个有解，也就是一个有解时，另一个必无解；反过来，一个无解时，另一个则必有解。

也就是来年感者总是“对着干”。

所以先设（2）有解，我们来证明，此时，（1）则无解。

所谓无解，是（1）中的关系式是不能成立的。

因为（2）有解，即存在一个向量0≥y ，使得 b y A T =。

此时A y b T
T =， 记此式为（*）。

在看（1），假设有x ，使（1）中的地一个关系式成立 0≤x A 。

我们来看（1）中的第2个式子会如何？ 把（*）代入 0>x b T ，有
0≤=x A y x b T （**） 上述最后一个不等式的成立是因为0≥y 和0≤x A 的缘故。

显然，（**）的结果与（1）中的第2个关系矛盾，也就是（2）有解时，（1）必无解。

这样，第一层的证明就完成了。

接下来需要做第2层的工作。

（为什么非要做？请思考！） 另一方面，再设（2）无解，我们来证明，在这种情况下，（1）必有解。

记集合 }0,|{≥==y y A z z S T ，
则S 为非空闭凸集。

（因为是若干闭半空间的交），且S b ∉。

由凸集分离定理知，存在R R p n ∈∈≠α,0，使 ,T T p z p b z S ≤<∀∈α
因S ∈0（为什么？）
，故有上式知，0≥α，从而0>b p T 。

于是 0,≥∀==≥y Ap y y A p z p T T T T α
但因0≥y ，向量y 的分量可任意大，因此，0≤Ap 。

这样，我们就找到了n R p ∈， 使0≤Ap ，0>b p T ，从而（1）有解。

综合上面两个方面的论述，Farkas 引理得到了证明。

请大家仔细体会证明过程中用的逻辑关系和技巧，能从中体会到“数学的美”吗？实际上，我们以后在最优化领域中所建立的许多方法，都是建立在这些逻辑思维构成的钢筋组成的地基之上的，没有它们，最优化的大厦立刻回倾倒。

所以，我们不要把它们视为无用枯燥的数学游戏。

利用Farkas 引理，我们还可以证明有价值的Gordan 定理和择一性定理。

这里我们只证明Gordan 定理。

Gordan 定理在证明最优性条件中著名的Kuhn-Tucker 条件，是极为关键的基础。

定理4。

2 （Gordan 定理）设n m R A ×∈，则下列两组关系式有且仅有一组有解：
（1） 0<Ax ；
（2） 0,0,0≠≥=y y y A T
证明：如果（1）有解，即存在n R x ∈，使得0<x A ，则对任意的0,0≠≥y y ，有0<x A y T ，即 0<y A x T T 。

这表明（2）无解。

另一方面，如果（1）无解，则不存在n R x ∈<,0α，使T Ax ),,,(αααΛ≤。

记增广矩阵],,[~e A A −=和增广向量1)1,0,,0,0(+∈−=n T R b Λ，其中m R e ∈=)1,,1,1(Λ。

于是，
不存在n R x ∈<,0α，满足
0~,0~>⎟⎟⎠
⎞⎜⎜⎝⎛≤⎟⎟⎠⎞⎜⎜⎝⎛ααx b x A 即上述关系组无解。

于是，有Farkas 引理，下述关系组
0,
~~≥=y b y A T
有解，也就是关系组
0,1,0≥==y y e y A T
T
有解，即等价于（2）有解。

这就证明了Gordan 定理，这个定理将被我们运用到最优性条件的证明中，请大家仔细领会。