最优化方法(凸集与凸函数)

i =1 i =1
m
m
原来凸集的性质告诉我们： 任意的两个点的凸组合都属于 D。 原来凸集的性质告诉我们： 任意的两个点的凸组合都属于 。 现在让我们证明 们证明， 现在让我们证明，任意的 m 个点的凸组合都属于 D。 。 咋办？？ 咋办？？
两个―――多个 两个―――多个 ――― 两个―――三个―――四个―――多个 两个―――三个―――四个―――多个 ―――三个―――四个―――
=
(i = 1 , 2 ,⋯, k ) 的凸组合。 的凸组合。
（2）凸集：设集合 X ⊂ R n ，如果 X 中任意两点的凸组合 ）凸集： 仍然属于 X ，则称 X 为凸集。 2.凸函数 凸函数 2 1 2 n 设 f : X ⊂ R → R ，任取 x , x ∈ X ，如果∀a1 , a2 ≥ 0 , i∑1ai = 1 ， 任取 如果 = 上的（ 有 f (a1 x 1 + a2 x 2 )(< ) ≤ a1 f ( x 1 ) + a2 f ( x 2 ) ，则称 f 为X上的（严格） 则称 上的 严格） 凸函数。 凸函数。
~ x+x 凸集， 由于 D 是凸集，故有 ∈ D ，又因为 γ 是集合 D 到 y 的 2
最短距离，上式应有等号成立，因此，存在实数 最短距离，上式应有等号成立，因此，存在实数 α 距离 应有等号成立 ~ y − x = α(y − x)
12
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
下确界，能否取到？怎么取？ 下确界，能否取到？怎么取？ 连续函数在有界闭集上能够取到极值点， 连续函数在有界闭集上能够取到极值点，但是闭凸集一定是 有界闭集吗？？ 有界闭集吗？？
9
凸集当然不一定是有界集 比如区间 Ax = 0
如何构造闭凸集？ 如何构造闭凸集？ 的想。 。 请大家 使劲 的想。。。 。
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
证明： （1） 证明： ） （ 令 S = x ∈ R n | x ≤ 1 则取充分大的 µ > 0 使得
Ds = D ∩ ( y + µS ) ≠ φ
因此连续函数 f ( x ) = x − y 在 D s 上必定可以取到极小点 存在性证明完毕
{ {
} }
{
}
+ D1 ⊂ H 0 = x ∈ R n | a T x > β
− D2 ⊂ H 0
{ = {x ∈ R
n
| aT
} x < β}
+ − 则称超平面 H 严格分离 D1 和 D2 ，其中 H 0 和 H 0 分别表示
H + 和 H − 的内部
7
点到凸集的投影
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
f ( x) = x2 例子： 例子：
2
凸集的补充内容
是凸集， 设 D ⊂ R n 是凸集， 则任意 m 个点 x ( i ) ∈ D( i = 1,2,⋯ , m ) 的凸 即有： 组合仍属于 D ，即有：
α i x (i ) ∈ D ∑
i =1
m
其中 α i ≥ 0 ， i = 1,2,⋯ , m ， ∑ α i = 1
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
证明中要用到一个技巧
借助与一个凸组合 λ x + (1 − λ ) x
D
夹角小于 90 度
λx + (1 − λ ) x
x
x
y
16
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即
有界集和无界集的交集是什么集？ 有界集和无界集的交集是什么集？
D y S
有没有看到闭凸集在哪里？ 有没有看到闭凸集在哪里？
10
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即
x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
∑α
i =1
m
i
x
(i )
∈D， 其中 α i ≥ 0 ，i = 1,2,⋯ , m ，∑ α i = 1
i =1
m
如果能出现 如果能出现 (1 − α 3 ) 怎么才能出现呢？？ 怎么才能出现呢？？
＋ α 3 x ( 3)
就好了
α1 α2 (1) (2) (1 − α 3 ) x + x + α 3 x (3) (1 − α ) (1 − α 3 ) 3
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
α =1 ~ 当 α = 1 时， x = x
~ 又因为 y − x = y − x = γ 则有
~ x+x 所以矛盾 矛盾。 当 α = − 1 时， y = ∈ D ，因为 y ∉ D 所以矛盾。 2
13
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
ቤተ መጻሕፍቲ ባይዱ
{
}
唯一性的证明 数学中的常见技巧 假设存在两个不相等的投影， 假设存在两个不相等的投影，证明矛盾即可
11
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即
x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
i =1
m
先想想思路。 。 先想想思路。。
3
是凸集， 设 D ⊂ R n 是凸集，则任意 m 个点 x ( i ) ∈ D( i = 1,2,⋯ , m ) 的凸组合仍 即有： 属于 D ， 即有：
α i x (i ) ∈ D ， 其中 α i ≥ 0 ，i = 1,2,⋯ , m ，∑ α i = 1 ∑
最优化方法补充内容3
凸集与凸函数
1
凸集与凸函数
1.凸集 凸集 如果存在常数 （1）凸组合：已知 X ⊂ R n ，任取k个点 x i ∈ X ， 凸组合： 凸组合 k − k − ∑ ai = 1 ，使得 ∑ ai x i = x ，则称 x 为 x i a i ≥ 0 ( i = 1 , 2 ,⋯ , k ) ， i =1 i =1
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
夹角小于 90 度
D
x
y
x
15
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
∑α
i =1
m
i
x
(i )
∈D， 其中 α i ≥ 0 ，i = 1,2,⋯ , m ，∑ α i = 1
i =1
m
证明：归纳法。 证明：归纳法。 1． m = 2 显然成立 结论成立， 2． 假设 m = k 结论成立，我们证明结论在 m = k + 1 时结论 也成立 以下仅仅列出主要步骤，省去很多说明文字， 以下仅仅列出主要步骤，省去很多说明文字，请大家补充完 整。 k + 1 k
x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
~ ~ ~ 则由范数的 假设存在 x ∈ D, x ≠ x ，使得 y − x = y − x = γ 则由范数的
三角不等式有 ~ x+x 1 1 ~) ≤ 1 y − x + 1 y − x = γ ~ y− = (y − x) + (y − x 2 2 2 2 2
k
证明完毕。 证明完毕。
6
凸集分离定义 凸集分离定义
咋样地？ （空间想象一下是 咋样地？）
为两个非空凸集 凸集， 设 D1 , D2 ⊂ R n 为两个非空凸集，若存在非零向量 a ∈ R n 和 实数 β 使得
D1 ⊂ H + = x ∈ R n | a T x ≥ β D2 ⊂ H − = x ∈ R n | a T x ≤ β 则称超平面 H = x ∈ Rn | aT x = β 分离了集合 D1 和 D2 。如果更有
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
先想想思路。 。 先想想思路。。
8
凸集， 设 D ⊂ R n 是闭凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
证明， 充要条件 第（2）问的证明，要证充要条件 ） 充分性比较容易，留做作业 充分性比较容易，留做作业 容易 必要性比较的 必要性比较的麻烦 比较 我们还是先 我们还是先 还是
想想思路。 。 想想思路。。
14
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
方框是不是属于 方框是不是属于 D 呢？？
根据凸集的定义
1 − α3 α1 α2 α1 + α 2 + = = =1 (1 − α 3 ) (1 − α 3 ) (1 − α 3 ) (1 − α 3 )
问题解决了。证明怎么写？ 问题解决了。证明怎么写？
5
是凸集， 设 D ⊂ R n 是凸集，则任意 m 个点 x ( i ) ∈ D( i = 1,2,⋯ , m ) 的凸组合仍 即有： 属于 D ， 即有：
∑α
i =1 k +1
i =1
i
x ( i ) = ∑ α i x ( i ) + α k +1 x ( k +1)
i =1
k (i )
∑α
由于
k
i
x
αi x ( i ) + α k +1 x ( k +1) = (1 − α k +1 )∑ i =1 1 − α k + 1
αi =1 i =1 1 − α k + 1
α 1 x (1) + α 2 x ( 2 ) ――― α 1 x (1) + α 2 x ( 2 ) + α 3 x ( 3 )
α 1 x (1) + α 2 x ( 2 ) ――― α 1 x (1) + α 2 x ( 2 ) + α 3 x ( 3 )
4
是凸集， 设 D ⊂ R n 是凸集，则任意 m 个点 x ( i ) ∈ D( i = 1,2,⋯ , m ) 的凸组合仍 即有： 属于 D ， 即有：
k
1 − α k + 1 = ∑ α i ，即 ∑
i =1
再由凸集的定义， 再由凸集的定义，有
(1 − α k +1 )∑
由归纳假设有： 由归纳假设有：
αi ∑ 1 − α x (i ) ∈ D i =1 k +1
k
αi x ( i ) + α k +1 x ( k +1) ∈ D i =1 1 − α k +1