数学之美何炳生02C

n
是闭凸集, 则对任意
w := θu + (1 − θ)PΩ (v ) = PΩ (v ) + θ(u − PΩ (v )) ∈ Ω
II - 7
和 v − PΩ (v )
2
≤ v − PΩ (v ) − θ(u − PΩ (v )) 2 .
对上式展开, 就有对任意的 u ∈ Ω 和 θ ∈ (0, 1), [v − PΩ (v )]T [u − PΩ (v )] ≤ 令 θ → 0+ , 引理 (1.5) 得证. 在投影收缩算法的分析中, 不等式 (1.5) 是一个非常有用的基本工具. 我们因 此而称之为 投影算子的工具不等式. 由(1.5), 容易证明下面的引理.
(FI1)
(˜ u − u∗ )T βF (u∗ ) ≥ 0
由于 u∗ ∈ Ω, u ˜ = PΩ [u − βF (u)] 是 u − βF (u) 在 Ω 上的投影. 根 据投影的基本性质 (1.5), 我们有
(FI2)
(˜ u − u∗ )T [u − βF (u)] − u ˜ ≥0
根据单调算子的性质, 有
∀v ∈ R n .
T
上式中取 v := u∗ − βF (u∗ ), 则有 e(u∗ , β ) − βF (u∗ ) e(u∗ , β )
2
e(u∗ , β ) ≤ 0 ,即
(1.9)
≤ βe(u∗ , β )T F (u∗ ).
由于PΩ [u∗ − βF (u∗ )] ∈ Ω, 而且 u∗ 是变分不等式的解, 根据 (1.1)可以得到 {PΩ [u∗ − βF (u∗ )] − u∗ }T F (u∗ ) ≥ 0,
The context of this lecture is mainly based on the publicatios [4, 6]
II - 2
1
投影与变分不等式的一些基本性质
n
设 Ω ⊂ n 是一个闭凸集, F 是从 调变分不等式问题
VI(Ω, F )
到自身的一个算子, 我们讨论单
u∗ ∈ Ω, F (u∗ )T (u − u∗ ) ≥ 0, ∀u ∈ Ω.
u q
qv ¡ ¡ q¡ PB (v ) E
T
u q
qPB (u)
d
B∞
d v d d q dqP (u) ¨ d d¨ B q ¨ E d PB (v ) dB1 d d
Fig. 1. Projection on B∞
Fig. 2. Projection on B1
我们记
2
≤ 0.
对上式采用 Cauchy-Schwarz 不等式, 就有 ˜) β e(x, β
2
˜) e(x, β ) · e(x, β ˜) + β ˜ e(x, β ) − (β + β
2
≤ 0.
(1.19)
将 (1.19) 除 β e(x, β ) 2 , 并利用 t 的定义便得 ˜ ˜ β β t + ≤ 0. t − 1+ β β
u ˜ = PΩ [u − F (u)].
II - 6
Lemma 1.1
设 Ω ⊂ Rn 是闭凸集, 则有
(1.5)
(v − PΩ (v ))T (u − PΩ (v )) ≤ 0 ∀v ∈ Rn , ∀u ∈ Ω. ' $ pu k u − PΩ ( v ) PΩ ( v ) q
Ω
v − PΩ (v )
Ep v
& 不等式(1.5) 的几何解释.
证明. 首先, 根据 PΩ (v ) 的定义, 有
%
v − PΩ (v ) ≤ v − w , ∀w ∈ Ω. 注意到对任意的 v ∈ n , 都有 PΩ (v ) ∈ Ω, 由于 Ω ⊂ 的 u ∈ Ω 和 θ ∈ (0, 1), 都有
(1.3)
(1.4)
II - 4
1.1
投影的基本性质
PΩ (v ) = Argmin{ u − v | u ∈ Ω}.
用 PΩ (·) 表示欧氏范数下在凸集 Ω 上的投影, 也就是说
如果 Ω =
n +
(n-维空间的非负卦限), 那么 PΩ (v ) 的每个分量为
vj , (PΩ (v ))j = 0,
Lemma 1.2
θ u − PΩ (v ) 2 . 2
设 Ω ⊂ Rn 是闭凸集, 则有
∀u, v ∈ Rn .
(1.6) (1.7)
PΩ (v ) − PΩ (u) ≤ v − u , PΩ (v ) − u ≤ v − u , PΩ (v ) − u
2
∀v ∈ Rn , u ∈ Ω.
2
≤ v−u
if
vj ≥ 0;
otherwise.
如果 Ω 是 n-维空间中以 c 为球心半径为 r 的球, 那么 r(v−c) + c, if v − c ≥ r; v −c PΩ (v ) = v, otherwise. 在 l∞ 和 l1 模意义下的“单位球”上投影如下图所示：
II - 5
T
f (y ) − f (x) ≥ ∇f (x)T (y − x), ∀x, y ∈ Ω.
这个结论可以在 Fletcher 的经典著作中 • R. Fletcher, Practical Methods of Optimization, Second Edition, §9.4. pp. 214–215, John Wiley & Sons, 1987. 中找到. 在 (1.3) 式中交换 x 和 y 的位置, 有 f (x) − f (y ) ≥ ∇f (y )T (x − y ), ∀x, y ∈ Ω. 将 (1.3) 和 (1.4) 相加, 就得到 (1.2). 可微凸函数导算子的单调性得证.
(1.15) (1.14)
˜ (u)] 和 v := u − βF (u), 利用 e(u, β ) 的定义和 在 (1.15) 中令 w := PΩ [u − βF ˜ (u)] = e(u, β ˜) − e(u, β ), PΩ [u − βF (u)] − PΩ [u − βF 我们得到 ˜) − e(u, β )} ≥ 0. {e(u, β ) − βF (u)}T {e(u, β ˜ 互换位置), 可得 用相应的方法(将上式中的 β 和 β ˜) − βF ˜ (u)}T {e(u, β ) − e(u, β ˜)} ≥ 0. {e(u, β
II - 3
特别, 当 M 是反对称矩阵, 即 M T = −M 时, 总有 uT M u ≡ 0. 这时, 仿射 算子 F (u) = M u + q 是单调的. 设 f (x) 是可微凸函数, 则它的导算子是单调的, 即有
(y − x)T (∇f (y ) − ∇f (x)) ≥ 0, ∀x, y ∈ Ω.
Theorem 1.2 对所有的 u ∈
n
˜ ≥ β > 0, 我们有 和β
(1.12)
˜) ≥ e(u, β ) e(u, β
II - 11
和
˜) e(u, β e(u, β ) ≤ . ˜ β β
(1.13)
˜) / e(x, β ) , 定理的结论就相当于要证明 1 ≤ t ≤ β/β ˜ . 证 明 . 设 t = e(x, β 注意到它的等价表达式是 t 的一元二次不等式 ˜ )≤0 (t − 1)(t − β/β 的解. 首先, 由工具不等式 (1.5), 我们有 (v − PΩ (v ))T (PΩ (v ) − w) ≥ 0, ∀w ∈ Ω.
2
因此不等式 (1.14) 成立, 定理得证. 定理 1.2 说明, 若以 e(u, β ) 作为停机的误差度量, 常数 β > 0 不宜过大, 也 不宜过小.
II - 13
2
三个基本不等式和投影收缩算法
设 u∗ 是变分不等式 VI(Ω, F ) 的解. 由于 u ˜ = PΩ [u − βF (u)] ∈ Ω, 因 此根据变分不等式的定义有第一个基本不等式
(FI3)
(˜ u − u∗ )T (βF (˜ u) − βF (u∗ )) ≥ 0
(1.11) (1.10)
根据条件 e(u∗ , β ) = 0, 有 u∗ = PΩ (·) ∈ Ω 和 PΩ [u∗ − βF (u∗ )] = u∗ . 代 入不等式 (1.11), 可以得到 u ∗ ∈ Ω, (u − u∗ )T F (u∗ ) ≥ 0, ∀u ∈ Ω,
即 u∗ 是VI(Ω, F ) 的解. 定理得证. 下面的定理说明 e(u, β ) 是 β 的不减函数, 而 { e(u, β ) /β } 是 β 的不增函 数. 证明只用一元二次不等式的初等知识和工具不等式 (1.5), 它初见于 [12].
n
(1.1) (或 Ω )
一个变分不等式称为单调的, 是指 VI(Ω, F ) 中的 F 是从 到 n 的一个单调算子 (monotone operator), 即 F 满足 (F (u) − F (v ))T (u − v ) ≥ 0, ∀ u, v ∈
n
(or Ω).
说 F 是单调仿射算子, 指 F (u) = M u + q, q ∈ n , 其中 M 是半正 定矩阵. 一个 n × n 矩阵 M 是半正定的, 是指对任何的 u ∈ n 都有 uT M u ≥ 0. 这里并不要求矩阵 M 对称. 换句话说, 只要M T + M 对称半正定.
II - 10
即, e(u∗ , β )T F (u∗ ) ≤ 0. 由不等式 (1.9) 和 (1.10) 可得 e(u∗ , β ) = 0. 再证充分性. 取 v = u∗ − βF (u∗ ), 利用 (1.5) 和 e(u∗ , β ) 的表达式, 有 {e(u∗ , β ) − βF (u∗ )}T {u − PΩ [u∗ − βF (u∗ )]} ≤ 0, ∀u ∈ Ω.
Let Ω only if
(1.2)
⊂
n
be a convex closed set and f be a convex function on Ω. Assume
that f is differentiable on a open set that contains Ω. Then f is convex if and
(1.16)
(1.17)
II - 12
˜ 和 β , 然后再将它们相加, 我们得到 分别将不等式 (1.16) 和 (1.17) 乘上 β ˜ (u, β ) − βe(u, β ˜)}T {e(u, β ˜) − e(u, β )} ≥ 0 {βe 并有 ˜) β e(x, β
2
(1.18)
˜)e(x, β )T e(x, β ˜) + β ˜ e(x, β ) − (β + β
II - 1
凸优化和单调变分不等式的收缩算法
第二讲：三个基本不等式和 变分不等式的投影收缩算法
Three basic inequalities and the projection and contraction methods for variational inequalities
南京大学数学系 何炳生 h, ∀v ∈ Rn , u ∈ Ω. (1.8)
II - 8
1.2
变分不等式等价的投影方程
设变分不等式的解集 Ω∗ 非空, 单调变分不等式的解集是凸的, 该结论可以 在 [1] 的定理 2.3.5 中找到. 我们用 u∗ 表示一个确定的解点. 对任意的 β > 0, 变分不等式等价于投影方程
u = PΩ [u − βF (u)].
'
u∈Ω
$ r rr r
F (u )
rr ' r q ∗ ∗
Ω
&
u PΩ [u∗ − βF (u )]
u E ∗
∗
− βF (u∗ )
%
u∗ 是 VI(Ω, F ) 的解等价于 u∗ = PΩ [u∗ − βF (u∗ )] 的几何解释
II - 9
换言之, 求解变分不等式可以归结为求 e(u, β ) := u − PΩ [u − βF (u)] 的一个零点 u∗ , 后面我们会给出证明. 因此, e(u, β ) 可以看作一种误差的度 量函数. 为了方便, 我们往往把 e(u, 1) 记成 e(u).
Theorem 1.1
设 β > 0. u∗ 是 VI(Ω, F ) 的解当且仅当 e(u∗ , β ) = 0.
证 明 . 先证必要性. 若 u∗ 是 VI(Ω, F ) 的解, 则 u∗ ∈ Ω. 由于 Ω ⊂ Rn 是闭凸 集, 利用 (1.5) 我们得到 v − PΩ (v )
T
u∗ − PΩ (v ) ≤ 0,