拉格朗日分析方法

α t , 其中α
满足 0 < α < 1, 且 ZˆD 是最优值 Z D 的估计量
4．3 例子
回顾 p* = 5 3 = 1.66 and Z D = −1 3 = −0.33. 利用次梯度算法：
ZD = max Z (λ )
s.t.λ ≥ 0
z Z D ≤ Z IP
z 我们需要求一个分段的线性凹函数的最大值
3 LD 的强度
3．1 主要定理
X = {x ⋅int eger | Dx ≥ d}. ，注意到 CH (X )是多面体，则
3．2 例子
Z D = min c′x s.t.Ax ≥ b
x ∈CH (X )
幻灯片 17
2、对给定的 λ1 ，选取 Z（.）D s t 处的一个次梯度 Z（.），若 s t =0
则 λ1 是最优的，算法结束，否则，继续
2． 设 λt+1 = λt +θt st , ，其中θt 是正的步长参数，增加 t 而后转到第 2 步
{ } 3a，若
λ
≥
0,
p t +1 j
=
max
p t+1 j
1 摘要
z 拉格朗日对偶 z 拉格朗日对偶的强度 z 拉格朗日对偶的解
2 拉格朗日对偶
z 考虑
z X = {x ⋅int eger | Dx ≥ d}
Z IP = min c′x s.t.Ax ≥ b Dx ≥ d
X 是整数
z 在 X 中求最优情况能有效的求解
2．1 公式 z 考虑
Z (λ) = min c′x + λ′(b − Ax)
s ∈ ℜn ，使得：
f (x) ≤ f (x* )+ s′(x − )x* ,
对所有的 x ∈ ℜn
z 设 f 是凹函数，一个向量 S 使得：
f (x) ≤ f (x* )+ s′(x − )x*
对所有的 x ∈ ℜn ，称 S 为 f 在 x*. 处的次梯度
4．2 次梯度算法
1、选取初始点 λ1 ，让 t=1
min 3x1 − x2 s.t.x1 − x2 ≥ −1 − x1 + 2x2 ≤ 5 3x1 + 2x2 ≥ 3 6x1 + x2 ≤ 15
x1 , x2 ≥ 0 ⋅⋅⋅ 整数
幻灯片 5 幻灯片 6 幻灯片 7
幻灯片 8
Leabharlann Baidu
松弛 x1 − x2 ≥ −1, X ， X 包括下面的约束
X = {(1,0),(2,0),(1,1),(2,1),(0,2),(1,2),(2,2),(1,3),(2,3)}
当 p ≥ 0, ，有
Z(p)=
( min
(x1,x2 )∈X
3x1
−
x2
+
p(− 1 −
x1
+
x2
))
⎧− 2 + p,⋅⋅⋅0 ≤ p ≤ 5 3
Z(
p)
=
⎪ ⎨
3−
2
p,⋅ ⋅ ⋅5
3
≤
p
≤
3
⎪⎩ 6 − 3 p,⋅⋅⋅ p ≥ 3.
p* = 5 3, 和 ZD = Z (5 3) = −1 3
幻灯片 15
( ) ( ) Z λ
=
min
i=1,...,m
hi
+
f i′λ
z 启发：经典的最大化 Z (λ ) 的最速上升法为
( ) λt+1 = λt +θt∇Z λt ,t = 1,2,...
z 问题： Z (λ ) 是不可微的
4．1 次梯度（子梯度）
幻灯片 16
z 一个函数 f :ℜn → ℜ 是凹的，当且仅发对任意的 x* ∈ℜn, ，存在一个向量
+
θt
s
t j
,0
， ∀j.
4．2．1 步长
z Z ( p t ) 收敛到无约束的 z(.)的最大值，对任意长步序列 Z（.），使得
∞
∑θt = ∞,
t =1
and
limθ
t→∞
t
= 0.
z 例如取θt = 1 t
z θt =θoα t , t = 1,2,...,
z
( ) ZˆD − Z pt
st 2
幻灯片 14
z 我们有 Z IP = Z D ，对于所有价格向量 C，若
CH (X )= {x | Dx ≥ d}
z 若{x | Dx ≥ d}，有整数极点，则 CH (X )= {x | Dx ≥ d}，因此 ZIP = ZD
4． LD 的解
( ( )) ( ) z Z λ = mini=1,...,m c′xi + λ′ b − Axi , i.e.,
s.t.x ∈ X z 对固定的 λ ，问题得到有效的求解
( ( )) ( ) z Z λ = mini=1,...,m c′xi + λ′ b − Axi
z Z (λ ) 是凹的，肯分段的线性的
2．2 弱对偶性
如果 (D)有最优解且 λ ≥ 0, ，则 Z (λ ) ≤ ZIP
z 证明： x* 是 (D)的一个最优解
xD = (1 3, 4 3), Z D = −1 3 xLP = (1 5,6 5), Z LP = −9 5 xIP = (1,2), Z IP = 1
Z LP < Z D < Z IP
z 一般而言 Z LP ≤ Z D ≤ Z IP z 当 c′x = 3x1 − x2 , 时，我们有 ZLP < ZD < ZIP z 当 c′x = −x1 + x2 时，我们有 Z LP < Z D = Z IP z 当 c′x = −x1 − x2 我们有 Z LP = Z D = Z IP
z 则 b − Ax* ≤ 0 因此
( ) c′x* + λ′ b − Ax* ≤ c′x* = Z IP ( ) z 因为 x* ∈ X , Z (λ ) ≤ c′x* + λ′ b − Ax* , ，因此 Z (λ ) ≤ ZIP
幻灯片 1 幻灯片 2
幻灯片 3 幻灯片 4
2．3 关键问题 z 考虑拉格朗日对偶：
幻灯片 9 幻灯片 10 幻灯片 11
幻灯片 12 幻灯片 13
z 有可能 Z LP = Z D < Z IP ，但该例子中没有
3．3 LP 和 LD
z Z IP = Z D ，对于所有的价格向量 C 成立，当且仅当
CH (X ∩{x | Ax ≥ b}) = CH (X )∩{x | Ax ≥ b}