凸优化理论与应用-内点法PPT课件
合集下载
凸优化课件
例： 半正定锥和矩阵不等式
严格广义不等式
3
广义不等式的性质
4
严格广义不等式的性质
5
S，都有 成立，则称 x 为 S 的最小元。（唯一）
极小元的定义：设 x S ，对于 y S ，若 ，有 y x 成立，则称 x 为 S 的极小元。 （可以有多个） 例2.17 锥 等式。 ，它导出的是 上的关于分量的不
T T
则存在
x C, a x b且x D, a x b.
超平面 分 离了两个不相交的凸集 C 和 D 。仿射函数 在 C 上非正，在 D 上 非负。
8
严格分离：
超平面分离定理的逆定理：
结合逆定理与平面分离定理得出结论：
9
2.5.2 支撑超平面
x0 为 C 边界上的点。若存在 a 0， 定义：设集合 C ， 满足对任意 x C ，都有 aT x aT x0 成立，则称超平 T T { x | a x a x0} 为集合 C 在点 x0 处的支撑超平面。 面
正常锥的对偶锥 仍然是正常锥！ 2.若K 非中空，则K *有端点；
3.若K的闭包有端点，则K *非中空； 4.K 是K的闭凸包；
11
**
2.6.2 广义不等式的对偶
对偶锥 是正常锥，可由这导出一个广义不等式 ，我们称其为广义不等式 的对偶。 广义不等式与其对偶的性质：
12
2.6.3 对偶不等式定义的最小元和极小元
定理：任意非空凸集边界上的任意一点均存在支撑 超平面。 定理：若一个闭的非中空集合，在边界上的任意一 点均存在支撑超平面，则该集合为凸集。
10
2.6 对偶锥和广义不等式
凸优化理论与应用凸优化PPT课件_1-51
可编辑
9
可分离变量优化问题
性质： 其中
inf f (x, y) inf f%(x)
x, y
x
f%(x) inf f (x, y)
y
定理：优化问题
minimize f0 (x1, x2 ), x R n
subject to fi (x1) 0, i 1,..., m1
f%i (x2 ) 0, i 1,..., m2 可以分离变量 x1, x2
h%i (z) i (hi (z)) 0, i 1,..., p
可编辑
7
优化问题的等价形式(4)
定理：原优化问题与以下优化问题等价
minimize f0 (x), x R n subject to fi (x) si 0, i 1,..., m
si 0 hi (x) 0, j 1,..., linear minimization
问题描述
minimize
上半图形式 minimize
f (x) im1,a...x,m(aiT x bi ) t
LP形式
subject to im1,a...x,m(aiT x bi ) t minimize t
subject to aiT x bi t,i 1,..., m
y
x eT x
f
Ay bz 0 eT y fz 1
z
1 eT x
f
z0
可编辑
31
二次规划(quadratic program,QP)
QP问题的基本描述
minimize (1/ 2)xT Px qT x r subject to Gx p h
Ax b P Sn , G Rmn , A R pn
凸分析教学课件.ppt
Df 2.9设S n非空，y n,则点y与集合S 之间的距离dist(y,S)定义为 dist（y, S) inf y-x (2.4)
xS
Th2.5设S为En中的闭凸集，y S,则存在唯一的
点x S,使得 y-x inf y-x xS
2. 凸集与凸函数
证明：令 inf y-x r 0 xS
换言之d不能表成它的两个不同方向的凸锥组合
d
d
d
x0
x0
2. 凸集与凸函数
例2.4 集合S {(x1, x2 ) x2 | x1 | 凡是与向量(0,1)T 夹角 45的向量 都是它的方向。(1,1)T，(1,1)T 是其仅 有的两个极方向
例2.5 设S {x Ax b, x 0} ,d是非零向量。 证明,d是S的方向 d 0且Ad 0.
x
n
x k xk jd j
kK
jJ
k 1,k 0, k K , j 0, j J
kK
(3)指标集J是空集当且仅当P是有界集合,即多胞形.
2. 凸集与凸函数
推论2.1 若多面体S={x|Ax=b,x≥0}非空,则S必有极点.
表示定理直观描述:设 X 为非空多面体. 则存在有限个极点 x1, …, xk , k>0. 进一步,存在有限个极方向 d1, …, dl, l>0 当且 仅当 X 无界. 进而, xX 的充要条件是 x 可以表为 x1, …, xk 的凸组合和d1, …, dl的非负线性组合(凸锥组合).
C T
2. 凸集与凸函数
有限点集{x0, x1,..., xm} n的凸包称为多胞形。 若{x0,x1,..., xm}仿射无关时，对应的凸包称为m维单纯形。 向量xi称为该单纯形的顶点。
xS
Th2.5设S为En中的闭凸集，y S,则存在唯一的
点x S,使得 y-x inf y-x xS
2. 凸集与凸函数
证明：令 inf y-x r 0 xS
换言之d不能表成它的两个不同方向的凸锥组合
d
d
d
x0
x0
2. 凸集与凸函数
例2.4 集合S {(x1, x2 ) x2 | x1 | 凡是与向量(0,1)T 夹角 45的向量 都是它的方向。(1,1)T，(1,1)T 是其仅 有的两个极方向
例2.5 设S {x Ax b, x 0} ,d是非零向量。 证明,d是S的方向 d 0且Ad 0.
x
n
x k xk jd j
kK
jJ
k 1,k 0, k K , j 0, j J
kK
(3)指标集J是空集当且仅当P是有界集合,即多胞形.
2. 凸集与凸函数
推论2.1 若多面体S={x|Ax=b,x≥0}非空,则S必有极点.
表示定理直观描述:设 X 为非空多面体. 则存在有限个极点 x1, …, xk , k>0. 进一步,存在有限个极方向 d1, …, dl, l>0 当且 仅当 X 无界. 进而, xX 的充要条件是 x 可以表为 x1, …, xk 的凸组合和d1, …, dl的非负线性组合(凸锥组合).
C T
2. 凸集与凸函数
有限点集{x0, x1,..., xm} n的凸包称为多胞形。 若{x0,x1,..., xm}仿射无关时，对应的凸包称为m维单纯形。 向量xi称为该单纯形的顶点。
凸优化课件
针对非线性约束条件，需要采用约束优化方法，如拉格朗日乘子法 、罚函数法等。
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
凸优化理论课件3
Lρ (x, z, y) = f (x) + g(z) + y T (Ax + Bz − c) + (ρ/2) Ax + Bz − c ADMM: xk+1 z
k+1
2 2
:= := :=
argminx Lρ (x, z k , y k ) argminz Lρ (x
k+1
// x-minimization
works, with lots of assumptions; often slow
Dual decomposition
8
Outline
Dual decomposition Method of multipliers Alternating direction method of multipliers Common patterns Examples Consensus and exchange Conclusions
Alternating direction method of multipliers
16
ADMM and optimality conditions
optimality conditions (for differentiable case):
– primal feasibility: Ax + Bz − c = 0 – dual feasibility: f (x) + AT y = 0, g(z) + B T y = 0
14
Alternating direction method of multipliers
ADMM problem form (with f , g convex) minimize f (x) + g(z) subject to Ax + Bz = c
02凸优化理论与应用_凸函数
6
下水平集(sublevel set)
定义：集合
C { x dom f | f ( x ) }
称为 f 的 下水平集。
定理：凸函数的任一下水平集均为凸集。 任一下水平集均为凸集的函数不一定为凸函数。
信息与通信工程学院 庄伯金 bjzhuang@
7
函数上半图(epigraph)
定义：集合
epi f {( x , t ) | x dom f , f ( x ) t }
称为函数
f
的上半图。
f
定理：函数
为凸函数当且仅当
f
的上半图为凸集。
信息与通信工程学院 庄伯金 bjzhuang@
8
Jensen不等式
f
为凸函数，则有：
yC
凸函数的透视算子
g ( x , t ) tf ( x / t )
信息与通信工程学院 庄伯金 bjzhuang@
11
共轭函数(conjugate function)
定义：设函数 f : R 定义为
*
n
R
，其共轭函数 f : R
T
*
n
R
，
f ( y ) su p ( y x f ( x )).
n
为真锥，函数 f : R
n
R
称为 K 单调增，若函数 f ( x ) 满足：
x K y f (x) f ( y)
广义凸函数的定义：设K R 均有
m
为真锥，函数 f : R
n
R
m
称为 K 凸，若函数 f ( x ) 满足对 x , y dom f , 0 1
凸优化理论与应用-逼近与拟合PPT课件
题：
minimize 1T y
subject to Ax b, y p x p y
可编辑
14
正则逼近
二元矢量优化问题描述：
minimize(w.r.t. R2) ( Ax b , x )
正则化问题：
minimize Ax b x , 0
最优解描述了两分量的一条折中曲线。
minimize Ax b 2 x 2 , 0
x 为二阶差分算子：
1 2 1 0 ... 0 0 0
0
1
2
1
...
0
0
0
x
n
2
0 ...
0 ...
1 ...
2 ... 0 ... ... ...
0 0 ... ... x
0 0 0 0 ... 2 1 0
该罚函数为鲁棒的罚函数。
Huber罚函数
(r
)
M
(2
r2 r
M
)
r M r M
可编辑
12
最小范数问题
问题描述：minimize x subject to Ax b, A Rmn , m n
可以消去等式约束将其转换为范数逼近问题：
minimize x0 zu
可编辑
7
绝对值和最小逼近
范数采用 l1
范数
• ，原问题为 1
minimize Ax b
1
A Rmn , m n,
即
minimize
m i 1
n k 1
aik
xk
bi
凸优化理论与应用内点法PPT课件
Ax b 对于固定的 x ，si max{ fi (x), 0}
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
近似替代。
可编辑
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
可编辑
4
对数阀函数
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
近似替代。
可编辑
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
可编辑
4
对数阀函数
凸优化理论与应用_凸函数
25
共轭函数 具有凸性！
13
共轭函数的性质
Fenchel’s inequality
f ( x) f * ( y) yT x.
性质：若 f ( x )为凸函数，且 f ( x ) 的上半图是闭集，则有
f ** f .
n z R 性质：设 f ( x ) 为凸函数，且可微，对于 ，若 y f ( z )
若 f ( x ) 为准凸函数，根据 f ( x ) 的任意 t 下水平集，我们 可以构造一个凸函数族 t ( x)，使得
f ( x) t t ( x) 0
例：
f ( x) t 0 t ( x) . otherwise
性质：若 t ( x) 为准凸函数 f ( x ) 的凸函数族表示，对每一 个 x domf ，若 s t ，则有
7
函数上半图(epigraph)
定义：集合
epif {( x, t ) | x domf , f ( x) t}
称为函数 f 的上半图。
定理：函数 f 为凸函数当且仅当 f 的上半图为凸集。
信息与通信工程学院 庄伯金 bjzhuang@
8
Jensen不等式
凸函数的一阶微分条件
若函数 f 的定义域 domf 为开集，且函数 f 一阶可微， 则函数 f 为凸函数当且仅当 domf 为凸集，且对 x, y domf
f ( y) f ( x) f ( x)T ( y x)
信息与通信工程学院 庄伯金 bjzhuang@
定理：若函数 f ( x ) 一阶可微，则 f ( x ) 为准凸函数，当且仅 当 domf 为凸集，且对 x, y domf ，有
02凸优化理论与应用_凸函数
02凸优化理论与应用_凸函数凸优化是数学中的一个重要分支，旨在解决凸函数的极小化问题。
凸函数是一类具有较好性质的函数，具有广泛的应用背景和重要的理论意义。
在凸优化理论与应用中，凸函数起到了基础的作用。
首先，什么是凸函数呢？凸函数是指在定义域上的任意两点，函数值沿着连接这两点的线段上升的函数。
准确地说，对于一个定义在实数域上的函数f(x)，如果对于任意的实数x1，x2和0≤λ≤1，都有f(λx1+(1-λ)x2)≤λf(x1)+(1−λ)f(x2)，那么函数f(x)就是凸函数。
凸函数具有很多重要的性质，其中包括：1.凸函数的一阶导数是递增的，二阶导数非负。
2.凸函数的上确界与下确界都位于它的定义域的边界上。
3.凸函数的极小值点是全局最小值点。
4.凸函数和线性函数的复合仍然是凸函数。
5.凸函数的和与正数的乘积仍然是凸函数。
凸函数的性质使得它在实际问题中的应用非常广泛。
凸优化可以用于求解很多实际问题，其中包括：1.经济学中的最优化问题，比如最大化收益或者最小化成本。
2.工程设计中的优化问题，比如最优化能源利用或者最小化材料消耗。
3.机器学习中的参数优化问题，比如最小化损失函数或者最大化目标函数。
4.金融领域的组合优化问题，比如最大化组合投资的收益或者最小化风险。
5.数据分析中的最优化问题，比如拟合曲线或者寻找最佳预测模型。
凸优化理论提供了解决这些问题的一般框架和方法，包括线性规划、二次规划、半正定规划等。
这些方法可以有效地求解凸优化问题，并且在计算机科学和工程学中得到广泛的应用。
除了理论方面，凸优化在应用中也面临一些挑战和问题。
其中之一就是如何在实际问题中找到符合实际需求的凸函数模型。
在实际问题中，往往存在多个目标和约束条件，如何将多个目标和约束条件转化为凸函数模型是一个关键的问题。
另一个挑战是求解凸优化问题的算法设计和计算复杂性分析。
虽然凸函数的求解问题是较为简单的，但是随着问题规模的增大，计算复杂性也会显著增加。
凸优化理论 课件
1–5
Solving convex optimization problems • no analytical solution • reliable and efficient algorithms • computation time (roughly) proportional to max{n3, n2m, F }, where F is cost of evaluating fi’s and their first and second derivatives • almost a technology
1–7
New applications since 1990
• linear matrix inequality techniques in control • circuit design via geometric programming • support vector machine learning via quadratic programming • semidefinite programming relaxations in combinatorial optimization • applications in structural optimization, statistics, signal processing, communications, image processing, quantum information theory, finance, . . .
Convex Optimization
Stephen Boyd (Stanford University)
Short Course, Harbin Institute of Technology July 13-18, 2012
01凸优化理论与应用_凸集
多面体(Polyhedra)
多面体：
P {x | a x bj , c x di }
T j T i
k
单纯形(simplex)：
{i vi | i 0, i 1, v1 v0 ,..., vk v0线性无关}
i 0 i 0
k
信息与通信工程学院 庄伯金 bjzhuang@
信息与通信工程学院 庄伯金 bjzhuang@
27
严格广义不等式的性质
1.x K y x K y; 2.x K x; 3.x K y, u K v x u K y v; 4.x K y, 0 x K y 5.x K y, u足够小 x u K y.
凸锥的定义：集合C既是凸集又是锥。
x1 , x2 C,1 ,2 0, 则有1x1 2 x2 C.
锥包的定义：集合C内点的所有锥组合。
{i xi | xi C , i 0}
i 1
信息与通信工程学院 庄伯金 bjzhuang@
k
12
锥
信息与通信工程学院 庄伯金 bjzhuang@
广义不等式
例： 逐项不等式 矩阵不等式
信息与通信工程学院 庄伯金 bjzhuang@
严格广义不等式
26
广义不等式的性质
1.x K x; 2.x K y, y K x x y; 3.x K y, y K z x K z; 4.x K y, u K v x u K y v; 5.x K y, 0 x K y; 6.xi K yi , lim xi x, lim yi y x K y.
01凸优化理论与应用_凸集ppt课件
范数球(norm ball)：
B(xc,r) {x | x xc r}
范数锥(norm cone)：
{(x,t) | x t}
20
多面体(Polyhedra)
多面体： P {x | aTj x bj ,ciT x di}
单纯形(simplex)：
k
k
{ ivi | i 0, i 1, v1 v0,...,vk v0线性无关}
5
凸集
6
仿射集与凸集的联系
x1, x2 C, [0,1],则 x1 (1 )x2 C
所以仿射集一定是凸集
7
凸集
8
9
凸集
凸包的定义：包含集合C的最小的凸集。
k
k
conv C { i xi | xi C,i 0, i 1}
i 1
i 1
i0
i0
21
22
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X R nnn | X X T }
n阶半正定矩阵集：
S
n
{X
Sn
|
X
0}
n阶正定矩阵集：
Sn {X nS阶n |半X正凸定锥0矩}！阵集为
12
锥
13
锥包
14
超平面和半空间
超平面(hyperplane) ： {x | aT x b}
半空间(Halfspace)： {x | aT x b} {x | aT x b}
15
超平面
16
半空间
17
欧氏球和椭球
欧氏球(euclidean ball):
B(xc,r) {x | x xc r}
范数锥(norm cone)：
{(x,t) | x t}
20
多面体(Polyhedra)
多面体： P {x | aTj x bj ,ciT x di}
单纯形(simplex)：
k
k
{ ivi | i 0, i 1, v1 v0,...,vk v0线性无关}
5
凸集
6
仿射集与凸集的联系
x1, x2 C, [0,1],则 x1 (1 )x2 C
所以仿射集一定是凸集
7
凸集
8
9
凸集
凸包的定义：包含集合C的最小的凸集。
k
k
conv C { i xi | xi C,i 0, i 1}
i 1
i 1
i0
i0
21
22
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X R nnn | X X T }
n阶半正定矩阵集：
S
n
{X
Sn
|
X
0}
n阶正定矩阵集：
Sn {X nS阶n |半X正凸定锥0矩}！阵集为
12
锥
13
锥包
14
超平面和半空间
超平面(hyperplane) ： {x | aT x b}
半空间(Halfspace)： {x | aT x b} {x | aT x b}
15
超平面
16
半空间
17
欧氏球和椭球
欧氏球(euclidean ball):
04凸优化理论与应用_对偶问题PPT演示课件
xT (W diag( ))x 1T
拉格朗日对偶函数：
g
(
)
1T
W diag( )
0
otherwise
信
7
对偶函数与共轭函数
共轭函数 f *( y) sup ( yT x f (x))
xdomf
共轭函数与对偶函数存在密切联系 具有线性不等式约束和线性等式约束的优化问题：
minimize g(, )
subject to 0
subject to AT c 0
0
信
13
弱对偶性
定理（弱对偶性） ：设原始问题的最优值为 p *，对偶 问题的最优值为d *，则 d* p * 成立。
optimal duality gap
p*d *
在 x relint D，满足 fi (x) 0,i 1,..., m,
minimize f0(x) subject to Ax b
对偶函数：
Cx d
g ( ,
)
bT
d T
f
* 0
(
AT
CT
)
信
8
Equality constrained norm minimization
问题描述： minimize x
subject to Ax b
4
信
5
Standard form LP
原问题：
minimize cT x
subject to Ax b
x 0
拉格朗日函数：
L(x, , ) cT x T x T (Ax b)
拉格朗日对偶函数：
g
(
)
1T
W diag( )
0
otherwise
信
7
对偶函数与共轭函数
共轭函数 f *( y) sup ( yT x f (x))
xdomf
共轭函数与对偶函数存在密切联系 具有线性不等式约束和线性等式约束的优化问题：
minimize g(, )
subject to 0
subject to AT c 0
0
信
13
弱对偶性
定理（弱对偶性） ：设原始问题的最优值为 p *，对偶 问题的最优值为d *，则 d* p * 成立。
optimal duality gap
p*d *
在 x relint D，满足 fi (x) 0,i 1,..., m,
minimize f0(x) subject to Ax b
对偶函数：
Cx d
g ( ,
)
bT
d T
f
* 0
(
AT
CT
)
信
8
Equality constrained norm minimization
问题描述： minimize x
subject to Ax b
4
信
5
Standard form LP
原问题：
minimize cT x
subject to Ax b
x 0
拉格朗日函数：
L(x, , ) cT x T x T (Ax b)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
问题的解 满足：
xnt 和对偶
t2
f0
(
x) A
2
(
x)
AT 0
xnt
vnt
tf0
(x) 0
( x)
可编辑
10
例：
LP问题：m 100, n 50
初始值： t (0) 1, 106
1 fi (x)
2
fi (x)
可编辑
5
中心线
对数阀近似问题的等价问题：
minimize tf0 (x) (x),t 0
subject to Ax b 最优解为 x*(t) ，则最优解集 {x*(t) | t 0} 称为优化问
题的中心线。
可编辑
6
中心线的对偶点
设 x x*(t) ，则存在 w 满足KKT条件：
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
p* g(*(t), *(t)) L(x*(t), *(t), *(t))
f0 (x*(t)) m / t
因此，当 t 时，有 f0 (x*(t)) p*。x*(t) 为原始问
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
log
中心步骤实质为一个无约束或等式约束优化问题，其收 敛性分析与相应优化问题的收敛性分析结果一致。
设 x 为对数阀问题的可行解，则牛顿方向
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
题的 m / t 次优解。
可编辑
8
阀方法
初始化：给定严格可行解 x ，t 0 ， 1 ，及 0
LOOP：
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
凸优化理论与应用
第10章 内点法
可编辑
1
不等式约束优化问题
问题描述：minimize f0 (x) subject to fi (x) 0,i 1,..., m Ax b
fi (x) 为凸函数，且二次连续可微，且 A R pn , p n, rankA p
假设最优值 p*存在； 假设存在 x%domf ，满足严格不等式条件 fi (x) 0
近似替代。
可编辑
3
对数阀函数
对于 t 0 ，1/ t log(u) 是 I (u) 的光滑逼近。且 当 t 时，有
1/ t log(u) I (u)
令
m
(x) log( fi (x))
i 1
带示性函数的优化问题可近似为：
minimize
f0 ( x)
可编辑
12
第一阶段方法
优化目标为逐项之和：
minimize 1T s subject to fi (x) si ,i 1,..., m
Ax b 对于固定的 x ，si max{ fi (x), 0}
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
可编辑
11
第一阶段方法
对于不等式约束的优化问题，如何寻找严格可行解或验 证不可解？
求解优化问题：minimize s
subject to fi (x) s,i 1,..., m
Ax b 该问题最优解存在，假设最优值为 p*
当 p* 0 时，存在严格可行解； 当 p* 0 时，原始问题不可解； 当 p* 0 时，无法准确确定。
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
可编辑
14
1 ( x), t
t
0
subject to Ax b
可编辑
4
对数阀函数
( x)
m i 1
1 fi (
x)
fi
(
x)
2(x)
m i 1
1 fi (x)2
fi (x)fi (x)T
m i 1
tf0 (x)
m i 1
1 fi (x)
fi (x)
AT w
0,
Ax
b
令
i*
(t)
tfi
1 (x*
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)
xnt 和对偶
t2
f0
(
x) A
2
(
x)
AT 0
xnt
vnt
tf0
(x) 0
( x)
可编辑
10
例：
LP问题：m 100, n 50
初始值： t (0) 1, 106
1 fi (x)
2
fi (x)
可编辑
5
中心线
对数阀近似问题的等价问题：
minimize tf0 (x) (x),t 0
subject to Ax b 最优解为 x*(t) ，则最优解集 {x*(t) | t 0} 称为优化问
题的中心线。
可编辑
6
中心线的对偶点
设 x x*(t) ，则存在 w 满足KKT条件：
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
p* g(*(t), *(t)) L(x*(t), *(t), *(t))
f0 (x*(t)) m / t
因此，当 t 时，有 f0 (x*(t)) p*。x*(t) 为原始问
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
log
中心步骤实质为一个无约束或等式约束优化问题，其收 敛性分析与相应优化问题的收敛性分析结果一致。
设 x 为对数阀问题的可行解，则牛顿方向
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
题的 m / t 次优解。
可编辑
8
阀方法
初始化：给定严格可行解 x ，t 0 ， 1 ，及 0
LOOP：
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
凸优化理论与应用
第10章 内点法
可编辑
1
不等式约束优化问题
问题描述：minimize f0 (x) subject to fi (x) 0,i 1,..., m Ax b
fi (x) 为凸函数，且二次连续可微，且 A R pn , p n, rankA p
假设最优值 p*存在； 假设存在 x%domf ，满足严格不等式条件 fi (x) 0
近似替代。
可编辑
3
对数阀函数
对于 t 0 ，1/ t log(u) 是 I (u) 的光滑逼近。且 当 t 时，有
1/ t log(u) I (u)
令
m
(x) log( fi (x))
i 1
带示性函数的优化问题可近似为：
minimize
f0 ( x)
可编辑
12
第一阶段方法
优化目标为逐项之和：
minimize 1T s subject to fi (x) si ,i 1,..., m
Ax b 对于固定的 x ，si max{ fi (x), 0}
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
可编辑
11
第一阶段方法
对于不等式约束的优化问题，如何寻找严格可行解或验 证不可解？
求解优化问题：minimize s
subject to fi (x) s,i 1,..., m
Ax b 该问题最优解存在，假设最优值为 p*
当 p* 0 时，存在严格可行解； 当 p* 0 时，原始问题不可解； 当 p* 0 时，无法准确确定。
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
可编辑
14
1 ( x), t
t
0
subject to Ax b
可编辑
4
对数阀函数
( x)
m i 1
1 fi (
x)
fi
(
x)
2(x)
m i 1
1 fi (x)2
fi (x)fi (x)T
m i 1
tf0 (x)
m i 1
1 fi (x)
fi (x)
AT w
0,
Ax
b
令
i*
(t)
tfi
1 (x*
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)