凸优化理论与应用-凸优化PPT课件
凸优化课件
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
凸优化理论与应用_凸集
03
凸优化问题建模与求解
凸优化问题定义及示例
凸优化问题定义
凸优化问题是一类特殊的数学优化问题，其目标函数是凸函数，约束条件为凸集。凸函数在数学上具有很好的性 质，如局部最优解即为全局最优解，这使得凸优化问题的求解相对简单。
凸优化问题示例
支持向量机（SVM）、线性回归、逻辑回归、最小二乘法等机器学习算法中的优化问题都可以转化为凸优化问题 进行求解。
凸函数与凹函数关系
凹函数定义
凹函数与凸函数相反，满足f(λx1+(1-λ)x2)≥λf(x1)+(1-λ)f(x2)。
凸凹性转换
通过取负操作，可以将凸函数转换为凹函数，反之亦然。即，如果f是凸函数，则-f是凹函数；如果f是凹函数，则-f 是凸函数。
凸凹组合
凸函数和凹函数的线性组合可能既不是凸函数也不是凹函数，但可以通过一定的条件判断其凸凹性。
01
03
02 04
多面体与单纯形
多面体是由有限个线性不等式定 义的集合，即{x | Ax ≤ b}。单纯 形是一种特殊的多面体，每个顶 点都是其他顶点的邻居。
锥与凸锥
锥是由原点出发的射线组成的集 合。如果锥还是凸集，则称为凸 锥。
02
凸函数及其性质
凸函数定义及示例
凸函数定义
在数学中，一个函数被称为凸函数，如果对于该函数定义域内的任意两个点x1 和x2，以及任意实数λ∈[0,1]，都有f(λx1+(1-λ)x2)≤λf(x1)+(1-λ)f(x2)成立。
稀疏表示与重构
在压缩感知中，利用凸 集理论对信号进行稀疏 表示，并通过求解凸优 化问题实现信号的重构 。
噪声鲁棒性
针对压缩感知中的噪声 问题，利用凸集理论构 建鲁棒性优化模型，提 高信号恢复的精度和稳 定性。
04凸优化理论与应用_对偶问题PPT演示课件
拉格朗日对偶函数：
g
(
)
1T
W diag( )
0
otherwise
信
7
对偶函数与共轭函数
共轭函数 f *( y) sup ( yT x f (x))
xdomf
共轭函数与对偶函数存在密切联系 具有线性不等式约束和线性等式约束的优化问题：
minimize g(, )
subject to 0
subject to AT c 0
0
信
13
弱对偶性
定理（弱对偶性） ：设原始问题的最优值为 p *，对偶 问题的最优值为d *，则 d* p * 成立。
optimal duality gap
p*d *
在 x relint D，满足 fi (x) 0,i 1,..., m,
minimize f0(x) subject to Ax b
对偶函数：
Cx d
g ( ,
)
bT
d T
f
* 0
(
AT
CT
)
信
8
Equality constrained norm minimization
问题描述： minimize x
subject to Ax b
4
信
5
Standard form LP
原问题：
minimize cT x
subject to Ax b
x 0
拉格朗日函数：
L(x, , ) cT x T x T (Ax b)
凸优化理论与应用_凸函数
凸优化理论与应用_凸函数首先，我们来看一下凸函数的定义：如果对于任意的x1和x2以及0≤t≤1，都有f(tx1+(1-t)x2)≤tf(x1)+(1-t)f(x2)，那么函数f被称为凸函数。
简单来说，凸函数是指函数曲线上的任意两点之间的线段都在曲线上方。
与之相对应的，如果对于任意的x1和x2以及0≤t≤1，都有f(tx1+(1-t)x2)≥tf(x1)+(1-t)f(x2)，那么函数f被称为凹函数。
可以说，凸函数和凹函数是一对孪生兄弟。
凸函数有着许多重要的性质。
首先，对于任意的两个凸函数f(x)和g(x)，它们的线性组合h(x)=af(x)+bg(x)也是凸函数，其中a和b是任意实数且a≥0，b≥0且a+b=1、这说明凸函数在加法和标量乘法下保持封闭性。
其次，若函数f(x)是凸函数，则对于任意的λ>0，函数g(x)=λf(x)也是凸函数。
这说明凸函数具有尺度不变性。
另外，如果函数f(x)是凸函数，那么对于任意的局部最小值x*，其也是全局最小值。
这说明凸函数的局部最小值就是全局最小值。
凸函数在优化问题中具有广泛的应用。
首先，凸优化问题是指在给定的凸约束条件下，寻找凸目标函数的最小值。
凸优化问题在工程、经济学、统计学、运筹学等领域中都有广泛的应用。
例如，在工程中，凸优化可以用于最优化控制、电力系统调度、通信系统设计等问题。
其次，凸函数在机器学习和统计学中也有重要的应用。
比如，在支持向量机和逻辑回归中，凸优化问题可以用来求解最佳的分类超平面和分类器参数。
另外，在正则化线性回归中，凸优化可以用来寻找最小二乘解或具有稀疏性的解。
凸函数还有着许多重要的性质，如Jensen不等式、KKT条件等。
Jensen不等式是用来描述凸函数的平均值不小于或不大于函数值的性质。
KKT条件是一组必要条件，用来判断凸优化问题的最优解。
这些性质为凸优化问题的求解提供了理论基础和算法支持。
总之，凸函数是凸优化理论与应用的基础，它具有许多重要的性质和应用。
凸优化理论课件3
Lρ (x, z, y) = f (x) + g(z) + y T (Ax + Bz − c) + (ρ/2) Ax + Bz − c ADMM: xk+1 z
k+1
2 2
:= := :=
argminx Lρ (x, z k , y k ) argminz Lρ (x
k+1
// x-minimization
works, with lots of assumptions; often slow
Dual decomposition
8
Outline
Dual decomposition Method of multipliers Alternating direction method of multipliers Common patterns Examples Consensus and exchange Conclusions
Alternating direction method of multipliers
16
ADMM and optimality conditions
optimality conditions (for differentiable case):
– primal feasibility: Ax + Bz − c = 0 – dual feasibility: f (x) + AT y = 0, g(z) + B T y = 0
14
Alternating direction method of multipliers
ADMM problem form (with f , g convex) minimize f (x) + g(z) subject to Ax + Bz = c
02凸优化理论与应用_凸函数
6
下水平集(sublevel set)
定义：集合
C { x dom f | f ( x ) }
称为 f 的 下水平集。
定理：凸函数的任一下水平集均为凸集。 任一下水平集均为凸集的函数不一定为凸函数。
信息与通信工程学院 庄伯金 bjzhuang@
7
函数上半图(epigraph)
定义：集合
epi f {( x , t ) | x dom f , f ( x ) t }
称为函数
f
的上半图。
f
定理：函数
为凸函数当且仅当
f
的上半图为凸集。
信息与通信工程学院 庄伯金 bjzhuang@
8
Jensen不等式
f
为凸函数，则有：
yC
凸函数的透视算子
g ( x , t ) tf ( x / t )
信息与通信工程学院 庄伯金 bjzhuang@
11
共轭函数(conjugate function)
定义：设函数 f : R 定义为
*
n
R
，其共轭函数 f : R
T
*
n
R
，
f ( y ) su p ( y x f ( x )).
n
为真锥，函数 f : R
n
R
称为 K 单调增，若函数 f ( x ) 满足：
x K y f (x) f ( y)
广义凸函数的定义：设K R 均有
m
为真锥，函数 f : R
n
R
m
称为 K 凸，若函数 f ( x ) 满足对 x , y dom f , 0 1
凸优化理论与应用-逼近与拟合PPT课件
题：
minimize 1T y
subject to Ax b, y p x p y
可编辑
14
正则逼近
二元矢量优化问题描述：
minimize(w.r.t. R2) ( Ax b , x )
正则化问题：
minimize Ax b x , 0
最优解描述了两分量的一条折中曲线。
minimize Ax b 2 x 2 , 0
x 为二阶差分算子：
1 2 1 0 ... 0 0 0
0
1
2
1
...
0
0
0
x
n
2
0 ...
0 ...
1 ...
2 ... 0 ... ... ...
0 0 ... ... x
0 0 0 0 ... 2 1 0
该罚函数为鲁棒的罚函数。
Huber罚函数
(r
)
M
(2
r2 r
M
)
r M r M
可编辑
12
最小范数问题
问题描述：minimize x subject to Ax b, A Rmn , m n
可以消去等式约束将其转换为范数逼近问题：
minimize x0 zu
可编辑
7
绝对值和最小逼近
范数采用 l1
范数
• ，原问题为 1
minimize Ax b
1
A Rmn , m n,
即
minimize
m i 1
n k 1
aik
xk
bi
凸优化理论与应用内点法PPT课件
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
近似替代。
可编辑
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
可编辑
4
对数阀函数
凸优化理论与应用
凸优化理论与应用凸优化是一种数学理论和方法，用于寻找凸函数的全局最小值或极小值。
凸优化理论和方法广泛应用于工程设计、经济学、金融学、计算机科学等多个领域，其重要性不言而喻。
凸优化首先要明确凸函数的概念。
凸函数在区间上的定义是：对于区间上的任意两个点x1和x2以及任意一个介于0和1之间的值t，都有f(tx1+(1-t)x2) <= tf(x1)+(1-t)f(x2)。
简单来说，凸函数的图像在任意两个点之间的部分都在这两个点的上方或相切，不会出现下凹的情况。
这个定义可以推广到多元函数。
凸优化问题的数学模型可以写成如下形式：minimize f(x)subject to g_i(x) <= 0, i = 1,2,...,mh_i(x)=0,i=1,2,...,p其中f(x)是凸目标函数，g_i(x)是凸不等式约束，h_i(x)是凸等式约束。
凸优化问题的目标是找到使得目标函数最小化的变量x，同时满足约束条件。
凸优化理论和方法有多种求解算法，包括梯度下降、牛顿法、内点法等。
其中，梯度下降是一种迭代算法，通过计算目标函数的梯度来更新变量的值，使得目标函数逐渐收敛到最小值。
牛顿法则是通过计算目标函数的二阶导数来进行迭代，收敛速度更快。
内点法是一种求解线性规划问题的方法，在凸优化中也有广泛的应用。
凸优化的应用非常广泛，以下列举几个典型的应用领域。
1.机器学习和模式识别：凸优化在机器学习和模式识别中有重要的应用，例如支持向量机和逻辑回归。
这些算法的优化问题可以通过凸优化来求解，从而得到具有较高准确率的分类器。
2.信号处理：凸优化在信号处理中有广泛的应用，例如滤波、压缩和频谱估计等。
通过凸优化可以得到更高效的信号处理算法，提高信号处理的准确性和速度。
3.优化调度问题：在工业生产、交通运输和电力系统等领域，凸优化可以用来优化调度问题，通过合理安排资源和调度任务，提高效率和经济性。
4.金融风险管理：凸优化在金融风险管理中有广泛的应用，例如投资组合优化和风险控制。
凸优化（08.27）
凸优化（08.27）凸优化总结1基本概念1.1）凸集合：nS R ?是凸集，如果其满足：x; y S + = 1 x + y S λμλμ∈?∈几何解释：x; y S ∈，则线段[x,y]上的任何点都S ∈1.2）仿射集：nSR是仿射集，如果其满足：x; y S , R ,+ = 1 x + y S λμλμλμ∈∈?∈几何解释：x; y S ∈，则穿过x, y 的直线上的任何点都S ∈1.3）子空间：nS R ?是子空间，如果其满足：x; y S , R , x + y S λμλμ∈∈?∈ 几何解释：x; y S ∈，则穿过x, y ，0的平面上的任何点都S ∈1.4）凸锥：n S R ?是凸锥，如果其满足：x; y S ,0 x + y S λμλμ∈≥?∈ 几何解释：x; y S ∈，则x, y 之间的扇形面的任何点都S ?集合C 是凸锥的充分必要条件是集合C 中的元素的非负线性组合仍在C 中，作为一般化结果，其中非负线性组合的数目可以推广到无穷1.5）超平面：满足{}Tx a x = b (a 0)≠的仿射集，如果b=0则变为子空间1.6）半空间：满足{}Tx a x b (a 0)≤≠的凸集，如果b=0则变为凸锥1.7）椭球体：{}T -1c c =x (x-x )A (x-x ) 1 ξ≤T n c A = A 0; x R ∈ 球心 1.8）范数：f ：R n —R 是一种范数，如果对所有的nx; y R , t R ∈∈满足1. f(x) 0; f(x) = 0 x = 02. f(tx) = tf(x)3. f(x + y) f(x) + f(y)≥?≤范数分类● 1范数2x=● 2范数 1i xx x =∑● 3无穷范数 max i i xx ∞=1.9）有效域：集合(){()}dom f x X f x =∈<∞1.10）水平集：{()}{()}x X f x and x X f x αα∈<∈≤，其中α为一标量1.11）上镜图：函数:(,f x ∈-∞∞的上镜图由下面的集合给定{}()(,),,()epi f x w x X w R f x w =∈∈<给出的1n R +给出的子集。
凸优化理论 课件
1–5
Solving convex optimization problems • no analytical solution • reliable and efficient algorithms • computation time (roughly) proportional to max{n3, n2m, F }, where F is cost of evaluating fi’s and their first and second derivatives • almost a technology
1–7
New applications since 1990
• linear matrix inequality techniques in control • circuit design via geometric programming • support vector machine learning via quadratic programming • semidefinite programming relaxations in combinatorial optimization • applications in structural optimization, statistics, signal processing, communications, image processing, quantum information theory, finance, . . .
Convex Optimization
Stephen Boyd (Stanford University)
Short Course, Harbin Institute of Technology July 13-18, 2012
01凸优化理论与应用_凸集
多面体(Polyhedra)
多面体：
P {x | a x bj , c x di }
T j T i
k
单纯形(simplex)：
{i vi | i 0, i 1, v1 v0 ,..., vk v0线性无关}
i 0 i 0
k
信息与通信工程学院 庄伯金 bjzhuang@
信息与通信工程学院 庄伯金 bjzhuang@
27
严格广义不等式的性质
1.x K y x K y; 2.x K x; 3.x K y, u K v x u K y v; 4.x K y, 0 x K y 5.x K y, u足够小 x u K y.
凸锥的定义：集合C既是凸集又是锥。
x1 , x2 C,1 ,2 0, 则有1x1 2 x2 C.
锥包的定义：集合C内点的所有锥组合。
{i xi | xi C , i 0}
i 1
信息与通信工程学院 庄伯金 bjzhuang@
k
12
锥
信息与通信工程学院 庄伯金 bjzhuang@
广义不等式
例： 逐项不等式 矩阵不等式
信息与通信工程学院 庄伯金 bjzhuang@
严格广义不等式
26
广义不等式的性质
1.x K x; 2.x K y, y K x x y; 3.x K y, y K z x K z; 4.x K y, u K v x u K y v; 5.x K y, 0 x K y; 6.xi K yi , lim xi x, lim yi y x K y.
01凸优化理论与应用_凸集ppt课件
B(xc,r) {x | x xc r}
范数锥(norm cone)：
{(x,t) | x t}
20
多面体(Polyhedra)
多面体： P {x | aTj x bj ,ciT x di}
单纯形(simplex)：
k
k
{ ivi | i 0, i 1, v1 v0,...,vk v0线性无关}
5
凸集
6
仿射集与凸集的联系
x1, x2 C, [0,1],则 x1 (1 )x2 C
所以仿射集一定是凸集
7
凸集
8
9
凸集
凸包的定义：包含集合C的最小的凸集。
k
k
conv C { i xi | xi C,i 0, i 1}
i 1
i 1
i0
i0
21
22
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X R nnn | X X T }
n阶半正定矩阵集：
S
n
{X
Sn
|
X
0}
n阶正定矩阵集：
Sn {X nS阶n |半X正凸定锥0矩}！阵集为
12
锥
13
锥包
14
超平面和半空间
超平面(hyperplane) ： {x | aT x b}
半空间(Halfspace)： {x | aT x b} {x | aT x b}
15
超平面
16
半空间
17
欧氏球和椭球
欧氏球(euclidean ball):
学习课件凸集和凸函数和凸规划-课件.ppt
例：证明
11 x y xp yq ,
pq
其中x,
y
0,
p, q
ห้องสมุดไป่ตู้
0,
1 p
1 q
1.
f (t) ln t凹
Young不等式
x p yq xy
i 1
i 1
凸组合 (Convex Combination)
m
m
i xi , 其中i R , xi Rn , i 1,2,...m且 i 1.
i 1
i1
凸锥组合 (Convex Cone Combination)
m
i xi , 其中i R , xi Rn , i 1,2,...m.
.精品课件.
7
凸集-----性质
k
推论：设Di , i 1,2,, k是凸集，则 i Di i 1 也是凸集，其中i 是实数．
(4) S 是凸集当且仅当S中任意有限个点的凸 组合仍然在S中.P23,定理2.9
.精品课件.
8
凸集-----性质
注： 和集和并集有很大的区别，凸集的并集
未必是凸集，而凸集的和集是凸集．
则称函数 f x 为 D 上的凸函数．
注：将上述定义中的不等式反向，可以得到
凹函数的定义．
.精品课件.
19
凸函数
严格凸函数
设 D Rn 是非空凸集， f x : D R,
若对任意的 x, y D (x y),及任意的 0,1
都有：f x 1 y f x 1 f y
则称函数 f x 为 D 上的严格凸函数．
注：将上述定义中的不等式反向，可以 得到严格凹函数的定义．
.精品课件.
20
凸函数
凸优化课件
则存在
x C, a x b且x D, a x b.
超平面 分 离了两个不相交的凸集 C 和 D 。仿射函数 在 C 上非正，在 D 上 非负。
8
严格分离：
超平面分离定理的逆定理：
结合逆定理与平面分离定理得出结论：
9
2.5.2 支撑超平面
x0 为 C 边界上的点。若存在 a 0， 定义：设集合 C ， 满足对任意 x C ，都有 aT x aT x0 成立，则称超平 T T { x | a x a x0} 为集合 C 在点 x0 处的支撑超平面。 面
正常锥的对偶锥 仍然是正常锥！ 2.若K 非中空，则K *有端点；
3.若K的闭包有端点，则K *非中空； 4.K 是K的闭凸包；
11
**
2.6.2 广义不等式的对偶
对偶锥 是正常锥，可由这导出一个广义不等式 ，我们称其为广义不等式 的对偶。 广义不等式与其对偶的性质：
12
2.6.3 对偶不等式定义的最小元和极小元
凸优化理论与应用
第二章 凸集（2.4-2.6）
1
2.4广义不等式
2.4.1 正常锥与广义不等式 n 正常锥的定义：锥 K R 满足如下条件：
1.K为凸集； 2.K为闭集； 3.K 非中空； 4.K 有端点。
K不包含直线
2
K是实的，具有内点
广义不等式（ 上的偏序关系）
正常锥 K 下的偏序关系： 什么是偏序关系？ 若R为非空集合A上的关系，它是自反的、反对称的 和传递的，则称R为A上的偏序关系。 广义不等式
最小元的对偶性质：
从几何上看，这意味着对于任意 ，超平 面 是在 x 处对 S 的一个严格支撑超平 面。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
凸优化问题最优解
定理：设 X 为凸优化问题的可行域，f0 (x)可微。则 x 为最优解当且仅当 f0 (x)T ( y x) 0, y X 成立。
可编辑
15
凸优化问题最优解
定理：无约束凸优化问题中，若 f0 (x)可微。则 x 为最 优解当且仅当 f0 (x) 0成立。
h1(x) (x1 x2 )2 0
等价于凸优化问题
minimize f0 (x) x12 x22 subject to f%1(x) x1 0
h%1(x) x1 x2 0
可编辑
13
凸优化问题的局部最优解
定理：凸优化问题的局部最优解均是全局最优解。
可编辑
14
可编辑
10
优化问题的上半图形式
minimize t subject to f0 (x) t 0,
fi (x) 0, i 1,..., m hi (x) 0, j 1,..., p
可编辑
11
凸优化问题的基本形式
凸优化问题的基本描述：
minimize f0 (x), x R n subject to fi (x) 0, i 1,..., m
hi (z) 0, j 1,..., p x z R, R 0
2
若 x 为局部最优问题的最优解，则它为原最优问题的
局部最优解。
可编辑
4
优化问题的等价形式(1)
定理：若 i 0,i 0,..., m, i 0,i 1,..., p
则原优化问题与以下优化问题等价
hi (x) 0, j 1,..., p
fi (x)为凸函数 hi (x)为仿射函数 若 f0 (x)为准凸函数，则优化问题称为准凸优化问题。 性质：凸优化问题的可行域是凸集。
可编辑
12
抽象凸优化问题
例：
minimize f0 (x) x12 x22 subject to f1(x) x1 /(1 x22 ) 0
minimize f%0 (x) 0 f0 (x), x R n subject to f%i (x) i fi (x) 0, i 1,..., m
h%i (x) hi (x) 0, i 1,..., p
可编辑
5
优化问题的等价形式(2)
定理：设 :R n R n 为一一对应，且 D (dom) 则原优化问题与以下优化问题等价 minimize f%0 (z) f0 ((z)), z R n subject to f%i (z) fi ((z)) 0, i 1,..., m h%i (z) hi ((z)) 0, i 1,..., p
可编辑
6
优化问题的等价形式(3)
定理：设 0 :R R 为严格单调增函数；1,..., m 满 足 i (u) 0 当且仅当 u 0 ；1,..., p 满足i (u) 0 当 且仅当 u 0 。则原优化问题与以下优化问题等价
minimize f%0 (z) 0 ( f0 (z)), z R n subject to f%i (z) i ( fi (z)) 0, i 1,..., m
可编辑
9
可分离变量优化问题
性质： 其中
inf f (x, y) inf f%(x)
x, y
x
f%(x) inf f (x, y)
y
定理：优化问题
minimize f0 (x1, x2 ), x R n
subject to fi (x1) 0, i 1,..., m1
f%i (x2 ) 0, i 1,..., m2 可以分离变量 x1, x2
h%i (z) i (hi (z)) 0, i 1,..., p
可编辑
7
优化问题的等价形式(4)
定理：原优化问题与以下优化问题等价
minimize f0 (x), x R n subject to fi (x) si 0, i 1,..., m
si 0 hi (x) 0, j 1,..., p
凸优化理论与应用
第三章 凸优化
可编辑
1
优化问题的基本形式
优化问题的基本描述：
minimize f0 (x), x R n
subject to fi (x) 0, i 1,..., m
优化变量
hi (x) 0, j 1,..., p x R n
不等式约束 等式约束 无约束优化
最优化值
p* inf{ f0 (x) | fi (x) 0, i 1,..., m, hi (x) 0, i 1,..., p}
最优化解
p* f0 (x*)
可编辑
3
局部最优解
局部最优问题
minimize f0 (z), x R n subject to fi (z) 0, i 1,..., m
fi (x) 0,i 1,..., m hi (x) 0.,i 1,..., p
m p0
可编辑
2
优化问题的基本形式
优化问题的域
m
p
D I domfi I domhi
i0
i1
可行点(解) (feasible) x D 且满足约束条件
可行域(可解集)
所有可行点的集合
例：无约束二次优化问题
f0
(
x)
1 2
xT
Px
qT
x
r
可知
f0 (x) Px q 0
可编辑
16
凸优化问题的最优解
定理：设凸优化问题仅有等式约束 minimize f0(x), x R n subject to Ax b
则 x 为最优解当且仅当 x X ，且存在向量 v 满足 f0 (x) AT v 0
s 称为松弛变量
Байду номын сангаас
可编辑
8
优化问题的等价形式(5)
定理：设 :R k R n 满足等式 hi (x) 0, j 1,..., p
成立，当且仅当 x (z) 。则原优化问题与以下优化
问题等价
minimize f0 ((z)), x R n subject to fi ((z)) 0, i 1,..., m