凸优化理论与应用无约束优化PPT课件
凸优化理论与应用凸优化PPT课件_1-51
可编辑
9
可分离变量优化问题
性质： 其中
inf f (x, y) inf f%(x)
x, y
x
f%(x) inf f (x, y)
y
定理：优化问题
minimize f0 (x1, x2 ), x R n
subject to fi (x1) 0, i 1,..., m1
f%i (x2 ) 0, i 1,..., m2 可以分离变量 x1, x2
h%i (z) i (hi (z)) 0, i 1,..., p
可编辑
7
优化问题的等价形式(4)
定理：原优化问题与以下优化问题等价
minimize f0 (x), x R n subject to fi (x) si 0, i 1,..., m
si 0 hi (x) 0, j 1,..., linear minimization
问题描述
minimize
上半图形式 minimize
f (x) im1,a...x,m(aiT x bi ) t
LP形式
subject to im1,a...x,m(aiT x bi ) t minimize t
subject to aiT x bi t,i 1,..., m
y
x eT x
f
Ay bz 0 eT y fz 1
z
1 eT x
f
z0
可编辑
31
二次规划(quadratic program,QP)
QP问题的基本描述
minimize (1/ 2)xT Px qT x r subject to Gx p h
Ax b P Sn , G Rmn , A R pn
凸优化课件
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
03凸优化理论与应用_凸优化
03凸优化理论与应用_凸优化凸优化理论与应用是数学领域的一个重要分支，是一种优化问题的求解方法，它在工程、经济学、物理学、统计学等领域具有广泛的应用。
凸优化问题是指目标函数是凸函数（convex function）且约束条件是凸集（convex set）的优化问题。
凸函数是一种特殊的函数，它的任意两个点之间的线段在函数图像上方。
凸集是一种特殊的集合，对于集合中的任意两个点，连接这两个点的线段的端点也在集合中。
凸优化问题是在满足凸性条件下，寻找使目标函数最大化或最小化的变量值。
凸优化问题具有以下重要性质：1.局部最优解是全局最优解：对于凸优化问题，只需要找到一个局部最优解，就可以确定它就是全局最优解，无需再进行进一步的。
2.解的存在性：凸优化问题在一些条件下保证存在解，这对于实际问题的求解非常重要。
3.解的唯一性：对于凸优化问题，只能存在一个最优解，不会出现多个最优解的情况。
4.算法的可行性：凸优化问题可以通过多种有效的算法求解，这些算法具有较高的收敛速度和稳定性。
凸优化问题可以分为无约束问题和有约束问题两类。
无约束问题是指目标函数只有一个变量，没有约束条件；有约束问题是指在目标函数的最优化问题的基础上增加约束条件。
在凸优化理论中，有一些重要的概念和定理，如凸集、凸函数、凸锥、支撑超平面、KKT条件等。
这些概念和定理为凸优化问题的求解提供了理论基础和方法。
凸优化问题在实际应用中具有广泛的应用，例如：1.金融领域：用于投资组合优化、资产定价问题等。
2.电力领域：用于电网调度、能源管理等。
3.交通领域：用于交通流优化、交通路线规划等。
4.通信领域：用于信号处理、无线通信系统设计等。
5.机器学习领域：用于模型训练、参数优化等。
6.图像处理领域：用于图像恢复、图像分割等。
总之，凸优化问题在不同领域的应用非常广泛，它的理论基础和求解方法为解决复杂的优化问题提供了有效的工具和思路。
随着科学技术的不断发展，凸优化理论与应用领域将会不断扩展和深化，为实际问题的求解提供更多的可能性和机会。
04凸优化理论与应用_对偶问题PPT演示课件
拉格朗日对偶函数：
g
(
)
1T
W diag( )
0
otherwise
信
7
对偶函数与共轭函数
共轭函数 f *( y) sup ( yT x f (x))
xdomf
共轭函数与对偶函数存在密切联系 具有线性不等式约束和线性等式约束的优化问题：
minimize g(, )
subject to 0
subject to AT c 0
0
信
13
弱对偶性
定理（弱对偶性） ：设原始问题的最优值为 p *，对偶 问题的最优值为d *，则 d* p * 成立。
optimal duality gap
p*d *
在 x relint D，满足 fi (x) 0,i 1,..., m,
minimize f0(x) subject to Ax b
对偶函数：
Cx d
g ( ,
)
bT
d T
f
* 0
(
AT
CT
)
信
8
Equality constrained norm minimization
问题描述： minimize x
subject to Ax b
4
信
5
Standard form LP
原问题：
minimize cT x
subject to Ax b
x 0
拉格朗日函数：
L(x, , ) cT x T x T (Ax b)
凸优化之无约束优化（一维搜索方法：二分法、牛顿法、割线法）
凸优化之⽆约束优化（⼀维搜索⽅法：⼆分法、⽜顿法、割线法）1、⼆分法（⼀阶导）⼆分法是利⽤⽬标函数的⼀阶导数来连续压缩区间的⽅法，因此这⾥除了要求 f 在 [a0,b0] 为单峰函数外，还要去 f(x) 连续可微。
（1）确定初始区间的中点 x(0)=(a0+b0)/2 。
然后计算 f(x) 在 x(0) 处的⼀阶导数 f'(x(0))，如果 f'(x(0)) >0 , 说明极⼩点位于 x(0)的左侧，也就是所，极⼩点所在的区间压缩为[a0,x(0)]；反之，如果 f'(x(0)) <0，说明极⼩点位于x(0)的右侧，极⼩点所在的区间压缩为[x(0)，b0]；如果f'(x(0)) = 0，说明就是函数 f(x) 的极⼩点。
（2）根据新的区间构造x(1)，以此来推，直到f'(x(k)) = 0，停⽌。
可见经过N步迭代之后，整个区间的总压缩⽐为（1/2）N，这⽐黄⾦分割法和斐波那契数列法的总压缩⽐要⼩。
1 #ifndef _BINARYSECTION_H_2#define _BINARYSECTION_H_34 typedef float (* PtrOneVarFunc)(float x);5void BinarySectionMethod(float a, float b, PtrOneVarFunc fi, float epsilon);67#endif1 #include<iostream>2 #include<cmath>3 #include "BinarySection.h"45using namespace std;67void BinarySectionMethod(float a, float b, PtrOneVarFunc tangent, float epsilon)8 {9float a0,b0,middle;10int k;11 k = 1;12 a0 = a;13 b0 = b;14 middle = ( a0 + b0 )/2;1516while( abs(tangent(middle)) - epsilon > 0 )17 {18 #ifdef _DEBUG19 cout<<k++<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;20#endif2122if( tangent(middle) > 0)23 {24 b0 = middle;25 }26else27 {28 a0 = middle;29 }30 middle =( a0+b0)/2;31 }3233 cout<<k<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;34 }1 #include<iostream>2 #include "BinarySection.h"345float TangentFunctionofOneVariable(float x)6 {7return14*x-5;//7*x*x-5*x+2;8 }910int main()11 {12 BinarySectionMethod(-50, 50, TangentFunctionofOneVariable, 0.001);13return0;14 }1th iteration:x=0,f'(0)=-52th iteration:x=25,f'(25)=3453th iteration:x=12.5,f'(12.5)=1704th iteration:x=6.25,f'(6.25)=82.55th iteration:x=3.125,f'(3.125)=38.756th iteration:x=1.5625,f'(1.5625)=16.8757th iteration:x=0.78125,f'(0.78125)=5.93758th iteration:x=0.390625,f'(0.390625)=0.468759th iteration:x=0.195312,f'(0.195312)=-2.2656210th iteration:x=0.292969,f'(0.292969)=-0.89843811th iteration:x=0.341797,f'(0.341797)=-0.21484412th iteration:x=0.366211,f'(0.366211)=0.12695313th iteration:x=0.354004,f'(0.354004)=-0.043945314th iteration:x=0.360107,f'(0.360107)=0.041503915th iteration:x=0.357056,f'(0.357056)=-0.001220716th iteration:x=0.358582,f'(0.358582)=0.020141617th iteration:x=0.357819,f'(0.357819)=0.0094604518th iteration:x=0.357437,f'(0.357437)=0.0041198719th iteration:x=0.357246,f'(0.357246)=0.0014495820th iteration:x=0.357151,f'(0.357151)=0.0001144412、⽜顿法（⼆阶导）前提：f 在 [a0,b0] 为单峰函数，且[a0,b0] 在极⼩点附近，不能离的太远否则可能⽆法收敛。
无约束优化课稿PPT课件
(1) Display: 显示水平.取值为’off’时,不显示输出; 取值为’iter’时,显示每次迭代的信息;取值为’final’ 时,显示最终结果.默认值为’final’. (2) MaxFunEvals: 允许进行函数评价的最大次数,取 值为正整数. (3) MaxIter: 允许进行迭代的最大次数,取值为正整数.
X1
X2
x1
第2页/共21页
唯一极小 (全局极小)
f 0.298
f 0
f (x1 x2 ) 2x12 2x1x2 x22 3x1 x2
多局部极小
第3页/共21页
f 0.298
搜索过程 min f (x1 x2 ) 100 (x2 x12 )2 (1 x1)2
x1 x2 f
-1 1 4.00 -0.79 0.58 3.39 -0.53 0.23 2.60 -0.18 0.00 1.50 0.09 -0.03 0.98 0.37 0.11 0.47 0.59 0.33 0.20 0.80 0.63 0.05 0.95 0.90 0.003 0.99 0.99 1E-4 0.999 0.998 1E-5
0.9997 0.9998 1E-8
第4页/共21页
最优点 (1 1) 初始点 (-1 1)
返回
无约束优化问题的基本算法
1．最速下降法（共轭梯度法）算法步骤：
⑴ 给定初始点 X 0 E n ，允许误差 0 ,令 k=0；
⑵ 计算f X k ；
⑶ 检验是否满足收敛性的判别准则：
f X k ，
(x k )T k )T x k
x k (f k )T H k H k f k (x k )T (f k )T x k
凸优化理论与应用内点法PPT课件
可编辑
13
寻找严格可行解的方法
牛顿法求解优化问题：
minimize s
subject to fi (x) s,i 1,..., m Ax b
迭代终止条件：当前解 s(k) 0 ，即终止迭代，严格可 行解为 x(k ) 。
则优化问题具有强对偶性，其对偶问题亦可解。
可编辑
2
不等式约束的消去
示性函数消去不等式约束：
m
minimize f0 (x) I ( fi (x)) i 1
subject to Ax b
0 u 0 I (u) u 0
I (u) 不具备良好的连续可微性，考虑用对数阀函数来
近似替代。
可编辑
中心步骤：以 x 为初始点求解优化问题 x*(t) ，
minimize tf0(x) (x)
subject to Ax b 迭代： x x* (t)
终止条件：若 m/ t ，则终止退出。
更新 t ：t t
可编辑
9
收敛性分析
外层循环迭代次数：
log(m /( t(0) ))
(t))
,
*
(t)
w
/
t
则 x x*(t) 是拉格朗日函数L(x, *(t), *(t)) 的最小值
解。
m
L(x, *(t), *(t)) f0 (x) i*(t) fi (x) *(t)( Ax b)
i 1
(*(t), *(t)) 为对偶问题的可行解。
可编辑
7
中心线的对偶点
设 p* 为原始问题的最优值，则有：
可编辑
4
对数阀函数
凸优化理论与应用_凸函数
25
共轭函数 具有凸性！
13
共轭函数的性质
Fenchel’s inequality
f ( x) f * ( y) yT x.
性质：若 f ( x )为凸函数，且 f ( x ) 的上半图是闭集，则有
f ** f .
n z R 性质：设 f ( x ) 为凸函数，且可微，对于 ，若 y f ( z )
若 f ( x ) 为准凸函数，根据 f ( x ) 的任意 t 下水平集，我们 可以构造一个凸函数族 t ( x)，使得
f ( x) t t ( x) 0
例：
f ( x) t 0 t ( x) . otherwise
性质：若 t ( x) 为准凸函数 f ( x ) 的凸函数族表示，对每一 个 x domf ，若 s t ，则有
7
函数上半图(epigraph)
定义：集合
epif {( x, t ) | x domf , f ( x) t}
称为函数 f 的上半图。
定理：函数 f 为凸函数当且仅当 f 的上半图为凸集。
信息与通信工程学院 庄伯金 bjzhuang@
8
Jensen不等式
凸函数的一阶微分条件
若函数 f 的定义域 domf 为开集，且函数 f 一阶可微， 则函数 f 为凸函数当且仅当 domf 为凸集，且对 x, y domf
f ( y) f ( x) f ( x)T ( y x)
信息与通信工程学院 庄伯金 bjzhuang@
定理：若函数 f ( x ) 一阶可微，则 f ( x ) 为准凸函数，当且仅 当 domf 为凸集，且对 x, y domf ，有
最新第4章无约束优化方法PPT课件
第机四械章优化设无计约束优化方法
第七节 坐标轮换法
基本思想：
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进行一
，
维探索的坐标轴，完成第一轮探索后再重新进行第二轮 探索，直到找到目标函数在全域上的最小点为止。
目的：将一个多维的无约束最优化问题，转化为一系
列的一维问题来求解。
第机四械章优化设无计约束优化方法
第六节 变尺度法（拟牛顿法）
DFP算法：
例 ： 用 D F P 算 法 求 fx 1 ,x 2 x 1 2 2 x 2 2 4 x 1 2 x 1 x 2
，
的 极 值 解 。
H k 1 H k E k H k s s k T k s y k T k H y k k T y H ky k k T y H kk (k 0 ,1 ,2 , )
设法构造出一个对称正定矩阵 来H 代k 替 ，并 在迭G代( x过k )程1 中使 逐渐逼近 H,那k 么就简化G了(牛xk )顿1 法的计算，并且保持了牛顿法收敛快的优点。
变尺度法的
迭代公式：
x k 1 x k k H k fx k ( k 0 ,1 ,2)
第机四械优章化设无计约束优化方法
3)沿方向d k作，一维搜索得xk 1 xk k d k ; 4)判断收敛：若满足 f ( x(k 1) ) , 则令x* xk 1，f ( x* ) f ( xk 1),
无约束最优化的直接方法 最优化理论与算法 教学PPT课件
y( j1) y( j)
j:= j
3. 若j<n,则置j:=j+1,转步2,否则,进行步4.
22
2. Rosenbrock算法
4.若f ( y(n1) ) f (x(k) ),则令 y(1)= y(n+1)
置j=1,转步2.若 f ( y(n1) ) f ( y(1) ),则进行步5.
24
24
12
1 模式搜索法
j x(k )
y( j) f (y( j))
x(2) 0 (1,1) 0 1 (1,1) 0
2 (1,1)
y( j) + ej f ( y( j) + ej) y( j) - ej f ( y( j) - e j)
(5 ,1) 1165 1.64 4 256
( 3 ,1) 1 5 1.02 4 256
给定初始点x(1),放大因子 1,缩减因子 (1,0)
给定初始搜索方向和步长.
14
2. Rosenbrock算法
设第k次迭代的初始点为x(k) ,搜索方向
d (1) , d (2) ,..., d (n)
它们是单位正交方向,沿各方向的步长为
1, 2 ,..., n
每轮探测的起点和终点用y(1) 和y(n+1) 表示. 令y(1) = x(k) ,开始第1轮探测移动
y(2) y(1) e1
并从y(2)出发,沿e2进行探测.
(1.2)
5
1.模式搜索法
若f ( y(1) e1) f ( y(1) ),则沿 - e1方向的探测失败,令
y(2) y(1)
(1.3)
凸优化理论 课件
1–5
Solving convex optimization problems • no analytical solution • reliable and efficient algorithms • computation time (roughly) proportional to max{n3, n2m, F }, where F is cost of evaluating fi’s and their first and second derivatives • almost a technology
1–7
New applications since 1990
• linear matrix inequality techniques in control • circuit design via geometric programming • support vector machine learning via quadratic programming • semidefinite programming relaxations in combinatorial optimization • applications in structural optimization, statistics, signal processing, communications, image processing, quantum information theory, finance, . . .
Convex Optimization
Stephen Boyd (Stanford University)
Short Course, Harbin Institute of Technology July 13-18, 2012
无约束优化方法PPT课件-PPT精选文档
等式两边同乘 d
0
T
得
d Gd 0
0 T 1
fxa fx fx 0
k k T k k
k f x f x 0 k 1 T
d
k 1 T
dk 0
由此可知，在最速下降法中，相邻两个迭代点上 的函数梯度相互垂直。而搜索方向就是负梯度方 向，因此相邻两个搜索方向互相垂直。
第四章
无约束优化方法
第一节 概述
从第一章列举的机械设计问题，大多数实际问题 是约束优化问题。 约束优化问题的求解——转化为一系列的无约束 优化问题实现的。
因此，无约束优化问题的解法是优化设计方法 的基本组成部分，也是优化方法的基础。
无约束优化问题的极值条件
f x* 0
解析法(间接解法)
4.3.2 阻尼牛顿法 牛顿法的缺陷是，在确定极值点的过程中，并不含有沿 下降方向搜索的概念。因此对于非二次型函数，在迭代过 k 1 k 程中，可能出现 f( X )f( X )
的现象。为此人们提出了所谓的阻尼牛顿法。
令
k d H ( X ) f ( X ) k
1 k
以上二种经典方法中，人们不断努力，发掘，提出了不
同的改进方法。
第四节共轭方向及共轭方向法
为了克服最速下降法的锯齿现象，提高收敛速度，发展 了一类共轭方向法。搜索方向是共轭方向。
一、共轭方向的概念 共轭方向的概念是在研究二次函数
1T T f x x bx c xG 2
时引出的。 首先考虑二维情况
数值法(直接解法)
01凸优化理论与应用_凸集ppt课件
B(xc,r) {x | x xc r}
范数锥(norm cone)：
{(x,t) | x t}
20
多面体(Polyhedra)
多面体： P {x | aTj x bj ,ciT x di}
单纯形(simplex)：
k
k
{ ivi | i 0, i 1, v1 v0,...,vk v0线性无关}
5
凸集
6
仿射集与凸集的联系
x1, x2 C, [0,1],则 x1 (1 )x2 C
所以仿射集一定是凸集
7
凸集
8
9
凸集
凸包的定义：包含集合C的最小的凸集。
k
k
conv C { i xi | xi C,i 0, i 1}
i 1
i 1
i0
i0
21
22
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X R nnn | X X T }
n阶半正定矩阵集：
S
n
{X
Sn
|
X
0}
n阶正定矩阵集：
Sn {X nS阶n |半X正凸定锥0矩}！阵集为
12
锥
13
锥包
14
超平面和半空间
超平面(hyperplane) ： {x | aT x b}
半空间(Halfspace)： {x | aT x b} {x | aT x b}
15
超平面
16
半空间
17
欧氏球和椭球
欧氏球(euclidean ball):
《最优化理论》课件
递归地求解子问题，并存 储子问题的解以避免重复
计算。
备忘录法
使用备忘录存储子问题的 解，以避免重复计算，同 时避免因重复计算而导致
的内存消耗。
迭代法
通过迭代的方式求解子问 题，并逐渐逼近最优解。
动态规划的应用
生产计划问题
在生产过程中，需要制定生产计 划以满足市场需求，同时最小化 生产成本。动态规划可以用于求 解此类问题。
线性规划问题具有形式化 的特征，包括决策变量、 目标函数和约束条件。
线性规划问题通常用于解 决资源分配、生产计划、 运输和分配等问题。
线性规划的解法
线性规划的解法有多种，包括 单纯形法、椭球法、分解算法
等。
单纯形法是最常用的线性规 划解法，它通过迭代过程寻 找最优解，每次迭代都使目
标函数值减小。
椭球法和分解算法也是常用的 解法，但它们在处理大规模问
谢谢您的聆听
THANKS
线性规划问题
在目标函数和约束条 件均为线性时，寻找 最优解的问题。
非线性规划问题
在目标函数或约束条 件为非线性时，寻找 最优解的问题。
整数规划问题
在变量取整数值且约 束条件为整数时，寻 找最优解的问题。
最优化问题的求解方法
牛顿法
通过构造一个二次函数近似目 标函数，并利用牛顿公式求解 最优解。
共轭梯度法
要点二
详细描述
在生产领域，整数规划可以用于生产计划、资源分配等问 题，如安排生产线的生产计划、分配原材料等资源。在管 理领域，整数规划可以用于物流调度、车辆路径等问题， 如优化物流配送路线、制定车辆行驶计划等。在经济领域 ，整数规划可以用于投资组合、风险管理等问题，如优化 投资组合以实现最大收益或最小风险。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
可编辑
8
下降法
下降法的一般步骤： 给出初始点 x domf ； 循环迭代
计算下降方向 x ； 搜索步长因子 t ； 迭代：x x tx
可编辑
9
步长因子搜索
精确一维搜索：t arg min f (x tx) t 0
回溯一维搜索：给定参数 (0,0.5), (0,1)
迭代：
x(k) 1
k
1
1
x(k) 2
k
1 1
当 = 1 or ? 1 时，
算法收敛速度很慢。
可编辑
14
例
m
minimize cT x log(bi aiT x), m 500, n 100 i 1
xnt (x)2
2m
2
p* 为最优值，则
f (x) p* 1 f (x) 2
2m
2
可编辑
5
强凸性
若函数 f (x) 在 S 上具有强凸性，则可以证明存
在M 0 ，满足
2 f (x) p MI
则有
f ( y) f (x) f (x)T ( y x) M y x 2
2
l1 范数：
xsd
f (x) xi
ei
可编辑
16
最速下降法
可编辑
17
收敛性分析
范数界：
x x , (0,1]
*
2
收敛速度因子：
c 1 2m 2 min{1, 2 / M}
可编辑
18
牛顿法
设函数 f (x) 二阶可微，则在 x 附近，f (x) 的泰勒展式为：
19
牛顿法
可编辑
20
牛顿减量
令
(x) (f (x)T 2 f (x)1f (x))1/2
(x) 为 f (x) 在x 处的牛顿减量。
牛顿减量的性质1：
f (x) inf y
) f (y)
f (x)
) f (x xnt )
1 (x)2
2
牛顿减量可作为迭代求解的误差估计。
2
p* 为最优值，则
p* f (x) 1 f (x) 2
2M
2
可编辑
6
强凸性
对于 x S ，矩阵 2 f (x) Sn 的特征值从大到小依次
为 {1,..., n} 。则有： mI p nI p 2 f (x) p 1I p MI
定义：矩阵2 f (x) Sn 的条件数为最大特征值与最小 特征值之比，即 r 1 / n 。
凸优化理论与应用
第7章 无约束优化
可编辑
1
无约束优化问题
问题描述： minimize f (x) f (x) 为凸函数，且二次可微。
无约束问题求解的两种方法：
求解梯度方程：
f (x*) 0
迭代逼近：
f (x(k) ) p*
可编辑
2
例
二次优化：
minimize
1 2
) f (x x)
f
(x) f
(x)T x
1
xT 2
f
(x)x
2
泰勒展开可作为f (x) 在 x 附近的近似；
下降方向：
xnt 2 f (x)1f (x)
为二次范数 x 2 f (x) (xT2 f (x)x)1/2 上的最速下降方向。
可编辑
条件数的上界：
r M /m
可编辑
7
下降法
下降法的基本原理： 迭代 x(k1) x(k) tx ，满足 f (x(k1) ) f (x(k ) )
x 为下降方向，t 为步长因子。 对于凸函数 f (x) ，当x 满足 f (x)T x 0 时，存在某
个 t，使得 f (x(k1) ) f (x(k) ) 。
可编辑
15
最速下降法
归一化最速下降方向：
xnsd
arg min{f (x)T v | v
v
1}
非归一化最速下降方向
欧式范数：
xsd f (x) * xnsd
xsd f (x)
二次范数
x (xT Px)1/2 ： P
xsd P1f (x)
可编辑
4
强凸性
定义：函数 f (x) 在 S 上具有强凸性，若f (x) 满足
2 f (x) f mI , m 0
若函数 f (x)具有强凸性，则有
f ( y) f (x) f (x)T ( y x) m y x 2
2
2
f (x) 1 f (x) 2
初始化：令 t 1 ；
循环迭代
若 f (x tx) f (x) tf (x)T x ，则终止退出； 否则令 t t
可编辑
10
步长因子搜索
可编辑
m
11
梯度下降法
下降方向： x f (x)
终止条件： f (x) 2
收敛性： f (x(k) ) p* ck ( f (x(0) ) p*)
xT
Px
qT
x
r,
P
Sn
梯度方程
Px* q 0
可编辑
3
迭代起始点
起始点 x(0) 满足： 1.x(0) domf ； 2.S {x domf | f (x) f (x(0) )}为闭集。
满足条件2的几种函数：
函数 f (x) 任意下水平集都是闭集； 函数的定义域为 Rn 当 x bd domf 时， f (x)
其中 c (0,1) 。
算法简单，但收敛速度较慢。
可编辑
12
收敛性分析
设函数 f (x) 具有强凸性，则存在m 0 和 M 0 ，满
足：
mI p 2 f (x) p MI
则有： f (x tx)
f (x) t
f (x) 2 Mt2
f (x) 2
22
2
若 t 采用精确一维搜索，则t 1/ M ，收敛速度因子：
c 1m/ M
若 t 采用回溯一维搜索，收敛速度因子：
c 1 min{2m, 2m / M}
条件数越大，收敛速度越小。
可编辑
13
例
minimize
1 2
(
x12
x22 ),
0
初始解为 ( ,1) ，采用精确一维搜索；