最优化计算方法第1章
最优化理论与方法概述
1. 最优化问题
最优化问题：求一个一元函数或多元函数的极 值。 在微积分中，我们曾经接触过一些比较简单 的极值问题。下面通过具体例子来看看什么是最 优化问题。
第二页，编辑于星期五：十点 四分。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
、大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
0.380 0.380
x1 x1
0.001x2 0.001x2
Байду номын сангаас
0.002x3 0.002x3
0.012 100 0.008100
0.09x2 0.50x3 0.22100
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
解：因为
则 又因为：
f X
x1
2
x1
2
x2
f X
x2
2x2
2
x1
2 x3
3
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
f X
x3
2
x3
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N ( x*，) 使得对于
一切 x N ( x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) { x | x x* , 0}
配料
每磅配料中的营养含量
钙
蛋白质
纤维
最优化原理与方法课后习题1
第一章、预备知识一、考虑二次函数()2211221223f X x x x x x x =++-+1) 写出它的矩阵—向量形式: ()f X =12TTQx x xb +2) 矩阵Q 是不是奇异的? 3) 证明: f(x)是正定的 4) f(x)是凸的吗? 5) 写出f(x)在点x =()2,1T处的支撑超平面(即切平面)方程解: 1) f(x)=xx x x x x2122212132+-++=⎪⎪⎭⎫ ⎝⎛x x 2121⎪⎪⎭⎫⎝⎛6222⎪⎪⎭⎫ ⎝⎛x x 21+11T-⎛⎫ ⎪⎝⎭⎪⎪⎭⎫ ⎝⎛x x 21 其中 x=⎪⎪⎭⎫ ⎝⎛x x 21 ,Q=⎪⎪⎭⎫ ⎝⎛6222, b=⎪⎪⎭⎫⎝⎛-11 2) 因为Q=⎪⎪⎭⎫ ⎝⎛6222,所以 |Q|=6222=8>0 即可知Q 是非奇异的3) 因为|2|>0, 6222=8>0 ,所以Q 是正定的,故f(x)是正定的4) 因为2()f x ∇=⎪⎪⎭⎫ ⎝⎛6222,所以|)(2x f ∇|=8>0,故推出)(2x f ∇是正定的, 即)(2x f ∇是凸的5) 因为)(x f ∇=2121(2x 2-1,261)x x x T+++,所以)(x f ∇=(5,11)所以 ()f x 在点x 处的切线方程为5(21-x )+11(12-x )=0 二、 求下列函数的梯度问题和Hesse 矩阵 1) ()f x =2x 12+xx x x x 23923121+++x x x 2322+2) ()f x =2212()21n l x x x x ++解: 1) )(x f ∇= (,94321x xx ++ 26321+++xx x, xx 219+))(2x f ∇=⎪⎪⎪⎭⎫ ⎝⎛019161914 2) )(x f ∇=(x x x x xx 112221221+++,x x x x x x112221221+++))(2x f ∇=⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛----------++++++++)()()()(2221212222212142221214222121222222121222212122221212212122x x x x x x x x x x x x x x x x x x x x xx x xx x x x x x x x 三、 设f(x)=xx x x x x x323223322122--+++,取点)1,1,1()1(Tx=.验证d )1(=(1,0,-1)是f(x)在点x )1(处的一个下降方向,并计算min >t f(x )1(+t d)1()证明: )(x f ∇=)124,123,x 2(233221-+-+x x x x T)5,4,2()(1Tx f =∇d )(1x f ∇=(1,0,-1)⎪⎪⎪⎭⎫ ⎝⎛542= -3<0所以d)1(是f(x)在x )1(处的一个下降方向f(x )1(+t d)1()=f((1+t,1,1-t))=433)1(1)1(221(222)1()1+-=----+++-+t t t t t t∇f(x )1(+t d)1()=6t-3=0 所以t=0.5>0所以0min >t f(x )1(+t d)1()=3*0.25-3*0.5+4=3.25四、设,,i i i a b c （j=1,2,….,n ）考虑问题Min f(x)=∑=nj jj xc 1s.t. b nj jjxa =∑=10≥xj(j=1,2,….,n)1) 写出其Kuhn Tuker 条件 2) 证明问题最优值是])([12112∑=nj j j b c a解：1）因),....,1(n j x j = 为目标函数的分母故0>x j所以λ*j （j=1,…,n ）都为0所以Kuhn Tuker 条件为 0)()(=∇+∇x h x f μ即 ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛---x c x c x c n n 2222211 +⎪⎪⎪⎪⎪⎭⎫ ⎝⎛a a a n 21μ=0 2）将ac xjjjμ=代入 h(x)=0 只有一点得221(nj b n j bμ==⇒=∑=故有ac ca x jj nj jjj b∑==1所以最优解是21211()n j j j b a c =⎡⎤⎢⎥⎢⎥⎣⎦∑.五、使用Kuhn Tuker 条件，求问题min f(x)=)2()1(2122--+x xs.t.,021212112≥≥=+=-x x x x x x 的Kuhn Tuker 点，并验证此点为问题的最优解 解：x=(1/2,3/2) 0≠ 故1λ*，λ*2=0 则 0)()()(2211=+∇+∇x x x f h h μμ 即0111142222121=⎪⎪⎭⎫⎝⎛+⎪⎪⎭⎫ ⎝⎛-+⎪⎪⎭⎫ ⎝⎛--μμx x ⇒120,1μμ==-而⎪⎪⎭⎫ ⎝⎛=∇2002)(2x f ()210g x *∇= ()220g x *∇= ()210h x *∇=()220h x *∇=,()()()()()()()22222211221122H x f x g x g x h x h x f x λλμμ***********=∇+∇+∇+∇+∇=∇(){}{}12121213|00|1020,22T T T x y h y h y y y y y y *⎧⎫⎛⎫=∇=∇==-+-=+-==⎨⎬⎪⎝⎭⎩⎭故08)(2>=∇x x f x T ,即其为最优解.第二章、无约束优化问题一、设f(x)为定义在区间[a,b]上的实值函数，x *是问题min{f(x)|a b x ≤≤}的最优解。
最优化方法 第1章(4)
最优化问题的分类
对向量x=(1,–2,3)T,有 || x ||1= 6 || x ||2 = 14 ≈ 3.74166 || x ||3 = 3 36 ≈ 3.30193 || x ||∞= 3.
其中||x||p是p的单调递减函数.
根据数学模型中有无约束函数分为：无约束的最优 化问题和有约束的最优化问题.
m
n
∑ ∑ Q =
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
因此,由数据拟合问题得数学模型为
m
n
∑ ∑ min
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
其中xi,yi (i=1,2,…,m) 及 ϕ j (x), j = 1, 2,L, n 已知.
最优化问题的一般形式为:
P: min f ( x) s.t. hi (x) = 0, i = 1, 2,L, m g j (x) ≥ 0, j = 1, 2,L, p
26
可行点列的产生 在xk处求得一个方向pk(下降方向),在射线 xk+αpk (α >0) 上求一点：xk+1=xk+αk pk , 使得 f (xk+1)≤f (xk), 其中αk 称为步长.
定义1.2.1(下降方向) 在点xk处,对于方向pk≠0, 若存在实数b>0,使得任意的α∈(0,b),都有 f (xk+αpk)<f (xk), 则称pk为函数f (x)在点xk处的一个下降方向.
44
则总支出可表示为: S = ∑ ∑ cij xij i=1 j=1
第一章 引言
硕士研究生学位课程
教材： 《最优化计算方法》，陈开周，西电出版社 参考书：《最优化理论与算法》 陈宝林，清华大学出版社
《实用最优化方法》唐焕文 秦学志，大连理工出版社
作业：按章交作业——每章结束后的下一次课交作业. 注：1)以活页纸方式提交，写清楚姓名、学号、院系专业。
2) 合适时间课堂讲解部分作业 (建议大家课间及课前 答疑).
通常用 Lagrange 乘子法来求解，即把问题转化为求 Lagrange 函数
l
L(x1, x2 ,, xn , 1, 2 ,, l ) f (x1, x2 ,, xn ) - jhj (x1, x2 ,, xn ) j1
的无约束极值问题。
●最优化问题举例
例 1（多参数曲线拟合问题）
s.t. r2h 4
3 其中“ s.t. ”为“subject to”字头，意为“受约束于”。
也可化为无约束的函数极值问题： min
2 r2 8
3r
此例实际上代表了经典优化中的两种类型的问题及其解法。
第一， 无约束极值问 xn ) （或 max f (x1, x2 ,, xn ) ） 其中 f (x1, x2,, xn ) 为 Rn 上的可微函数，求可能的极值点的方 法是：先求出如下 n 元方程组
m
ai
n
bj
。由产地 i
到销地
j
的距离为
dij
，问如何安排运输，才
i 1
j 1
能既满足各地的需要，又使所花费的运输总费用最少？
解：设由产地 i 运往销地 j 的货物数量为 xij ， S 为运输的总 费用，则
mn
min S
dij xij
《最优化方法》课程复习考试
《最优化方法》复习提要 第一章 最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂． 定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=． 定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向． 定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵． 定义 设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解 设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解 设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭． 例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解 由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+． 定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明 设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义 设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1） 若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2） 若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3） 若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4） 若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章 最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义 设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点． 注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈， 易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭． 显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈， 解 因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=． 例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明 因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭， 从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭． 因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义 设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈， 则称d 为集合S 在点x 处的可行方向． 这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑． （x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点） 例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点． 解 因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点） 例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点． 解 因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==； 由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点． 定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1） 其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点） 令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解 广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论． （1） 设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2） 设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。
第1章最优化方法的基本知识
Pattern Recognition and Intelligent System Institute, BIT
最优化方法的地位
为应用数学的一个分支，是新兴的数学理论之一； 是现代工程分析最佳设计的四种主要方法之一：
有限元分析 将问题从几何上看作有限个小单元（结点） 将问题从几何上看作有限个小单元（结点）相互连接而成的集 合体，使连续体离散化，然后用结构矩阵分析的方法处理， 合体，使连续体离散化，然后用结构矩阵分析的方法处理，得 到一组以结点场量为未知量的代数方程组， 到一组以结点场量为未知量的代数方程组，再用计算机及相应 最优化方法 无穷维系统，一般由偏微分方程、积分方程、 无穷维系统，一般由偏微分方程、积分方程、泛函微分方程 的计算方法，可以得到需求结点处未知量的近似值。 的计算方法，可以得到需求结点处未知量的近似值。 或抽象空间中的微分方程所描述。 或抽象空间中的微分方程所描述。我国学者在细长体弹性振 动系统的建模和振动控制、振动系统的谱分析、 动系统的建模和振动控制、振动系统的谱分析、能控性和反 动态设计 一般地， 一般地，系统的数学模型与实际系统存在着参数或结构等方 由于实际系统的复杂性，人们往往很难(或不可能 由于实际系统的复杂性，人们往往很难 人口系统控制、人 馈镇定、一般无穷维系统的极大值原理、或不可能)从基本的 人口系统控制、 馈镇定、一般无穷维系统的极大值原理、或不可能 从基本的 面的差异， 面的差异，而我们设计的控制律大多都是基于系统的数学模 物理定律出发直接推导出系统的数学模型， 物理定律出发直接推导出系统的数学模型，这就需要利用可 口预测和控制等方面都做出了重要贡献。 口预测和控制等方面都做出了重要贡献。 为了保证实际系统对外界干扰、 型，为了保证实际系统对外界干扰 以量测的系统输入和输出数据， 、系统的不确定性等有尽 以量测的系统输入和输出数据，来构造系统内部结构及参数 数值仿真 可能小的敏感性，导致了研究系统鲁棒控制问题。 可能小的敏感性，导致了研究系统鲁棒控制问题 的估计，并研究估计的可靠性和精度等问题， 。 的估计，并研究估计的可靠性和精度等问题，这就是系统辨 近几年，非线性系统、时滞饱和系统、 近几年，非线性系统、时滞饱和系统、时滞故障系统的鲁棒 识的任务。系统辨识领域有3个热点研究方向 个热点研究方向: 识的任务。系统辨识领域有 个热点研究方向 综合控制问题已经成为新的热点研究方向， 综合控制问题已经成为新的热点研究方向，而且已经有不少 1.基于鲁棒控制数学模型要求的鲁棒辨识； 基于鲁棒控制数学模型要求的鲁棒辨识； 基于鲁棒控制数学模型要求的鲁棒辨识 应用事例。例如，核反应堆的温度跟踪鲁棒控制、 应用事例。例如，核反应堆的温度跟踪鲁棒控制、导弹系统 2.基于特殊信号驱动下的系统辨识； 基于特殊信号驱动下的系统辨识； 基于特殊信号驱动下的系统辨识 Pattern Recognition and Intelligent System Institute, 。 的鲁棒自适应最优跟踪设计、机器人操作的鲁棒神经控制。 的鲁棒自适应最优跟踪设计、机器人操作的鲁棒神经控制。 3.基于智能信息处理的非线性系统辨识 BIT 基于智能信息处理的非线性系统辨识。 基于智能信息处理的非线性系统辨识
最优化理论与算法(第一章)
最优化理论与算法（数学专业研究生）第一章引论前言一、历史与现状最优化理论最早可追忆到古老的极值问题，但成为一门独立的学科则是在 20世纪四十年月末至五十年月初。
其奠定性工作包含FritzJohn最优性条件（ 1948），Kuhn-Tucker最优性条件（1951），和Karush最优性条件(1939)。
近几十年来最优化理论与算法发展十分快速，应用也愈来愈宽泛。
现在已形成一个相当宏大的研究领域。
对于最优化理论与方法，狭义的主要指非线性规划的有关内容，而广义的则涵盖：线性规划、非线性规划、动向规划、整数规划、几何规划、多目标规划、随机规划甚至还包含变分、最优控制等动向优化内容。
本课程所波及的内容属于前者。
二、最优化问题的一般形式1、无拘束最优化问题minf(x)（）xR n2、拘束最优化问题minf(x)c i(x)0,i E（）st..i Ic i(x)0,这里E和I均为指标集。
§数学基础一、范数向量范数xx1x2maxx i（l范数）（）ni1x i（l1范数）（）n1(x i2)2（l2范数）（）i11/30n1x p(x i p)p（l p范数）（）i11x A(x T Ax)2（A正定）（椭球范数）（）事实上1－范数、2－范数与范数分别是p－范数当p＝1、2和p时情况。
2．矩阵范数定义方阵A的范数是指与A有关系并记做A的一个非负数，它拥有以下性质：①对于A0都有A0，而A0时A0；②对于随意k R，都有kA kA；③AB A B；④AB A B；若还进一步知足：⑤Ax p A x p则称之为与向量范数p相协调（相容）的方阵范数。
若令AxAmaxx （这里x是某一直量范数）（）x0可证这样定义的范数是与向量范数相协调的，往常称之为由向量范数引诱的方阵范数。
特别地，对方阵A(a ij)nn，有：nA1max a ijj1inA max a iji1j1A2(A T A)2（（列和的最大者）（）（行和的最大者）（）T表示A T A的特点值的最大者）(1.11) AA称为谱范数（注：方阵A的特点值的模的最大者称为A的谱半径，记为(A)）。
最优化方法 1第一章
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
最优化方法(刘)第一章
所以 c T x 是凸函数． 类似可以证明 c T x 是凹函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
下面的图形给出了凸函数 f x, y x 3x y
4 2
4
y 2 xy 的等值线的图形，可以看出水平集是凸集
凸函数的判定
定理1:设 f x 是定义在凸集 D R n 上，x, y D , 令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集 D 上的凸函数的充要条件是对 任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y, 若 t 在 0,1 上为严格 凸函数， f x 在 D 上为严格凸函数． 则
例1： 证明超球 x r 为凸集．
0 证明： x , y 为超球中的任意两点， 1, 设
则有：
x 1 y
x 1 y
r 1 r r 即点 x 1 y 属于超球
所以超球为凸集．
凸集的性质
（１） 有限个（可以改成无限）凸集的交集 为凸集． （２） 设 D 是凸集， 是一实数， 则下面的 集合是凸集： D y y x , x D （３）设 D1 , D2 是凸集， D1 , D2 的和集 则
相关定义（P7—P8）
定义１.1 可行解 满足约束条(1.2)和(1.3)
的x称为可行解，也称为可行点或容许点。
定义１.2 可行域 全体可行解构成的集合 称为可行域，也称为容许集，记为F,即：
最优化计算方法-第1章(绪论)
第一章绪论§1.1引言最优化：就是从所有可能的方案中，选出最合理的，达到事先规定的最优目标的学科。
这样的问题称为最优化问题，达到最优目标的方案称为最优方案，寻找最优方案的方法称为最优化方法。
广义上：运筹学(Operation Research)狭义上：数学规划（programming)发展:(1)最优化问题是一个古老的问题。
早在17世纪，Newton和Leibniz已经提出了函数的极值问题，但没有系统的理论.因为算法不完善及计算工具不先进，以后二、三百年发展缓慢。
（2）第二次世界大战中由于军事上(战略、战术）的需要，如资源调配问题运输问题提出了许多不能用古典方法解决的问题，从而产生了线性规划，非线性规划、动态规划、组合优化等新方法，产生运筹学，（3）但直到20世纪40年代，最优化的理论和算法才得以迅速发展，并不断完善，逐步成为一门系统的学科。
在实际中最优化方法发挥的作用越来越大，其应用越来越广泛，尤其是在工程设计中的应用。
重要性：因为应用广泛所需数学知识：高等数学、线性代数§1.2 优化问题的模型举例例1 产品调运问题设某产品有个产地，各产地产品的产量分别为m 12,,,m a a a 有n 个销售地，每个销地的销量分别为12,,,n b b b 设由第i 个产地到第j 个销地的运费单价为ijc 问如何安排运输计划，使总运费最小（假设产销平衡）。
ij x 解设由第i 个产地到第j 个销地的运输量为1n j =∑1m i =∑min1(1,2,,)n ij i j x a i m ===∑ 1(1,2,,)m ij j i x b j n ===∑ ..s t ij ij c x 1a i a m a 1b j b n b ij c ij x例2将非线性方程组的求解转化为一优化问题。
11221212(,,,)0(,,,)0(,,,)0n n n n f x x x f x x x f x x x =⎧⎪=⎪⎨⎪⎪=⎩212121min (,,,)(,,,)nn i n i x x x f x x x ϕ==∑ 解非线性方程组在有解的情况下，等价于§1.3 优化问题的模型与分类1 根据问题不同特点的分类（1）无约束优化问题（unconstraint optimizationproblem ）12min (,,,)n f x x x 12(,,,)Tn x x x = x min ()n x R f ∈x min (),nf R ∈x x (P)(P)min ()..()0,1,2,,j f s t h j l ⎧⎨==⎩ x x min ()..()0,1,2,,i f s t g i m ⎧⎨≥=⎩ x x min ()..()0,1,2,,,()0,1,2,,i j f s t g i m h j l⎧⎪≥=⎨⎪==⎩ x x x （2）约束优化问题（constraint optimization problem ）(P 1)(P 2)(P 3)12(,,,)T n x x x = x 称为决策变量()f x 称为目标函数()j h x 称为约束函数()0(1,2,,),()0(1,2,,)i j g i m h j l ≥=== x x 称为约束条件()i g x 满足约束条件的点称为可行解（feasible solution ）{}|()0,1,2,,;()0,1,2,,i j R g i m h j l =≥=== x x x (P3)的可行域（feasible region ）2 根据函数类型分类1)线性规划（linear programming）.2)二次规划。
最优化方法教案
第一章最优化问题及数学预备知识最优化分支：线性规划，整数规划，几何规划，非线性规划，动态规划。
又称规划论。
应用最优化方法解决问题时一般有以下几个特点：1. 实用性强2. 采用定量分析的科学手段3. 计算量大，必须借助于计算机4. 理论涉及面广应用领域：工业，农业，交通运输，能源开发，经济计划，企业管理，军事作战……。
§1.1 最优化问题实例最优化问题：追求最优目标的数学问题。
经典最优化理论：（1） 无约束极值问题：),,,(opt 21n x x x f（),,,(m in 21n x x x f 或),,,(m ax 21n x x x f ）其中，),,,(21n x x x f 是定义在n 维空间上的可微函数。
解法（求极值点）：求驻点，即满足⎪⎪⎩⎪⎪⎨⎧='='='0),,(0),,(0),,(11121n x n x n x x x f x x f x x f n并验证这些驻点是否极值点。
（2） 约束极值问题：),,,(opt 21n x x x fs.t. )(,,2,1,0),,,(21n l l j x x x h n j <==解法：采用Lagrange 乘子法，即将问题转化为求Lagrange 函数),,(),,,(),,;,,,(1121121n j j lj n l n x x h x x x f x x x L λλλ∑=+=的无约束极值问题。
近代最优化理论的实例：例1 (生产计划问题) 设某工厂有3种资源B 1，B 2，B 3，数量各为b 1，b 2，b 3，要生产10种产品A 1，…，A 10 。
每生产一个单位的A j 需要消耗B i 的量为a ij ，根据合同规定，产品A j 的量不少于d j ，再设A j 的单价为c j 。
问如何安排生产计划，才能既完成合同，又使总收入最多？（线性规划问题）数学模型：设A j 的计划产量为 j x ，z 为总产值。
工程优化方法-第1章 极值理论与最优化问题的数学表达
f ( X *) 0
展开式：
f ( X * X ) f ( X *) f ( X *)T X 1 X T H ( X *)X 2
f ( X * X ) f (X *) 1 X T H (X *)X 0 2
f ( X * X ) f ( X *)
可见，通过梯度为零点的海辛矩阵是否是正定可 以判别是否是极小点。
j
h11, h12,
H
hn1, hn2,
, h1n
, hnn
nn
nn
hij x j xi
hij x j xi
[ i1 j1
, i1 j1
,
x1
x2
nn
hij x j xi
, i1 j1
]T
xn
n
n
n
n
n
n
[ h1 j x j hi1xi , h2 j x j hi2xi , , hnj x j hin xi ]T
j 1
(1 5)
L( X ,W ,) xi
f ( X ) xi
m
j
j 1
g j ( X ) xi
0
L( X ,W ,)
w j
2 jwj
0
L( X ,W
j
,)
g
j(X
)
w2j
0
由上式可推导：
f ( X )
xi
jg j(X )
m
j
j 1
0
g j ( X xi
)
0
j 0
(1 6)
求极小问题的 j 取值推导：
梯度方向是函数值变化率最大方向证明：
证明：设X为任意迭代点，设沿任意迭代方向移动到新点：
最优化设计：第1章 最优化基本要素
1.4 最优化问题的数学模型及分类
根据以上讨论，由优化变量、目标函
数和约束条件三要素所组成的最优化问题 的数学模型可表述为：在满足约束条件的 前提下，寻求一组优化变量，使目标函数 达到最优值。一般约束优化问题数学模型 的基本表达方式为
min f ( x)
s.t. hl ( x) 0
gm(x) 0
目标函数的极小化可表示为
f (x) min 或 min f (x) 目标函数的极大化可表示为
f (x) max 或 max f (x)
求目标函数的极大化等效于求目标函
数的极小化，为规范起见，将求目标函数 的极值统一表示为求其极小值。
在优化问题中，如只有一个目标函数，
则其为单目标函数优化问题；如有两个或 两个以上目标函数，则其为多目标函数优 化问题。目标函数越多，对优化的评价越 周全，综合效果也越好，但是问题的求解 也越复杂。
度分类，以下是一些常见的分类和名称。
（1）按照约束的有无可分为无约束优化 问题和有约束优化问题。
（2）按照优化变量的个数可分为一维优 化问题和多维优化问题。
（3）按照目标函数的数目可分为单目标优 化问题和多目标优化问题。 （4）按照目标函数与约束条件线性与否可 分为线性规划问题和非线性规划问题。当 目标函数是优化变量的线性函数，且约束 条件也是优化变量的线性等式或不等式时， 称该优化问题为线性规划问题；当目标函 数和约束条件中至少有一个是非线性时， 称该优化问题为非线性规划问题。 （5）当目标函数为优化变量的二次函数， 和均为线性函数时，称该优化问题称为二 次规划问题。
对同一优化目标来说，约束条件越多， 可行域就越小，可供选择的方案也就越少， 计算求解的工作量也随之增大。所以，在 确定约束条件时，应在满足要求的前提下， 尽可能减少约束条件的数量。同时也要注 意避免出现重复的约束，互相矛盾的约束 和线性相关的约束。 例1-1 分析以下约束优化问题的可行和非 可行区域。
Python最优化算法实战学习笔记
Python最优化算法实战第一章最优化算法概述1.1最优化算法简介最优化算法,即最优计算方法,也是运筹学。
涵盖线性规划、非线性规划、整数规划、组合规划、图论、网络流、决策分析、排队论、可靠性数学理论、仓储库存论、物流论、博弈论、搜索论和模拟等分支。
当前最优化算法的应用领域如下。
(1)市场销售:多应用在广告预算和媒体的选择、竞争性定价、新产品开发、销售计划的编制等方面。
如美国杜邦公司在20世纪50年代起就非常重视对广告、产品定价和新产品引入的算法研究。
(2)生产计划:从总体确定生产、储存和劳动力的配合等计划以适应变动的需求计划,主要采用线性规划和仿真方法等。
此外,还可用于日程表的编排,以及合理下料、配料、物料管理等方面。
(3)库存管理:存货模型将库存理论与物料管理信息系统相结合,主要应用于多种物料库存量的管理,确定某些设备的能力或容量,如工厂库存量、仓库容量,新增发电装机容量、计算机的主存储器容量、合理的水库容量等。
(4)运输问题:涉及空运、水运、陆路运输,以及铁路运输、管道运输和厂内运输等,包括班次调度计划及人员服务时间安排等问题。
(5)财政和会计:涉及预算、贷款、成本分析、定价、投资、证券管理、现金管理等,采用的方法包括统计分析、数学规划、决策分析,以及盈亏点分析和价值分析等。
(6)人事管理:主要涉及以下6个方面。
①人员的获得和需求估计。
②人才的开发,即进行教育和培训。
③人员的分配，主要是各种指派问题。
④各类人员的合理利用问题。
⑤人才的评价，主要是测定个人对组织及社会的贡献。
⑥人员的薪资和津贴的确定。
(7)设备维修、更新可靠度及项目选择和评价:如电力系统的可靠度分析、核能电厂的可靠度B风险评估等。
(8)工程的最佳化设计:在土木，水利、信息电子、电机、光学、机械、环境和化工等领域皆有作业研究的应用。
(9)计算机信息系统:可将作业研究的最优化算法应用于计算机的主存储器配置，如等候理论在不同排队规则下对磁盘、磁鼓和光盘工作性能的影响。
最优化计算方法第1章
性的。
根据函数性质分类 动态与静态 随机与确定 单目标与多目标
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
解法的分类
解析方法:利用函数的分析性质去构造迭代公式，使之收敛 到极值点。
直接方法：按一定的数学原理，用尽量少的计算量，直接比 较函数值的大小。
• 等式约束优化问题
• 不等式约束优化问题
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
根据问题的不同特点分类 一般的约束优化问题 标准形式
1） 2）
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
根据函数类型分类
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
路漫漫其悠远
,使得 称 为问题(P)的局部
,使得 称 为问
最优化计算方法第1章
最优解与极值点
严格局部 极小点
• 最优化技术与数学模型所包括的知识点很多，选取了一些 实用的方法。
路漫漫其悠远
最优化计算方法第1章
课程简介
从工程应用的角度出发，注重工程优化的基本思想和 方法的阐述。
内容主要包括: 线性规划、非线性规划、约束优化、无约束优化等， 并对如何建立数学模型、如何选择优化方法和提高优 化效率作了适当的介绍。
足环保要求的条件下，每厂各应处理多少工业污水，使这 两个工厂处理工业污水的费用最小.
工厂1
工厂2
路漫漫其悠远
500万m3
200万m3
最优化计算方法第1章
最优化问题举例
变量：x1、x2----分别代表工厂1和工厂2处理污水的数量(万m3)
第1章 最优化的基本要素解析
数学模型
优化变量：
目标函数：
x1 , x2 , x3
min S x1 x2 2( x2 x3 x1 x3 )
x2 0 x3 0 x1 x2 x3 100
约束条件： x1 5
最大产值生产资源分配问题
某工厂生产A 和B 两种产品，A 产品单位价格为PA 万元， B 产品单位价格为PB 万元。每生产一个单位A 产品需消 耗煤aC 吨，电aE 度，人工aL 个人日；每生产一个单位B 产品需消耗煤bC 吨，电bE 度，人工bL 个人日。现有可利 用生产资源煤C 吨，电E 度，劳动力L 个人日，欲找出其 最优分配方案，使产值最大。 分析： （1）产值的表达式； （2）优化变量确定： A 产品xA， B 产品xB ； （3）优化约束条件： （a）生产资源煤约束； （b）生产资源电约束； （b）生产资源劳动力约束；
对于具有相等目标函数值的自变量构成的平面曲线或 曲面称为等值线或等值面。
图1-4
等值线
图1-4表示目标函数f（X）与两个优化变量x1，x2阶所构成 的关系曲面上的等值线，它是由许多具有相等目标函数值的点 所构成的平面曲线。当给目标函数以不同值时，可得到一系列 的等值线，它们构成目标函数的等值线族。在极值处目标函数 的等值线聚成一点，并位于等值线族的中心。当目标函数值的 变化范围一定时，等值线愈稀疏说明目标函数值的变化愈平缓。 利用等值线的概念可用几何图象形象地表现出目标函数的变化 规律。
4. 优化问题一般数学形式：
求优化变量向量
使目标函数
满足约束条件 ：
X [ x1 , x2 , , xn ] f ( X ) min
g j (X ) 0
T
( j 1, 2,
最优化计算方法第1章
•最优化问题的数学模型与分类
•数学模型的建立
• 建立数学模型时要尽可能简单，而且要能完整地描 述所研究的系统。
• 过于简单的数学模型所得到的结果可能不符合实际情 况；而过于详细复杂的模型又给分析计算带来困难。 • 具体建立怎样的数学模型需要丰富的经验和熟练的技 巧。 •
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
的。 二次规划：目标函数为二次函数，约束条件中的函数为线
• 最优化技术与数学模型所包括的知识点很多，选取了一些 实用的方法。
课程简介
从工程应用的角度出发，注重工程优化的基本思想和 方法的阐述。
内容主要包括: 线性规划、非线性规划、约束优化、无约束优化等， 并对如何建立数学模型、如何选择优化方法和提高优 化效率作了适当的介绍。
课程任务
讲授工程优化的基本理论和方法，要求通过本课程的学 习，具有应用工程优化方法解决实际问题的技能，并为以后 的学习和工作打好基础。
的约束下求决
策变量x，使函数
达到极
其中： 为决策变量 为已知参数
小min；若求极大max，相当于一个 min（-f）。
为随机因素
为（一般或广义）函数
•建立优化模型的三要素
•决策变量和参数
• 决策变量是由数学模型的解确定的未知数。参数表示 系统的控制变量，有确定性的也有随机性的。
约束或限制条件
由于现实系统的客观物质条件限制，模型必须包括 把决策变量限制在它们可行值之内的约束条件，而这通常 是用约束的数学函数形式来表示的。
最优化计算方法第1章
2020年5月31日星期日
为什么要学习工程优化
第1章 最优化方法的一般概念
第1章最优化方法的一般概念最优化问题就是依据各种不同的研究对象以及人们预期要达到的目的，寻找一个最优控制规律或设计出一个最优控制方案或最优1控制系统。
针对最优化问题，如何选取满足要求的方案和具体措施，使所得结果最佳的方法称为最优化方法。
1.1 目标函数、约束条件和求解方法根据所提出的最优化问题，建立最优化问题的数学模型，确定变量，给出约束条件和目标函数最优化方法解决实际工程问题的步骤：2（或性能指标）；对所建立的模型进行具体分析和研究，选择合适的最优化求解方法；根据最优化方法的算法，列出程序框图并编写程序，用计算机求出最优解，并对算法的收敛性、通用性、简便性、计算效率及误差等做出评价。
目标函数、约束条件和求解方法是最优化问题的三个基本要素。
1．目标函数：就是用数学方法描述处理问题所能够达到结果的函数。
该函数的自变量是表示可供选择的方案及具体措施的一些参数或函数，最佳结果就表现为目标函数取极值。
32．约束条件：在处理实际问题时，通常会受到经济效率、物理条件、政策界限等许多方面的限制，这些限制的数学描述称为最优化问题的约束条件。
3．求解方法：是获得最佳结果的必要手段。
该方法使目标函数取得极值，所得结果称为最优解。
4解：①目标函数：122max (cos )sin S x x x ②约束条件：a x x 21212(0,0)x x （非线性）（线性）说明：5这是一个非线性带等式约束的静态最优化问题。
这类问题有时可以方便地将等式约束条件带入到目标函数中，从而将有约束条件的最优化问题转换为无约束条件的最优化问题，以便求解。
例如：将例1-1转换为无约束条件的最优化问题，目标函数变为：sin )cos 2(max 222x x x a S例1-2（P2）（※）仓库里存有20m 长的钢管，现场施工需要100根6m 长和80根8m 长的钢管，问最少需要领取多少根20m 长的钢管？解：用一根20m 长的钢管，截出8m 管和6m 管的方6法只有三种：设x 1为一根20m 管截成两根8m 管的根数；x 2为一根20m 管截成一根8m 管和两根6m 管的根数；x 3为一根20m 管截成三根6m 管的根数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
具体内容
• 第一章 绪论 • 第二章 基本概念和理论基础 • 第三章 线性规划 • 第四章 最优化搜索算法结构与一维搜索 • 第五章 无约束最优化方法 • 第六章 约束最优化方法
路漫漫其悠远
教材及主要参考书目
《最优化计算方法》陈开周编，西电出版社 《最优化理论与方法》袁亚湘等编，科学出版社 《最优化理论与算法》陈宝林编，清华大学出版社 《数学规划讲义》马仲蓄等编，人大出版社 《实用线性规划》D.M希梅尔布劳著 《无约束最优化计算方法》邓乃杨等编
可能的方案 追求的目标
最优化就是从所有可能的方 案中选择最合理的一种以达 到最优目标的学科
后者是前者的函数. 如果第一要素与时间无关就称为静态最优化问题，否则 称为动态最优化问题。
本课程主要讨论静态最优化问题。
路漫漫其悠远
历史与现状
• 公元前500年，古希腊在讨论建筑美学中就已发现了长方 形长与宽的最佳比例为1.618,称为黄金分割比。其倒数 至今在优选法中仍得到广泛应用。
由于现实系统的客观物质条件限制，模型必须包括把 决策变量限制在它们可行值之内的约束条件，而这通常是 用约束的数学函数形式来表示的。 目标函数
其作为系统决策变量的一个数学函数来衡量系统的效 率，即系统追求的目标。
路漫漫其悠远
优化模型的分类
根据问题的不同特点分类 无约束最优化问题 约束最优化问题
• 等式约束优化问题
性的。
根据函数性质分类 动态与静态 随机与确定 单目标与多目标
路漫漫其悠远
优化模型的分类
解法的分类 解析方法:利用函数的分析性质去构造迭代公式，使之收敛
到极值点。 直接方法：按一定的数学原理，用尽量少的计算量，直接比
较函数值的大小。
路漫漫其悠远
最优化方法解决问题的工作步骤
1) 提出问题：目标、约束、决策变量、参数 2) 建立模型：变量、参数、目标之间的关系表示 3) 模型求解：数学方法及其他方法 4) 解的检验：制定检验准则、讨论与现实的一致性 5) 灵敏性分析：参数扰动对解的影响情况 6) 解的实施：回到实践中 7) 后评估：考察问题是否得到完满解决
具体建立怎样的数学模型需要丰富的经验和熟练的技 巧。
路漫漫其悠远
最优化问题的数学模型与分类
数学模型的建立 在建立了问题的数学模型之后，通常也必须对模
型进行必要的数学简化以便于分析、计算。 一般的模型简化工作包括以下几类： （1）将离散变量转化为连续变量。 （2）将非线性函数线性化。 （3）删除一些非主要约束条件。
划的基础工作；
• 近几十年来，最优化理论和算法发展十分迅速，应用也越 来越广泛，已成为一个相当庞大的研究领域；
• 狭义上主要指非线性规划问题的相关内容； • 广义上则涵盖：线性规划、非线性规划、动态规划、整数
规划、几何规划、多目标规划、随机规划甚至还包括变分 、最优控制等等。
路漫漫其悠远
最优化的研究一般被分成两个方面： 由实际生产或科技问题形成最优化的数学模型. 对所形成的最优化数学模型进行数学加工和求解。 对于第二方面的工作，目前已有一些较系统成熟的资料 第一方面工作即如何由实际问题抽象出数学模型，目前很少有系 统的资料，而这一工作在应用最优化技术解决实际问题时是十分 关键的。
路漫漫其悠远
什么是最优化
最优化是一个重要的数学分支，是一门应用广泛、实 用性很强的学科。简单地说,最优化就是从所有可能的方 案中选择最合理的一种以达到最优目标的学科。
达到最优目标的方案称为最优方案。 搜索最优方案的方法称为最优化方法。 这种方法的数学理论称为最优化理论。
路漫漫其悠远
最优化问题的两大要素
路漫漫其悠远
• 最优化技术与数学模型所包括的知识点很多，选取了一些 实用的方法。
路漫漫其悠远
课程简介
从工程应用的角度出发，注重工程优化的基本思想和 方法的阐述。
内容主要包括: 线性规划、非线性规划、约束优化、无约束优化等， 并对如何建立数学模型、如何选择优化方法和提高优 化效率作了适当的介绍。
课程任务
讲授工程优化的基本理论和方法，要求通过本课程的学习 ，具有应用工程优化方法解决实际问题的技能，并为以后的 学习和工作打好基础。
• 不等式约束优化问题
路漫漫其悠远
优化模型的分类
根据问题的不同特点分类 一般的约束优化问题 标准形式
1） 2）
路漫漫其悠远
优化模型的分类
根据函数类型分类
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
的。 二次规划：目标函数为二次函数，约束条件中的函数为线
(1) 问题(P)的可行集R为闭集。 (2) 问题(P)的最优解集 为闭集。 作业
路漫漫其悠远
复习下列知识
多元函数及其导数；多元函数的极值； 线性代数的有关概念：向量与矩阵的运算、向量的线
性相关和线性无关，矩阵的秩，正定、半正定矩阵， 线性空间等； 集合的有关概念：开集、闭集，集合运算，内点、边 界点等。
模型： 变量—是否从i第个城市到第j个城市 约束—每个城市只能到达一次、离开一次
路漫漫其悠远
最优化问题举例
目标—总费用最小
线性函数又称一次函数 ，一般表达式为 y=cTx+b
路漫漫其悠远
x=0或1等价与x(x-1)=0, 显然不是线性函数
最优化问题举例
例4：靠近某河流有两个化工厂，流经第一化工厂的河流流 量为每天500万m3，在两个工厂之间有一条流量为200万 m3的支流。两化工厂每天排放某种有害物质的工业污水 分别为2万m3和1.4万m3。从第一化工厂排出的工业污水流 到第二化工厂以前，有20%可以自然净化。环保要求河流 中工业污水含量不能大于0.2%。两化工厂处理工业污水 的成本分别为1000元/万m3和800元/万m3。现在要问在满
路漫漫其悠远
因此，我们在学习本课程时要尽可能了解如何 由实际问题形成最优化的数学模型。
数学模型: 对现实事物或问题的数学抽象或描述。
路漫漫其悠远
最优化问题的数学模型与分类
数学模型的建立
建立数学模型时要尽可能简单，而且要能完整地描 述所研究的系统。
过于简单的数学模型所得到的结果可能不符合实际情 况；而过于详细复杂的模型又给分析计算带来困难。
最优化计算方法第1章
路漫漫其悠远
2020/7/16
为什么要学习工程优化
• 最优化技术与数学模型是工程类研究生应掌握的数学基础 课，是从事相应学科理论研究的前提。
• 工程中许多实际问题都可以抽象为数学建模问题，数学模 型包括最优化模型。 了解最优化技术的基本原理、相关算法是分析问题、解决 问题的一种技能，同时也是写出高水平学术论文的关键素 材。
问题的约束条件是所铸圆柱体重量与球重相等。即
路漫漫其悠远
最优化问题举例
即： 问题追求的目标是圆柱体表面积最小，即
min 则得原问题的数学模型：
利用在高等数学中所学的Lagrange乘子法可求解本问题 分别对r, h,λ求偏导数,并令其等于零.有:
路漫漫其悠远
最优化问题举例
所以，圆柱体的表面积为：
• 在微积分出现以前，已有许多学者开始研究用数学方法 解决最优化问题。阿基米德证明：给定周长，圆所包围 的面积为最大。这就是欧洲古代城堡几乎都建成圆形的 原因。但是最优化方法真正形成为科学方法则在17世纪 以后。
路漫漫其悠远
历史与现状
• 17 世纪，Newton & Leibniz 提出了函数的极值问题；后 来出现了Lagrange乘数法；
• 1847年，Cauchy研究了函数值沿什么方向下降最快的问 题，提出了最速下降法；
• 1939年，苏联数学家提出解决下料问题和运输问题这两种 线性规划问题的求解方法；
• 1947年，Dantzig 提出解线性规划问题的单纯形法，被称 为“20世纪最伟大的创作之一”；
路漫漫其悠远
历史与现状
• 1948年，Fritz John 提出最优性条件； • 1951年，Kuhn和Tucher 提出最优性条件，完成了非线性规
,使得 称 为问
路漫漫其悠远
最优解与极值点
严格局部 极小点
严格全局极小点
局部极小点
路漫漫其悠远
最优解与极值点
极小点
严格全局极小点 全局极小点
非严格全局极小点
严格局部极小点 局部极小点
非严格局部极小点
路漫漫其悠远
最优解与极值点
由以上定义，可得到两个简单定理： 定理1：问题(P)的任意全局极小点必为局部极小点。 定理2：若目标f(x)和 为定义域上的连续函数，则：
不一定通过那m个测量点,而要产生“偏差”.
将测量点沿垂线方向到曲线的距离的
平方和作为这种“偏差”的度量. 即
显然偏差S越小,曲线就拟合得越好,说明参数值就选择得越好， 从而我们的问题就转化为5维无约束最优化问题。即：
路漫漫其悠远
最优化问题举例
路漫漫其悠远
最优化问题举例
例3：有一旅行团从 出发要遍游城市 ，已知从 到 的旅费为 ，问应如何安排行程使 总费用最小？
路漫漫其悠远
本课程授课方式与考核
讲授为主，结合习题作业 作业以章为单位，本章结束后交作业，部分作业会在课堂上讲评
学科总成绩
平时成绩 （<=20％）
期末成绩 （>=80％）
路漫漫其悠远
课堂考勤 （50％）
平时作业 （50％）
第1章 绪论
• 什么是最优化 • 最优化问题的数学模型与分类 • 最优化问题举例
路漫漫其悠远
最优化问题举例
例2:多参数曲线拟合问题 已知两个物理量x和y之间的依赖关系为:
其中 测得m个实验点:
为待定参数, 为确定这些参数, 对x,y
试将确定参数的问题表示成最优化问题。