最优化方法第一章

合集下载

《最优化方法》课程复习考试

《最优化方法》复习提要第一章最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂．定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=．定义设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向．定义设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵．定义设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭．例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1）若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2）若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3）若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4）若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点．注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈，易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭．显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈，解因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=．例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭，从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭．因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈，则称d 为集合S 在点x 处的可行方向．这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑．（x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点）例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点．解因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑．（x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点）例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点．解因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==；由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点．定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1）其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑．（x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑．（x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点）令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论．（1）设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2）设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。

最优化方法第一章最优化问题与凸分析基础

性质： 1) 凸集的交集是凸集；（并集一般不是） 2) 凸集的内点集是凸集； 3) 凸集的闭包是凸集。
4.2 凸函数
定义: 设集合 S Rn 为凸集，函数 f :SR，若 x(1), x(2) S, ( 0 , 1 ) ，均有
f( x(1)＋(1- ) x(2) ) ≤f(x(1))+(1- )f(x(2)) ，则称 f(x) 为凸集 S 上的凸函数。
hi x 0 等式约束
称满足所有约束条件的向量 x为可行解，或可行点，全体
可行点的集合称为可行集，记为D 。
D {x | hi x 0, i 1, 2, m, g j x 0,
j 1, 2, p, x Rn } 若 hi ( x), g j ( x) 是连续函数，则D 是闭集。
2.3 Hesse矩阵
Hesse 矩阵：多元函数 f (x) 关于 x 的二阶偏导
数矩阵
2
f
X
x12
2
f
X
f
X
2 f X
x1 x2
2
f
X
x1xn
2 f X
x2x1
2 f X
x22
2 f X
x2 xn
2
f
X
xnx1
2
f
X
xnx2
2
f
X
xn2
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
若进一步有上面不等式以严格不等式成立，则称
f(x) 为凸集 S 上的严格凸函数。当- f(x) 为凸函数（严格凸函数）时，则称 f(x) 为
凹函数（严格凹函数）。
严格凸函数

第1章最优化方法的基本知识

Pattern Recognition and Intelligent System Institute, BIT
最优化方法的地位
为应用数学的一个分支，是新兴的数学理论之一；是现代工程分析最佳设计的四种主要方法之一：
有限元分析将问题从几何上看作有限个小单元（结点）将问题从几何上看作有限个小单元（结点）相互连接而成的集合体，使连续体离散化，然后用结构矩阵分析的方法处理，合体，使连续体离散化，然后用结构矩阵分析的方法处理，得到一组以结点场量为未知量的代数方程组，到一组以结点场量为未知量的代数方程组，再用计算机及相应最优化方法无穷维系统，一般由偏微分方程、积分方程、无穷维系统，一般由偏微分方程、积分方程、泛函微分方程的计算方法，可以得到需求结点处未知量的近似值。的计算方法，可以得到需求结点处未知量的近似值。或抽象空间中的微分方程所描述。或抽象空间中的微分方程所描述。我国学者在细长体弹性振动系统的建模和振动控制、振动系统的谱分析、动系统的建模和振动控制、振动系统的谱分析、能控性和反动态设计一般地，一般地，系统的数学模型与实际系统存在着参数或结构等方由于实际系统的复杂性，人们往往很难(或不可能由于实际系统的复杂性，人们往往很难人口系统控制、人馈镇定、一般无穷维系统的极大值原理、或不可能)从基本的人口系统控制、馈镇定、一般无穷维系统的极大值原理、或不可能从基本的面的差异，面的差异，而我们设计的控制律大多都是基于系统的数学模物理定律出发直接推导出系统的数学模型，物理定律出发直接推导出系统的数学模型，这就需要利用可口预测和控制等方面都做出了重要贡献。口预测和控制等方面都做出了重要贡献。为了保证实际系统对外界干扰、型，为了保证实际系统对外界干扰以量测的系统输入和输出数据，、系统的不确定性等有尽以量测的系统输入和输出数据，来构造系统内部结构及参数数值仿真可能小的敏感性，导致了研究系统鲁棒控制问题。可能小的敏感性，导致了研究系统鲁棒控制问题的估计，并研究估计的可靠性和精度等问题，。的估计，并研究估计的可靠性和精度等问题，这就是系统辨近几年，非线性系统、时滞饱和系统、近几年，非线性系统、时滞饱和系统、时滞故障系统的鲁棒识的任务。系统辨识领域有3个热点研究方向个热点研究方向: 识的任务。系统辨识领域有个热点研究方向综合控制问题已经成为新的热点研究方向，综合控制问题已经成为新的热点研究方向，而且已经有不少 1.基于鲁棒控制数学模型要求的鲁棒辨识；基于鲁棒控制数学模型要求的鲁棒辨识；基于鲁棒控制数学模型要求的鲁棒辨识应用事例。例如，核反应堆的温度跟踪鲁棒控制、应用事例。例如，核反应堆的温度跟踪鲁棒控制、导弹系统 2.基于特殊信号驱动下的系统辨识；基于特殊信号驱动下的系统辨识；基于特殊信号驱动下的系统辨识 Pattern Recognition and Intelligent System Institute, 。的鲁棒自适应最优跟踪设计、机器人操作的鲁棒神经控制。的鲁棒自适应最优跟踪设计、机器人操作的鲁棒神经控制。 3.基于智能信息处理的非线性系统辨识 BIT 基于智能信息处理的非线性系统辨识。基于智能信息处理的非线性系统辨识

工程优化方法第1章

表示 3 ）模型求解：数学方法及其他方法 4 ）解的检验：制定检验准则、讨论与现实的
一致性 5 ）灵敏性分析：参数扰动对解的影响情况 6 ）解的实施：回到实践中 7 ）后评估：考察问题是否得到完满解决
工程优化方法第1章
§3 基本概念 1、最优解与极值点
p m x iR n n fx s.t. gix0
设 f: D→ R 1( D R)n (D－定义域) (1) x 为D的一个内点; (2) f(x)在 x 可微; (3) x 为f(x)的极值点;
则: f x 0
工程优化方法第1章
Th3(充分条件) ：设 f: D→ R(1 D )Rn(D－定义域)
(1) x 为D的一个内点; (2) f(x)在 x 处二次可微;
2 f
x12
2 f x2x1
2 f
x
n
x1
2 f x1x2
2 f x22
2 f x1x3 2 f x2x3
2 f
2 f
xnx2 xnx3
2 f
x1xn
2 f
x2xn
2 f
xn2
线性函数：f (x) = cTx + b , 2f (x) = 0
二次函数：f (x) = (1/2) xTQx + cTx + b,
则 x ≤ 0， ≥ 0 . (2)若 xTy ≤ , y L Rn ，
则 x L， ≥ 0 .(特别, L＝Rn时,x =0)
定理的其他形式：
“若 xTy ≤ , yRn 且 y ≤ 0，则 x ≥ 0， ≥ 0 .” “若 xTy ≥ , yRn 且 y ≥ 0，则 x ≥ 0， ≤ 0 .” “若 xTy ≥ , yRn 且 y ≤ 0，则 x ≤ 0， ≤ 0 .” “若 xTy ≥ , y L Rn ，则 x L， ≤ 0 .”

最优化方法 1第一章

xyz 2 (3a yz ) 0， 2 xyz 2 (3 a zx) 0， 2 xyz 2 (3 a xy ) 0．
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方体的最大体积客观存在，因此侧面积固定的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程只有在相当特殊情况下才能人工解出．通常高等数学中的求极值问题的变量个数一般不超过三个．（2）当限制条件出现不等式，无论变量数多少，按经典极值方法求解根本无法解决．要解决上述问题，直到本世纪50年代最优化理论建立以及电子计算机的迅速发展才为求解各种最优化问题提供了雄厚的基础和有效手段．而且最优化方法作为一门崭新的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题：一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数．求极值的方法是从如下含有n个未知数的非线性方程组

最优化方法及其matlab程序设计习题答案

证明：根据严格凸函数定义证明。
定义：对任意x ̸= y,及任意实数λ ∈ (0, 1)都有f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y).
充分条件：∀x, y ∈ ℜn, 有f (x + y) ≤ f (x) + f (y)
对任意x ̸= y,及任意实数λ ∈ (0, 1)都有f (λx+(1−λ)y) ≤ f (λx)+f ((1−λ)y)
8
k= 2 （2）阻尼牛顿法 function He=Hesstwo(x) n=length(x); He=zeros(n,n); He=[8, 0; 0, 2]; ≫ x0=[0,1]’;[x val k]=dampnm(’funtwo1’,’gfuntwo1’,’Hesstwo’,x0) x= 1 2 val = -8 k= 1 第3题. function f=fun(x) f = (x(1) − 2)4 + (x(1) − 2 ∗ x(2))2; function gf=gfun(x) gf = [4 ∗ (x(1) − 2)3 + 2 ∗ (x(1) − 2 ∗ x(2)), −4 ∗ (x(1) − 2 ∗ x(2))]′; ≫clear all; ≫x0=[0 3]’;[v,val,k]=grad(’fun’,’gfun’,x0)
(1
−
λ)y)=
1 2
(λx
+
(1
−
λ)y)T
G(λx
+
(1
−
λ)y)
+
bT
(λx
+
(1
−
λ)y)
λf
(x)

最优化理论与算法(第一章)

最优化理论与算法（数学专业研究生）第一章引论§1.1 引言一、历史与现状最优化理论最早可追溯到古老的极值问题，但成为一门独立的学科则是在20世纪四十年代末至五十年代初。

其奠基性工作包括Fritz John 最优性条件（1948），Kuhn-Tucker 最优性条件（1951），和Karush 最优性条件(1939)。

近几十年来最优化理论与算法发展十分迅速，应用也越来越广泛。

现在已形成一个相当庞大的研究领域。

关于最优化理论与方法，狭义的主要指非线性规划的相关内容，而广义的则涵盖：线性规划、非线性规划、动态规划、整数规划、几何规划、多目标规划、随机规划甚至还包括变分、最优控制等动态优化内容。

本课程所涉及的内容属于前者。

二、最优化问题的一般形式 1、无约束最优化问题min ()nx Rf x ∈ （1.1） 2、约束最优化问题min ()()0, ..()0, i i f x c x i E s t c x i I=∈⎧⎨≥∈⎩ （1.2）这里E 和I 均为指标集。

§1.2数学基础一、范数 1. 向量范数max i x x ∞= （l ∞范数）（1.3）11ni i x x ==∑ （1l 范数）（1.4）12221()ni i x x ==∑ （2l 范数）（1.5）11()np pi pi xx ==∑ （p l 范数）（1.6）12()TAxx Ax = （A 正定）（椭球范数）（1.7）事实上1－范数、2－范数与∞-范数分别是 p －范数当 p ＝1、2和p →∞时情形。

2．矩阵范数定义1.1 方阵A 的范数是指与A 相关联并记做A 的一个非负数，它具有下列性质： ① 对于0A ≠都有0A >，而0A =时0A =； ② 对于任意k R ∈，都有kA k A =； ③ A B A B +≤+； ④ AB A B ≤；若还进一步满足： ⑤ pp AxA x ≤则称之为与向量范数p相协调（相容）的方阵范数。

最优化方法(刘)第一章

f x 1 y cT x 1 y cT x 1 cT y f x 1 f y
所以 c T x 是凸函数．类似可以证明 c T x 是凹函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
下面的图形给出了凸函数 f x, y x 3x y
4 2
4
y 2 xy 的等值线的图形，可以看出水平集是凸集
凸函数的判定
定理1:设 f x 是定义在凸集 D R n 上，x, y D , 令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集 D 上的凸函数的充要条件是对任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y, 若 t 在 0,1 上为严格凸函数， f x 在 D 上为严格凸函数．则
例1：证明超球 x r 为凸集．
0 证明： x , y 为超球中的任意两点， 1, 设
则有：
x 1 y
x 1 y
r 1 r r 即点 x 1 y 属于超球
所以超球为凸集．
凸集的性质
（１）有限个（可以改成无限）凸集的交集为凸集．（２）设 D 是凸集，是一实数，则下面的集合是凸集： D y y x , x D （３）设 D1 , D2 是凸集， D1 , D2 的和集则
相关定义（P7—P8）
定义１.1 可行解满足约束条(1.2)和(1.3)
的x称为可行解，也称为可行点或容许点。
定义１.2 可行域全体可行解构成的集合称为可行域，也称为容许集，记为F,即：

最优化理论第一章

或稳定性等要求；边界约束——只是对设计变量的取值范围加以限制的约对轴段长度的限定范围就属于边界约束。
束称作边界约束。例如，允许机床主轴选择的尺寸范围，
(a)二变量问题的约束线
图1-2 优化问题中的约束面（或约束线）
(b) 三变量问题的约束面
可行域 : 在优化问题中，满足所有约束条件的点所构成的集合。如图1-3上画出了满足两项约束条件g1（X）=x12＋x22—16 ≤ 0和g2 （X）＝2—x2≤0的二维设计问题的可行域D，它位于x2=2的上面和圆 x12＋x22=16的圆弧ABC下面并包括线段AC和圆弧ABC在内。
2.约束条件
优化问题中有些是工程上所不能接受的，在优化中
对优化变量取值有一些限制条件，这些限制条件称作约束条件，简称约束。约束又可按其数学表达形式分成等式约束和不等式约束两种类型： (1)等式约束
h( x ) 0 g ( x) 0
(2)不等式约束
根据约束的性质可以把它们区分成：性能约束——针对性能要求而提出的限制条件称作性能约束。例如，选择某些结构必须满足受力的强度、刚度
求优化变量向量
使目标函数
满足约束条件：
X [ x1 , x2 , , xn ] f ( X ) min
g j (X ) 0
T
( j 1, 2,
, m)
hk ( X ) 0
(k 1,2, , l )
n
min f ( X ) f ( x1，x2，，xn ), X R s.t. g j ( X ) 0 j 1,2, , m hk ( X ) 0 k 1,2, , l
一个优化问题可以用一组基本参数的数值来表示，在优化过程中进行选择并最终必须确定的各项独立的基本参数，称作优化变量，又叫做决策变量。

Python最优化算法实战学习笔记

Python最优化算法实战第一章最优化算法概述1.1最优化算法简介最优化算法,即最优计算方法,也是运筹学。

涵盖线性规划、非线性规划、整数规划、组合规划、图论、网络流、决策分析、排队论、可靠性数学理论、仓储库存论、物流论、博弈论、搜索论和模拟等分支。

当前最优化算法的应用领域如下。

(1)市场销售:多应用在广告预算和媒体的选择、竞争性定价、新产品开发、销售计划的编制等方面。

如美国杜邦公司在20世纪50年代起就非常重视对广告、产品定价和新产品引入的算法研究。

(2)生产计划:从总体确定生产、储存和劳动力的配合等计划以适应变动的需求计划,主要采用线性规划和仿真方法等。

此外,还可用于日程表的编排,以及合理下料、配料、物料管理等方面。

(3)库存管理:存货模型将库存理论与物料管理信息系统相结合,主要应用于多种物料库存量的管理,确定某些设备的能力或容量,如工厂库存量、仓库容量,新增发电装机容量、计算机的主存储器容量、合理的水库容量等。

(4)运输问题:涉及空运、水运、陆路运输,以及铁路运输、管道运输和厂内运输等,包括班次调度计划及人员服务时间安排等问题。

(5)财政和会计:涉及预算、贷款、成本分析、定价、投资、证券管理、现金管理等,采用的方法包括统计分析、数学规划、决策分析,以及盈亏点分析和价值分析等。

(6)人事管理:主要涉及以下6个方面。

①人员的获得和需求估计。

②人才的开发,即进行教育和培训。

③人员的分配，主要是各种指派问题。

④各类人员的合理利用问题。

⑤人才的评价，主要是测定个人对组织及社会的贡献。

⑥人员的薪资和津贴的确定。

(7)设备维修、更新可靠度及项目选择和评价:如电力系统的可靠度分析、核能电厂的可靠度B风险评估等。

(8)工程的最佳化设计:在土木，水利、信息电子、电机、光学、机械、环境和化工等领域皆有作业研究的应用。

(9)计算机信息系统:可将作业研究的最优化算法应用于计算机的主存储器配置，如等候理论在不同排队规则下对磁盘、磁鼓和光盘工作性能的影响。

最优化计算方法第1章

的。二次规划：目标函数为二次函数，约束条件中的函数为线
性的。
根据函数性质分类动态与静态随机与确定单目标与多目标
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
解法的分类
解析方法:利用函数的分析性质去构造迭代公式，使之收敛到极值点。
直接方法：按一定的数学原理，用尽量少的计算量，直接比较函数值的大小。
• 等式约束优化问题
• 不等式约束优化问题
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
根据问题的不同特点分类一般的约束优化问题标准形式
1） 2）
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
根据函数类型分类
线性规划：目标函数、约束条件都是线性的非线性规划：目标函数、约束条件中的函数不全是线性
路漫漫其悠远
,使得称为问题(P)的局部
,使得称为问
最优化计算方法第1章
最优解与极值点
严格局部极小点
• 最优化技术与数学模型所包括的知识点很多，选取了一些实用的方法。
路漫漫其悠远
最优化计算方法第1章
课程简介
从工程应用的角度出发，注重工程优化的基本思想和方法的阐述。
内容主要包括: 线性规划、非线性规划、约束优化、无约束优化等，并对如何建立数学模型、如何选择优化方法和提高优化效率作了适当的介绍。
足环保要求的条件下，每厂各应处理多少工业污水，使这两个工厂处理工业污水的费用最小.
工厂1
工厂2
路漫漫其悠远
500万m3
200万m3
最优化计算方法第1章
最优化问题举例
变量：x1、x2----分别代表工厂1和工厂2处理污水的数量(万m3)

最优化方法第二版孙文瑜部分课后答案

0 的边界点；
2. 考虑下述约束最优化问题
min x1
s.t.
x21 + (x2 − 2)2 x21 1,
3,
画出问题的可行域和目标函数的等位线，并由此确定问题的所有局部最优解和全局最优解.
解: 可行域和等位线如下
1
x2
(1,2 2)
( 3,2)
(0,2)
3 1
(1,2 2)
1 3 x1
全等局位最线优：解f (x：1)x1==k；−√局3部, x最2 =优2解. ：x1
T = {x|f (x) α}
为函数 f (x) 关于实数 α 的水平集. 证明对任意实数 α，集合 T 是凸集. 证: 对于 ∀x1, x2 ∈ T ，根据 T 的定义则有 f (x1) α, f (x2) α. 由于 D 是凸集，则对于 ∀λ ∈ [0, 1]，必有
λx1 + (1 − λ)x2 ∈ D 又由于 f (x) 是 D 上的凸函数，则有
f (λx∗ + (1 − λ)y) λf (x∗) + (1 − λ)f (y) λf (x∗) + (1 − λ)f (x∗) = f (x∗)
5
这表明在 x∗ 的任意小的邻域内都存在函数值小于 f (x∗) 的可行点，这与 x∗ 是局部最优解相矛盾，则 x∗ 是一个全局最优解. 再证 x∗ 是唯一的：由于目标函数是严格凸的，设 x∗ ̸= y∗ 都是全局最优解，则 f (x∗) = f (y∗). 由严格凸函数的定义，而 ∀λ ∈ (0, 1)，有
λx1 + (1 − λ)y1 + λx2 + (1 − λ)y2 = λ(x1 + x2) + (1 − λ)(y1 + y2) λ+1−λ=1

运筹学与最优化方法

( 1)
,d
(2)
,…,d
(m) m
R, d
(j)
n
(k)
0
记 L( d
(1)
,d
(2)
,…,d
(m)
)={ x = d j j =1
jR }
为由向量d , d , … , d 生成的子空间，简记为L。 n 正交子空间：设 L 为R 的子空间，其正交子空间为 n L ＝{ x R xTy=0 , y L } n n 子空间投影定理：设 L 为R 的子空间。那么 x R ，唯一 x L , y L , 使 z=x+y , 且 x 为问题 min ‖z - u‖ s.t. u L 的唯一解，最优值为‖y‖。 n 特别， L ＝R 时，正交子空间 L ＝{ 0 }（零空间）
x
x+y
点列的收敛：设点列｛x(k)｝ R , x R 点列｛x(k)｝收敛到 x ，记 (k) = x lim‖x(k)- x‖ = 0 lim x (k) = x ,i lim x i k k ki
y
n
n
五、基本概念和符号（续）
1、向量和子空间投影定理
(3) 子空间：设 d

“若 xTy ≤ , yRn 且 y ≤ 0，则 x ≥ 0， ≥ 0 .” “若 xTy ≥ , yRn 且 y ≥ 0，则 x ≥ 0， ≤ 0 .” n “若 xTy ≥ , yR 且 y ≤ 0，则 x ≤ 0， ≤ 0 .” “若 xTy ≥ , y L Rn ，则 x L， ≤ 0 .”
一、什么是运筹学
为决策机构在对其控制下的业务活动进
行决策时，提供一门量化为基础的科学方法。或是一门应用科学，它广泛应用现有的科学技术知识和数学方法，解决实际中提出的专门问题，为决策者选择最优决策提供定量依据。运筹学是一种给出问题坏的答案的艺术，否则的话，问题的结果会更坏。

最优化原理与方法课后习题1

第一章、预备知识一、考虑二次函数()2211221223f X x x x x x x =++-+1) 写出它的矩阵—向量形式: ()f X =12TTQx x xb +2) 矩阵Q 是不是奇异的? 3) 证明: f(x)是正定的 4) f(x)是凸的吗? 5) 写出f(x)在点x =()2,1T处的支撑超平面(即切平面)方程解: 1) f(x)=xx x x x x2122212132+-++=⎪⎪⎭⎫ ⎝⎛x x 2121⎪⎪⎭⎫⎝⎛6222⎪⎪⎭⎫ ⎝⎛x x 21+11T-⎛⎫ ⎪⎝⎭⎪⎪⎭⎫ ⎝⎛x x 21 其中 x=⎪⎪⎭⎫ ⎝⎛x x 21 ,Q=⎪⎪⎭⎫ ⎝⎛6222, b=⎪⎪⎭⎫⎝⎛-11 2) 因为Q=⎪⎪⎭⎫ ⎝⎛6222,所以 |Q|=6222=8>0 即可知Q 是非奇异的3) 因为|2|>0, 6222=8>0 ,所以Q 是正定的,故f(x)是正定的4) 因为2()f x ∇=⎪⎪⎭⎫ ⎝⎛6222,所以|)(2x f ∇|=8>0,故推出)(2x f ∇是正定的, 即)(2x f ∇是凸的5) 因为)(x f ∇=2121(2x 2-1,261)x x x T+++,所以)(x f ∇=(5,11)所以 ()f x 在点x 处的切线方程为5(21-x )+11(12-x )=0 二、求下列函数的梯度问题和Hesse 矩阵 1) ()f x =2x 12+xx x x x 23923121+++x x x 2322+2) ()f x =2212()21n l x x x x ++解: 1) )(x f ∇= (,94321x xx ++ 26321+++xx x, xx 219+))(2x f ∇=⎪⎪⎪⎭⎫ ⎝⎛019161914 2) )(x f ∇=(x x x x xx 112221221+++,x x x x x x112221221+++))(2x f ∇=⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛----------++++++++)()()()(2221212222212142221214222121222222121222212122221212212122x x x x x x x x x x x x x x x x x x x x xx x xx x x x x x x x 三、设f(x)=xx x x x x x323223322122--+++,取点)1,1,1()1(Tx=.验证d )1(=(1,0,-1)是f(x)在点x )1(处的一个下降方向,并计算min >t f(x )1(+t d)1()证明: )(x f ∇=)124,123,x 2(233221-+-+x x x x T)5,4,2()(1Tx f =∇d )(1x f ∇=(1,0,-1)⎪⎪⎪⎭⎫ ⎝⎛542= -3<0所以d)1(是f(x)在x )1(处的一个下降方向f(x )1(+t d)1()=f((1+t,1,1-t))=433)1(1)1(221(222)1()1+-=----+++-+t t t t t t∇f(x )1(+t d)1()=6t-3=0 所以t=0.5>0所以0min >t f(x )1(+t d)1()=3*0.25-3*0.5+4=3.25四、设,,i i i a b c （j=1,2,….,n ）考虑问题Min f(x)=∑=nj jj xc 1s.t. b nj jjxa =∑=10≥xj(j=1,2,….,n)1) 写出其Kuhn Tuker 条件 2) 证明问题最优值是])([12112∑=nj j j b c a解：1）因),....,1(n j x j = 为目标函数的分母故0>x j所以λ*j （j=1,…,n ）都为0所以Kuhn Tuker 条件为 0)()(=∇+∇x h x f μ即 ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛---x c x c x c n n 2222211 +⎪⎪⎪⎪⎪⎭⎫ ⎝⎛a a a n 21μ=0 2）将ac xjjjμ=代入 h(x)=0 只有一点得221(nj b n j bμ==⇒=∑=故有ac ca x jj nj jjj b∑==1所以最优解是21211()n j j j b a c =⎡⎤⎢⎥⎢⎥⎣⎦∑.五、使用Kuhn Tuker 条件，求问题min f(x)=)2()1(2122--+x xs.t.,021212112≥≥=+=-x x x x x x 的Kuhn Tuker 点，并验证此点为问题的最优解解：x=(1/2,3/2) 0≠ 故1λ*，λ*2=0 则 0)()()(2211=+∇+∇x x x f h h μμ 即0111142222121=⎪⎪⎭⎫⎝⎛+⎪⎪⎭⎫ ⎝⎛-+⎪⎪⎭⎫ ⎝⎛--μμx x ⇒120,1μμ==-而⎪⎪⎭⎫ ⎝⎛=∇2002)(2x f ()210g x *∇= ()220g x *∇= ()210h x *∇=()220h x *∇=,()()()()()()()22222211221122H x f x g x g x h x h x f x λλμμ***********=∇+∇+∇+∇+∇=∇(){}{}12121213|00|1020,22T T T x y h y h y y y y y y *⎧⎫⎛⎫=∇=∇==-+-=+-==⎨⎬⎪⎝⎭⎩⎭故08)(2>=∇x x f x T ,即其为最优解.第二章、无约束优化问题一、设f(x)为定义在区间[a,b]上的实值函数，x *是问题min{f(x)|a b x ≤≤}的最优解。