《最优化方法》复习题(含答案)

附录5 《最优化方法》复习题1、设n n A R ⨯∈是对称矩阵，,n b R c R ∈∈，求1()2TT f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵．解 2(),()f x Ax b f x A ∇=+∇=．2、设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ϕ''． 解 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令()()()()()T TT Tdd f x f x H I d f x f x f x ∇∇=--∇∇∇， 其中I 为单位矩阵，证明方向()p H f x =-∇也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ∇<，从而()()()T T f x p f x H f x ∇=-∇∇()()()()()()()()T TTT T dd f x f x f x I f x d f x f x f x ∇∇=-∇--∇∇∇∇()()()0T T f x f x f x d =-∇∇+∇<，所以，方向p 是函数()f x 在点x 处的下降方向． 4、n S R ⊆是凸集的充分必要条件是12122,,,,,,,,m m m x x x S x x x ∀≥∀∈的一切凸组合都属于S ．证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令11k i i i x x λ+==∑，其中,0,1,2,,1i i x S i k λ∈≥=+，且111k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈，结论成立），记111kii i k y x λλ=+=-∑，有111(1)k k k x y x λλ+++=-+，又1110,1,2,,,111kiii k k i k λλλλ=++≥==--∑，则由归纳假设知，y S ∈，而1k x S +∈，且S 是凸集，故x S ∈．5、设n R S ⊆为非空开凸集，R S f →:在S 上可微，证明：f 为S 上的凸函数的充要条件是2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．证明 必要性．设f 是S 上的凸函数，则12,x x S ∀∈及(0,1)λ∈，有2121((1))()(1)()f x x f x f x λλλλ+-≤+-，于是121121(())()()()f x x x f x f x f x λλ+--≤-，因S 为开集，f 在S 上可微，故令0λ+→，得12121()()()()T f x x x f x f x ∇-≤-，即2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．充分性．若有2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈， 则[0,1]λ∀∈，取12(1)x x x S λλ=+-∈，从而11()()()()T f x f x f x x x ≥+∇-，22()()()()T f x f x f x x x ≥+∇-，将上述两式分别乘以λ和1λ-后，相加得1212()(1)()()()((1))T f x f x f x f x x x x λλλλ+-≥+∇+--12()((1))f x f x x λλ==+-，所以f 为凸函数．6、证明：凸规划min ()x Sf x ∈的任意局部最优解必是全局最优解．证明 用反证法．设x S ∈为凸规划问题min ()x Sf x ∈的局部最优解，即存在x 的某个δ邻域()N x δ，使()(),()f x f x x N x S δ≤∀∈．若x 不是全局最优解，则存在x S ∈，使()()f x f x <．由于()f x 为S 上的凸函数，因此(0,1)λ∀∈，有((1))()(1)()()f x x f x f x f x λλλλ+-≤+-<．当λ充分接近1时，可使(1)()x x N x S δλλ+-∈，于是()((1))f x f x x λλ≤+-，矛盾．从而x 是全局最优解．7、设n R S ⊆为非空凸集，R S f →:是具有一阶连续偏导数的凸函数，证明：x 是问题min ()x Sf x ∈的最优解的充要条件是：()()0,T f x x x x S ∇-≥∀∈．证明 必要性．若x 为问题min ()x Sf x ∈的最优解．反设存在x S ∈，使得()()0T f x x x ∇-<，则d x x =-是函数()f x 在点x 处的下降方向，这与x 为问题min ()x Sf x ∈的最优解矛盾．故()()0,T f x x x x S ∇-≥∀∈．充分性．若()()0,T f x x x x S ∇-≥∀∈．反设存在x S ∈，使得()()f x f x <．(())()((1))()f x x x f x f x x f x λλλλλ+--+--=()(1)()()()()0((0,1)f x f x f x f x f x λλλλ+--≤=-<∀，因S 为凸集，f 在S 上可微，故令0λ+→，得()()()()0T f x x x f x f x ∇-≤-<，这与已知条件矛盾，故x 是问题min ()x Sf x ∈的最优解．8、设函数()f x 具有二阶连续偏导数，k x 是()f x 的极小点的第k 次近似，利用()f x 在点k x 处的二阶Taylor 展开式推导Newton 法的迭代公式为 211[()]()k k k k x x f x f x -+=-∇∇．证明 由于()f x 具有二阶连续偏导数，故21()()()()()()()()2T T k k k k k k f x x f x f x x x x x f x x x ϕ≈=+∇-+-∇-．且2()k f x ∇是对称矩阵，因此()x ϕ是二次函数．为求()x ϕ的极小点，可令()0x ϕ∇=，即2()()()0k k k f x f x x x ∇+∇-=，若2()k f x ∇正定，则上式解出的()x ϕ的平稳点就是()x ϕ的极小点，以它作为()f x 的极小点的第1k +次近似，记为1k x +，即211[()]()k k k k x x f x f x -+=-∇∇，这就得到了Newton 法的迭代公式.9、叙述常用优化算法的迭代公式．（1）0.618法的迭代公式：(1)(),().k k k k k k k k a b a a b a λτμτ=+--⎧⎨=+-⎩（2）Fibonacci 法的迭代公式：111(),(1,2,,1)()n k kk k k n k n k k k k k n k F a b a F k n F a b a F λμ---+--+⎧=+-⎪⎪=-⎨⎪=+-⎪⎩．（3）Newton 一维搜索法的迭代公式： 1()()k k k k t t t t ϕϕ+'=-''． （4）最速下降法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()()()()()T k k k k k Tk k f x f x x x f x f x Q f x +∇∇=-∇∇∇ （5）Newton 法的迭代公式：211[()]()k k k k x x f x f x -+=-∇∇． （6）共轭方向法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()T k kk k k Tk kf x d x x d d Qd +∇=-． 10、已知线性规划：123123123123123min ()2;..360,2210,20,,,0.f x x x x s t x x x x x x x x x x x x =-+⎧⎪++≤⎪⎪-+≤⎨⎪+-≤⎪⎪≥⎩（1）用单纯形法求解该线性规划问题的最优解和最优值； （2）写出线性规划的对偶问题； （3）求解对偶问题的最优解和最优值．解 （1）引进变量456,,x x x ，将给定的线性规划问题化为标准形式：123123412351236126min ()2;..360,2210,20,,,,0.f x x x x s t x x x x x x x x x x x x x x x =-+⎧⎪+++=⎪⎪-++=⎨⎪+-+=⎪⎪≥⎩所给问题的最优解为(0,20,0)T x =，最优值为20f =-． （2）所给问题的对偶问题为：123123123123123max ()601020;..32,21,21,,,0.g y y y y s t y y y y y y y y y y y y =---⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩（1） （3）将上述问题化成如下等价问题：123123123123123min ()601020;..32,21,21,,,0.h y y y y s t y y y y y y y y y y y y =++⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩引进变量456,,y y y ，将上述问题化为标准形式：123123412351236126min ()601020;..32,21,21,,,,0.h y y y y s t y y y y y y y y y y y y y y y =++⎧⎪---+=⎪⎪-+-+=-⎨⎪--++=⎪⎪≥⎩ （2）问题（2）的最优解为(0,0,1)T y =，最优值为20h =（最小值）． 问题（1）的最优解为(0,0,1)T y =，最优值为20g =-（最大值）．11、用0.618法求解 2min ()(3)t t ϕ=-，要求缩短后的区间长度不超过0.2，初始区间取[0,10]． 解 第一次迭代： 取11[,][0,10],0.2a b ε==． 确定最初试探点11,λμ分别为11110.382() 3.82a b a λ=+-=，11110.618() 6.18a b a μ=+-=．求目标函数值：21()(3.823)0.67ϕλ=-=，21()(6.183)10.11ϕμ=-=． 比较目标函数值：11()()ϕλϕμ<． 比较11 6.1800.2a με-=->=． 第二次迭代：212121210, 6.18, 3.82,()()0.67a a b μμλϕμϕλ========．2222220.382()0.382(6.180) 2.36,()(2.363)0.4a b a λϕλ=+-=-==-=．2222()(), 3.82a ϕλϕμμε<-=>．323232320, 3.82, 2.36,()()0.4a a b μμλϕμϕλ========．2333330.382()0.382(3.820) 1.46,()(1.463) 2.37a b a λϕλ=+-=-==-=．3333()(), 3.82 1.46b ϕλϕμλε>-=->． 第四次迭代：434343431.46, 3.82, 2.36,()()0.4a b b λλμϕλϕμ========．444440.618() 1.460.0.618(3.82 1.46) 2.918,()0.0067a b a μϕμ=+-=+-==． 4444()(), 3.82 2.36b ϕλϕμλε>-=->． 第五次迭代：545454542.36, 3.82, 2.918,()()0.0067a b b λλμϕλϕμ========．555550.618() 3.262,()0.0686a b a μϕμ=+-==． 5555()(), 3.262 2.36a ϕλϕμμε<-=->． 第六次迭代：656565652.36, 3.262, 2.918,()()0.0067a a b μμλϕμϕλ========．666660.382() 2.7045,()0.087a b a λϕλ=+-==．6666()(), 3.262 2.7045b ϕλϕμλε>-=->． 第七次迭代：767676762.7045, 3.262, 2.918,()()0.0067a b b λλμϕλϕμ========．777770.618() 3.049,()0.002a b a μϕμ=+-==． 7777()(),b ϕλϕμλε>->． 第八次迭代：878787872.918, 3.262, 3.049,()()0.002a b b λλμϕλϕμ========．888880.618() 3.131,()0.017a b a μϕμ=+-==． 8888()(),a ϕλϕμμε<->．989899982.918, 3.131, 3.049,()()0.002a a b μμλϕμϕλ========．999990.382() 2.999,()0.000001a b a λϕλ=+-==． 9999()(), 3.049 2.918a ϕλϕμμε<-=-<． 故993.0242x λμ+==．12、用最速下降法求解 22112212min ()2243f x x x x x x x =++--，取(0)(1,1)T x =，迭代两次．解 1212()(224,243)T f x x x x x ∇=+-+-， 将()f x 写成1()2TT f x x Qx b x =+的形式，则224,243Q b -⎛⎫⎛⎫== ⎪ ⎪-⎝⎭⎝⎭． 第一次迭代：(0)(0)(1)(0)(0)(0)(0)()()()()()T T f x f x xxf x f x Q f x ∇∇=-∇∇∇ 0(0,3)1013220131/4(0,3)243⎛⎫ ⎪⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭⎪⎪⎝⎭⎝⎭． 第二次迭代：(1)(1)(2)(1)(1)(1)(1)()()()()()T T f x f x xx f x f x Q f x ∇∇=-∇∇∇ 3/2(3/2,0)13/27/40223/21/401/4(3/2,0)240-⎛⎫- ⎪-⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪-⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭- ⎪⎪⎝⎭⎝⎭． 13、用FR 共轭梯度法求解222123123123min ()()()()f x x x x x x x x x x =-++-++++-，取(0)11(,1,)22T x =，迭代两次．若给定0.01,ε=判定是否还需进行迭代计算． 解 222123121323()3()2()f x x x x x x x x x x =++-++，再写成1()2T f x x Gx =，622262226G --⎛⎫⎪=-- ⎪ ⎪--⎝⎭，()f x Gx ∇=．第一次迭代：(0)()(0,4,0)T f x ∇=，令(0)0()(0,4,0)T d f x =-∇=-，从(0)x 出发，沿0d 进行一维搜索，即求(0)200min ()21648f x d λλλλ≥+=-+的最优解，得(1)(0)0001/6,(1/2,1/3,1/2)T x x d λλ==+=．第一次迭代：(1)()(4/3,0,4/3)T f x ∇=．2(1)02(0)()29()f x f x α∇==∇， (1)100()(4/3,8/9,4/3)T d f x d α=-∇+=---．从(1)x 出发，沿1d 进行一维搜索，即求(1)10142362214181418min ()(,,)262233923392261423f x d λλλλλλλλ≥⎛⎫- ⎪--⎛⎫ ⎪⎪⎪+=------ ⎪ ⎪ ⎪-- ⎪⎝⎭ ⎪- ⎪⎝⎭的最优解，得(2)(1)1111/24/333,1/38/9(0,0,0)881/24/3T x x d λλ-⎛⎫⎛⎫ ⎪ ⎪==+=+-= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭．此时(2)(2)()(0,0,0),()00.01T f x f x ε∇=∇=<=．得问题的最优解为(0,0,0)T x =，无需再进行迭代计算．14、用坐标轮换法求解 2212112min ()242f x x x x x x =+--，取(0)(1,1)T x =，迭代一步．解 从点(0)(1,1)T x =出发，沿1(1,0)T e =进行一维搜索， 即求(0)210min ()43f x e λλλλ≥+=--的最优解，得(1)(0)0012,(3,1)T x x e λλ==+=．再从点(1)x 出发，沿2(0,1)T e =进行一维搜索， 即求(1)220min ()227f x e λλλλ≥+=--的最优解，得(2)(1)1121/2,(3,3/2)T x x e λλ==+=．15、用Powell 法求解2212112min ()3f x x x x x x =+--，取(0)(0,0)T x =，初始搜索方向组01(0,1),(1,0)T T d d ==，给定允许误差0.1ε=（迭代两次）． 解 第一次迭代：令(0)(0)(0,0)T y x ==，从点(0)y 出发沿0d 进行一维搜索，易得(1)(0)0000,(0,0)T y y d λλ==+=；接着从点(1)y 出发沿1d 进行一维搜索，得(2)(1)11133,(,0)22T y y d λλ==+=由此有加速方向 (2)(0)23(,0)2T d y y =-=．因为23/2d ε=>，所以要确定调整方向．由于 (0)(1)(2)9()0,()0,()4f y f y f y ===-，按（8.4.17）式有(1)(2)()(1)()()max{()()|0,1}j j f y f y f y f y j +-=-=，因此1m =，并且()(1)(1)(2)9()()()()4m m f y f y f y f y +-=-=． 又因(2)(0)(2)0f y y -=，故（8.4.18）式不成立．于是，不调整搜索方向组，并令(1)(2)3(,0)2T x y ==．第二次迭代：取(0)(1)3(,0)2T y x ==，从点(0)y 出发沿0d 作一维搜索，得(1)(0)000333,(,)424T y y d λλ==+=．接着从点(1)y 出发沿方向1d 作一维搜索，得(2)(1)1113153,(,)884Ty y d λλ==+=． 由此有加速方向(2)(0)233(,)84T d y y =-=．因为2d ε=>，所以要确定调整方向．因(0)(1)(2)945189(),(),()41664f y f y f y =-=-=-， 故按（8.4.17）式易知0m =，并且()(1)(0)(1)9()()()()16m m f y f y f y f y +-=-=． 由于(2)(0)45(2)16f y y -=-， 因此（8.4.18）式成立。