最优化方法复习题66882.docx
《最优化方法》复习题(含答案)
《最优化方法》复习题(含答案)附录5 《最优化方法》复习题1、设n n A R ⨯∈是对称矩阵，,n b R c R ∈∈，求1()2TT f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵．解 2(),()f x Ax b f x A ∇=+∇=．2、设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ϕ''． 解 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令()()()()()T TT Tdd f x f x H I d f x f x f x ∇∇=--∇∇∇， 其中I 为单位矩阵，证明方向()p H f x =-∇也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ∇<，从而()()()T T f x p f x H f x ∇=-∇∇()()()()()()()()T TTT T dd f x f x f x I f x d f x f x f x ∇∇=-∇--∇∇∇∇()()()0T T f x f x f x d =-∇∇+∇<，所以，方向p 是函数()f x 在点x 处的下降方向．4、n S R ⊆是凸集的充分必要条件是12122,,,,,,,,m m m x x x S x x x ∀≥∀∈L L 的一切凸组合都属于S ．证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令11k i i i x x λ+==∑，其中,0,1,2,,1i i x S i k λ∈≥=+L ，且111k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈，结论成立），记111kii i k y x λλ=+=-∑，有111(1)k k k x y x λλ+++=-+，又1110,1,2,,,111ki ii k k i k λλλλ=++≥==--∑L ， 则由归纳假设知，y S ∈，而1k x S +∈，且S 是凸集，故x S ∈．5、设n R S ⊆为非空开凸集，R S f →:在S 上可微，证明：f 为S 上的凸函数的充要条件是2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．证明 必要性．设f 是S 上的凸函数，则12,x x S ∀∈及(0,1)λ∈，有2121((1))()(1)()f x x f x f x λλλλ+-≤+-，于是121121(())()()()f x x x f x f x f x λλ+--≤-，因S 为开集，f 在S 上可微，故令0λ+→，得12121()()()()T f x x x f x f x ∇-≤-，即2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．充分性．若有2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈， 则[0,1]λ∀∈，取12(1)x x x S λλ=+-∈，从而11()()()()T f x f x f x x x ≥+∇-，22()()()()T f x f x f x x x ≥+∇-，将上述两式分别乘以λ和1λ-后，相加得1212()(1)()()()((1))T f x f x f x f x x x x λλλλ+-≥+∇+--12()((1))f x f x x λλ==+-，所以f 为凸函数．6、证明：凸规划min ()x Sf x ∈的任意局部最优解必是全局最优解．证明 用反证法．设x S ∈为凸规划问题min ()x Sf x ∈的局部最优解，即存在x 的某个δ邻域()N x δ，使()(),()f x f x x N x S δ≤∀∈I ．若x 不是全局最优解，则存在x S ∈%，使()()f x f x <%．由于()f x 为S 上的凸函数，因此 (0,1)λ∀∈，有((1))()(1)()()f x x f x f x f x λλλλ+-≤+-<%%．当λ充分接近1时，可使(1)()x x N x S δλλ+-∈%I ，于是()((1))f x f x x λλ≤+-%，矛盾．从而x 是全局最优解．7、设n R S ⊆为非空凸集，R S f →:是具有一阶连续偏导数的凸函数，证明：x 是问题min ()x Sf x ∈的最优解的充要条件是：()()0,T f x x x x S ∇-≥∀∈．证明 必要性．若x 为问题min ()x Sf x ∈的最优解．反设存在x S ∈%，使得()()0T f x x x ∇-<%，则d x x =-%是函数()f x 在点x 处的下降方向，这与x 为问题min ()x Sf x ∈的最优解矛盾．故()()0,T f x x x x S ∇-≥∀∈．充分性．若()()0,T f x x x x S ∇-≥∀∈．反设存在x S ∈%，使得()()f xf x <%． (())()((1))()f x x x f x f x x f x λλλλλ+--+--=%%()(1)()()()()0((0,1)f x f x f x f x f x λλλλ+--≤=-<∀%%，因S 为凸集，f 在S 上可微，故令0λ+→，得()()()()0T f x x x f x f x ∇-≤-<%%，这与已知条件矛盾，故x 是问题min ()x Sf x ∈的最优解．8、设函数()f x 具有二阶连续偏导数，k x 是()f x 的极小点的第k 次近似，利用()f x 在点k x 处的二阶Taylor 展开式推导Newton 法的迭代公式为 211[()]()k k k k x x f x f x -+=-∇∇．证明 由于()f x 具有二阶连续偏导数，故21()()()()()()()()2T T k k k k k k f x x f x f x x x x x f x x x ϕ≈=+∇-+-∇-．且2()k f x ∇是对称矩阵，因此()x ϕ是二次函数．为求()x ϕ的极小点，可令()0x ϕ∇=，即2()()()0k k k f x f x x x ∇+∇-=，若2()k f x ∇正定，则上式解出的()x ϕ的平稳点就是()x ϕ的极小点，以它作为()f x 的极小点的第1k +次近似，记为1k x +，即211[()]()k k k k x x f x f x -+=-∇∇，这就得到了Newton 法的迭代公式.9、叙述常用优化算法的迭代公式．（1）0.618法的迭代公式：(1)(),().k k k k k k k k a b a a b a λτμτ=+--⎧⎨=+-⎩（2）Fibonacci 法的迭代公式：111(),(1,2,,1)()n k kk k k n k n k k k k k n k F a b a F k n F a b a F λμ---+--+⎧=+-⎪⎪=-⎨⎪=+-⎪⎩L ． （3）Newton 一维搜索法的迭代公式： 1()()k k k k t t t t ϕϕ+'=-''． （4）最速下降法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()()()()()T k k k k k Tk k f x f x x x f x f x Q f x +∇∇=-∇∇∇ （5）Newton 法的迭代公式：211[()]()k k k k x x f x f x -+=-∇∇． （6）共轭方向法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()T k kk k k Tk kf x d x x d d Qd +∇=-． 10、已知线性规划：123123123123123min ()2;..360,2210,20,,,0.f x x x x s t x x x x x x x x x x x x =-+⎧⎪++≤⎪⎪-+≤⎨⎪+-≤⎪⎪≥⎩（1）用单纯形法求解该线性规划问题的最优解和最优值； （2）写出线性规划的对偶问题； （3）求解对偶问题的最优解和最优值．解 （1）引进变量456,,x x x ，将给定的线性规划问题化为标准形式：123123412351236126min ()2;..360,2210,20,,,,0.f x x x x s t x x x x x x x x x x x x x x x =-+⎧⎪+++=⎪⎪-++=⎨⎪+-+=⎪⎪≥⎩L1x 2x 3x 4x 5x6x4x 3 1 1 1 0 0 60 5x 1 -2 2 0 1 0 10 6x1 1* -1 0 0 1 20 f -2 1 -1 0 0 0 0 4x 2 0 2 1 0 -1 40 5x3 0 0 0 1 2 50 2x1 1 -1 0 0 1 20 f-3-1-20所给问题的最优解为(0,20,0)T x =，最优值为20f =-． （2）所给问题的对偶问题为：123123123123123max ()601020;..32,21,21,,,0.g y y y y s t y y y y y y y y y y y y =---⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩（1）（3）将上述问题化成如下等价问题：123123123123123min ()601020;..32,21,21,,,0.h y y y y s t y y y y y y y y y y y y =++⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩引进变量456,,y y y ，将上述问题化为标准形式：123123412351236126min ()601020;..32,21,21,,,,0.h y y y y s t y y y y y y y y y y y y y y y =++⎧⎪---+=⎪⎪-+-+=-⎨⎪--++=⎪⎪≥⎩L（2）1y2y 3y 4y 5y6y4y -3 -1 -1 1 0 0 2 5y -1 2 -1* 0 1 0 -1 6y-1-210 1 1 h-60 -10 -20 0 0 0 0 4y -2 -3 0 1 -1 0 3 3y 1 -2 1 0 1 0 1 6y-20 110 h -40 -50 0 0-20 020问题（2）的最优解为(0,0,1)T y =，最优值为20h =（最小值）． 问题（1）的最优解为(0,0,1)T y =，最优值为20g =-（最大值）．11、用0.618法求解 2min ()(3)t t ϕ=-，要求缩短后的区间长度不超过0.2，初始区间取[0,10]． 解 第一次迭代： 取11[,][0,10],0.2a b ε==． 确定最初试探点11,λμ分别为11110.382() 3.82a b a λ=+-=，11110.618() 6.18a b a μ=+-=．求目标函数值：21()(3.823)0.67ϕλ=-=，21()(6.183)10.11ϕμ=-=． 比较目标函数值：11()()ϕλϕμ<． 比较11 6.1800.2a με-=->=．212121210, 6.18, 3.82,()()0.67a a b μμλϕμϕλ========．2222220.382()0.382(6.180) 2.36,()(2.363)0.4a b a λϕλ=+-=-==-=．2222()(), 3.82a ϕλϕμμε<-=>． 第三次迭代：323232320, 3.82, 2.36,()()0.4a a b μμλϕμϕλ========．2333330.382()0.382(3.820) 1.46,()(1.463) 2.37a b a λϕλ=+-=-==-=．3333()(), 3.82 1.46b ϕλϕμλε>-=->． 第四次迭代：434343431.46, 3.82, 2.36,()()0.4a b b λλμϕλϕμ========．444440.618() 1.460.0.618(3.82 1.46) 2.918,()0.0067a b a μϕμ=+-=+-==． 4444()(), 3.82 2.36b ϕλϕμλε>-=->． 第五次迭代：545454542.36, 3.82, 2.918,()()0.0067a b b λλμϕλϕμ========．555550.618() 3.262,()0.0686a b a μϕμ=+-==． 5555()(), 3.262 2.36a ϕλϕμμε<-=->． 第六次迭代：656565652.36, 3.262, 2.918,()()0.0067a a b μμλϕμϕλ========．666660.382() 2.7045,()0.087a b a λϕλ=+-==．6666()(), 3.262 2.7045b ϕλϕμλε>-=->． 第七次迭代：767676762.7045, 3.262, 2.918,()()0.0067a b b λλμϕλϕμ========．777770.618() 3.049,()0.002a b a μϕμ=+-==． 7777()(),b ϕλϕμλε>->．878787872.918, 3.262, 3.049,()()0.002a b b λλμϕλϕμ========．888880.618() 3.131,()0.017a b a μϕμ=+-==． 8888()(),a ϕλϕμμε<->． 第九次迭代：989899982.918, 3.131, 3.049,()()0.002a a b μμλϕμϕλ========．999990.382() 2.999,()0.000001a b a λϕλ=+-==． 9999()(), 3.049 2.918a ϕλϕμμε<-=-<． 故993.0242x λμ+==．12、用最速下降法求解 22112212min ()2243f x x x x x x x =++--，取(0)(1,1)T x =，迭代两次．解 1212()(224,243)T f x x x x x ∇=+-+-， 将()f x 写成1()2TT f x x Qx b x =+的形式，则224,243Q b -⎛⎫⎛⎫== ⎪ ⎪-⎝⎭⎝⎭． 第一次迭代：(0)(0)(1)(0)(0)(0)(0)()()()()()T T f x f x xxf x f x Q f x ∇∇=-∇∇∇ 0(0,3)1013220131/4(0,3)243⎛⎫ ⎪⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭ ⎪⎪⎝⎭⎝⎭． 第二次迭代：(1)(1)(2)(1)(1)(1)(1)()()()()()T T f x f x xx f x f x Q f x ∇∇=-∇∇∇ 3/2(3/2,0)13/27/40223/21/401/4(3/2,0)240-⎛⎫- ⎪-⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪-⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭- ⎪⎪⎝⎭⎝⎭．13、用FR 共轭梯度法求解222123123123min ()()()()f x x x x x x x x x x =-++-++++-，取(0)11(,1,)22T x =，迭代两次．若给定0.01,ε=判定是否还需进行迭代计算． 解 222123121323()3()2()f x x x x x x x x x x =++-++，再写成1()2T f x x Gx =，622262226G --⎛⎫⎪=-- ⎪ ⎪--⎝⎭，()f x Gx ∇=．第一次迭代：(0)()(0,4,0)T f x ∇=，令(0)0()(0,4,0)T d f x =-∇=-，从(0)x 出发，沿0d 进行一维搜索，即求(0)200min ()21648f x d λλλλ≥+=-+的最优解，得(1)(0)0001/6,(1/2,1/3,1/2)T x x d λλ==+=．第一次迭代：(1)()(4/3,0,4/3)T f x ∇=．2(1)02(0)()29()f x f x α∇==∇， (1)100()(4/3,8/9,4/3)T d f x d α=-∇+=---．从(1)x 出发，沿1d 进行一维搜索，即求(1)10142362214181418min ()(,,)262233923392261423f x d λλλλλλλλ≥⎛⎫- ⎪--⎛⎫ ⎪⎪ ⎪+=------ ⎪ ⎪ ⎪-- ⎪⎝⎭ ⎪- ⎪⎝⎭的最优解，得(2)(1)1111/24/333,1/38/9(0,0,0)881/24/3T x x d λλ-⎛⎫⎛⎫ ⎪ ⎪==+=+-= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭．此时(2)(2)()(0,0,0),()00.01T f x f x ε∇=∇=<=．得问题的最优解为(0,0,0)T x =，无需再进行迭代计算．14、用坐标轮换法求解 2212112min ()242f x x x x x x =+--，取(0)(1,1)T x =，迭代一步．解 从点(0)(1,1)T x =出发，沿1(1,0)T e =进行一维搜索， 即求(0)210min ()43f x e λλλλ≥+=--的最优解，得(1)(0)0012,(3,1)T x x e λλ==+=．再从点(1)x 出发，沿2(0,1)T e =进行一维搜索， 即求(1)220min ()227f x e λλλλ≥+=--的最优解，得(2)(1)1121/2,(3,3/2)T x x e λλ==+=．15、用Powell 法求解2212112min ()3f x x x x x x =+--，取(0)(0,0)T x =，初始搜索方向组01(0,1),(1,0)T T d d ==，给定允许误差0.1ε=（迭代两次）． 解 第一次迭代：令(0)(0)(0,0)T y x ==，从点(0)y 出发沿0d 进行一维搜索，易得(1)(0)0000,(0,0)T y y d λλ==+=；接着从点(1)y 出发沿1d 进行一维搜索，得(2)(1)11133,(,0)22T y y d λλ==+=由此有加速方向 (2)(0)23(,0)2T d y y =-=．因为23/2d ε=>，所以要确定调整方向．由于 (0)(1)(2)9()0,()0,()4f y f y f y ===-，按（8.4.17）式有(1)(2)()(1)()()max{()()|0,1}j j f y f y f y f y j +-=-=，因此1m =，并且()(1)(1)(2)9()()()()4m m f y f y f y f y +-=-=．又因(2)(0)(2)0f y y -=，故（8.4.18）式不成立．于是，不调整搜索方向组，并令(1)(2)3(,0)2T x y ==．第二次迭代：取(0)(1)3(,0)2T y x ==，从点(0)y 出发沿0d 作一维搜索，得(1)(0)000333,(,)424T y y d λλ==+=．接着从点(1)y 出发沿方向1d 作一维搜索，得(2)(1)1113153,(,)884Ty y d λλ==+=． 由此有加速方向(2)(0)233(,)84T d y y =-=．因为235d ε=>，所以要确定调整方向．因(0)(1)(2)945189(),(),()41664f y f y f y =-=-=-， 故按（8.4.17）式易知0m =，并且()(1)(0)(1)9()()()()16m m f y f y f y f y +-=-=． 由于(2)(0)45(2)16f y y -=-， 因此（8.4.18）式成立。
《最优化方法》课程复习考试.doc
《最优化方法》复习提要 第一章最优化问题与数学预备知识§1.1模型无约束最优化问题 min /（x ）, x =（旺,兀2,…心）'w R"・A约束最优化问题疋简（兀）》0,心1,2,・・・,加也（兀）=0,丿=1,2,・・・,"） min /（x ）;s.t. gQ ）nO,i = l,2,…，加，hj （x ） = 0,j = \,2,・・・,l ・其中.f （X ）称为目标函数，西,兀2,…，暫称为决策变量，S 称为可行域，gQ ） no （心1,2,…,加）,勺（兀） = 0。
= 1,2,…丿）称为约束条件. §1. 2多元函数的梯度、Hesse 矩阵及Tayloi •公式定义设f:R“TR,J^R“・如果％维向量〃，VAre R n,有+ Ax) -f(x) = p T\x + 0(||Ax||)・则称/（x ）在点元处町微，并称df （x ） = p T\x 为/（x ）在点元处的微分.如果/（X ）在点元处对丁」=（兀“2，・・・,£）丁的各分量的偏导数。
/(元)d x i都存在，则称/（兀）在点元处一阶可导，并称向量为/（兀）在点元处一阶导数或梯度.定理1设f :R n^R,xeR n・如果/（兀）在点元处可微,则/（兀）在点元处梯度V/(x)存在，并且有#(x) = W)7'Ar .定义 设f:R"TR,J^R“・d 是给定的n 维非零向量，e = 2・如杲 dmin /(兀)；即 vS.t. X G S.V/(x)=(df(x)T。
/（可。
/（元）Um /a + 2e ）-V （x ）久TO2存在，则称此极限为/（x ）在点元沿方向d 的方向导数，记作冬学.da定理2设f :R n^R,xeR n.如果/（兀）在点元处可微,则/（兀）在点元处沿任何非零方向d 的方向导数存在，且= VA 元）。
,其中丘=厶~・daa定义 设/（兀）是/?"上的连续函数，xeR n. d 是〃维非零向量.如果3^＞0,使得V2w （O0）,有/（x + 2J ）＜ （＞） /（x ）.则称d 为f （兀）在点元处的下降（上 升）方向.定理3设f:R n^R.xeR n,且/（兀）在点元处可微,如果日非零向量de R n9 使得Vf （x ）Td ＜ （＞） 0,则d 是/（兀）在点元处的下降（上升）方向.定义 设f:R”TR,HeR”・如果/（兀）在点元处对丁自变量x = （x p x 2,---,x /J ）7'的 各分量的二阶偏导数£単匕丿・=1,2,…,）都存在，则称函数/（兀）在点元处二阶 U Xj 可导，并称矩阵为/（x ）在点元处的二阶导数矩阵或Hesse 矩阵.定义 设h:R" 记/1（兀）=（肉（兀）,爲（兀）,・・・,饥（兀））7',如果勺• （x ） （i = 1,2,…，加）在点元处对于自变量x =（兀］,吃,…£）丁的各分量的偏导数d 2x } 扌/（元） dx }dx 2 巧(元) d 2f(x) 3 x 2d• d 2x 2• d x^d x n L n• •■d 2f(x) ■97(^) • •d 2f(x)d x n d X] d x n d x 2d 2f(x)V 2/(x)丿号⑴(i = 1,2,…，加;J = 1,2,…加 dx f都存在，则称向量函数加对在点元处是一阶可导的，并且称矩阵为/?（%）在点x 处的一阶导数矩阵或Jacobi 矩阵,例2 设aw R",xw R",bw R ,求f （x ） = a Tx-{-h 在任意点兀处的梯度和Hesse 矩阵.解 设0 =（绚卫2，・・・,％）/,兀=（旺,兀2，・・・,£）‘，则/（兀）=工绞母+b ,k=\因。
《最优化方法》复习题.docx
《最优化方法》复习题一、 简述题1、怎样判断一个函数是否为凸函数.(例如:判断函数f(x) =昇+ 2兀內+ 2近一 10州+ 5兀2是否为凸函数)2、 写出几种迭代的收敛条件.3、 熟练掌握利用单纯形表求解线性规划问题的方法(包括大M 法及二阶段法).见书本61页(利用单纯形表求解)；69页例题(利用大M 法求解、二阶段法求解)； 4、 简述牛顿法和拟牛顿法的优缺点.简述共辘梯度法的基木思想.写岀Goldstein> Wolfe 非精确一维线性搜索的公式。
5、叙述常用优化算法的迭代公式.心=务+吕—％),化-知1仏二务+召一色)(3) Newton —维搜索法的迭代公式：x k+i = x k -G~'g k ・ (4) 推导最速下降法用于问题min/(x) = —++ c 的迭代公式:耳+1 二无一-VfgS k G k gx k(5) Newton 法的迭代公式：x k+] = x k -[V 2/(^)]_l V/*(x A )・ (6) 共轨方向法用于问题min/(x)=丄x rQx+b 1x + c 的迭代公式:2忑+1 =J二、计算题双折线法练习题 课本135页 例3.9.1FR 共辘梯度法例题：课本150页 例4.3.5(1) 0.618法的迭代公式:A- =ak +（1-厂）（勺一务）,(2) Fibonacci 法的迭代公式: 伙= 1,2,…,一1）二次规划有效集：课本213页例6.3.2,所有留过的课后习题.三、练习题：1、 设A G R ,iXn是对称矩阵，bwR”，cwR,求/(%) =丄*心+戻兀+ c 在任意点x 处 的梯度和Hesse 矩阵.解 V/*(x) = Ar + /?, V 2/(x) = A ・2、 设0(/) = /(兀 + 力)，其屮/:/?" T R 二阶可导，XG R\de R\te R ,试求0"(/)・解 0(/) = W(x + /d) 丁4,矿⑴=dF f(x~Hd)d .3、 证明：凸规划min f(x)的任意局部最优解必是全局最优解.xeS证明 用反证法.设住S 为凸规划问题min /(x)的局部最优解，即存在丘的某xeS个5邻域N s (x),使f(x)<f(x)yxeN 6(x)C\S ・若元不是全局最优解，则存在花S,使/(i) < /(x)・由于/(兀)为S 上的凸函数，因此VA G (0,1),有/(Ax + (1-2)x) < 2/(x) + (1-2)/(x) < f(x)・当2充分接近1时，可使2元+(1 — 2)农 皿(元)「IS,于是/(x)</(2x + (l-/i)x), 矛盾.从而元是全局最优解.min f(x) = 2x t -x 2 +x 3; s.t. 3兀］+ x 2 + x 3 < 60,x l - 2X 2 + 2X 3 <10,%! + x 2 - x 3 < 20, (1)用单纯形法求解该线性规划问题;(2)写出线性规划的对偶问题;解 (1)引进变量兀，兀5,兀6,将给定的线性规划问题化为标准形式:min /(%) = 2x t -x 2 +x 3; s.t. 3x ( + 兀 + 耳 + % = 60,%j - 2X 2 + 2X 3 + 冯=10,所给问题的最优解为x = （0,20,0）r ,最优值为/ = -20・4、已知线性规划:（2）所给问题的对偶问题为：max g（y） = -60^-10^ - 20%；皿_3”_旳_儿52,< _必+2旳_儿S_l，一开_2旳 + %<1，儿力*3»°・5、用0.618法求解min 0（f） = （f-3尸，要求缩短后的区间长度不超过0.2,初始区间取[0,10]・解第一次迭代：取y [0,10],£ = 0.2.确定最初试探点人，“分别为入=^+0.382（^-^,） = 3.82, M =坷+0.618（勺一马）=6・18 .求目标函数值：°（人）=（3.82— 3）2 =0.67, °（“）= （6.18 — 3）2 =10.11.比较目标函数值：0（人）< 0（"）・比较 //| —6f| = 6.18 — 0 > 0.2 = E ・第二次迭代：a2 = a x = 0,Z?2= “| = 6.18,/ =人=3.82,。
《最优化方法》复习题(含答案)
附录5 《最优化方法》复习题1、设n n A R ⨯∈是对称矩阵，,n b R c R ∈∈，求1()2TT f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵．解 2(),()f x Ax b f x A ∇=+∇=．2、设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ϕ''． 解 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令()()()()()T TT Tdd f x f x H I d f x f x f x ∇∇=--∇∇∇， 其中I 为单位矩阵，证明方向()p H f x =-∇也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ∇<，从而()()()T T f x p f x H f x ∇=-∇∇()()()()()()()()T TTT T dd f x f x f x I f x d f x f x f x ∇∇=-∇--∇∇∇∇()()()0T T f x f x f x d =-∇∇+∇<，所以，方向p 是函数()f x 在点x 处的下降方向． 4、n S R ⊆是凸集的充分必要条件是12122,,,,,,,,m m m x x x S x x x ∀≥∀∈的一切凸组合都属于S ．证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令11k i i i x x λ+==∑，其中,0,1,2,,1i i x S i k λ∈≥=+，且111k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈，结论成立），记111kii i k y x λλ=+=-∑，有111(1)k k k x y x λλ+++=-+，又1110,1,2,,,111kiii k k i k λλλλ=++≥==--∑，则由归纳假设知，y S ∈，而1k x S +∈，且S 是凸集，故x S ∈．5、设n R S ⊆为非空开凸集，R S f →:在S 上可微，证明：f 为S 上的凸函数的充要条件是2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．证明 必要性．设f 是S 上的凸函数，则12,x x S ∀∈及(0,1)λ∈，有2121((1))()(1)()f x x f x f x λλλλ+-≤+-，于是121121(())()()()f x x x f x f x f x λλ+--≤-，因S 为开集，f 在S 上可微，故令0λ+→，得12121()()()()T f x x x f x f x ∇-≤-，即2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．充分性．若有2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈， 则[0,1]λ∀∈，取12(1)x x x S λλ=+-∈，从而11()()()()T f x f x f x x x ≥+∇-，22()()()()T f x f x f x x x ≥+∇-，将上述两式分别乘以λ和1λ-后，相加得1212()(1)()()()((1))T f x f x f x f x x x x λλλλ+-≥+∇+--12()((1))f x f x x λλ==+-，所以f 为凸函数．6、证明：凸规划min ()x Sf x ∈的任意局部最优解必是全局最优解．证明 用反证法．设x S ∈为凸规划问题min ()x Sf x ∈的局部最优解，即存在x 的某个δ邻域()N x δ，使()(),()f x f x x N x S δ≤∀∈．若x 不是全局最优解，则存在x S ∈，使()()f x f x <．由于()f x 为S 上的凸函数，因此(0,1)λ∀∈，有((1))()(1)()()f x x f x f x f x λλλλ+-≤+-<．当λ充分接近1时，可使(1)()x x N x S δλλ+-∈，于是()((1))f x f x x λλ≤+-，矛盾．从而x 是全局最优解．7、设n R S ⊆为非空凸集，R S f →:是具有一阶连续偏导数的凸函数，证明：x 是问题min ()x Sf x ∈的最优解的充要条件是：()()0,T f x x x x S ∇-≥∀∈．证明 必要性．若x 为问题min ()x Sf x ∈的最优解．反设存在x S ∈，使得()()0T f x x x ∇-<，则d x x =-是函数()f x 在点x 处的下降方向，这与x 为问题min ()x Sf x ∈的最优解矛盾．故()()0,T f x x x x S ∇-≥∀∈．充分性．若()()0,T f x x x x S ∇-≥∀∈．反设存在x S ∈，使得()()f x f x <．(())()((1))()f x x x f x f x x f x λλλλλ+--+--=()(1)()()()()0((0,1)f x f x f x f x f x λλλλ+--≤=-<∀，因S 为凸集，f 在S 上可微，故令0λ+→，得()()()()0T f x x x f x f x ∇-≤-<，这与已知条件矛盾，故x 是问题min ()x Sf x ∈的最优解．8、设函数()f x 具有二阶连续偏导数，k x 是()f x 的极小点的第k 次近似，利用()f x 在点k x 处的二阶Taylor 展开式推导Newton 法的迭代公式为 211[()]()k k k k x x f x f x -+=-∇∇．证明 由于()f x 具有二阶连续偏导数，故21()()()()()()()()2T T k k k k k k f x x f x f x x x x x f x x x ϕ≈=+∇-+-∇-．且2()k f x ∇是对称矩阵，因此()x ϕ是二次函数．为求()x ϕ的极小点，可令()0x ϕ∇=，即2()()()0k k k f x f x x x ∇+∇-=，若2()k f x ∇正定，则上式解出的()x ϕ的平稳点就是()x ϕ的极小点，以它作为()f x 的极小点的第1k +次近似，记为1k x +，即211[()]()k k k k x x f x f x -+=-∇∇，这就得到了Newton 法的迭代公式.9、叙述常用优化算法的迭代公式．（1）0.618法的迭代公式：(1)(),().k k k k k k k k a b a a b a λτμτ=+--⎧⎨=+-⎩（2）Fibonacci 法的迭代公式：111(),(1,2,,1)()n k kk k k n k n k k k k k n k F a b a F k n F a b a F λμ---+--+⎧=+-⎪⎪=-⎨⎪=+-⎪⎩．（3）Newton 一维搜索法的迭代公式： 1()()k k k k t t t t ϕϕ+'=-''． （4）最速下降法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()()()()()T k k k k k Tk k f x f x x x f x f x Q f x +∇∇=-∇∇∇ （5）Newton 法的迭代公式：211[()]()k k k k x x f x f x -+=-∇∇． （6）共轭方向法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()T k kk k k Tk kf x d x x d d Qd +∇=-． 10、已知线性规划：123123123123123min ()2;..360,2210,20,,,0.f x x x x s t x x x x x x x x x x x x =-+⎧⎪++≤⎪⎪-+≤⎨⎪+-≤⎪⎪≥⎩（1）用单纯形法求解该线性规划问题的最优解和最优值； （2）写出线性规划的对偶问题； （3）求解对偶问题的最优解和最优值．解 （1）引进变量456,,x x x ，将给定的线性规划问题化为标准形式：123123412351236126min ()2;..360,2210,20,,,,0.f x x x x s t x x x x x x x x x x x x x x x =-+⎧⎪+++=⎪⎪-++=⎨⎪+-+=⎪⎪≥⎩所给问题的最优解为(0,20,0)T x =，最优值为20f =-． （2）所给问题的对偶问题为：123123123123123max ()601020;..32,21,21,,,0.g y y y y s t y y y y y y y y y y y y =---⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩（1） （3）将上述问题化成如下等价问题：123123123123123min ()601020;..32,21,21,,,0.h y y y y s t y y y y y y y y y y y y =++⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩引进变量456,,y y y ，将上述问题化为标准形式：123123412351236126min ()601020;..32,21,21,,,,0.h y y y y s t y y y y y y y y y y y y y y y =++⎧⎪---+=⎪⎪-+-+=-⎨⎪--++=⎪⎪≥⎩ （2）问题（2）的最优解为(0,0,1)T y =，最优值为20h =（最小值）． 问题（1）的最优解为(0,0,1)T y =，最优值为20g =-（最大值）．11、用0.618法求解 2min ()(3)t t ϕ=-，要求缩短后的区间长度不超过0.2，初始区间取[0,10]． 解 第一次迭代： 取11[,][0,10],0.2a b ε==． 确定最初试探点11,λμ分别为11110.382() 3.82a b a λ=+-=，11110.618() 6.18a b a μ=+-=．求目标函数值：21()(3.823)0.67ϕλ=-=，21()(6.183)10.11ϕμ=-=． 比较目标函数值：11()()ϕλϕμ<． 比较11 6.1800.2a με-=->=． 第二次迭代：212121210, 6.18, 3.82,()()0.67a a b μμλϕμϕλ========．2222220.382()0.382(6.180) 2.36,()(2.363)0.4a b a λϕλ=+-=-==-=．2222()(), 3.82a ϕλϕμμε<-=>．323232320, 3.82, 2.36,()()0.4a a b μμλϕμϕλ========．2333330.382()0.382(3.820) 1.46,()(1.463) 2.37a b a λϕλ=+-=-==-=．3333()(), 3.82 1.46b ϕλϕμλε>-=->． 第四次迭代：434343431.46, 3.82, 2.36,()()0.4a b b λλμϕλϕμ========．444440.618() 1.460.0.618(3.82 1.46) 2.918,()0.0067a b a μϕμ=+-=+-==． 4444()(), 3.82 2.36b ϕλϕμλε>-=->． 第五次迭代：545454542.36, 3.82, 2.918,()()0.0067a b b λλμϕλϕμ========．555550.618() 3.262,()0.0686a b a μϕμ=+-==． 5555()(), 3.262 2.36a ϕλϕμμε<-=->． 第六次迭代：656565652.36, 3.262, 2.918,()()0.0067a a b μμλϕμϕλ========．666660.382() 2.7045,()0.087a b a λϕλ=+-==．6666()(), 3.262 2.7045b ϕλϕμλε>-=->． 第七次迭代：767676762.7045, 3.262, 2.918,()()0.0067a b b λλμϕλϕμ========．777770.618() 3.049,()0.002a b a μϕμ=+-==． 7777()(),b ϕλϕμλε>->． 第八次迭代：878787872.918, 3.262, 3.049,()()0.002a b b λλμϕλϕμ========．888880.618() 3.131,()0.017a b a μϕμ=+-==． 8888()(),a ϕλϕμμε<->．989899982.918, 3.131, 3.049,()()0.002a a b μμλϕμϕλ========．999990.382() 2.999,()0.000001a b a λϕλ=+-==． 9999()(), 3.049 2.918a ϕλϕμμε<-=-<． 故993.0242x λμ+==．12、用最速下降法求解 22112212min ()2243f x x x x x x x =++--，取(0)(1,1)T x =，迭代两次．解 1212()(224,243)T f x x x x x ∇=+-+-， 将()f x 写成1()2TT f x x Qx b x =+的形式，则224,243Q b -⎛⎫⎛⎫== ⎪ ⎪-⎝⎭⎝⎭． 第一次迭代：(0)(0)(1)(0)(0)(0)(0)()()()()()T T f x f x xxf x f x Q f x ∇∇=-∇∇∇ 0(0,3)1013220131/4(0,3)243⎛⎫ ⎪⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭⎪⎪⎝⎭⎝⎭． 第二次迭代：(1)(1)(2)(1)(1)(1)(1)()()()()()T T f x f x xx f x f x Q f x ∇∇=-∇∇∇ 3/2(3/2,0)13/27/40223/21/401/4(3/2,0)240-⎛⎫- ⎪-⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪-⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭- ⎪⎪⎝⎭⎝⎭． 13、用FR 共轭梯度法求解222123123123min ()()()()f x x x x x x x x x x =-++-++++-，取(0)11(,1,)22T x =，迭代两次．若给定0.01,ε=判定是否还需进行迭代计算． 解 222123121323()3()2()f x x x x x x x x x x =++-++，再写成1()2T f x x Gx =，622262226G --⎛⎫⎪=-- ⎪ ⎪--⎝⎭，()f x Gx ∇=．第一次迭代：(0)()(0,4,0)T f x ∇=，令(0)0()(0,4,0)T d f x =-∇=-，从(0)x 出发，沿0d 进行一维搜索，即求(0)200min ()21648f x d λλλλ≥+=-+的最优解，得(1)(0)0001/6,(1/2,1/3,1/2)T x x d λλ==+=．第一次迭代：(1)()(4/3,0,4/3)T f x ∇=．2(1)02(0)()29()f x f x α∇==∇， (1)100()(4/3,8/9,4/3)T d f x d α=-∇+=---．从(1)x 出发，沿1d 进行一维搜索，即求(1)10142362214181418min ()(,,)262233923392261423f x d λλλλλλλλ≥⎛⎫- ⎪--⎛⎫ ⎪⎪⎪+=------ ⎪ ⎪ ⎪-- ⎪⎝⎭ ⎪- ⎪⎝⎭的最优解，得(2)(1)1111/24/333,1/38/9(0,0,0)881/24/3T x x d λλ-⎛⎫⎛⎫ ⎪ ⎪==+=+-= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭．此时(2)(2)()(0,0,0),()00.01T f x f x ε∇=∇=<=．得问题的最优解为(0,0,0)T x =，无需再进行迭代计算．14、用坐标轮换法求解 2212112min ()242f x x x x x x =+--，取(0)(1,1)T x =，迭代一步．解 从点(0)(1,1)T x =出发，沿1(1,0)T e =进行一维搜索， 即求(0)210min ()43f x e λλλλ≥+=--的最优解，得(1)(0)0012,(3,1)T x x e λλ==+=．再从点(1)x 出发，沿2(0,1)T e =进行一维搜索， 即求(1)220min ()227f x e λλλλ≥+=--的最优解，得(2)(1)1121/2,(3,3/2)T x x e λλ==+=．15、用Powell 法求解2212112min ()3f x x x x x x =+--，取(0)(0,0)T x =，初始搜索方向组01(0,1),(1,0)T T d d ==，给定允许误差0.1ε=（迭代两次）． 解 第一次迭代：令(0)(0)(0,0)T y x ==，从点(0)y 出发沿0d 进行一维搜索，易得(1)(0)0000,(0,0)T y y d λλ==+=；接着从点(1)y 出发沿1d 进行一维搜索，得(2)(1)11133,(,0)22T y y d λλ==+=由此有加速方向 (2)(0)23(,0)2T d y y =-=．因为23/2d ε=>，所以要确定调整方向．由于 (0)(1)(2)9()0,()0,()4f y f y f y ===-，按（8.4.17）式有(1)(2)()(1)()()max{()()|0,1}j j f y f y f y f y j +-=-=，因此1m =，并且()(1)(1)(2)9()()()()4m m f y f y f y f y +-=-=． 又因(2)(0)(2)0f y y -=，故（8.4.18）式不成立．于是，不调整搜索方向组，并令(1)(2)3(,0)2T x y ==．第二次迭代：取(0)(1)3(,0)2T y x ==，从点(0)y 出发沿0d 作一维搜索，得(1)(0)000333,(,)424T y y d λλ==+=．接着从点(1)y 出发沿方向1d 作一维搜索，得(2)(1)1113153,(,)884Ty y d λλ==+=． 由此有加速方向(2)(0)233(,)84T d y y =-=．因为2d ε=>，所以要确定调整方向．因(0)(1)(2)945189(),(),()41664f y f y f y =-=-=-， 故按（8.4.17）式易知0m =，并且()(1)(0)(1)9()()()()16m m f y f y f y f y +-=-=． 由于(2)(0)45(2)16f y y -=-， 因此（8.4.18）式成立。
最优化方法试题及答案
最优化方法试题及答案一、选择题1. 下列哪项不是最优化方法的特点？A. 目标性B. 可行性C. 多样性D. 随机性答案：D2. 在最优化问题中，约束条件的作用是什么？A. 限制解的可行性B. 增加问题的复杂性C. 提供额外的信息D. 以上都是答案：A3. 线性规划问题中，目标函数与约束条件之间的关系是什么？A. 无关B. 相等C. 线性D. 非线性答案：C二、简答题1. 简述最优化问题的基本构成要素。
答案：最优化问题的基本构成要素包括目标函数、决策变量、约束条件和解的可行性。
目标函数是衡量最优化问题解的质量的函数，决策变量是问题中需要确定的参数，约束条件是对决策变量的限制，解的可行性是指解必须满足所有约束条件。
2. 什么是局部最优解和全局最优解？请举例说明。
答案：局部最优解是指在问题的邻域内没有其他解比当前解更优的解，而全局最优解是指在整个解空间中最优的解。
例如，在山峰攀登问题中，局部最优解可能是到达了一个小山丘的顶部，而全局最优解是到达了最高峰的顶部。
三、计算题1. 假设一个农民有一块矩形土地，长为100米，宽为80米，他想在这块土地上建一个矩形的养鸡场，但只能沿着土地的长边布置。
如果养鸡场的一边必须靠在土地的长边上，另一边与土地的宽边平行，求养鸡场的最大面积。
答案：为了使养鸡场的面积最大，养鸡场的一边应该靠在土地的宽边上，另一边与土地的长边平行。
这样，养鸡场的长将是80米，宽将是100米，所以最大面积为80米 * 100米 = 8000平方米。
2. 一个工厂需要生产三种产品A、B和C，每种产品都需要使用机器X 和机器Y。
生产一个单位的产品A需要机器X工作2小时和机器Y工作1小时；产品B需要机器X工作3小时和机器Y工作2小时；产品C需要机器X工作1小时和机器Y工作3小时。
工厂每天有机器X总共300小时和机器Y总共200小时的使用时间。
如果工厂每天需要生产至少100单位的产品A，50单位的产品B和20单位的产品C，请问工厂应该如何安排生产以最大化产品的总产量？答案：设生产产品A的单位数为x，产品B的单位数为y，产品C的单位数为z。
《最优化方法》课程复习考试(推荐文档)
《最优化方法》复习提要 第一章 最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂． 定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=． 定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向． 定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵． 定义 设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解 设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解 设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭． 例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解 由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+． 定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明 设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义 设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1） 若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2） 若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3） 若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4） 若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章 最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义 设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点． 注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈， 易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭． 显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈， 解 因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=． 例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明 因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭， 从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭． 因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义 设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈， 则称d 为集合S 在点x 处的可行方向． 这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑． （x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点） 例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点． 解 因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点） 例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点． 解 因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==； 由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点． 定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1） 其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点） 令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解 广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论． （1） 设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2） 设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。
《最优化原理与方法》复习题
《最优化原理与方法》复习题一．美佳公司计划制造 I 、II 两种家电产品。
已知各制造一件时分别占用设备 A 、B 的台时、调试时间、调试工序每天可用于这种家电的能力、各售出一件时的获利情况，如下表所示。
（1）试写出上述问题的数学规划模型； （2）给出求解该模型的lingo 代码。
二．将下列线性规划化为标准型，并列出初始单纯形表。
12341234123412341234min 3425, s.t. 4 22, 314,2322,,,0,;y x x x x x x x x x x x x x x x x x x x x =-+-+-+-=-++-≤-+-+≥≥无约束三．已知线性规划问题;,0,0, ,209 9912 ,85376 ,5 3 s.t. ,432 max 43214321432143214321无约束x x x x x x x x x x x x x x x x x x x x ≤≥≤+--≥-++=--+-+++ 写出其对偶规划。
四．试选用一种方法求解下述线性规划问题;0, , ,623 ,824 s.t. ,32min 32121321321≥≥+≥++++=x x x x x x x x x x x z五. 用表格单纯形法求解线性规划。
.0,, ,224 ,222 s.t. ,max 321321321321≥≤++≤++++=x x x x x x x x x x x x z六. 已知线性规划问题;0, ,3 ,1423 ,42 s.t. ,23max 2121212121≥≤-≤+≤+-+=x x x x x x x x x x z （1） 写出对偶问题；（2） 应用对偶理论证明原问题与对偶问题都存在最优解(不必求解)。
七.已知线性规划问题.,0,0 6 ,4 s.t. ,22 min 32132132321无约束x x x kx x x x x x x x x ≥≤≤-+-=++-+-其最优解为.1,0,5321-==-=x x x 试求 （1）k 的值（2）写出对偶问题并求其最优解八．已知线性规划问题.0,,, 20232 ,20322 s.t. ,432max 4321432143214321≥≤+++≤++++++=x x x x x x x x x x x x x x x x z其对偶问题的最优解为.2.0,2.1*2*1==w w 试根据对偶理论求出原问题的最优解九．已知线性规划问题, ,825 ,943 s.t. ,510max 21212121≥≤+≤++=x x x x x x x x z用单纯形法求得最终表如下所示：试用灵敏度分析的方法判断：(1) 目标函数中价值系数1c 或2c 分别在什么范围内变动，上述最优解不变.(2) 约束条件右端项21,b b 当保持一个不变时，另一个在什么范围内变化时原问题的最优基保持不变。
《最优化方法》课程复习考试
《最优化方法》复习提要 第一章 最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12m in (),(,,,)T n n f x x x x x R =∈ ．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）m in ();...f x s t x S ⎧⎨∈⎩ 即m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g xi m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥=== 称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()Tf x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x = 的各分量的偏导数(),1,2,,if x i nx ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)T nf x f x f x f x x x x ∂∂∂∇=∂∂∂为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇存在，并且有()()T df x f x x =∇∆．定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，d e d=．如果()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂．定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()Tf x f x ed∂=∇∂，其中d e d=．定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向．定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x = 的各分量的二阶偏导数2()(,1,2,,)i jf x i j n x x ∂=∂∂ 都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂⎪ ⎪ ⎪⎪∂∂∂ ⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵．定义 设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x = ，如果()(1,2,,)i h x i m = 在点x处对于自变量12(,,,)T n x x x x = 的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()nnm n m m m n h x h x h x x x x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解 设1212(,,,),(,,,)TTn n a a a a x x x x == ，则1()nkk k f x ax b==+∑，因()(1,2,,)k kf x a k n x ∂==∂ ，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂ ，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2T Tf x x Q x b x c=++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解 设1212(),(,,,),(,,,)T Tij n n n n Q q x x x x b b b b ⨯=== ，则121111(,,,)2n nnn iji j kk i j k f x x x q x x bx c ====++∑∑∑ ，从而111111111()()()nn j j j jj j nn n nj j n nj j j j n f x q x b q x x b f x Q x b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪⎪∂⎛⎫⎪ ⎪⎪ ⎪⎪ ⎪⎪∇===+=+ ⎪⎪ ⎪ ⎪ ⎪∂⎝⎭⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑ ．再对1()(1,2,,)nijj i j if x qx b i n x =∂=+=∂∑ 求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂ ，于是1112121222212()n nn n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪ ⎪⎝⎭． 例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解 由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+． 定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2TT f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明 设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆． 令1t =，有21()()()(),(01)2T Tf x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()Tf x f x f x x x o x x =+∇-+-，221()()()()()()()()2TT f x f x f x x x x x f x x x o x x=+∇-+-∇-+-．§1. 3 最优化的基本术语定义 设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1） 若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2） 若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3） 若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈ ，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4） 若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠ ，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章 最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题m in ()f x 的局部极小点，则()0f x ∇=．定义 设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点． 注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312m in ()f x x x =-，其中212(,)T x x x R =∈，显然2212()(2,3),T f x x x x R∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且222220(),()0600f x f x x ⎛⎫⎛⎫∇=∇=⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ= ，使()()f x f x < ，即x 不是局部极小点．例2 对于无约束最优化问题42241122m in ()2f x x x x x =++，其中212(,)T x x x R =∈，易知3223112122()(44,44)T f x x x x x x x ∇=++，从而得平稳点(0,0)Tx =，并且22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪⎪+⎝⎭⎝⎭． 显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111m in ()33f x x x x x =+--，其中212(,)T x x x R =∈，解 因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪⎪--⎝⎭⎝⎭， 所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f xf x ⎛⎫⎛⎫∇=∇=⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f xf x --⎛⎫⎛⎫∇=∇=⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=． 例 4 试证正定二次函数1()2T Tf x x Q x b x c=++有唯一的严格全局极小点1x Qb -=-，其中Q 为n 阶正定矩阵．证明 因为Q 为正定矩阵，且(),n f x Q x b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →= 在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇ 线性无关．若x 是问题m in ();..()0,1,2,,j f x s t h x j l⎧⎨==⎩ 的局部极小点，则,1,2,,j v R j l ∃∈= ，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x = ． 称12(,,,)T l v v v v = 为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →= 在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0nz R z ∀∈≠，只要()0,1,2,,Tj z h x j l ∇== ，便有2(,)0T xx z L x v z ∇>，则x 是问题m in ();..()0,1,2,,j f x s t h x j l⎧⎨==⎩ 的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭，从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2Tx v ==和(8,8),2Tx v =--=．由于221222(,),()222xx x v L x v h x x v --⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭． 因此1212(){(,)|(,)()0}TM x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义 设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈， 则称d 为集合S 在点x 处的可行方向． 这里{|,(),0}n clS x x R S N x δδ=∈≠∅∀> ．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}TF d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅ ．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩（1） 其中:,:(1,2,,)n n i f R R g R R i m →→= ．令(){|()0,1,2,,}i I x i g x i m === ，其中x 是上述问题（1）的可行点． 定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x处连续，如果x 是问题（1）的局部极小点，则 00F G =∅ ，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0i i i I x u f x u g x ∈∇-∇=∑．（x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点） 例1设1311222m in ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点．解因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--=⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0i i i I x f x u g x ∈∇-∇=∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥= ，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点） 例2求最优化问题21211222m in ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点．解 因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇=⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==； 由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点．定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -= 是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题m in ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1）其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→= ． 并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈== ． 定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l = 在点x处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇ 线性无关．若x 是问题（1）的局部极小点，则 000F G H =∅ ，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}Tj H d h x d j l =∇== ．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l = 在点x处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l = ，且0,0(())i u u i I x ≥∈，使0()1()()()0li i j j i I x j u f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m = 和(1,2,,)j v j l = ，且0,0(1,2,,)i u u i m ≥= ，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212m in ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩ 试判断(1,0)T x =是否为Fritz John 点．解(){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l = 在点x处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇= 线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l = ，使()1()()()0li i jj i I x j f x u g x vh x ∈=∇-∇-∇=∑∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,i u i m ≥=和(1,2,,)j v j l = ，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点） 令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x == ，1212(,,,),(,,,)TTm l u u u u v v v v == ，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -= 是凸函数，()(1,2,,j h x j l =是线性函数，x是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212m in ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩解 广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论． （1） 设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2） 设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。
最优化方法试题
《最优化方法》试题一、 填空题1.设()f x 是凸集n S R ⊂上的一阶可微函数，则()f x 是S 上的凸函数的一阶充要条件是（ ），当n=2时，该充要条件的几何意义是（ ）；2.设()f x 是凸集n R 上的二阶可微函数，则()f x 是n R 上的严格凸函数（ ）（填‘当’或‘当且仅当’）对任意n x R ∈，2()f x ∇是（ ）矩阵；3.已知规划问题22211212121212min 23..255,0z x x x x x x s t x x x x x x ⎧=+---⎪--≥-⎨⎪--≥-≥⎩，则在点55(,)66T x =处的可行方向集为（ ），下降方向集为（ ）。
二、选择题1.给定问题222121212min (2)..00f x x s t x x x x ⎧=-+⎪⎪-+≤⎨⎪-≤⎪⎩，则下列各点属于K-T 点的是（ ）A) (0,0)T B) (1,1)TC) 1(,22T D) 11(,)22T 2.下列函数中属于严格凸函数的是（ ）A) 211212()2105f x x x x x x =+-+ B) 23122()(0)f x x x x =-<C) 2222112313()226f x x x x x x x x =+++- D) 123()346f x x x x =+- 三、求下列问题()22121212121211min 51022..2330420,0f x x x x x s t x x x x x x =+---≤+≤≥取初始点()0,5T。
四、考虑约束优化问题()221212min 4..3413f x x x s t x x =++≥用两种惩罚函数法求解。
五．用牛顿法求解二次函数222123123123()()()()f x x x x x x x x x x =-++-++++- 的极小值。
初始点011,1,22Tx ⎛⎫= ⎪⎝⎭。
《最优化方法》考试试卷
密 封线《最优化方法》考试试卷考试时间 100 分钟一、填空题（每题1、若存在*x D ∈（可行域），并对x D ∀∈有*()()f x f x ≤，则称*x 为最优化问题（M P ）的 解。
2、若在最大化问题中，对于某个基可行解，所有的 ，则这个基可行解是最优解。
3、建立优化模型的三大要素：确定 决策变量、确定 和确定约束条件。
4、设序列{}k x 收敛于*x ，若对于1p ≥有(1)*()*lim,0k pk k x xxxββ+→∞-=<<+∞-则称序列{}k x 是 收敛的。
5、若线性规划问题有最优解，则一定存在一个 是最优解。
6、设nR S ⊂是非空凸集，1:R S f →，如果对任意的)1,0(∈α有)))1((Y X f αα-+ )()1()(Y f X f αα-+∀S Y X ∈,则称f 是S 上的凸函数。
7、一维牛顿法的基本思想是在极小点附近用 多项式近似目标函数()f x ，进而求出极小点的估计值。
8、惩罚函数法主要有外惩罚函数法和 两种形式。
9、在黄金分割法中，在],[b a 内任取21x x <，若＿＿＿＿ ，则],[2*x a x ∈，即向左搜索；若 )()(21x f x f ≥，则 ，即向右搜索。
二、简答题（每题7分，共21分）适用专业年级（方向）：考试方式及要求：1、写出下列问题的Matlab 调用代码1212121212m ax 2..5,0,6221,,0.x x s t x x x x x x x x ++≤-≥+≤≥2、写出用两阶段法求解下列问题的第一阶段的线性规划问题121212112m in 2..2,1,3,,0.x x s t x x x x x x x -++≥-≥≤≥3、写出下列问题的Lagrange 函数及该问题的K-T 条件221212112122121312211212m in (,)(1)(2)..(,)20(,)0(,)0(,)10f x x x x s tg x x x x g x x x g x x xh x x x x =-+-=+-≤=≥=-≤=-+-=密 封线三、建模题（7分）某城市要建设一个自来水供应中心，该中心向城市中n 个用户（用户位置固定）提供输送自来水的服务。
最优化方法考试试题
最优化方法考试试题一、选择题（每题2分，共20分）1、下列哪个选项不是最优化方法的常见应用场景？A.生产计划优化B.金融投资组合优化C.图像处理优化D.自然语言处理优化正确答案：D.自然语言处理优化。
2、下列哪个算法不是求解线性规划问题的常用算法？A.单纯形法B.内点法C.外点法D.牛顿法正确答案：D.牛顿法。
3、下列哪个选项不是整数规划问题的特点？A.变量取值必须是整数B.问题复杂度较高，通常需要特殊算法求解C.在实际应用中比线性规划更为广泛D.可以使用与线性规划相同的方法求解正确答案：D.可以使用与线性规划相同的方法求解。
4、下列哪个选项不是梯度下降法的优点？A.简单易行，易于实现B.能较快地收敛到局部最优解C.对初值不敏感，易于找到全局最优解D.对于大规模数据处理效率较高正确答案：C.对初值不敏感，易于找到全局最优解。
5、下列哪个选项不是模拟退火算法的特点？A.基于概率的搜索方法，有一定的随机性B.在解空间内随机搜索，可以跳出局部最优解的陷阱C.可以找到全局最优解，但需要设置退火温度等参数D.对于组合优化问题通常比暴力搜索算法更快找到最优解正确答案：D.对于组合优化问题通常比暴力搜索算法更快找到最优解。
二、填空题（每空2分，共20分）6.最优化方法中，通常使用__________来衡量一个解的好坏。
正确答案：目标函数。
7.在使用单纯形法求解线性规划问题时，__________是算法终止的条件。
正确答案：迭代次数达到预设的上限。
8.整数规划问题中，如果所有变量都有上限和下限的约束，则称为__________规划问题。
正确答案：背包。
9.在使用模拟退火算法求解组合优化问题时，__________是算法终止的条件。
正确答案：达到预定的迭代次数或者解的变化小于某个给定的阈值。
10.最优化方法中，__________是一种启发式搜索方法，通常用于解决组合优化问题。
正确答案：遗传算法。
最优化问题在现实世界中随处可见，从解决日常生活中的最佳路线问题，到企业寻求最大化利润和最小化成本，最优化方法都发挥着至关重要的作用。
最优化理论复习题
最优化方法复习题一、填空题1、设D X ∈，np R ∈，若0>∃δ，对),0(δα∈∀，都有向量X p α+均在D 内部，则称p为点X 处的一个方向。
2、函数是Matlab 主要的求解0-1规划的函数。
3、表上作业法是在求解运输问题时的一种简化方法，其实质是单纯形法。
4、牛顿法的迭代公式为(1)()2()1()[()]()k k k k X X f X f X +-=-∇∇，而拟牛顿法的迭代公式为，其中k B 是Hesse 近似的正定对称阵。
5、对于约束非线性规划问题一类重要的求解方法就是通过解一系列无约束非线性规划问题以获取原非线性约束问题解的方法，它包括外（二次）罚函数法和内（内点障碍）罚函数法。
6、0-1背包问题用动态规划求解时，其体积的状态转移方程为1k k k k s s a x +=-，质量的状态转移方程为。
8、多目标规划问题(VP )的最优解一定是解，有效解一定是弱有效解，即ab pa wp R R R ⊂⊂。
9、评价函数方法是处理多目标规划问题的主要方法之一，其基本思想是利用评价函数化多目标规划为规划。
10、MATLAB 用于求解多目标优化问题的函数有两个：和fgoalattain 。
11、设序列{}kx收敛于*x ，若对于1p ≥有(1)*()*lim,0k pk k x x xxαα+→∞-=>-则称迭代过程是收敛的。
12、若存在D X ∈*与*X 的一个邻域}|||||{)(**δδ<-∈=X X R X X N n （0>δ为实数），使得对D X N X )(*δ∈∀都有)()(*X f X f ≤，则称*X 是非线性规划问题的最优解。
13、设1:R R f n→在点nR X ∈*处二阶可导，若*()f X ∇=且)(*2X f ∇正定，则*X 是无约束非线性规划问题的严格局部最优解。
14、Fibonacci 法与0.618法的主要区别之一在于：搜索区间长度的缩短率不是采用0.618而是采用。
最优化方法试卷及答案5套【整理版】
《最优化方法》1一、填空题：1．最优化问题的数学模型一般为：____________________________，其中___________称为目标函数，___________称为约束函数，可行域D 可以表示为_____________________________，若______________________________，称*x 为问题的局部最优解，若_____________________________________，称*x 为问题的全局最优解。
2．设f(x)= 212121522x x x x x +-+，则其梯度为___________，海色矩阵___________,令,)0,1(,)2,1(T T d x ==则f(x)在x 处沿方向d 的一阶方向导数为___________，几何意义为___________________________________,二阶方向导数为___________________，几何意义为____________________________________________________________。
3．设严格凸二次规划形式为：012..222)(min 2121212221≥≥≤+--+=x x x x t s x x x x x f则其对偶规划为___________________________________________。
4．求解无约束最优化问题：n R x x f ∈),(min ，设k x 是不满足最优性条件的第k 步迭代点，则：用最速下降法求解时，搜索方向k d =___________ 用Newton 法求解时，搜索方向k d =___________ 用共轭梯度法求解时，搜索方向k d =___________________________________________________________________________。
《最优化方法》试题.doc
《最优化方法》试题一、 填空题1.设Q 为n 阶对称正定矩阵，m n A ⨯为行满秩矩阵，则问题1min ()2..T f x x Qx s t Ax b ⎧=⎪⎨⎪=⎩的K-T 点为（ ）；2.42112min ()(2)(2)f x x x x =-+-的平稳点为（ ），该平稳点（ ）（填‘是’或‘不是’）局部最优解；3.设ˆx 是问题min ()..,,m n n m f x s t Ax b A R x R b R ⨯⎧⎪≥⎨⎪∈∈∈⎩的可行解，则在ˆx处有1122ˆˆ,,A x b A x b =>其中1212(,),(,)T T T T T T A A A b b b ==，则0d ≠是ˆx 的下降方向的充要条件为（ ），0d ≠是ˆx 的可行方向的充要条件为（ ）。
二． 运用0.618法求()2min 2+-=x x x f在区间]3,1[-上的极小点。
要求最终区间长度不大于原区间长度的0.08倍。
（计算结果精确到0.001）三、用最速下降法求解无约束问题 ()()()22213423min -+-=x x x f ，取初始点()()Tx 3,41=。
四、证明题1.用牛顿法求函数1()2T T f x x Ax b x c =++（A 为对称正定矩阵）的极小值只需一次迭代；2.罚函数内点法定义惩罚函数(,)()()G x r f x r B x =+，（其中()0B x >）。
设1(1,)k k r r k +>= 产生序列{}()k x ，证明：（1）(1)()1(,)(,)k k k k G x r G x r ++≤；（2）(1)()()()k k B x B x +≥；（3）(1)()()()k k f x f x +≤.五、求约束问题⎩⎨⎧=-+=-++=0109..min 212221221x x x x t s x x f 的Kuhn —Tucker 点。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《最优化方法》复习题第一章概述(包括凸规划)一、判断与填空题ar§ max /W =玄生min【―/(兀)】・71xeR n xeR n2max |/(x): x e D o }= - min [f(x): x e D Q R H\ x3设f : D u RJ R・若T wR”,对于一切xeR n恒有/(Z)</(x),则称T为最优化问题m in fM的全局最优解.xxeD4设f •・D U RJ R.若Z eD ,存在F的某邻域Ng,使得对一切恒有/U*)</(兀)，则称T为最优化问题min /(兀)的严格局部最xeD优解.X5给定一个最优化问题，那么它的最优值是一个定值.V6非空集合D匸/?"为凸集当且仅当D屮任意两点连线段上任一点属于D. V 7非空集合D o 7?"为凸集当J1仅当D中任意有限个点的凸组合仍属于D. V 8任意两个凸集的并集为凸集.x9 函数f : D匸R” T R为凸集£>上的凸函数当且仅当—/为D上的凹函数.V1()设f : D u R” T R为凸集D上的可微凸函数，Z G Z).则对V XG D,有/(x)-/(x*)<V/(x*/(x-x*). x11若c(兀)是凹函数，则D = {xeR n\ c(x) > 0}是凸集。
V12设{*}为由求解min的算法A产生的迭代序列，假设算法A为下降算法，XG D则对\^^{0,1,2,・・・},恒有____ /(x A.+1)< f(x k) ____________ :13算法迭代时的终止准则（写出三种）： ____________________________ o 14凸规划的全体极小点组成的集合是凸集。
V15函数f : D u R“ T R在点（'沿着迭代方向d* eR n \ ｛（）｝进行精确一维线搜索的步长匕.，则其搜索公式为_____________________________ .16函数f •. D匚R“ T R在点*•沿着迭代方向d k e/?z, \｛0｝进行梢确一•维线搜索的步长匕，则V/（x A+a k d k Yd k = ___________ 0 .17设d k eR n\｛0｝为点/ w D匸R“处关于区域D的一个下降方向，则对于Va >0, 3«G（0,a）使得x二、简述题1写出Wolfe-Powell非精确一维线性搜索的公式。
2怎样判断一个函数是否为凸函数.（例如:判断函数/（x） = xf +2兀|兀2 +2兀;一10兀1 +5兀2是否为凸函数）三、证明题1证明一个优化问题是否为凸规划.（例如1Z* T—X Gx + c x + b2判断s.t. Ax = b（其小G是正定矩阵）是凸规划.x>02熟练掌握凸规划的性质及英证明.第二章线性规划考虑线性规划问题：(LP)min c xs.t. Ax = b, x>Q.其中,ceR\ AeR mx\ b e R m为给定的数据，且rankA = m, m<n.一、判断与选择题1 (LP)的基解个数是有限的.J2若(LP)有最优解，则它一定有基可行解为最优解.V2(LP)的解集是凸的.V4对于标准型的(LP),设{?}由单纯形算法产生，则对"{0,1,2,・・・},冇c T x k >c T x k+}. X5若T为(LP)的最优解，/为(DP)的可行解，则c T x>b T y\ V6设兀。
是线性规划(LP)对应的基B = (P“・・,PJ的基可行解，与基变量州，…,心对应的规范式中，若存在<r, < 0 ,则线性规划(LP)没冇最优解。
X7求解线性规划(LP)的初始基可行解的方法：_______________________ .8对于线性规划(LP),每次迭代都会使目标函数值下降.X二、简述题1将以下线性规划问题化为标准型：max f（x） = x, - 2X2 + 3x3s.t. x, + x2 + < 6，%! + 2兀2 + 4X3 > 12,x, - x2 + x3 > 2,x2 > 0, x3 > 0.2写出以卜•线性规划的对偶线性规划：max /（%） = 3%j + 2x2 + 心 + 4x4s.t. 2x）+ 4X2 + 3 兀3 + 兀=6,一2xj + 4兀2 + 3兀3 + 兀4 » 3,X], x2,兀3，兀、0.三、计算题熟练掌握利用单纯形表求解线性规划问题的方法（包括大M法及二阶段法）.见书本：例2.5.1 （利用单纯形表求解）；例2.6.1 （利用大M法求解）；例2.6.2 （利用二阶段法求解）.四、证明题熟练掌握对偶理论（弱对偶理论、强对偶理论以及互补松弛条件）及利用对偶理论证明相关结论。
第三章无约束最优化方法一、判断与选择题1设G w R旳为正定矩阵，则关于G共觇的任意“ + 1向量必线性相关.V2在牛顿法中，每次的迭代方向都是下降方向.X3经典Newton法在相继两次迭代小的迭代方向是正交的.X3PRP共辘梯度法与BFGS算法都属于Broyden族拟Newton算法.X5用DFP算法求解正定二次函数的无约束极小化问题，则算法屮产生的迭代方向一定线性无关.V6 FR共轨梯度法、PRP共轨梯度法、DFP算法、及BFGS算法均具冇二次收敛性.X7共饥梯度法、共辘方向法、DFP算法以及BFGS算法都具有二次终止性.V 8函数广/T 一/?在卡处的最速下降方向为 _____________________________ .9求解mi n f(x)的经典Newton法在处的迭代方向为// = ___________________ .xeR n10若7(兀)在/的邻域内具有一阶连续的偏导数= 则T为的局部极小点.x11若/(兀)在F的某邻域内具有二阶连续的偏导数11F为/(Q的严格局部极小点，则G* =V；/(x^)正定.X12求解min 的最速下降法在十'处的迭代方向为〃 = ___________ .X€/?n13求解min/W的阻尼Newton法在*处的迭代方向为p k = __________________ .xeR n14用牛顿法求解min -x T Gx + b T x (/? e R\ GeR,iXn)时，至多迭代一次xcR n 2可达其极小点.X15牛顿法具有二阶收敛性.V16二次函数的共辘方向法具有二次终止性.X17共轨梯度法的迭代方向为：_______________________二、证明题1设f : R“ T R 为一阶连续可微的凸函数,X eR n且 W) = 0,则T 为 min /(X)的全局极小点.xeR n2给定beR”和正定矩阵G G ・如果/ 6/?w 为求解m in fM = -x T Gx + h T x 的迭代点，d ke/?M \{o}为-其迭代方向，且 XWR" 2 3试证：Newton 法求解正定二次函数时至多一次迭代可达其极小点.四、简述题1简述牛顿法或者阻尼牛顿法的优缺点.2简述共轨梯度法的基本思想.五、计算题1利用最优性条件求解无约束最优化问题.3 1例如：求解 min /(x) = ~^x \ + —~x \x 2 一 2兀i2用FR 共轨梯度法无约束最优化问题.见书本：例3.4.1.3用PRP 共觇梯度法无约束最优化问题.见书本：例3.4.1.3 |例如：min f(x) = — %]2 + —x ； -x [x 2 -2x,其中x 。
= (0,0)丁,£ = 0.01第四章约束最优化方法考虑约束最优化问题：(NLP) min f(x)s.t. c i (%) = 0, z G E = {1, 2, •••, /},c.(x) > 0, z G / = {/ +1, / + 2, •••, m},其中，y,c& = l,2,・・・，/n):R”TR匕e [0, + oo)为由精确一维搜索所的步长, -(d k)T Gd k一、判断与选择题1外罚函数法、内罚函数法、及乘子法均属于SUMT. X2使用外罚函数法和内罚函数法求解(NLP)时，得到的近似最优解往往不是(NLP)的可行解.X3在求解(NLP)的外罚函数法中，所解无约束问题的目标函数为•4在(NLP)中1 = 0,则在求解该问题的内罚函数法中，常使用的罚函数为•5在(NLP)中/ = 0,则在求解该问题的乘子法中，乘子的迭代公式为(佥+ 1), = ________________________ ，对沱｛1,6在(NLP)中m = I,则在求解该问题的乘子法中，增广的Lagrange函数为：二、计算题1利用最优性条件(KT条件)求解约束最优化问题.2用外罚函数法求解约束最优化问题.见书本：例4.2.1；例 4.2.2.3用内罚函数法求解约朿最优化问题.见书本:例423.4用乘了法求解约束最优化问题.见书本:例427；例 4.2.8.三、简述题1简述SUMT外点法的优缺点.2简述SUMT内点法的优缺点.四、证明题利用最优性条件证明相关问题.例如：Q设为正定矩阵，A为列满秩矩阵•试求规划(P) min/(x) = Qx + x + as.t. A T X = b的最优解，并证明解是唯一的.第五章多目标最优化方法一、判断与选择题1求解多目标最优化问题的评价函数法包括线性加权法极大极小法理想点法平方和加权法乘除法_____________________________________ .2通过使用评价函数，多目标最优化问题能够转化为单目标最优化问题• J3设F : D匸R" T R",则尸在£>上的一般多目标最优化问题的数学形式为•4对于规划V - min F(x)= (/1⑴,…，九(X))7，设x* e £>,若不存在x w DxeD^R n使得F(x) < F(T)且F(兀)工F(xJ ,则%*为该最优化问题的有效解.J 5一般多目标最优化问题的绝对最优解必是有效解.V6对丁•规划V - F(x) = (/( (x),..., f m (x))7 ,设w,为相应于xeD^R n/,•(心1,2,…，加)的权系数，则求解以上问题的线性加权和法中所求解优化的目标函数为_________________________________ .7利用求解v - min尸⑴=(/1⑴,…,九⑴)丁的线性加权和法所得到的xeDQR n解，或者为原问题的有效解，或者为原问题的弱有效解.V二、简述题1简单证明题☆ 绝对最优解、有效解、及弱有效解之间的关系.•笫5.2节中儿个主要结论的证明.2简单叙述题★简述求解一般多口标规划的评价函数法的基木思想.•简述求解一般多目标规划的线性加权和法的基本思想.★简述求解一般多目标规划的理想点法的基本思想.•简述在求解一般多目标规划的评价函数法中，确定权系数方法的基本思想.。