最优化总复习2010
最优化方法复习题66882.docx
《最优化方法》复习题第一章概述(包括凸规划)一、判断与填空题ar§ max /W =玄生min【―/(兀)】・71xeR n xeR n2max |/(x): x e D o }= - min [f(x): x e D Q R H\ x3设f : D u RJ R・若T wR”,对于一切xeR n恒有/(Z)</(x),则称T为最优化问题m in fM的全局最优解.xxeD4设f •・D U RJ R.若Z eD ,存在F的某邻域Ng,使得对一切恒有/U*)</(兀)，则称T为最优化问题min /(兀)的严格局部最xeD优解.X5给定一个最优化问题，那么它的最优值是一个定值.V6非空集合D匸/?"为凸集当且仅当D屮任意两点连线段上任一点属于D. V 7非空集合D o 7?"为凸集当J1仅当D中任意有限个点的凸组合仍属于D. V 8任意两个凸集的并集为凸集.x9 函数f : D匸R” T R为凸集£>上的凸函数当且仅当—/为D上的凹函数.V1()设f : D u R” T R为凸集D上的可微凸函数，Z G Z).则对V XG D,有/(x)-/(x*)<V/(x*/(x-x*). x11若c(兀)是凹函数，则D = {xeR n\ c(x) > 0}是凸集。
V12设{*}为由求解min的算法A产生的迭代序列，假设算法A为下降算法，XG D则对\^^{0,1,2,・・・},恒有____ /(x A.+1)< f(x k) ____________ :13算法迭代时的终止准则（写出三种）： ____________________________ o 14凸规划的全体极小点组成的集合是凸集。
V15函数f : D u R“ T R在点（'沿着迭代方向d* eR n \ ｛（）｝进行精确一维线搜索的步长匕.，则其搜索公式为_____________________________ .16函数f •. D匚R“ T R在点*•沿着迭代方向d k e/?z, \｛0｝进行梢确一•维线搜索的步长匕，则V/（x A+a k d k Yd k = ___________ 0 .17设d k eR n\｛0｝为点/ w D匸R“处关于区域D的一个下降方向，则对于Va >0, 3«G（0,a）使得x二、简述题1写出Wolfe-Powell非精确一维线性搜索的公式。
《最优化方法》复习题(含答案)
《最优化方法》复习题(含答案)附录5 《最优化方法》复习题1、设n n A R ⨯∈是对称矩阵，,n b R c R ∈∈，求1()2TT f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵．解 2(),()f x Ax b f x A ∇=+∇=．2、设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ϕ''． 解 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令()()()()()T TT Tdd f x f x H I d f x f x f x ∇∇=--∇∇∇， 其中I 为单位矩阵，证明方向()p H f x =-∇也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ∇<，从而()()()T T f x p f x H f x ∇=-∇∇()()()()()()()()T TTT T dd f x f x f x I f x d f x f x f x ∇∇=-∇--∇∇∇∇()()()0T T f x f x f x d =-∇∇+∇<，所以，方向p 是函数()f x 在点x 处的下降方向．4、n S R ⊆是凸集的充分必要条件是12122,,,,,,,,m m m x x x S x x x ∀≥∀∈L L 的一切凸组合都属于S ．证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令11k i i i x x λ+==∑，其中,0,1,2,,1i i x S i k λ∈≥=+L ，且111k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈，结论成立），记111kii i k y x λλ=+=-∑，有111(1)k k k x y x λλ+++=-+，又1110,1,2,,,111ki ii k k i k λλλλ=++≥==--∑L ， 则由归纳假设知，y S ∈，而1k x S +∈，且S 是凸集，故x S ∈．5、设n R S ⊆为非空开凸集，R S f →:在S 上可微，证明：f 为S 上的凸函数的充要条件是2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．证明 必要性．设f 是S 上的凸函数，则12,x x S ∀∈及(0,1)λ∈，有2121((1))()(1)()f x x f x f x λλλλ+-≤+-，于是121121(())()()()f x x x f x f x f x λλ+--≤-，因S 为开集，f 在S 上可微，故令0λ+→，得12121()()()()T f x x x f x f x ∇-≤-，即2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．充分性．若有2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈， 则[0,1]λ∀∈，取12(1)x x x S λλ=+-∈，从而11()()()()T f x f x f x x x ≥+∇-，22()()()()T f x f x f x x x ≥+∇-，将上述两式分别乘以λ和1λ-后，相加得1212()(1)()()()((1))T f x f x f x f x x x x λλλλ+-≥+∇+--12()((1))f x f x x λλ==+-，所以f 为凸函数．6、证明：凸规划min ()x Sf x ∈的任意局部最优解必是全局最优解．证明 用反证法．设x S ∈为凸规划问题min ()x Sf x ∈的局部最优解，即存在x 的某个δ邻域()N x δ，使()(),()f x f x x N x S δ≤∀∈I ．若x 不是全局最优解，则存在x S ∈%，使()()f x f x <%．由于()f x 为S 上的凸函数，因此 (0,1)λ∀∈，有((1))()(1)()()f x x f x f x f x λλλλ+-≤+-<%%．当λ充分接近1时，可使(1)()x x N x S δλλ+-∈%I ，于是()((1))f x f x x λλ≤+-%，矛盾．从而x 是全局最优解．7、设n R S ⊆为非空凸集，R S f →:是具有一阶连续偏导数的凸函数，证明：x 是问题min ()x Sf x ∈的最优解的充要条件是：()()0,T f x x x x S ∇-≥∀∈．证明 必要性．若x 为问题min ()x Sf x ∈的最优解．反设存在x S ∈%，使得()()0T f x x x ∇-<%，则d x x =-%是函数()f x 在点x 处的下降方向，这与x 为问题min ()x Sf x ∈的最优解矛盾．故()()0,T f x x x x S ∇-≥∀∈．充分性．若()()0,T f x x x x S ∇-≥∀∈．反设存在x S ∈%，使得()()f xf x <%． (())()((1))()f x x x f x f x x f x λλλλλ+--+--=%%()(1)()()()()0((0,1)f x f x f x f x f x λλλλ+--≤=-<∀%%，因S 为凸集，f 在S 上可微，故令0λ+→，得()()()()0T f x x x f x f x ∇-≤-<%%，这与已知条件矛盾，故x 是问题min ()x Sf x ∈的最优解．8、设函数()f x 具有二阶连续偏导数，k x 是()f x 的极小点的第k 次近似，利用()f x 在点k x 处的二阶Taylor 展开式推导Newton 法的迭代公式为 211[()]()k k k k x x f x f x -+=-∇∇．证明 由于()f x 具有二阶连续偏导数，故21()()()()()()()()2T T k k k k k k f x x f x f x x x x x f x x x ϕ≈=+∇-+-∇-．且2()k f x ∇是对称矩阵，因此()x ϕ是二次函数．为求()x ϕ的极小点，可令()0x ϕ∇=，即2()()()0k k k f x f x x x ∇+∇-=，若2()k f x ∇正定，则上式解出的()x ϕ的平稳点就是()x ϕ的极小点，以它作为()f x 的极小点的第1k +次近似，记为1k x +，即211[()]()k k k k x x f x f x -+=-∇∇，这就得到了Newton 法的迭代公式.9、叙述常用优化算法的迭代公式．（1）0.618法的迭代公式：(1)(),().k k k k k k k k a b a a b a λτμτ=+--⎧⎨=+-⎩（2）Fibonacci 法的迭代公式：111(),(1,2,,1)()n k kk k k n k n k k k k k n k F a b a F k n F a b a F λμ---+--+⎧=+-⎪⎪=-⎨⎪=+-⎪⎩L ． （3）Newton 一维搜索法的迭代公式： 1()()k k k k t t t t ϕϕ+'=-''． （4）最速下降法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()()()()()T k k k k k Tk k f x f x x x f x f x Q f x +∇∇=-∇∇∇ （5）Newton 法的迭代公式：211[()]()k k k k x x f x f x -+=-∇∇． （6）共轭方向法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()T k kk k k Tk kf x d x x d d Qd +∇=-． 10、已知线性规划：123123123123123min ()2;..360,2210,20,,,0.f x x x x s t x x x x x x x x x x x x =-+⎧⎪++≤⎪⎪-+≤⎨⎪+-≤⎪⎪≥⎩（1）用单纯形法求解该线性规划问题的最优解和最优值； （2）写出线性规划的对偶问题； （3）求解对偶问题的最优解和最优值．解 （1）引进变量456,,x x x ，将给定的线性规划问题化为标准形式：123123412351236126min ()2;..360,2210,20,,,,0.f x x x x s t x x x x x x x x x x x x x x x =-+⎧⎪+++=⎪⎪-++=⎨⎪+-+=⎪⎪≥⎩L1x 2x 3x 4x 5x6x4x 3 1 1 1 0 0 60 5x 1 -2 2 0 1 0 10 6x1 1* -1 0 0 1 20 f -2 1 -1 0 0 0 0 4x 2 0 2 1 0 -1 40 5x3 0 0 0 1 2 50 2x1 1 -1 0 0 1 20 f-3-1-20所给问题的最优解为(0,20,0)T x =，最优值为20f =-． （2）所给问题的对偶问题为：123123123123123max ()601020;..32,21,21,,,0.g y y y y s t y y y y y y y y y y y y =---⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩（1）（3）将上述问题化成如下等价问题：123123123123123min ()601020;..32,21,21,,,0.h y y y y s t y y y y y y y y y y y y =++⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩引进变量456,,y y y ，将上述问题化为标准形式：123123412351236126min ()601020;..32,21,21,,,,0.h y y y y s t y y y y y y y y y y y y y y y =++⎧⎪---+=⎪⎪-+-+=-⎨⎪--++=⎪⎪≥⎩L（2）1y2y 3y 4y 5y6y4y -3 -1 -1 1 0 0 2 5y -1 2 -1* 0 1 0 -1 6y-1-210 1 1 h-60 -10 -20 0 0 0 0 4y -2 -3 0 1 -1 0 3 3y 1 -2 1 0 1 0 1 6y-20 110 h -40 -50 0 0-20 020问题（2）的最优解为(0,0,1)T y =，最优值为20h =（最小值）． 问题（1）的最优解为(0,0,1)T y =，最优值为20g =-（最大值）．11、用0.618法求解 2min ()(3)t t ϕ=-，要求缩短后的区间长度不超过0.2，初始区间取[0,10]． 解 第一次迭代： 取11[,][0,10],0.2a b ε==． 确定最初试探点11,λμ分别为11110.382() 3.82a b a λ=+-=，11110.618() 6.18a b a μ=+-=．求目标函数值：21()(3.823)0.67ϕλ=-=，21()(6.183)10.11ϕμ=-=． 比较目标函数值：11()()ϕλϕμ<． 比较11 6.1800.2a με-=->=．212121210, 6.18, 3.82,()()0.67a a b μμλϕμϕλ========．2222220.382()0.382(6.180) 2.36,()(2.363)0.4a b a λϕλ=+-=-==-=．2222()(), 3.82a ϕλϕμμε<-=>． 第三次迭代：323232320, 3.82, 2.36,()()0.4a a b μμλϕμϕλ========．2333330.382()0.382(3.820) 1.46,()(1.463) 2.37a b a λϕλ=+-=-==-=．3333()(), 3.82 1.46b ϕλϕμλε>-=->． 第四次迭代：434343431.46, 3.82, 2.36,()()0.4a b b λλμϕλϕμ========．444440.618() 1.460.0.618(3.82 1.46) 2.918,()0.0067a b a μϕμ=+-=+-==． 4444()(), 3.82 2.36b ϕλϕμλε>-=->． 第五次迭代：545454542.36, 3.82, 2.918,()()0.0067a b b λλμϕλϕμ========．555550.618() 3.262,()0.0686a b a μϕμ=+-==． 5555()(), 3.262 2.36a ϕλϕμμε<-=->． 第六次迭代：656565652.36, 3.262, 2.918,()()0.0067a a b μμλϕμϕλ========．666660.382() 2.7045,()0.087a b a λϕλ=+-==．6666()(), 3.262 2.7045b ϕλϕμλε>-=->． 第七次迭代：767676762.7045, 3.262, 2.918,()()0.0067a b b λλμϕλϕμ========．777770.618() 3.049,()0.002a b a μϕμ=+-==． 7777()(),b ϕλϕμλε>->．878787872.918, 3.262, 3.049,()()0.002a b b λλμϕλϕμ========．888880.618() 3.131,()0.017a b a μϕμ=+-==． 8888()(),a ϕλϕμμε<->． 第九次迭代：989899982.918, 3.131, 3.049,()()0.002a a b μμλϕμϕλ========．999990.382() 2.999,()0.000001a b a λϕλ=+-==． 9999()(), 3.049 2.918a ϕλϕμμε<-=-<． 故993.0242x λμ+==．12、用最速下降法求解 22112212min ()2243f x x x x x x x =++--，取(0)(1,1)T x =，迭代两次．解 1212()(224,243)T f x x x x x ∇=+-+-， 将()f x 写成1()2TT f x x Qx b x =+的形式，则224,243Q b -⎛⎫⎛⎫== ⎪ ⎪-⎝⎭⎝⎭． 第一次迭代：(0)(0)(1)(0)(0)(0)(0)()()()()()T T f x f x xxf x f x Q f x ∇∇=-∇∇∇ 0(0,3)1013220131/4(0,3)243⎛⎫ ⎪⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭ ⎪⎪⎝⎭⎝⎭． 第二次迭代：(1)(1)(2)(1)(1)(1)(1)()()()()()T T f x f x xx f x f x Q f x ∇∇=-∇∇∇ 3/2(3/2,0)13/27/40223/21/401/4(3/2,0)240-⎛⎫- ⎪-⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪-⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭- ⎪⎪⎝⎭⎝⎭．13、用FR 共轭梯度法求解222123123123min ()()()()f x x x x x x x x x x =-++-++++-，取(0)11(,1,)22T x =，迭代两次．若给定0.01,ε=判定是否还需进行迭代计算． 解 222123121323()3()2()f x x x x x x x x x x =++-++，再写成1()2T f x x Gx =，622262226G --⎛⎫⎪=-- ⎪ ⎪--⎝⎭，()f x Gx ∇=．第一次迭代：(0)()(0,4,0)T f x ∇=，令(0)0()(0,4,0)T d f x =-∇=-，从(0)x 出发，沿0d 进行一维搜索，即求(0)200min ()21648f x d λλλλ≥+=-+的最优解，得(1)(0)0001/6,(1/2,1/3,1/2)T x x d λλ==+=．第一次迭代：(1)()(4/3,0,4/3)T f x ∇=．2(1)02(0)()29()f x f x α∇==∇， (1)100()(4/3,8/9,4/3)T d f x d α=-∇+=---．从(1)x 出发，沿1d 进行一维搜索，即求(1)10142362214181418min ()(,,)262233923392261423f x d λλλλλλλλ≥⎛⎫- ⎪--⎛⎫ ⎪⎪ ⎪+=------ ⎪ ⎪ ⎪-- ⎪⎝⎭ ⎪- ⎪⎝⎭的最优解，得(2)(1)1111/24/333,1/38/9(0,0,0)881/24/3T x x d λλ-⎛⎫⎛⎫ ⎪ ⎪==+=+-= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭．此时(2)(2)()(0,0,0),()00.01T f x f x ε∇=∇=<=．得问题的最优解为(0,0,0)T x =，无需再进行迭代计算．14、用坐标轮换法求解 2212112min ()242f x x x x x x =+--，取(0)(1,1)T x =，迭代一步．解 从点(0)(1,1)T x =出发，沿1(1,0)T e =进行一维搜索， 即求(0)210min ()43f x e λλλλ≥+=--的最优解，得(1)(0)0012,(3,1)T x x e λλ==+=．再从点(1)x 出发，沿2(0,1)T e =进行一维搜索， 即求(1)220min ()227f x e λλλλ≥+=--的最优解，得(2)(1)1121/2,(3,3/2)T x x e λλ==+=．15、用Powell 法求解2212112min ()3f x x x x x x =+--，取(0)(0,0)T x =，初始搜索方向组01(0,1),(1,0)T T d d ==，给定允许误差0.1ε=（迭代两次）． 解 第一次迭代：令(0)(0)(0,0)T y x ==，从点(0)y 出发沿0d 进行一维搜索，易得(1)(0)0000,(0,0)T y y d λλ==+=；接着从点(1)y 出发沿1d 进行一维搜索，得(2)(1)11133,(,0)22T y y d λλ==+=由此有加速方向 (2)(0)23(,0)2T d y y =-=．因为23/2d ε=>，所以要确定调整方向．由于 (0)(1)(2)9()0,()0,()4f y f y f y ===-，按（8.4.17）式有(1)(2)()(1)()()max{()()|0,1}j j f y f y f y f y j +-=-=，因此1m =，并且()(1)(1)(2)9()()()()4m m f y f y f y f y +-=-=．又因(2)(0)(2)0f y y -=，故（8.4.18）式不成立．于是，不调整搜索方向组，并令(1)(2)3(,0)2T x y ==．第二次迭代：取(0)(1)3(,0)2T y x ==，从点(0)y 出发沿0d 作一维搜索，得(1)(0)000333,(,)424T y y d λλ==+=．接着从点(1)y 出发沿方向1d 作一维搜索，得(2)(1)1113153,(,)884Ty y d λλ==+=． 由此有加速方向(2)(0)233(,)84T d y y =-=．因为235d ε=>，所以要确定调整方向．因(0)(1)(2)945189(),(),()41664f y f y f y =-=-=-， 故按（8.4.17）式易知0m =，并且()(1)(0)(1)9()()()()16m m f y f y f y f y +-=-=． 由于(2)(0)45(2)16f y y -=-， 因此（8.4.18）式成立。
（精选）最优化方法复习题
《最优化方法》复习题第一章 概述(包括凸规划)一、 判断与填空题1)].([arg )(arg m in m ax x f x f n n R x R x -=∈∈ √ 2{}{}.:)(min :)(max n n R D x x f R D x x f ⊆∈-=⊆∈ ⨯3 设.:R R D f n →⊆ 若n R x ∈*，对于一切n R x ∈恒有)()(x f x f ≤*，则称*x 为最优化问题)(min x f D x ∈的全局最优解. ⨯4 设.:R R D f n →⊆ 若D x ∈*，存在*x 的某邻域)(*x N ε，使得对一切)(*∈x N x ε恒有)()(x f x f <*，则称*x 为最优化问题)(min x f Dx ∈的严格局部最优解. ⨯5 给定一个最优化问题，那么它的最优值是一个定值. √6 非空集合n R D ⊆为凸集当且仅当D 中任意两点连线段上任一点属于D . √7 非空集合nR D ⊆为凸集当且仅当D 中任意有限个点的凸组合仍属于D . √8 任意两个凸集的并集为凸集. ⨯9 函数R R D f n →⊆:为凸集D 上的凸函数当且仅当f -为D 上的凹函数. √ 10 设R R D f n →⊆:为凸集D 上的可微凸函数，D x ∈*. 则对D x ∈∀，有).()()()(***-∇≤-x x x f x f x f T ⨯11 若)(x c 是凹函数，则}0)( {≥∈=x c R x D n 是凸集。
√12 设{}kx 为由求解)(min x f D x ∈的算法A 产生的迭代序列，假设算法A 为下降算法，则对{} ,2,1,0∈∀k ，恒有 )()(1k k x f x f ≤+ .13 算法迭代时的终止准则（写出三种）：_____________________________________。
14 凸规划的全体极小点组成的集合是凸集。
《最优化方法》复习题.pdf
《最优化方法》复习题
一、简述题
1、怎样判断一个函数是否为凸函数．
（例如：判断函数212
2
212151022)(x x x x x x x f-=是否为凸函数）2、写出几种迭代的收敛条件．
3、熟练掌握利用单纯形表求解线性规划问题的方法（包括大M法及二阶段法）.
见书本61页(利用单纯形表求解);
69页例题(利用大M法求解、二阶段法求解);4、简述牛顿法和拟牛顿法的
优缺点．简述共轭梯度法的基本思想．
写出Goldstein、Wolfe非精确一维线性搜索的公式。
5、叙述常用优化算法的迭代公式．
（1）0.618法的迭代公式：(1)(),
().k k k k k
k k k a b a a b aλτμτ＝--??=-?
（2）Fibonacci法的迭代公式：111(),(1,2,,1)()
n k k
k k k n k n k k k k k n k F a b a F k n F a b a Fλμ-----? =-??
=-?
?=-??
L．（3）Newton一维搜索法的迭代公式：1
1k k k。
最优化原理复习知识点
最优化原理复习知识点最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。
1.可微的定义设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，且D X ∈0。
若存在n 维向量L ，对于任意n 维向量P ，都有0)()(lim 000=--+→PP L X f P X f T P 则称)(X f 在0X 处可微。
设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，若存在D X ∈*及实数0>δ，使得)(),(**X X D X N X ≠?∈?δ都有)()(*X f X f ≤，则称*X 为)(X f 的局部极小点；若)()(*X f X f <，则称*X 为)(X f 的严格局部极小点。
若D X ∈?，都有)()(*X f X f ≤，则称*X 为)(X f 的全局极小点，若)()(*X f X f <，则称*X 为)(X f 的全局严格极小点。
凸集：设n R D ?，若对所有的D X X ∈21、，及]1,0[∈α，都有D X X ∈-+21)1(αα，则称D 为凸集。
凸函数：设1:R R D f n →?，D 是凸集，如果对于所有的D X X ∈21、，及]1,0[∈α，都有)()1()(])1([2121X f X f X X f αααα-+≤-+，则称)(X f 为D 上的凸函数。
局部极小点的判别：设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，具有连续的二阶偏导数。
若*X 是)(X f 的驻点，且)(*2X f ?是正定矩阵，则*X 是)(X f 的严格局部极小点。
物理意义基本思想就是在设计空间内选定一个初始点k X ，从该点出发，按照某一方向k S （该方向的确定原则是使函数值下降）前进一定的步长k α，得到一个使目标函数值有所下降的新设计点1+k X ，然后以该点为新的初始点，重复上面过程，直至得到满足精度要求的最优点*X 。
《最优化方法》课程复习考试.doc
《最优化方法》复习提要 第一章最优化问题与数学预备知识§1.1模型无约束最优化问题 min /（x ）, x =（旺,兀2,…心）'w R"・A约束最优化问题疋简（兀）》0,心1,2,・・・,加也（兀）=0,丿=1,2,・・・,"） min /（x ）;s.t. gQ ）nO,i = l,2,…，加，hj （x ） = 0,j = \,2,・・・,l ・其中.f （X ）称为目标函数，西,兀2,…，暫称为决策变量，S 称为可行域，gQ ） no （心1,2,…,加）,勺（兀） = 0。
= 1,2,…丿）称为约束条件. §1. 2多元函数的梯度、Hesse 矩阵及Tayloi •公式定义设f:R“TR,J^R“・如果％维向量〃，VAre R n,有+ Ax) -f(x) = p T\x + 0(||Ax||)・则称/（x ）在点元处町微，并称df （x ） = p T\x 为/（x ）在点元处的微分.如果/（X ）在点元处对丁」=（兀“2，・・・,£）丁的各分量的偏导数。
/(元)d x i都存在，则称/（兀）在点元处一阶可导，并称向量为/（兀）在点元处一阶导数或梯度.定理1设f :R n^R,xeR n・如果/（兀）在点元处可微,则/（兀）在点元处梯度V/(x)存在，并且有#(x) = W)7'Ar .定义 设f:R"TR,J^R“・d 是给定的n 维非零向量，e = 2・如杲 dmin /(兀)；即 vS.t. X G S.V/(x)=(df(x)T。
/（可。
/（元）Um /a + 2e ）-V （x ）久TO2存在，则称此极限为/（x ）在点元沿方向d 的方向导数，记作冬学.da定理2设f :R n^R,xeR n.如果/（兀）在点元处可微,则/（兀）在点元处沿任何非零方向d 的方向导数存在，且= VA 元）。
,其中丘=厶~・daa定义 设/（兀）是/?"上的连续函数，xeR n. d 是〃维非零向量.如果3^＞0,使得V2w （O0）,有/（x + 2J ）＜ （＞） /（x ）.则称d 为f （兀）在点元处的下降（上 升）方向.定理3设f:R n^R.xeR n,且/（兀）在点元处可微,如果日非零向量de R n9 使得Vf （x ）Td ＜ （＞） 0,则d 是/（兀）在点元处的下降（上升）方向.定义 设f:R”TR,HeR”・如果/（兀）在点元处对丁自变量x = （x p x 2,---,x /J ）7'的 各分量的二阶偏导数£単匕丿・=1,2,…,）都存在，则称函数/（兀）在点元处二阶 U Xj 可导，并称矩阵为/（x ）在点元处的二阶导数矩阵或Hesse 矩阵.定义 设h:R" 记/1（兀）=（肉（兀）,爲（兀）,・・・,饥（兀））7',如果勺• （x ） （i = 1,2,…，加）在点元处对于自变量x =（兀］,吃,…£）丁的各分量的偏导数d 2x } 扌/（元） dx }dx 2 巧(元) d 2f(x) 3 x 2d• d 2x 2• d x^d x n L n• •■d 2f(x) ■97(^) • •d 2f(x)d x n d X] d x n d x 2d 2f(x)V 2/(x)丿号⑴(i = 1,2,…，加;J = 1,2,…加 dx f都存在，则称向量函数加对在点元处是一阶可导的，并且称矩阵为/?（%）在点x 处的一阶导数矩阵或Jacobi 矩阵,例2 设aw R",xw R",bw R ,求f （x ） = a Tx-{-h 在任意点兀处的梯度和Hesse 矩阵.解 设0 =（绚卫2，・・・,％）/,兀=（旺,兀2，・・・,£）‘，则/（兀）=工绞母+b ,k=\因。
最优化复习重点
1/ 2 0 ∴ ∇ f (x ) = 0 1/ 8
2 1 −1
∴ x 2 = x 1 − ∇ 2 f ( x 1 )−1 ∇f ( x 1 ) = [0,0]T
条件。 例 3 试写出下述问题的 K − T 条件。 min
2 2 f ( x ) = 3 x1 − 3 x1 x 2 + 2 x 2 2 2 x1 − 2 x1 + 2 x 2 + x 2 ≤ 3 2 s . t . x1 + 2 x 2 = 4 x 2 + 2 x2 ≥ 0
解：
1 T （1）基变量为 x 2 , x4 , x5 ，基本可行解为 x = ( 。 （2）因为变量 x1 的检验数 σ 1 = 2 > 0 ，所以不是最优单纯 ） 型表。 型表。
x1 − 2 2 2 2 x 2 x 3 x4 x5 0 2 1 0
障碍函数
ϕ ( x , µ ) = ( x1 − 2 x2 ) + 2 x2 + u
2
1
2 2 x2 + 6 − 3 x1
或
2 ϕ ( x , µ ) = ( x1 − 2 x2 )2 + 2 x2 − u ln( 2 x2 + 6 − 3 x1 )
将下面的线性规划问题化为标准型。 例5 将下面的线性规划问题化为标准型。
min z = 2 x1 + x 2 − 3 x 3 x1 + x 2 − 2 x 3 ≤ 4 2 x1 − x 3 ≥ 2 s .t . 2 x2 + x3 ≤ 5 x 1 , x 2 ≥ 0 , x 3 无无无 解： 令 x 3 = x 4 − x 5 . max z = −2 x1 − x2 + 3 x4 − 3 x5 x1 + x 2 − 2 x4 + 2 x5 + x6 = 4 2x − x + x − x = 2 1 4 5 7 s .t . 2 x 2 + x4 − x5 + x8 = 5 x1 , x 2 , x4 , x5 , x6 , x7 , x8 ≥ 0
最优化原理复习纲要
复习第一章 绪论一. 基本概念二. 知识点局部极小点、全局极小点、凸集、极点、极方向、凸函数Farkas Gordan 图解法、点与闭凸集的分离定理、引理、择一定理、凸函数的一阶、二阶充要条件.第四章 无约束最优化问题的一般结构方向导数、一维搜索、局部收敛与全局收敛、收敛速率、算法的二次终止性一. 基本概念4.1.4.一阶必要条件、二阶必要条件、二阶充分条件、定理、最速下降算法二. 知识点精确一维搜索、非精确一维搜索、单峰函数黄金分割法.第五章 一维搜索一. 基本概念二. 知识点共轭方向Newton Newton 方程、法算法、共轭梯度法、拟牛顿法的基本性质第六章 使用导数的最优化方法一. 基本概念二. 知识点KKT Lagrangian 下降方向、可行方向、凸规划、有效约束(起作用约束)、点、函数第八章 约束问题的最优性条件一. 基本概念二. 知识点KKT 一阶必要条件（条件）、二阶必要条件、二阶充分条件第十章 可行方向法知识点:Zoutendijk可行方向法、投影阵及其基本性质(外)罚函数、(内)罚函数、第十一章 乘子法一. 基本概念二. 知识点()(外)罚函数算法、内罚函数算法、罚函数法相关理论结果{}{}{}1111(1)(;)(;)(;);(2)()()();(3)()()().k k k k k k k k k k k k P x P xP x S x S xS x f x f x f x σσσ++++≤≥≤，即序列非减，即序列非增，即序列非减111100,min{(;}.)k k k k k k x xP x σσσσσ+++<<设和分别为取罚参数及时无约束问题的全局最优解，则下列不等式成立：。
天津大学《最优化方法》复习题
天津大学《最优化方法》复习题(含答案)第一章 概述(包括凸规划)一、 判断与填空题1)].([arg )(arg min max x f x f n n R x R x -=∈∈ √ 2 {}{}.:)(m in :)(m ax n n R D x x f R D x x f ⊆∈-=⊆∈ ⨯3 设.:R R D f n →⊆ 若n R x ∈*,对于一切n R x ∈恒有)()(x f x f ≤*,则称*x 为最优化问题)(min x f D x ∈的全局最优解、 ⨯4 设.:R R D f n →⊆ 若D x ∈*,存在*x 的某邻域)(*x N ε,使得对一切)(*∈x N x ε恒有)()(x f x f <*,则称*x 为最优化问题)(min x f Dx ∈的严格局部最优解、 ⨯5 给定一个最优化问题,那么它的最优值就是一个定值、 √6 非空集合n R D ⊆为凸集当且仅当D 中任意两点连线段上任一点属于D 、 √7 非空集合nR D ⊆为凸集当且仅当D 中任意有限个点的凸组合仍属于D 、 √ 8 任意两个凸集的并集为凸集、 ⨯9 函数R R D f n →⊆:为凸集D 上的凸函数当且仅当f -为D 上的凹函数、 √10 设R R D f n →⊆:为凸集D 上的可微凸函数,D x ∈*、 则对D x ∈∀,有).()()()(***-∇≤-x x x f x f x f T ⨯11 若)(x c 就是凹函数,则}0)( {≥∈=x c R x D n 就是凸集。
√12 设{}k x 为由求解)(min x f Dx ∈的算法A 产生的迭代序列,假设算法A 为下降算法,则对{}Λ,2,1,0∈∀k ,恒有 )()(1k k x f x f ≤+ 、13 算法迭代时的终止准则(写出三种):_____________________________________。
14 凸规划的全体极小点组成的集合就是凸集。
《最优化方法》复习题.docx
《最优化方法》复习题一、 简述题1、怎样判断一个函数是否为凸函数.(例如:判断函数f(x) =昇+ 2兀內+ 2近一 10州+ 5兀2是否为凸函数)2、 写出几种迭代的收敛条件.3、 熟练掌握利用单纯形表求解线性规划问题的方法(包括大M 法及二阶段法).见书本61页(利用单纯形表求解)；69页例题(利用大M 法求解、二阶段法求解)； 4、 简述牛顿法和拟牛顿法的优缺点.简述共辘梯度法的基木思想.写岀Goldstein> Wolfe 非精确一维线性搜索的公式。
5、叙述常用优化算法的迭代公式.心=务+吕—％),化-知1仏二务+召一色)(3) Newton —维搜索法的迭代公式：x k+i = x k -G~'g k ・ (4) 推导最速下降法用于问题min/(x) = —++ c 的迭代公式:耳+1 二无一-VfgS k G k gx k(5) Newton 法的迭代公式：x k+] = x k -[V 2/(^)]_l V/*(x A )・ (6) 共轨方向法用于问题min/(x)=丄x rQx+b 1x + c 的迭代公式:2忑+1 =J二、计算题双折线法练习题 课本135页 例3.9.1FR 共辘梯度法例题：课本150页 例4.3.5(1) 0.618法的迭代公式:A- =ak +（1-厂）（勺一务）,(2) Fibonacci 法的迭代公式: 伙= 1,2,…,一1）二次规划有效集：课本213页例6.3.2,所有留过的课后习题.三、练习题：1、 设A G R ,iXn是对称矩阵，bwR”，cwR,求/(%) =丄*心+戻兀+ c 在任意点x 处 的梯度和Hesse 矩阵.解 V/*(x) = Ar + /?, V 2/(x) = A ・2、 设0(/) = /(兀 + 力)，其屮/:/?" T R 二阶可导，XG R\de R\te R ,试求0"(/)・解 0(/) = W(x + /d) 丁4,矿⑴=dF f(x~Hd)d .3、 证明：凸规划min f(x)的任意局部最优解必是全局最优解.xeS证明 用反证法.设住S 为凸规划问题min /(x)的局部最优解，即存在丘的某xeS个5邻域N s (x),使f(x)<f(x)yxeN 6(x)C\S ・若元不是全局最优解，则存在花S,使/(i) < /(x)・由于/(兀)为S 上的凸函数，因此VA G (0,1),有/(Ax + (1-2)x) < 2/(x) + (1-2)/(x) < f(x)・当2充分接近1时，可使2元+(1 — 2)农 皿(元)「IS,于是/(x)</(2x + (l-/i)x), 矛盾.从而元是全局最优解.min f(x) = 2x t -x 2 +x 3; s.t. 3兀］+ x 2 + x 3 < 60,x l - 2X 2 + 2X 3 <10,%! + x 2 - x 3 < 20, (1)用单纯形法求解该线性规划问题;(2)写出线性规划的对偶问题;解 (1)引进变量兀，兀5,兀6,将给定的线性规划问题化为标准形式:min /(%) = 2x t -x 2 +x 3; s.t. 3x ( + 兀 + 耳 + % = 60,%j - 2X 2 + 2X 3 + 冯=10,所给问题的最优解为x = （0,20,0）r ,最优值为/ = -20・4、已知线性规划:（2）所给问题的对偶问题为：max g（y） = -60^-10^ - 20%；皿_3”_旳_儿52,< _必+2旳_儿S_l，一开_2旳 + %<1，儿力*3»°・5、用0.618法求解min 0（f） = （f-3尸，要求缩短后的区间长度不超过0.2,初始区间取[0,10]・解第一次迭代：取y [0,10],£ = 0.2.确定最初试探点人，“分别为入=^+0.382（^-^,） = 3.82, M =坷+0.618（勺一马）=6・18 .求目标函数值：°（人）=（3.82— 3）2 =0.67, °（“）= （6.18 — 3）2 =10.11.比较目标函数值：0（人）< 0（"）・比较 //| —6f| = 6.18 — 0 > 0.2 = E ・第二次迭代：a2 = a x = 0,Z?2= “| = 6.18,/ =人=3.82,。
最优化习题答案及复习资料
6
,12
T
)
17 17
g
=(
6
,12
T
)
2 17 17
β g d = −
(d ) d 1
T
A
2
(1) T
(1)
A
(1)
=
1 298
− 90
d g β d (2) = −
+
2
1
(1)
=
−
289 210 289
α 线性搜索得步长：
= 1.7
2
x x α d (3) = (2) +
2 (2) = 11
x(1) = (1,1,1)T
.验证
d x x d (1) =(1,0,-1)是 f(x)在点 (1) 处的一个下降方向,并计算 min f( (1) +t (1) )
t>0
证明:
∇f (x) =
(2
x1,3x
2 2
+
2
x3−1,4
x
3+
2
x
2−1)T
∇f (x1) = (2,4,5)T
2
d
∇f
(
x
=
x2
−
(x2 − x1) f ′(x2) −
f f
′( x2) ′( x1)
或者
x
=
x1
−
(x2 − x1) f ′(x2) −
f f
′( x1) ′( x1)
证明：1）设ϕ(x) = a x2 + bx + c （ a ≠ 0 ）
则 ϕ ′(x) = 2ax + b
ϕ ′(x1) = 2a x1 + b = f ′(x1)
最优化期末复习总结
第一次课后作业：老三论：控制论、信息论和系统论，新三论：突变理论、耗散结构理论和协同论美国数学家维纳的控制论”美国数学家申农的信息论”美籍奥地利理论生物学家和哲学家贝塔朗菲的系统论”比利时化学家普里高津的耗散结构理论”德国物理学家哈肯的协同论:法国数学家托姆的突变理论”第二次课后作业：3工1 + 2 j 2 + -£'1 —*0-Tt —+ 3工3 -- J 1 1 52-i'i + = Z：* 十 1 O首先标准化：Max z=--3x1-2x2-x3+x4s.t x1-2x2+3x3-x4 < 152x1+x2-x3+2x4 < 10X1 ,x 2 ,X2 ,x 3 ,x 4> 0添加2个松弛变量x5 x6x1-2x2+3x2-x4+x5=15 2x1+x2-x3+2x4+x6=10用对偶单纯形法：0 X5 20 2 -1.5 2.5 0 1 0.5 51 X4 5 1 0.5 -0.5 1 0 0.5 --z -5 -4 -2.5 -0.5 0 0 -0.5在最优单纯性表中, 最小值为：-5 x5,x6的检验数均为负数，于是得到最优解X*=(0,0,0,5,20) T，所以可以C 1 > minSf t -S- t ” L- -Ta-Tf + 2J ；4 一 3 J 1 + gHu + 2-a-』一 5.rO >= 1 -6此题和上题类似：变成标准化Max -x1-x2-x3s.t.X5于是得到最优解由此得出min X*=(0,0,0,5,3,3)的值为0,。
—1 O J "I — 5% — 2口 + 5工I + 3^2 +心9—吕4十6工卫+ 15帀总］52Hi + >rj + 才1 —工* = 13工1t 工*耳。
添加松弛变量x5, x6, x7s.t. 5x1+3x2+x3 <9-5x1+6x2+15x2=15X6-z-1 -1(1)-1*-5化为标准化为:max 10x1+5x2+2x3-6x4 -+x1 -x4 -2x6=5 x2+2x4-3x5+x6=3 x3+2x4-5x5+6x6=5Cb XbX4 X5 X6-zX4 xj X),j=1 ….6;-1 X1-1 X2-1 X3X4 -1 2-1 X5 0 -3 -5X6 -2 1-2-313> min2x1+x2+x3-x4=13X1 ... x4》0令 Z1=3x1+2x2+x3-x415x1+3x2+x1+x5=9 -5x1+6x2+15x3+x6=15 2x1+x2+x3-x4+x7=133+ 才J 一hl + —工冃十工*工3丢2于是变为标准形为： max -3x1-2x2-x2+x41X1-2x2+x3-x41+x5=17 2x1+x2-x3+2x41+x6+x7= 14 x41 二0 X1 …x3>0CbXbb 10 5 2 -6 0 0 0X1X2 X3 X4 X5 X6 X7 0 X5 9 5 3 1 0 1 0 0 0 X6 15 -5 6 15 0 0 1 0 0X713 2 1 1 -1 0 0 1 -z-10-5-260 X1 1.8 1 0.6 0.2 0 0.2 0 0 0 X6 24 0 9 16 0 1 1 0 0X79.4 0 -0.2 0.6 -1 -0.4 0 1 -z-18-1-6-2T于是得到最优解 X*=(1.8,0,0,0,0,24,9.4) 于是最小值为: -18<15对第二个约束条件左右同时乘上X1-2x2+x3-x41-2+x5=15 2x1+x2-x3+2(x41-2)+x6+x7= 10 -1 ,再添加松弛变量 即 X1-2x2+x3-x41+x5=17 即 2x1+x2-x3+2x41+x6+x7= 14x5，x6，x7。
2010408算法题暴力解法
xxx算法题暴力解法1. 背景介绍在算法和数据结构领域，经常会遇到一些有挑战性的问题需要解决。
解决这些问题需要深厚的理论基础和丰富的实践经验。
其中，一个常见的解题方法就是暴力解法。
在本文中，我们将讨论xxx算法题，并介绍如何使用暴力解法来解决这个问题。
2. 问题描述xxx算法题是一个关于字符串操作的问题。
给定一个字符串s，我们需要找到 s 中最长的回文子串。
回文串指的是一个正读和倒读都一样的字符串。
字符串 "level" 是一个回文串。
我们需要编写一个算法来找到给定字符串中的最长回文子串。
3. 暴力解法暴力解法是一种朴素的解题方法，通常是最容易想到的方法。
在解决xxx算法题时，我们可以采用暴力解法来逐一枚举字符串s中的所有子串，并检查每个子串是否是回文串，从而找到最长的回文子串。
4. 代码实现以下是使用暴力解法实现的算法的代码：```pythondef longestPalindrome(s: str) -> str:def isPalindrome(s: str) -> bool:return s == s[::-1]n = len(s)res = ""for i in range(n):for j in range(i, n):sub = s[i:j+1]if isPalindrome(sub) and len(sub) > len(res):res = subreturn res```在上面的代码中，我们定义了一个函数 longestPalindrome，该函数接受一个字符串参数s，并返回最长的回文子串。
我们首先定义了一个辅助函数 isPalindrome，用于检查一个字符串是否是回文串。
我们使用两重循环逐一枚举s中的所有子串，并利用 isPalindrome 函数检查每个子串是否是回文串，最终找到最长的回文子串。
5. 性能分析尽管暴力解法在实现上比较简单直观，但其时间复杂度为O(n^3)，空间复杂度为O(1)，其中n为字符串s的长度。
《最优化方法》课程复习考试(推荐文档)
《最优化方法》复习提要 第一章 最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂． 定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=． 定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向． 定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵． 定义 设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解 设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解 设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭． 例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解 由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+． 定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明 设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义 设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1） 若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2） 若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3） 若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4） 若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章 最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义 设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点． 注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈， 易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭． 显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈， 解 因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=． 例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明 因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭， 从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭． 因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义 设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈， 则称d 为集合S 在点x 处的可行方向． 这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑． （x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点） 例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点． 解 因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点） 例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点． 解 因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==； 由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点． 定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1） 其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点） 令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解 广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论． （1） 设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2） 设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。
天津大学最优化方法复习题.docx
《最优化方法》复习题笫一章概述(包括凸规划)一、判断与填空题1arg max /(x) = arg m in7xeR n xeR n2max {/(x): x G D e /?" }= 一min {/(x): x e Z) o /?H} x3设f : D u RJ R.若疋wR”,对于一切xwR”恒有/(x*)</(x),W 弥 X 为最优化问题min /(兀)的全局最优解.xXG D4设f : D匚R" — R.若x* ,存在F的某邻域/.(/),使得对一切兀e 恒有/(%*)< f(x),则称T为最优化问题min fM的严格局部最XE D优解.X5给定一个最优化问题，那么它的最优值是一个定值.V6非空集合D c /?"为凸集当且仅当D中任意两点连线段上任一点属于D. V7非空集合D匸/?"为凸集当且仅当D中任意有限个点的凸组合仍属丁D. V 8任意两个凸集的并集为凸集.x9 函数f : D j R" T/?为凸集D上的凸函数当且仅当一/为D上的凹函数.V10设f : D u RJ R为凸集D上的可微凸函数，eD .则对Vx G D ,有fM -/(%*)< V/(x*)' (x -x*). x11若c(兀)是凹函数，则D = [x^R n\ c(x) > 0}是凸集。
V12设{*}为由求解min/(Q的算法A产牛的迭代序列，假设算法A为下降算法，xeD则对Pk e {0,1, 2,…}，恒有____ /(x,+1) < /(X,) _____________ .13算法迭代吋的终止准则（写出三种）： _____________________________ o 14凸规划的全休极小点组成的集合是凸集。
V15函数f:D^R n TR在点戏沿着迭代方向d* eR n \{0}进行耕确一维线搜索的步长则其搜索公式为 ______________________________________________ .16函数f:D^R n T/?在点/沿着迭代方向d* eR n \{0}进行精确一维线搜索的步长匕，则Vf（x k +a k cl k）T d k = ______ 0 _____________ .17设d k eR n\{0}为点x k eD^R n处关于区域D的一个下降方向，则对于V 厉〉0, 3cre（0, a）使得+ad k e D. x二、简述题1写出Wolfe-Powell非精确一维线性搜索的公式。
东北大学最优化方法2010年第三章
第一次迭代（ k 0 ，即从 xv0 到 xv1 的迭代）时，(t)
的初始步长可取为1，或根据问题中出现的数据的数量级
估计选定。而以后各次迭代的初始步长可按公式（3.5）
计算，
其中 0
般比从
xk
1 到
1hx。k的这距x是k离因pkx为xkk1从（xxkk3到.15小）xvk 或1 的接距近离，所xk以1 把xk按一
上述过程开始时，必须选定初试点 t0 和步长 h。对于
任意给定的 (t)，一般来说，无固定选取模式。
但对于在下降算法模式中所引入的 (t) f (xk tpk )
而言，可选取 t0 等于0（理论上）或接近0（实际计算中）。
而对于 h ，如果选得过小，那么需要迭代许多次才能找到
一个搜索区间；如果选得太大，虽然很少几步就可能把极 小点包括进来，但是这又会给下一步搜索极小点的过程增
黄金分割法的思想是：在每次迭代中，合理地设置两
个插入点的位置，以使得在计算函数值次数同样多的条件 下，将区间缩小得最快。
设区间 [a,b] 的长为1。在距点 a 分
别为 和
为了确定
的地方插入 t1和 t2。
和 ，提出以下条
件：
第一，希望 t1 和 t2在 [a,b]中的位置是对称的。按这
一条件，有
1. 搜索区间的确定
在以下讨论中，总假定一元函数 (t) 是单谷函数。
定义3.1 设 : L R1 R1 ，t* 是 (t) 在L上的全局
极小点。如果对于L上任意的两点 t1,t2 t1 t2 ，当 t2 t *
时，(t1 ) (t2 ) ；当 t1 t * 时，(t1 ) (t2 ) ，那么称(t)
最优化方法期末考试复习
最优化理论与方法知识点总结最优化理论与方法知识点总结 (1)一、最优化简介： (2)1.1最优化应用举例 (2)1.2基本概念 (2)1.3向量范数 (3)1.4矩阵范数 (3)1.5极限的定义 (3)1.6方向导数存在性和计算公式 (4)1.7梯度定义 (4)1.8海塞矩阵 (5)1.9泰勒展开式： (5)1.10凸集定义 (5)1.11凸集性质 (5)1.12凸函数定义 (6)1.13凸函数判断 (6)1.14矩阵正定与半正定判断 (6)1.15例题（判断矩阵是否正定） (7)1.16凸优化 (7)二、线性规划 (7)2.1线性规划数学模型的一般形式 (7)2.2解的基本定理 (7)2.3解的分类 (8)2.4图解法 (8)2.5例题（图解法） (8)2.6标准型的化法 (9)2.7例题（化为标准型） (9)2.8单纯形法 (10)2.9例题（单纯形法） (11)三、对偶线性规划 (13)3.1对偶问题 (13)3.2单纯形法解对偶问题 (13)3.3对偶单纯形法求解线性规划问题过程 (14)四、无约束优化 (14)4.1无约束优化概述 (14)4.2搜索区间的确定 (15)4.3区间消去法原理 (16)4.4黄金分割法 (17)4.5插值方法 (17)4.6常见的终止准则 (19)4.7最速下降法 (20)4.8牛顿类方法 (20)4.9例题（牛顿类方法） (21)一、最优化简介：1.1最优化应用举例具有广泛的实用性运输问题，车辆调度，员工安排，空运控制等工程设计，结构设计等资源分配，生产计划等通信：光网络、无线网络，ad hoc等.制造业：钢铁生产，车间调度等医药生产，化工处理等电子工程，集成电路VLSI etc.排版1.2基本概念目标函数和约束函数都是线性的，称之为线性规划问题，而有的模型中含有非线性函数，称之为非线性规划。
在线性与非线性规划中，满足约束条件的点称为可行点，全体可行点组成的集合称为可行集或可行域。
最优化算法期末复习(汇编)
一、无约束优化问题设:n f R R →是连续可微函数,考察如下无约束优化问题[1]:(),n min f x x R ∈， (1)我们称:n f R R →为问题(1)的目标函数．记()f x ∇为()f x 在x 处的梯度,若点*n x R ∈满足*()0,f x ∇=我们称之为函数f 的驻点,或稳定点．由最优解的条件可知,问题(1.1)的解都是稳定点．二、迭代法的基本格式求解(1)常用迭代法,其基本思想是：给定一个初始点0n x R ∈,按照某一迭代规则产生一个点列{}k x ,且{()}k f x 单调递减,使得当{}k x 是有穷点列时,其最后一个点是问题的最优解．当{}k x 是无穷点列时,它有极限点,且其极限点是问题的最优解．记k x 是第k 次迭代时的迭代点,{}k d 是第k 次迭代时的迭代方向, (0)k k αα≥是第k 次的迭代步长,则有基本的迭代公式:1,k k k k x x d α+=+其中k d 是f 在x 处的一个下降方向,满足()0T k f x d ∇<,k α称为步长,通常用线性搜索得到．常用的线性搜索方式如精确线性搜索[2] ,即k α是下面的一维最优化问题的解:min ().k k f x d αα>+三、常用的线搜索:(1)Armijo 线性搜索 ：给定(0,1),(0,1)δρ∈∈ ,求{,0,1,2,}j k max j αρ==,满足条件:()()Tk k k k k k k f x d f x g d αδα+-≤. (2)(2)Wolfe 线性搜索：求k α满足条件:()()T k k k k k k k f x d f x g d αδα+-≤, (3)()T Tk k k k k k d g x d g d ασ+≥. (4)其中01δσ<≤<,第一个不等式保证充分下降,第二个不等式防止步长过小.(3)强Wolfe 线性搜索求k α满足条件:()()Tk k k k k k k f x d f x g d αδα+-≤, (5) |()|||T T k k k k k k d g x d g d ασ+≤. (6)其中01δσ<≤<.(3)推广的Wolfe 线性搜索 ：求k α满足条件:()()T k k k k k k k f x d f x g d αδα+-≤, (7) 12()T T T k k k k k k k k g d d g x d g d σασ≤+≤-. (8)其中12(0,1),0σσ∈≥,当12σσ=时,推广的Wolfe 线性搜索就是强Wolfe 线性搜索. (4)Goldstein 线性搜索[2]：求k α满足条件:12()()T T k k k k k k k k k k g d f x d f x g d δααδα≤+-≤, (9)其中: 121201δδ<<<<.四、常用的算法最速下降法:设f 二次连续可微,且对任意的x R ∈,则迭代方向:()k k d f x =-∇采用精确线性搜索确定步长。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
总复习2010
第一章预备知识
1. 单目标优化问题的建模
2. 梯度、Hesse矩阵
3. 二维问题的图解法
4. 凸函数、凸规划的判定
5. 利用极值点的判定条件求解无约束问题
第二章线性规划
1. 基、基本解与基本容许解的概念题
2. 两阶段单纯形法
第三章无约束最优化方法
1. 最速下降法
2. Newton法二次函数
3. F-R共轭梯度法非二次函数
4. DFP法（给H k的迭代公式）
5. 步长加速法(计算、画图)
6. 最小二乘法
①建模：数据拟合，方程组问题
②线性最小二乘问题的求解
第四章约束最优化方法
1. K-T条件
①检验K-T点
②求约束问题的K-T点
③检验K-T点是否为最优解
2. 检验一个给定的方向向量p：
①是否为一个由线性约束条件所决定的一个容许点处的容许方向向量
②是否为一个可微函数在一点处的下降方向向量
3. Z-容许方向法（线性约束问题）
4. 外部罚函数法（等式1+不等式1，不等式≤2）
5. 乘子法（不等式1，等式1+不等式1）（给增广目标函数公式和乘子迭代公式）。