最优化方法习题一

习题一一、考虑二次函数f(x)=x x x x x x 2122212132+-++1) 写出它的矩阵—向量形式: f(x)=x Qx b x TT +21 2) 矩阵Q 是不是奇异的?3) 证明: f(x)是正定的 4) f(x)是凸的吗? 5) 写出f(x)在点x =)1,2(T处的支撑超平面(即切平面)方程解:1) f(x)=x x x x x x 2122212132+-++=⎪⎪⎭⎫ ⎝⎛x x 2121⎪⎪⎭⎫ ⎝⎛6222⎪⎪⎭⎫ ⎝⎛x x 21+⎪⎪⎭⎫ ⎝⎛-11T⎪⎪⎭⎫⎝⎛x x 21 其中x=⎪⎪⎭⎫ ⎝⎛x x 21 ,Q=⎪⎪⎭⎫ ⎝⎛6222 , b=⎪⎪⎭⎫⎝⎛-11 2) 因为Q=⎪⎪⎭⎫⎝⎛6222 ,所以 |Q|=6222=8>0 即可知Q 是非奇异的 3) 因为|2|>0,6222=8>0 ,所以Q 是正定的,故f(x)是正定的 4) 因为)(2x f ∇=⎪⎪⎭⎫ ⎝⎛6222,所以|)(2x f ∇|=8>0,故推出)(2x f ∇是正定的,即)(2x f ∇是凸的5) 因为)(x f ∇ =1)x 6x 1,2-x 2x (22121+++T,所以)(x f ∇=(5,11)所以 f(x)在点x 处的切线方程为5(21-x )+11(12-x)=0二、 求下列函数的梯度问题和Hesse 矩阵 1) f(x)=2x 12+x x x xx 23923121+++x x x 2322+2) f(x)=ln(x 12+x x x 2221+)解: 1) )(x f ∇= (,94321x x x ++ 26321+++x x x , x x 219+))(2x f ∇=⎪⎪⎪⎭⎫ ⎝⎛0191619142) )(x f ∇=(x x x x x x 112221221+++ ,x x x x xx 112221221+++))(2x f ∇=⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛----------++++++++)()()()(2221212222212142221214222121222222121222212122221212212122x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x 三、设f(x)=x x x x x x x 323223322122--+++,取点)1,1,1()1(Tx =.验证d )1(=(1,0,-1)是f(x)在点x)1(处的一个下降方向,并计算min >t f(x )1(+t d )1() 证明: )(x f ∇=)124,123,x 2(233221-+-+x x x x T)5,4,2()(1Tx f =∇d )(1x f ∇=(1,0,-1)⎪⎪⎪⎭⎫ ⎝⎛542= -3<0所以d)1(是f(x)在x)1(处的一个下降方向f(x)1(+td)1()=f((1+t,1,1-t)) =433)1(1)1(221(222)1()1+-=----+++-+t t t t t t∇f(x )1(+t d )1()=6t-3=0 所以t=0.5>0所以min >t f(x )1(+t d )1()=3*0.25-3*0.5+4=3.25 四、设aj，b ，cj（j=1,2,….,n ）考虑问题Min f(x)=∑=nj jj xc 1s.t. b nj jjxa =∑=10≥xj(j=1,2,….,n)1) 写出其Kuhn Tuker 条件2) 证明问题最优值是])([12112∑=n j j j b c a 解：1）因),....,1(n j x j = 为目标函数的分母故0>xj所以λ*j（j=1,…,n ）都为0所以Kuhn Tuker 条件为 0)()(=∇+∇x h x f μ即 ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛---x c x c x c n n 2222211 +⎪⎪⎪⎪⎪⎭⎫ ⎝⎛a a a n 21μ=0 2）将ac x jj j μ=代入 h(x)=0 只有一点得∑=∑==⇒=nj jjn j j j b n c a bca 122)(1μ故有acc a x jj nj jjjb ∑==1所以最优解是])([12112∑=nj j j b c a 五、使用Kuhn Tuker 条件，求问题min f(x)=)2()1(2122--+x xs.t. 0,021212112≥≥=+=-x x x x x x的Kuhn Tuker 点，并验证此点为问题的最优解解：x=(1/2,3/2) 0≠ 故λ*1，λ*2=0则 0)()()(2211=+∇+∇x x x f h h μμ即0111142222121=⎪⎪⎭⎫⎝⎛+⎪⎪⎭⎫ ⎝⎛-+⎪⎪⎭⎫ ⎝⎛--μμx x ⇒1,021-==μμ而⎪⎪⎭⎫ ⎝⎛=∇2002)(2x f 故08)(2>=∇x x f x T 即其为最优解六、在习题五的条件下证明 L(μλ,,x *)),,(),,(μλμλ*****≤≤x L L x其中 L （x,μλ,）=f(x)+)2()1(2112-++--xx x x μλ证明：L(μλ,,x*)=f(x *)+)2()1(2112-++--****x x x x μλ= f(x *) = f(x *)+λ*)1(12--**x x +μ*-+**x x 21(2)= ),,(μλ***x L= f(x *))2()1()()(2112-++--+=≤**x x x x x f x f μλ= μλ**,,(x L )习题二一、设f(x)为定义在区间[a,b]上的实值函数，x*是问题min{f(x)|a b x ≤≤}的最优解。

证明：f(x)是[a,b]上的单谷函数的充要条件是对任意x x x x b a 2121],,[,≠∈满足f(x x 21)1(λλ-+)<max{f(x 1),f(x 2)},)1,0(∈λ证明：不妨设x 1<x 2,则x 1<xx x 221)1(<-+λλ“必要性” 若x x x *<-+21)1(λλ则由单谷函数定义知)())1((121x x x f f <-+λλ故有)}(),(max{))1((2121x x x x f f f <-+λλ“充分性” 由x1，x 2的任意性取x 1=x *时，f(x 2)>f(x 1)则x2>x x 21)1(λλ-+>x 1=x *且f(x x 21)1(λλ-+)<f(x 2)若取 x 2=x *时, f(x 1)>f(x 2)x *=x 1<x x 21)1(λλ-+<x 2且 f(x x 21)1(λλ-+)<f(x 1)满足单谷函数的定义二、设x 1<x 2,0)(,0)(21>'<'x x f f1)证明:满足条件 )()(),()(),()(221111x x x x x x f f f '=''='=ϕϕϕ的二次函数)(x ϕ是（严格）凸函数2）证明：由二次插值所得f(x)的近似极小值点（即)(x ϕ的驻点）是)()()()(122122x x x x x x f f f x '-''--=或者)()()()(121121x x x x x x f f f x '-''--=证明：1）设)(x ϕ=c bx ax++2（0≠a ）则 b ax x +='2)(ϕ由)(2)()(2)(222111x x x x x x f b a f b a '=+=''=+='ϕϕ得)())()(()(,0)(2)()(1212111212x x x x x x x x x x f f f b f f a -'-'-'=>-'-'=或 )())()(()(121222x x x x x x f f f b -'-'-'=故1）得证2）)(x ϕ的驻点为)()()()(2121121x x x x x x f f f abx '-''--=-=或-=xx 2)()()()(12212x x x x x f f f '-''-三、设f(x)=0,21>=++Q c x Qx Q b x T TT 试证：共轭梯度法的线性搜索中)()()()()()(0min d t x d x k k k k k t f t f +=+≥，有dd dg t k Tk Tk k Q k )()()()(-=，其中)()(x gk kf ∇=证明：由已知 ，得b Qx x f +=∇)( 令=)(t ϕ)()()(d xk k t f +为t 的凸二次函数。

要使t k 是)(t ϕ的极小点即为驻点，故满足0)(='tk ϕ而∇=')(t k ϕ)()()(dxk k t f +dk )( = db d t x Q k T k k )(])([)()(++=d d tQ b x Q k Tk k )(][)()(++=d d dg k Tk T kQ k t )())((+）（故有0)(()()=+dd t dg k Tk k T kQ k ）（得 dd dg t k Tk T kkQ k )()()()(-=四、用共轭梯度法求解： min f(x)=x x x x x 121222122123--+ , x R 2∈ 取初始点)4,2()1(-=Tx解：易知⎪⎪⎭⎫ ⎝⎛--=1113A ⎪⎪⎭⎫⎝⎛-=02b 第一次迭代： ),23(1221)(x x x x Tx f ---=∇)6,12()(11-=∇=Tx gf)6,12()()1()1(-=-∇=Tx df线性搜索得步长1756121113)6,12(612)6,12()1()1()1(11)(=⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫ ⎝⎛---⎪⎪⎭⎫ ⎝⎛---=-=dd d g A TTα 从而d xx)1(1)1()2(α+==⎪⎪⎭⎫ ⎝⎛3826171 第二次迭代：)1712,176()()2(Txf =∇ =g 2)1712,176(T=β12981)1()1()1(2)(=-d d d g A A TT⎪⎪⎪⎪⎭⎫⎝⎛--=+-=28921028990)1(12)2(d g d β 线性搜索得步长：7.12=α⎪⎪⎭⎫ ⎝⎛=+=11)2(2)2()3(dxxα)0,0()()3(3Tx gf =∇=所以 最优解为)1,1(*Tx=五、用拟Newton 法求解：min R x x x x x x x f 21212221,422)(∈--+=取初始点)1,1()1(Tx=解：1）DFC 法取初始对称矩阵 ⎪⎪⎭⎫ ⎝⎛=10011H 第一次迭代： 计算得)2,4(1-=Tg，)2,4(111-=-=Tg H d经一维线性搜索得：α1=0.25)25.0,2(1112Td x x =+=α)5.0,1(1-=Tδ)4,3(1-=Ty)2,1(2--=Tg2.011111==yH y yT T r δ置⎪⎪⎭⎫⎝⎛==2.0002.011H H r⎪⎪⎭⎫⎝⎛--=-+=472.0704.0204.0728.01111111111112yH y Hy y H y y H H TTT Tδδ 第二次迭代 )24.0,32.0(222Tg H d =-=经一维线性搜索得：α1=6.25)2,4(2223Td x x =+=α)0,0(3Tg=故最优解为：)2,4(3*Tx x ==2）BFGS 法取定初始对称矩阵⎪⎪⎭⎫⎝⎛=10011H第一次迭代： 计算得)2,4(1-=Tg，)2,4(111-=-=Tg H d经一维线性搜索得：α1=0.25)25.0,2(1112Td x x =+=α同DFP 法，初始修正矩阵⎪⎪⎭⎫⎝⎛=2.0002.01H⎪⎪⎭⎫ ⎝⎛=--++=14.002.002.036.0)1(11111111111111112yHyy H yyH y H HT TT T Tδδδδδδ 第二次迭代：)3.0,4.0(222Tg H d =-=经一维线性搜索得：52=α)2,4(2223Td x x =+=α)0,0(3Tg=故最优解为：)2,4(3*Tx x==习题三1、 给定问题min x x x x x x x f 212221211462)(--++=s.t. 0,0,032232121321≥≥≥≤+-=++x x x x x x x x取初始点)0,1,1()1(Tx =，用简约梯度法求其最优解解：约束条件为 0,0,032232121321≥≥≥≤+-=++x x x x x x x x则)0,1,1()1(T x=，⎪⎪⎭⎫⎝⎛-=10210111A)0014462(2121)(-+-+=∇x x x x Tx f()00931--=Tg{}211=I ⎪⎪⎭⎫ ⎝⎛-=2111B ⎪⎪⎭⎫⎝⎛=1001N)(1)()(x f x f BTN NN B g∇∇--==⎪⎪⎭⎫ ⎝⎛=⎪⎪⎭⎫ ⎝⎛--⎪⎪⎪⎪⎭⎫⎝⎛--⎪⎪⎭⎫ ⎝⎛25933131313200 ⎪⎪⎭⎫ ⎝⎛-=40dN⎪⎭⎫⎝⎛-=-=-34341TNB d B d N)403434()1(--=Td ()d d x d x T f f )1()1()1()()1()1()(αααϕ+∇=+'='=0324964=-α 得89=α21}42min{max =--=α 得 21},min{max 1==ααα )003531()1(1)1()2(Td x x =+=α⎪⎭⎫⎝⎛--=0073112Tg}2,1{2=I ⎪⎪⎭⎫ ⎝⎛-=2111B ⎪⎪⎭⎫ ⎝⎛=1001N⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎭⎫ ⎝⎛--⎪⎪⎪⎪⎭⎫ ⎝⎛--⎪⎪⎭⎫ ⎝⎛=91094373113131313200gN⎪⎪⎭⎫ ⎝⎛=00d N⎪⎪⎭⎫ ⎝⎛=-=-001d B d NB N0)2(=d故)003531()2(Tx =为问题的K-T 点2、 用梯度投影法求解问题min )3()2(21)(22-++=x x x fs.t. 40003322121≤≤≥=--x x x x取初始点()13)1(Tx =解： )62,42(21)(-+=∇x x Tx f迭代（1） )4,10(1-=Tg}1{1=I⎪⎪⎭⎫ ⎝⎛-=321AT投影矩阵⎪⎪⎪⎪⎭⎫ ⎝⎛=-=-13413613613911111)(A A A A T I P T )1344,1366(1)1(--=-=Tg d P)313441()213663(22)1()1()()(--+-+=+=ααααϕd xf0413881013132)(=--+-='αααϕ 11039=α4413}4413,6639min{max ==α 故4413},min{max 1==ααα)0,23()1(1)1()2(Tdxx=+=α)6,7(2-=Tg}3,1{2=I故⎪⎪⎭⎫ ⎝⎛-=13022AT 投影矩阵⎪⎪⎭⎫ ⎝⎛=-=-000022212)(A A A A T I P T)0,0(2)2(Tg dP =-=令)29,27()(221)2(22Tg A A A uT ==-故)0,23()2(Tx=为其 K-T 点3、用可行方向法求解问题min )1()2(21)(22--+=x x x fs.t. 0,022742212121≥≥≤-≤+x x x x x x取初始点 )0,0()1(Tx =解：)22,42(21)(--=∇x x Tx f迭代一：)2,4()()1(--=∇Txf有效约束}4,3{1=I确定下降方向min -4d d212-s.t. 1121≤≥≥≤-dd d ii=1,2解得121==dd 且其最优值为-6，即x)1(处的搜索方向)1,1()1(Td=线性搜索 562)()(2)1()1(+-=+=αααϕαd xf064)(=-='ααϕ 23=⇒α 而67}2,67min{max==α 67}67,23min{1==α)67,67()1(1)1()2(Td x x =+=α迭代2：)31,35()()2(-=∇Tx f 有效约束}1{1=I 确定下降方向min -35d d 2131+s.t.142121≤≥+≤-dd d ii=1,2得)1,1()2(-=Td且其最优值为-2线性搜索 181322)()(2)2()2(+-=+=αααϕαd xf 024)(=-='ααϕ 21=⇒α 而185}67,185min{max==α 185}185,21min{1==α)98,913()2(2)2()3(Tdxx =+=α迭代3：)92,910()()3(--=∇Tx f有效约束}2{1=I 确定下降方向min -910d d 2192-s.t.12121≤≥-≤-d d d ii=1,2得)1,21()3(Td = ，其最优值为-97线性搜索 81269745)()(2)3()3(+-=+=αααϕαd x f 09725)(=-='ααϕ 1445=⇒α 而 67}2,67min{max ==α91}91min{3==α)1,23()3(2)3()4(Tdxx =+=α迭代 4：)0,1()()4(-=∇Tx f有效约束}2,1{1=I确定下降方向min -d 1s.t. 10204212121≤≤-≤+≤-d d d d d ii=1,2得)0,0()4(Td = ，其最优值为0=x *)1,23()4(Tx=为K-T 点。