最优化计算方法-第2章(基本理论)

第二章基础知识1向量的内积x x x Tn x 12(,,,)= 12(,,,)y y y =Tn y 1122x y x y x y ==+++TTn ny x x y 2.1 泰勒公式Ax向量的范数x x x nx 22212||||=+++ Tx x=2、二次型()=Tf x x Axx ≠0Tx Ax >3、正定矩阵Tx Ax <0T x Ax ≤0Tx Ax ≥称A 为正定矩阵记为0A >称A 为半正定矩阵记为0A ≥称A 为半负定矩阵记为0A ≤称A 为负定矩阵记为0A <关于矩阵的正定、负定判断有如下定理：定理0A >A 110a >111221220a a a a >11110n n nna a a a > (1)的充要条件是：的各阶顺序主子式全大于零,, 0A ≥A (2) 的充分条件是：的各阶主子式全大于等于零110a<111221220a a a a >A<A（3）的充要条件是：的奇数阶顺序主子式全小于零，偶数阶顺序主子式全大于零，111213212223 3132330a a aa a a a a a <11121314212223243132333441424344a a a aa a a aa a a aa a a a>A≤A（4）的充分条件是：的奇数阶主子式全小于等于零，偶数阶主子式全大于等于零，例1 判断矩阵522260204-⎡⎤⎢⎥=-⎢⎥-⎢⎥⎣⎦A 的正定性．一阶顺序主子式为：1150a =-<二阶顺序主子式为：111221225226026a a a a -==>-三阶顺序主子式为：||800A =-<解因为的A 所以为负定矩阵。

A例2 判断矩阵的正定性．1222502020⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦A 解因为矩阵的三个顺序主子式分别为12212|1|10,10,2500252020=>=>=一阶主子式为：二阶主子式为：1,5,201210,25=>12160,220=>501000,020=>()f x 在x 点处的梯度12()()()()(),,,Tn f x f x f x f g x x x ∂∂∂⎡⎤∇==⎢⎥∂∂∂⎣⎦x x 0c ∇=()T∇=b x b()2T∇=x Ax Ax 其中T=A A ()2T ∇=x x x4、梯度常见的公式例1 123236z x x x =++236z ⎡⎤⎢⎥∇=⎢⎥⎢⎥⎣⎦例2 221212234z x x x x =++12124446x x z x x +⎡⎤∇=⎢⎥+⎣⎦5、Hesse 矩阵，22221211222222122222212()()()()()()()()()()()nn n n n f x f x f x x x x x x f x f x f x x x x x f H x f x f x f x x x x x x ⎡⎤∂∂∂⎢⎥∂∂∂∂∂⎢⎥⎢⎥∂∂∂⎢⎥∂∂∂∂∇==∂⎢⎥⎢⎥⎢⎥∂∂∂⎢⎥⎢⎥∂∂∂∂∂⎣⎦x x 2c ∇=2()0T∇=b x 2()2T ∇=x Ax A （其中T=A A ）例1 123236z x x x =++236z ⎡⎤⎢⎥∇=⎢⎥⎢⎥⎣⎦例2221212234z x x x x =++12124446x x z x x +⎡⎤∇=⎢⎥+⎣⎦2000000000z ⎡⎤⎢⎥∇=⎢⎥⎢⎥⎣⎦24446z ⎡⎤∇=⎢⎥⎣⎦例2 321212234z x x x x =++212126446x x z x x ⎡⎤+∇=⎢⎥+⎣⎦1212446x z ⎡⎤∇=⎢⎥函数矩阵常量矩阵例6 已知二阶可导，1,R t R ∈∈n p ，()()t f t ϕ=+x p ，求(),()t t ϕϕ'''()f u S R ∈⊂,n u x 解设12(,,,)Tn p p p = p 12(,,,)T n u u u =, u 12(,,,),Tn x x x = x 1122(,,,)n n f x tp x tp x tp =+++ ()t ϕ=()f t +x p ()t ϕ'=1()f t u ∂+∂x p 11()d x tp dt +()n f t u ∂+∂x p ()n n d x tp dt +++ 1()f t u ∂+=∂x p 2()f t u ∂++∂x p 2p 1p ++ ()n f t u ∂+∂x p n p12()()(),,,n f t f t f t u u u ⎡⎤∂+∂+∂+=⎢⎥∂∂∂⎣⎦ x p x p x p 12n p p p ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦T ()f t =∇+x p p ()t ϕ''(())d t dt ϕ'=1()n i i id f t p dt u =∂+=∂∑x p 1()n i i i d f t p dt u =⎡⎤∂+=⎢⎥∂⎣⎦∑x p 2()f t =∇+T p x p p1()n i i i d f t p dt u =⎡⎤∂+=⎢⎥∂⎣⎦∑x p 211()n n i j i j i j f t p p u u ==∂+=∂∂∑∑x p 1n i ==∑21()()n j j i j f t p u u =∂+∂∂∑x p i p定理1（一阶泰勒公式）设内连续可微,则0()U ∀∈x x 有0000()()()()()T f f f o =+∇-+-x x x x x x x 或00()()()()T f f f =+∇-x x ξx x 其中00().θ=+-ξx x x (01)θ<<．定理2（二阶泰勒公式）设n 元函数()()n f R ∈x x 在0()U x 有内二阶连续可微，则0()U ∀∈x x 有0000200021()()()()()()()(||||)2T T f f f f o =+∇-+-∇-+-x x x x x x x x x x x x 0000201()()()()()()()T T f f f f =+∇-+-∇-x x x x x x x ξx x 或6、泰勒公式n 元函数在()()n f R ∈x x 0()U x()f x 若为二次函数00002001()()()()()()()2T T f f f f =+∇-+-∇-x x x x x x x x x x ()f x 若为非二次函数00002001()()()()()()()2T T f f f f ≈+∇-+-∇-x x x x x x x x x x12(,,,)T n nh h h R =∈h x h α+xh 7 方向导数与最速下降方向设有单位向量可微函数()f x x 在点沿h 方向的方向导数定义为0()()()lim f f h f ααα+→∂+-=∂x x xh 0()()(||||)lim Tf o αααα+→∇+=x h h 0(||||)()lim T o f ααα+→=∇+h x h ()T f =∇x h||()||cos((),)f f =∇∇x x h对于方向导数有以下的结论：，则h 为()f x 在点的上升方向()0f ∂>∂x h （1）若，则h 为()f x 在点的下降方向()0f ∂<∂x h （2）若()0f ∇=x （3）若则对任何方向h ，有()0f ∂=∂x h（4）若()0f ∇≠x ，则()f ∂∂x h 取得最小值,此时()||()||f f ∂=-∇∂x x h 取得最大值，此时()||()||f f ∂=∇∂x x h ()f ∂∂x h ()||()||f f ∇=∇x h x 时，当()||()||f f ∇=-∇x h x 时,当由此可知：()f ∇x 方向为()f x 在点x 处函数值增加最快的方向，处的最速上升方向；（1）称为函数()f x 在点x ()f -∇x 方向为()f x 在点x 处函数值减少最快的方向，处的最速下降方向；（2）称为函数()f x 在点x8、等高线定义设有二元函数(,)z f x y =，若令(,)f x y c=它代表函数值为C 的点连成的曲线，故将曲线称为二元函数的等高线或等值线。

(,)f x y c =(,)z f x y =性质：（1）二次函数在极值点附近的等高线是准确的同心椭圆族，极值点正好是椭圆的共同中心。

非二次函数在极值点附近的等高线是近似的同心椭圆族，极值点正好是椭圆的共同中心。

因此求函数的极值，从几何上来讲，就是求等高线族中同心椭圆组的共同中心。

（2）函数在某点的梯度方向与过该点等高线在该点的切线垂直。

§2.2 优化问题的最优性条件min (),n f R ∈x x 1. 无约束优化问题定理2.1 (一阶必要条件)()f x 在一次可微；x (2) 为的局部极值点，则()0f ∇=x （1）函数x ()f x 定理2.2. (充分条件)()0f ∇=x （3）Hesse 矩阵2()0f ∇>x （）。

则()f x 在二次可微；x （1）函数2()0f ∇<x （2）例1求函数332122111()33f x x x x =+--x 的极值点。

212221()2x f x x ⎡⎤-∇=⎢⎥-⎣⎦x 12220()022xf x ⎡⎤∇=⎢⎥-⎣⎦x 解令()0f ∇=x 212221020x x x ⎧-=⎪⎨-=⎪⎩31241111,,,0202--⎡⎤⎡⎤⎡⎤⎡⎤====⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦x x x x 解得驻点为从而四个驻点的Hesse 矩阵分别为12222020(),()0202f f ⎡⎤⎡⎤∇=∇=⎢⎥⎢⎥-⎣⎦⎣⎦x x 34222020(),()0202f f --⎡⎤⎡⎤∇=∇=⎢⎥⎢⎥-⎣⎦⎣⎦x x 因为22()0f ∇>x ，所以2x 是极小值点；32()0f ∇<x ，所以3x 是极大值点；因为42()f ∇x 不定的，所以4x 不是极值点因为12()f ∇x 不定的，所以1x 不是极值点因为定义设x 是规划（NP ）一个可行点，若非零向量d满足：当时，,0>∃δ(0,)λδ∈R λ+∈x d 则称为集d R x 处的一个可行方向（feasible direction ）合在点2 约束优化问题的最优性条件min ()..()0,1,2,,i f s t g i m ⎧⎨≥=⎩ x x （NP ）定理2.3（必要条件）（1）为是规划（NP ）一个可行点，x （2）函数()f x 在点处可微；x （3）是的一个极小值点x ()f x 则对于点处的任何可行方向有：x d ()0T f ∇≥x d 定理2.4（必要条件）（1）为是规划（NP ）一个内点，x （2）函数()f x 在点处可微；x （3）是的一个极小值点x ()f x 则()f ∇=0x定理2.5(边界点为极小点充分条件）（3）对于点处的任何可行方向有：h *x ()0T f ∇≥x*h （1）为是边界点，*x D （2）函数()f x 在点处二次可微；*x （4）*()0(0)H x ><（不定）是的严格局部极小值点（极大值点）()f x 则*x (鞍点)():',nf x D R D R →⊂设§ 2.3 凸集与凸函数一、概念凸集：12(1),(01)x x K ααα+-∈≤≤12,,x x K ∀∈12,x x 两点连线上的点K 称为凸集凸组合：10,,1,m αα≤≤ 11m αα++= 11mm x x xαα=++ 1,,,m x x K ∈ 1,,mαα 存在称为的凸组合1,,m x xa b a b 凸函数凹函数1x 2x 1x 2x 1P 2P p ))(,(111x f x p ))(,(222x f x p =p α1p )1(α-+2p 21)1((x x αα-+))()1()(,21x f x f αα-+))1((21x x f αα-+)()1()(21x f x f αα-+<二、凸函数凸函数凹函数a b a b二、凸函数定义2.2.1 设凸集12,,n S R S ⊂∀∈x x [0,1]α∀∈恒有1212((1))()(1)()f f f αααα+-≤+-x x x x 称()f x 为在S 上的凸函数或121212,,0,0,1S αααα∀∈∀≥≥+=x x 恒有12121212()()()f f f αααα+≤+x x x x 定义2.2.2 凸集1212,,,n S R S ⊂∀∈≠x x x x 恒有12121212()()()f f f αααα+<+x x x x 称()f x 为在S 上的严格凸函数定义2.4.3 设凸集12,,nS R S ⊂∀∈x x [0,1]α∀∈恒有1212((1))()(1)()f f f αααα+-≥+-x x x x 称()f x 为在S 上的凹函数或121212,,0,0,1S αααα∀∈∀≥≥+=x x 恒有12121212()()()f f f αααα+≥+x x x x 定义2.4.4 凸集1212,,,n S R S ⊂∀∈≠x x x x恒有12121212()()()f f f αααα+>+x x x x 称()f x 为在S 上的严格凹函数三、凸函数的判断定理2.2.1 （一阶条件）设nS R ⊂为非空开凸集，()f x 为定义在S 上的可微函数，则在上为凸函数的充分必要条件是()f x S ()()()(),,Tf f f S≥+∇-∀∈y x x y x x y ()()()(),,,Tf f f S >+∇-∀∈≠y x x y x x y x y定理2.2.2 （一阶条件）设nS R ⊂为非空凸集，()f x 为定义在S 上的可微函数，则在上为严格凸函数的充分必要条件是()f x Sab凸函数0x p1x 切线方程：))(()(000x x x f x f y -'=-))(()(000x x x f x f y -'＋＝))(()(000x x x f x f -'＋)(1x f ≥定理2.4.5 （二阶条件）设nS R ⊂为非空开凸集，()f x 为定义在S 上的二阶可微函数，则在上为凸函数的充要条件是()f x S 定理2.4.6 （二阶条件）设nS R ⊂为非空开凸集，()f x 为定义在S 上的二次可微函数，2()0,f S∇≥∀∈x x 如果2()0,f S∇>∀∈x x 则在上为严格凸函数()f x S例2 判断下列函数的凹凸性。