附录5：《最优化方法》复习题

附录5 《最优化方法》复习题

1、设n n A R ⨯∈是对称矩阵，,n b R c R ∈∈，求1()2

T

T f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵．

解 2(),()f x Ax b f x A ∇=+∇=．

2、设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ϕ''． 解 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．

3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令

()()()()()

T T

T T

dd f x f x H I d f x f x f x ∇∇=--∇∇∇， 其中I 为单位矩阵，证明方向()p H f x =-∇也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ∇<，从而

()()()T T f x p f x H f x ∇=-∇∇

()()()()()()()()

T T

T

T T dd f x f x f x I f x d f x f x f x ∇∇=-∇--∇∇∇∇

()()()()()T T T f x f x f x d f x f x =-∇∇+∇+∇∇ ()0T f x d =∇<，

所以，方向p 是函数()f x 在点x 处的下降方向．

4、n S R ⊆是凸集的充分必要条件是12122,,,,,,,,m m m x x x S x x x ∀≥∀∈L L 的一切凸组合都属于S ．

证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令1

1k i i i x x λ+==∑，

其中,0,1,2,,1i i x S i k λ∈≥=+L ，且1

1

1k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈，

结论成立），记11

1k

i

i i k y x λλ=+=-∑

，有111(1)k k k x y x λλ+++=-+，

又

111

0,1,2,,,111k

i i

i k k i k λλλλ=++≥==--∑L ， 则由归纳假设知，y S ∈，而1k x S +∈，且S 是凸集，故x S ∈．

5、设n R S ⊆为非空开凸集，R S f →:在S 上可微，证明：f 为S 上的凸函数的充要条件是2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．

证明 必要性．设f 是S 上的凸函数，则12,x x S ∀∈及(0,1)λ∈，有

2121((1))()(1)()f x x f x f x λλλλ+-≤+-，

于是

121121(())()

()()f x x x f x f x f x λλ

+--≤-，

因S 为开集，f 在S 上可微，故令0λ+→，得

12121()()()()T f x x x f x f x ∇-≤-，即2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．

充分性．若有2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈， 则[0,1]λ∀∈，取12(1)x x x S λλ=+-∈，从而

11()()()()T f x f x f x x x ≥+∇-，22()()()()T f x f x f x x x ≥+∇-，

将上述两式分别乘以λ和1λ-后，相加得

1212()(1)()()()((1))T f x f x f x f x x x x λλλλ+-≥+∇+--

12()((1))f x f x x λλ==+-，

所以f 为凸函数．

6、证明：凸规划min ()x S

f x ∈的任意局部最优解必是全局最优解．

证明 用反证法．设x S ∈为凸规划问题min ()x S

f x ∈的局部最优解，即存在x 的某

个δ邻域()N x δ，使()(),()f x f x x N x S δ≤∀∈I ．若x 不是全局最优解，则存在

x S ∈%，使()()f x

f x <%．由于()f x 为S 上的凸函数，因此

(0,1)λ∀∈，有

((1))()(1)()()f x x f x f x f x λλλλ+-≤+-<%%．

当λ充分接近1时，可使(1)()x x N x S δλλ+-∈%I ，于是()((1))f x f x x λλ≤+-%，

矛盾．从而x 是全局最优解．

7、设n R S ⊆为非空凸集，R S f →:是具有一阶连续偏导数的凸函数，证明：x 是问题min ()x S

f x ∈的最优解的充要条件是：()()0,T f x x x x S ∇-≥∀∈．

证明 必要性．若x 为问题min ()x S

f x ∈的最优解．反设存在x S ∈%，使得

()()0T f x x x ∇-<%，则d x x =-%是函数()f x 在点x 处的下降方向，这与x 为问题

min ()x S

f x ∈的最优解矛盾．故()()0,T f x x x x S ∇-≥∀∈．

充分性．若()()0,T f x x x x S ∇-≥∀∈．反设存在x S ∈%，使得()()f x

f x <%． (())()

((1))()

f x x x f x f x x f x λλλλ

λ

+--+--=

%%

()(1)()()

()()0((0,1)f x f x f x f x f x λλλλ

+--≤

=-<∀%%，

因S 为凸集，f 在S 上可微，故令0λ+→，得

()()()()0T f x x x f x f x ∇-≤-<%%，这与已知条件矛盾，故x 是问题min ()x S

f x ∈的最优

解．

8、设函数()f x 具有二阶连续偏导数，k x 是()f x 的极小点的第k 次近似，利用

()f x 在点k x 处的二阶Taylor 展开式推导Newton 法的迭代公式为 211[()]()k k k k x x f x f x -+=-∇∇．

证明 由于()f x 具有二阶连续偏导数，故

21

()()()()()()()()2

T T k k k k k k f x x f x f x x x x x f x x x ϕ≈=+∇-+-∇-．

且2()k f x ∇是对称矩阵，因此()x ϕ是二次函数．为求()x ϕ的极小点，可令

()0x ϕ∇=，即2()()()0k k k f x f x x x ∇+∇-=，若2()k f x ∇正定，则上式解出的()

x ϕ的平稳点就是()x ϕ的极小点，以它作为()f x 的极小点的第1k +次近似，记为