《最优化方法》课程复习考试

《最优化方法》复习提要 第一章 最优化问题与数学预备知识

§1. 1 模型

无约束最优化问题 12min (),(,,

,)T n n f x x x x x R =∈．

约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧

）

min ();...f x s t x S ⎧⎨

∈⎩ 即 m i n ();

..()0,1,2,,,

()0,1,2,

,.

i j f x s t g x i m h x j l ⎧⎪

≥=⎨⎪==

⎩

其中()f x 称为目标函数，12,,

,n x x x 称为决策变量，S 称为可行域，

()0(1,2,

,),()0(1,2,

,)i j g x i m h x j l ≥===称为约束条件．

§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式

定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有

()()()T f x x f x p x o x +∆-=∆+∆．

则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．

如果()f x 在点x 处对于12(,,

,)T n x x x x =的各分量的偏导数

()

,1,2,,i

f x i n x ∂=∂

都存在，则称()f x 在点x 处一阶可导，并称向量

12

()()

()()(

,,,

)T

n

f x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．

定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度

()f x ∇ 存在，并且有()()T df x f x x =∇∆．

定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，d

e d

=

．如果 0

()()

lim

()f x e f x R λλλλ

→+-∈

存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作

()

f x d

∂∂． 定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且

()()T f x f x e d ∂=∇∂，其中d

e d

=． 定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．

定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向． 定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,

,)T n x x x x =的

各分量的二阶偏导数2()

(,1,2,

,)i j f x i j n x x ∂=∂∂都存在，

则称函数()f x 在点x 处二阶可导，并称矩阵

222211212222

221

22222

21

2

()

()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫

∂∂∂ ⎪

∂∂∂∂∂ ⎪ ⎪

∂∂∂ ⎪

∇=∂∂∂∂∂ ⎪ ⎪

⎪ ⎪

∂∂∂

⎪∂∂∂∂∂⎝⎭

为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵． 定义 设:,n m n h R R x R →∈，记12()((),(),

,())T m h x h x h x h x =，如果 ()(1,2,

,)i h x i m =在点x 处对于自变量12(,,

,)T n x x x x =的各分量的偏导数

()

(1,2,,;1,2,,)i j

h x i m j n x ∂==∂

都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵

111122221

212

()()

()()()()()()()()n n m n m m m n h x h x h x x

x x h x h x h x x x x h x h x h x h x x

x x ⨯∂∂∂⎛⎫ ⎪

∂∂∂

⎪

⎪∂∂∂

⎪∂∂∂∇= ⎪ ⎪

⎪

∂∂∂ ⎪ ⎪∂∂∂⎝

⎭

为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．

例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．

解 设1212(,,

,),(,,

,)T

T

n n a a a a x x x x ==，则1

()n

k k k f x a x b ==+∑，

因()

(1,2,,)k k

f x a k n x ∂==∂，故得()f x a ∇=．

又因2()0(,1,2,

,)i j

f x i j n x x ∂==∂∂，则2()f x O ∇=．

例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2

T

T f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．

解 设1212(),(,,

,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则

12111

1(,,

,)2n n

n

n ij i j k k i j k f x x x q x x b x c ====++∑∑∑，

从而111111111()()()n

n j j j j j j n n n nj j n nj j j j n f x q x b q x x b

f x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪

⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪

∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪

∂⎝⎭⎝⎭⎝⎭

∑∑∑∑．