优化方法的数学基础

x1
x2
L
xn
x0
F
xn x 0
多元函数的方向导数表示为
F
s
x0
n i 1
F xi
cosi
x0
F (x0 )T s
F (x0 )
cos(F, s)
梯度 F ( x0 ) 模：
1
F ( x0 )
n i1
( F xi
)2 x0
2
对于二元函数来说，函数的梯度方向与函数等 值线面相垂直，也就是和等值面上过x0的一切曲线 相垂直。
F
x1
x2
设： 则有
s
cos1 cos2
为单位向量。
F s
x 0 F ( x0 )T s
F ( x0 ) cos(F, s)
若上式为0，则说明方向导数是沿着
等值线的切线向，而梯度是沿着与等值
线切线相垂直的方向，且这时方向导数
达到最大值，这说明梯度是函数值变化 最快的方向，而梯度的模就是函数变化
f
( x(1) )
2x1 4
2 x2
x(1)
2 4
例在点2X-02：试0,1求T 目标处函的数最速f下x降1,方x2向，3并x12求 沿4x这1x2个方x22向移
动一个单位长度后新点的目标函数值。
解： 由于
f X
f X
x1 6x1 4x2 , x2 4x1 2x2
则函数在 X 0 0,1T 处的最速下降方向是
二、二次函数及正定矩阵
在n元函数中，除了线性函数：
n
f x1x2 xn
ai xi c
a1
i 1
或 f(X)=aX+c
aT
a2 an
外，最简单最重要的一类就是二次函数。
二次函数的一般形式为：
f
x1, x2 , xn
1 2
n i1
n
gij xi x j
j 1
n
bi xi
x0
c os1
f x2
x0
c os 2
f x3
x0
c os 3
n元函数在点x0处沿s方向的方向导数
F s
x0
F x1
x0
cos1
F x2
x0 cos2 L
F xn
x0 cosn
n F i1 xi
x0 cosi
（二） 梯度
二元函数的梯度
F s
x0
F x1
cos1
x0
F x2
cos2
x0
§6.2 优化方法的数学基础
方向导数与梯度 二次函数及正定矩阵 无约束优化问题的极值条件 等式约束优化问题的极值条件 不等式约束优化问题的极值条件 优化设计问题的基本解法
一、 方向导数与梯度
（一）方向导数
二元函数在点x0处沿某一方向s的方向导数
F lim F (x10 x1, x20 x2 ) F (x10 , x20 )
x2
率的最大值 。
当方向s与梯度方向的夹角为锐角时
，上式大于0，当方向s与梯度的夹角为
钝角时，上式小于0，这说明与梯度成锐
角的方向是函数值增加（上升）的方向
，而与梯度成钝角的方向是函数值减小
（下降）的方向。
f(x0) 最速上升方向
x0
－f(x0) 最速下降方向
下降方向
上升方向 变化率为零的方向
O
x1
由于梯度的模因点而异，即函数在不同点处的
最大变化率是不同的。因此，梯度是函数的一种局 部性质。
综上所述，函数的梯度具有以下特征：
1）函数一点的梯度是由函数在该点上的所有一阶 偏导数组成的向量。梯度的方向是该点函数值上升最 快的方向，梯度的大小就是它的模。
2）函数在一点的梯度方向与函数过该点的等值线 （面）的切线（平面）相垂直，或者说是该点等值线 （面）的外法线方向。
5
f
X1
3x12
4x1x2
x22
| X
1
26 5
2
5
几个常用的梯度公式：
1. f X C 常数 则，f X 0
即，C 0
2. f X bT X 则，f X b
.
3. f X X T X 则，f X 2X
.
4. Q对称矩阵。 f X X TQX 则，f X 2QX
F x1
F cos1
x2
x0
cos2
F
F ( x0 )
x1
F
Байду номын сангаас
x2 x0
F
x1
F x2
T
x0
为函数F(x1，x2)
在x0点处的梯度。
设
s
cos1 cos2
F F
s
x1
F cos1
x2
cos
2
FT s F s cosF, s
梯度的模：
2
2
F F
i1
c
其中 gij , bi , c 均为常数。 gij g ji
其向量矩阵表示形式是：f X 1 X T QX bT X c
2
g11 g12 g1n
其中
Q=
g21 gn1
g22 gn2
g2n gnn
b1
b2
b=
bn
Q为对称矩阵
在代数学中将特殊的二次函数 f X 1 X TQX 称为二次型。
3）梯度是函数在一点邻域内局部性态的描述。在邻 域内上升得快的方向，离开邻域后就不一定上升得快， 甚至可能下降。
例题 2-1
求函数
f
(x)
x2 1
x2 2
4x1
4
在点[3,2]T 的 梯度。
解:
f
f
(
x)
x1 f
2
x1 2 x2
4
x2
在点x(1)=[3,2]T处的梯度为：
对于二次函数，我们更关心的是Q为正2定矩阵的情形。
定义：设Q为n×n对称矩阵
若 X Rn ，X≠0 ，均有 X TQX＞0 ，则称矩阵Q是正
定的。
若 X Rn ，且X≠0，均有 X TQX＜0，则称Q是负定的。
f X
f
X0
x1
f X
x2
x1 0
6x1 4x2
4x1 2x2
x1 0
x2 1
4 2
x2 1
这个方向上的单位向量是：
f X 0
p
f X 0
4 2
2 5
42 22
1 5
5
5
新点是
X1
X
0
p
0 1
2 5 1 5
5
2 5
5
5
1
1 5
图2-2 梯度方向与等值线的关系
F s
x0
F ( x0 )T s
F ( x0 )
cos(F, s)
x2
f(x0)
最速上升方向
x0
－f(x0)
上升方向
最速下降方向 下降方向
变化率为零的方向
O
x1
图2-2 梯度方向与等值线的关系
多元函数的梯度
F
x1
F
F
(
x0
)
x2
M
T
F F F
s S0 x0
s
x2
方向导数是偏导数概念的推广。
方向导数与偏导数之间的数量关系是
x20
F s
x0
F x1
x0
cos1
F x2
cos2
x0
O
S
x
s
x0
x2
2
x1
1
x10
x1
图2-1
一个三元函数f(x1, x2， x3)在x0(x10, x20， x30) 点处沿s 方向的方向导数为
ss
f s
x0
f x1