优化设计的数学基础PPT资料61页

.
4. Q 对 称 矩 阵 。 fXXTQ X 则 ， fX2Q X
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数，则极值点 的必要条件一阶偏导数等于零，即
f x* 0
满足此条件仅表明该点为驻点，不能肯定为极值 点，即使为极值点，也不能判断为极大点还是极 小点，还得给出极值点的充分条件
第四节 凸集、凸函数与凸规划
前面我们根据函数极值条件确定了极小点 x * 则函数f(x)在x * 附近的一切x均满足不等式
f xf x*
所以函数f(x)在 x * 处取得局部极小值，称x * 为
G
x0
x12 2 f
x2x1
2 f
x1x2
2 f
x22
x0
x0
x10
x
2
0
各阶主子式大于零
例：求函数的 fx 1 ,x 2 x 1 2 x 2 2 4 x 1 2 x 2 5极值
第三节 无约束优化问题的极值条件
无约束优化问题是使目标函数取得极小值，所 谓极值条件就是指目标函数取得极小值时极值 点所应满足的条件。
2 f xk
x1x2
2 f xk
...
2 f xk
x1xn
2 f xk
G
xk
x 2 x1
x
2 2
...
x2xn
...
...
...
...
2 f xk
2 f xk
2 f xk
...
xnx1
xnx2
xn2
为N维函数f(x)在点 x ( k ) 处的Hesse矩阵
性质二 梯度方向是函数具有最大变化率的方向。
x2
f(x0)
最速上升方向
x0
－f(x0) 最速下降方向
下降方向
上升方向 变化率为零的方向
O
x1
图2-2 梯度方向与等值面的关系
例题 2-1
求函数 f(x ) x 1 2 x 2 2 4 x 1 4 在点[3,2]T 的 梯度。
解：
f
f
(
x)
x1 f
梯度 F(x0) 模：
1
F(x0)
n i1
(F xi )2x0
2
函数的梯度方向与函数等值面相垂直，也就是 和等值面上过x0的一切曲线相垂直。
由于梯度的模因点而异，即函数在不同点处的
最大变化率是不同的。因此，梯度是函数的一种局 部性质。
梯度两个重要性质：
性质一 函数在某点的梯度不为零，则必与过该点 的等值面垂直；
2 x1
2 x2
4
x2
在点x(1)=[3,2]T处的梯度为：
f(x(1))2x21x24x(1) 2 4
例2-2*：试求目标函数fx 1 ,x 2 3 x 1 2 4 x 1 x 2 x 2 2 在点X0 0,1T 处
的最速下降方向，并求沿这个方向移动一个单位长度后新点的
目标函数值。 解： 由于
fX
fX
x 1 6 x 1 4 x 2 , x 2 4 x 1 2 x 2
则函数在 X0 0,1T处的最速下降方向是
f X
Pf
X0
fxX 1
x2 x10
46xx1124xx22x10 x21
4 2
这个方向上的单位向量是：
x21
f X0
e
f X0
4 2
5 2
5
4222 1 5 5
x 1
f
x10,x20 x2 f
x10,x20
x2
x2
f x0
f x0
x1
cos1 x2
cos2
二、二元函数的梯度
对于二维函数 f x1, x2 在 x 0 点处的梯度
f x0
f
x0
T
f x0
,
x1
x2
x0
设
d
cos1
c
o
s
2
为d方向的单位向量，则有
•新点是
X1 X0 e1 0 1 5 5 2
55 2
5
5 11 5 5
f X 1 3 x 1 2 4 x 1 x 2 x 2 2|X 0 2 5 6 25
几个常用的梯度公式：
1. fXC常 数 则 ， fX0 即 ， C0
2. fXbTX 则 ， fXb
.
3. fXXTX 则 ， fX2X
其Hesse矩阵G(X*)为正定的。
多元函数f(x)在x * 处取得极值，则极值的条件为
（1） ▽F(X*)=0； 必要条件 （2）Hesse矩阵G(X*)为正定。 充分条件
为无约束优化问题的极值条件
同学考虑二元函数在 x * 处取得极值的充分必
要条件。
f
f
x
x1
0
f
x
2
2 f
第一节 多元函数的方向导数与梯度
一、方向导数
从多元函数的微分学得知，对于一个连续可
微函数f(x)在某一点 x ( k ) 的一阶偏导数为：
f ( x k ) ， f ( x k ) ，… ， f ( x k )
x1
x2
xn
它表示函数f(x)值在x ( k ) 点沿各坐标轴方向的变
化率。
f d
x0
f
x0 T
d
即
f d x0
f x0T d
fx0T cosf,d
三、多元函数的梯度
f x0 f x0
f
x0
T
f x0
,
,...
x1
x2
xn
cos 1
沿d方向的方向向量
d
c
Байду номын сангаас
o
s
2
...
c
o
s
n
即
f d x0
f x0T d
fx0T cosf,d
图2-5 梯度方向与等值面的关系
设目标函数在 x * 点至少有二阶连续的偏导数，则
在这一点的泰勒二次近似展开式为：
fx fx * i n 1 f x x i*x i x * 1 2 i,n j 1 2 x f i x x j *x i x i *x j x * j
2 f xk
2
x12 f xk
泰勒展开写成向量矩阵形式
fx fx * fx * T x x * 1 2 x x * T G x * x x *
∵ f x* 0
fx fx * 1 2 x x * TG x *x x *
∵ fxfx*0
则极小点必须满足
xx* TGx* xx*0
x * 为无约束极小点的充分条件
有一个二维函数，如图2-1所示。
图2-1 函数的方向导数
其函数在 x 0 点沿d方向的方向导数为
fx 0
fx 1 (0 ) x 1 ,x 2 0 x 2 fx 1 0 ,x 2 0
lim d 0
lim x1 0 x2 0
f x 1 (0 ) x 1 ,x 2 0 x 2f x 1 0 ,x 2 0 x 2 x 1