现代设计方法课件PPT 第2章 优化设计的数学基础

解：分别求函数在点 X (1)的函数值、梯度和海赛矩阵
f ( X (1) ) 3
f
(X
(1) )
3x132 x226x61 x291
0 3
1
2
f
(
X
(1)
)
6
x1 0
6
0 12
6x2
6 1
0
0 0
1
X
X
(1)
x1
x2
1 1
x1 1
x2
1
重庆大学机械工程学院
4
现代设计方法——第2章 优化设计的数学基础
当 X (k) 为函数的极小点时，有 f (X ) f (X (k) ) 0 ，故必有
[ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 0
根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必 须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 X (k) 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二 阶导数矩阵）正定，即
f ( X ) f ( X (k) ) [f ( X (k) )]T [ X X (k ) ] 1 [ X X (k ) ]T 2 f ( X (k ) )[ X X (k ) ] 2
（2-1）
此式称为函数 f (X ) 的泰勒二次近似式。其中，2 f (X (k)) 是由函数在
点 X (0) 的所有二阶偏导数组成的矩阵，称为函数 f (X ) 在点 X (k) 的二阶偏导
式（2-7）表明，在同一点，函数沿不同的方向的方向导数值是不等的， 亦即函数沿不同的方向上有不同的变化率。我们把函数在某点沿某给定方
向的变化率称为函数在该点沿此方向的方向导数，其值为正，表明函数在
该点沿此方向增加；为负，则减小。
重庆大学机械工程学院
8
现代设计方法——第2章 优化设计的数学基础
2.2.2 梯度
x2
则方向导数 f (X k) ) 可用矢量的内积形式表示如下：
S
f ( X (K ) ) f ( X (K ) )T S f ( X (K ) ) S cos S
S 1 由（2-9）知：方向导数等于梯度在该方向的投影
重庆大学机械工程学院
（2-8） （2-9）
9
现代设计方法——第2章 优化设计的数学基础
与此相似，多元函数 f (X ) 在点X (k) 取得极值的必要条件是函数在该点 的所有一阶偏导数都分别为零，即函数在该点的梯度为零
f ( X (k) ) 0
重庆大学机械工程学院
12
现代设计方法——第2章 优化设计的数学基础
把函数在点X (k)展开成泰勒表达式，并将上式代入，整理得
f ( X ) f ( X (k) ) 1 [ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 2
梯度的概念可以推广到多元函数中去，对于 n 元函数 f (X ) ，梯度可记为
f
(
X
)
f (X x1
)
,
f ( X ) ,
x2
f ( X ) T
,
xn
（2-12）
它是一个向量，沿此方向函数的变化率最大，亦即梯度 f (X )的方向是函
数 f (X ) 的最速上升方向，负梯度 f (X ) 则为函数 f (X ) 的最速下降方向。
f (x)
f (x0 )
f
'( x0 1!
)
(
x
x0
)
f
"( x0 2!
)
(
x
x0
)2
f
(n) ( x0 ) n!
(x
x0
)n
Rn
在实际计算中忽略二阶以上的高阶微量，只取前三项，则目标函数
可近似表达为
f
(x)
f
(x0 )
f
'(x0 )(x x0 )
1 2
f
"(x0 )(x x0 )2
或
f
2
0
联立求解得驻点 X * [2,1]T 。
重庆大学机械工程学院
14
现代设计方法——第2章 优化设计的数学基础
现考察该驻点是否满足极值点的充分条件，函数在该点的海赛矩阵
2 f (X ) 2 f (X )
H(X*)
x12
2 f (X )
x2x1
x1x2
2 f (X )
x22
x*
2 0
x1 , x2(k )
x2 ) x1
f
(x1(k ) , x2(k )
x 2 )
x1 S
f
(
x(k) 1
,
x(k) 2
x2 ) x2
f
(x1(k )
,
x(k) 2
)
x2 S
（2-6）
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
重庆大学机械工程学院
7
现代设计方法——第2章 优化设计的数学基础
将代数式（2-6）写成矩阵形式，则有
f
(X (k) S
)
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
f ( X (k) )
x1
f ( X (k) ) cos1
x2
cos
2
f ( X (k) )
令
f ( X (k) )
x1
,
f ( X (k) )
S
cos1 cos2
f (X )
x1
f (X x2
)
42 22 2 5
该梯度的单位向量p 为
f ( X (1) ) 1 4 1 2
p
f ( X (1) )
2
5 2
5 1
重庆大学机械工程学院
11
现代设计方法——第2章 优化设计的数学基础
2.3 无约束优化问题的极值条件
无约束优化问题求解的实质是求解目标函数 f (X ) 在n 维空间 Rn 中的极 值点和极值。
重庆大学机械工程学院
13
现代设计方法——第2章 优化设计的数学基础
例2-3 求函数 f (x1, x2 ) x12 x22 4x1 2x2 5 的极值。
解：根据极值存在的必要条件
f
(
X
)
f ( X x1
)
,
f ( X ) T
x2
0
f ( X x1
)
2 x1
4
0
f ( X x2
)
2 x2
求展开式的二次项
1 [ X X ] (1) T 2 f ( X (1) )[ X X (1) ] 2
1 2
[
x1
1
x2
1]
12
0
0 0
x1 x2
1 1
6(
x1
1)2
代入式（2-1）得简化的二次函数
f ( X ) f ( X (1) ) [f ( X (1) )]T [ X X (1) ]
f ( X *) 0
2 f ( X *) 为正定
（2-13） （2-14）
反之，多元函数在点 X (k)取得极大值的充分必要条件是：函数在该点 的梯度为零，海赛矩阵负定。
一般说来，式（2-14）对求解优化问题只有理论上的意义。因为就实 际问题而言，由于目标函数比较复杂，海赛矩阵不容易求得，其正定性 的判断就更加困难。
数矩阵或海赛（Hessian）矩阵，经常记作 H (X (k) ) 。二阶偏导数矩阵的组
成形式如下：
2 f (X (k))
x12
2 f (X (k))
H
(
X
(k
)
)
2
f
(
X
(k
)
)
x2x1
2 f (X (k))
xnx1
2 f (X (k)) x1x2
2 f (X (k)) x22
2 f (X (k)) xnx2
- f(x (k))
最速下降方向
f(x (k ))最速上升方向
X (k) 上升方向
f( (k)) f(X)= 0
o
x1
图2-2 梯度方向与等值线的关系
重庆大学机械工程学院
图2-3 方向导数与等值面的关系 10
现代设计方法——第2章 优化设计的数学基础
例2-2 求函数 f ( X ) (x1 2)2 (x2 1)2在点 X (1) [0 0]T 处函数变化率最 大的方向和数值。
(x)
f
(x)
f
(x0 )
f
'(x0 )x
1 2
f
"(x0 )(x)2
重庆大学机械工程学院
2
现代设计方法——第2章 优化设计的数学基础
当目标函数为多元函数时，在满足一定条件下，目标函数 f (X ) 在 点 X (k) 附近也可以展开成泰勒多项式，一般只取前三项，其形式与一元函 数展开式的前三项相似，即
对于任何一个单值、连续并可微的一元函数 f (x) ，在点 x(k ) 取得极值 的必要条件是函数在该点的一阶导数为零，充分条件是对应的二阶导数不 为零，即
f '(x(k ) ) 0
f "(x(k) ) 0
当 f "(x(k) ) 0时，则函数f (x)在点x(k )取得极小值；当 f "(x(k) ) 0 时，则 函数f (x)在点 x(k ) 取得极大值。其极值点和极值分别记作 x* x(k)和 f * f (x*)。
0 2
H (X *) 的一阶主子式
2 f (X )
A1
x12
20
x(0)
H (X *) 的二阶主子式
20
A2 0
40 2
H (X *) 的各阶主子式均大于零，故H (X *) 为正定矩阵，由极小值存 在的充分条件可知，X * [2,1]T 是严格极小点，f ( X *) 0 为函数的极小值。
1 [ X X (1) ]T 2 f ( X (1) )[ X X (1) ] 2
3x2 6 6(x1 1)2 6x12 12x1 3x2
将 X (1) [1,1]T 代入简化所得的二次函数中，其函数值也等于-3，与 原函数在点 X (1) 的值相等。
重庆大学机械工程学院
5
现代设计方法——第2章 优化设计的数学基础
x二i (i元函1, 2数,
, n) 这些特定方向的变化率。现在以 f (x1, x2 ) 为例，求其沿任一方向 S 的
x2
函数变化率，设 S 与两坐标轴之间的夹角分别
S X (k+1)
为 a1, a2 ，如图2-1所示。 该二元函数f (x1, x2 ) 在点X (k) 沿任意方向S的
变化率可用函数在该点的方向导数表示，记作
2 f (X (k))
x1xn
2 f (X (k))
x2xn
2 f (X (k))
xn2
（2-2）
重庆大学机械工程学院
3
现代设计方法——第2章 优化设计的数学基础
例2-1 用泰勒表达式展开的方法将函数 f (X ) x13 x23 3x12 3x22 9x1 在点 X (1) [1,1]T 简化成二次函数。
在某一点 X (k) 的一阶偏导数为
f ( X (k) ) , f ( X (k) ) ,
x1
x2
, f ( X (k) ) xn
（2-4）
简记为
f ( X (k) ) ,
i 1, 2,
,n
xi
（2-5）
重庆大学机械工程学院
6
现代设计方法——第2章 优化设计的数学基础
它即是该函数 f (X ) 在 X (k) 点沿各坐标轴
分析式（2-9）中的取值对方向导数 f ( X k) ) / S 影响，可知，在设计空间
中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方
向函数值都减小；梯度 f (X ) 的方向为函数 f(X) 过 X (k) 点的等值线（或等值面）
的外法线方向。
Δ Δ Δ
x2
变化率为零的方向
下降方向
ρ α2 Δx2
X (k)
α1
f ( X (k) ) lim f ( X (k) S ) f ( X (k) )
Δx1
S
S 0
S
wk.baidu.com
lim f (x1(k) x1, x2(k) x2 ) f (x1(k) , x2(k) )
S 0
S
o
x1
2-1 函数的变化率
lim
x1 0 x2 0
f
(x1(k )
2.2 函数的方向导数和梯度
我们需要研究寻找极值点的途径，即研究在设计空间中沿什么方 向才能迅速地越过不同的等值线达到等值线族的中点——极值点。显 然，函数值下降最大的方向才是向极值点逼近最快的方向。为此，首 先应研究函数的变化率。
2.2.1方向导数
由多元函数的微分学知，对于一个连续可微多元函数 f (X ) ，
第2章 优化设计的数学基础
现代设计方法——第2章 优化设计的数学基础
2.1 目标函数的泰勒表达式
当目标函数为一元函数时，由泰勒公式知：若函数f (x) 在含有x0 点 的某个开区间 (a,b) 内具有直到 (n 1)阶导数，则当 x 在 (a,b)内时，f (x) 可以表示为 (x x0 ) 的一个n 次多项式与一个余项 Rn (x) 的和：
解：由于函数变化率最大的方向是梯度方向，这里用单位向量 p表示，
函数变化率最大的数值是梯度的模 f (X (1)) 。则由梯度的定义式可求得
f (X )
f
(
X
(1)
)
x1 f (X
)
2 x1 2x2
4 2
X
(1)
4 2
x2 X (1)
f ( X (1) ) 的模为
2
2
f ( X (1) )
同理，可以推导出多元函数 f (X ) 在 X (k)点沿方向 S 的方向导数为
f
(X (k)) S
f
(X (k)) x1
cos1
f
(X (k)) x2
cos2
n i 1
f
(X (k xi
)
)
cos
i
f
(X (k xn
)
)
cos
n
（2-7）
式中 f ( X k) ) / xi 为函数 f (X ) 对坐标轴 xi 的偏导数；cosi xi / S 为 S 方向的方向余弦。