结构优化第2章 数学基础

2 f X k x1xn 2 k f X x2 xn 2 k f X 2 xn


可以看出，函数的二阶导数矩阵是一个n×n 阶对称矩阵。
矩阵的正定性
矩阵有正定、负定和不定之分：
对于任意非零向量X （1）若有
解：分别求函数在点X1的函数值、梯度和二阶导数矩阵为
f X1 2 f X 1


5 x14 5 3 4 1 4 x2 1

2 f X 1

1
20 x 13 0 20 0 2 0 12 0 12 x 1 2 1
f X k S
S

f

X
k
T
S || f X

k
||
f
f X k

Xk
说明方向导数达到最大值，故梯度方向是 函数在一点上方向导数最大的方向 。
f X k

k 与梯度的相反的方向称为负梯度方向，记作 f X ，
它是函数在一点上函数值下降最快的方向。


cos 1 cos 2 cos n
f X

k
S0
T
式中 f X k 称函数 f X 在点 Xk 的梯度。
⑵ 梯度是一个向量
f X k

f X k f X k f X k , ,, x x xn 1 2
2.矩阵
n m
个有序的数 aij ( i 1, 2, m ; j 1, 2, n) ，
排成的 m 行 n 列数表，称 m × n 阶矩阵。 用大写字母 A 或 Amn 表示。 即
A Amn a11 a 21 am 1 a12 a22 am 2 a1n a2 n amn
必要条件 充分条件
xk 取得极值的
f xk 0 f xk 0
对于二元函数，如图所示 方向导数可根据定义写作
f X S
X2
Sk f(x1 + ∆ x1 ,x2 + ∆ x2 )
△S
x
△X2

k
lim
S 0 x1 0
f X S f X
k


k
Xk
△X1
S f x1 x1 , x2 f x1 , x2 x1 x1 S
即
行 向 量 矩
阵 行 向 量
列 列 阵 向 向 量 量 列 矩 向 数 行 向 量 阵 量 矩
如果H 是正定的，则函数 f（X）称正定 二次函数。
正定二次函数具有以下性质：
（ 1 ）正定二次函数的等值线（面）是一族 同心椭圆（球） , 其中心就是该二次函数的 极小点. （2）非正定二次函数在极小点附近的等值线 （面）近似于椭圆（球）。
2.5 多元函数的极值条件
2.5.1 无约束问题的极值条件 一元函数f（x）在点
则有
向量与向量相乘
x1 x C T X [c1 , c2 ,..., cn ] 2 c1 x1 c2 x2 cn xn （数) xn c x c x c x c1 1 1 1 2 1 n c c x c x c x 2 n CX T 2 [ x1 , x2 ,..., xn ] 2 1 2 2 ( 矩阵 ) c c x c x c x n n n n 1 n 2
第2章 数学基础
2.1 向量与矩阵
1.向量 由线性代数知，n个有序的数
x1 , x2 , , xn
组成的数组称n 維向量。
n 維向量写成一列时称列向量，记作 X
写成一行时称行向量，记作 X T 即
x1 x X 2 , xn
X T x1
Baidu Nhomakorabea
x2 xn
将上面的结果相加得简化后的二次函数
f X 10( x1 1)2 6( x2 1)2 5 x1 4 x2 7
2 10 x12 6 x2 15 x1 8 x 2 9
2.4 正定二次函数
二次函数可以写成以下向量形式： 1 f X X T HX BT X c 2
向量与向量相乘
a11 a12 a13 a X TA x x x a a 2 3 21 22 23 1 a31 a32 a33 [ x1a11 x2a21 x3a31 , x1a12 x2a22 x3a32 , x1a13 x2 a23 x3a33 ]
f X k cos 1 x2 cos 2

同理，对于一般 n 元函数有
f X k S
f X cos
k
x1
1

f X k x2
cos

2

f X k xn
cos
n
f X k f X k f X k , , , x1 x2 xn
多元函数 f ( X ) 在某点 X k 也可泰勒展开，展开式一般取三项
f X f X

k
f X
k
T
k X X
1 k T 2 k k X X f X X X 2


2 k f X 其中

f(x1 ,x2 )
f(x1 +∆x1 ,x2 )
X1
lim
lim
x2 0
f x1 x1 , x2 x2 f x1 x1 , x2 x2 x2 S
1

f X k x1
cos

f X k x2
cos
2
f X k , x1


T
和展开式的二次项 1 1 T 2 1 1 X X f X X X 2 20 0 x1 1 1 x1 1, x2 1 0 12 x 1 2 2

10( x1 1)2 6( x2 1)2
称二阶导数矩阵。
二阶导数矩阵的组成
f X
2

k
2 f X k 2 x 1 2 k f X x x 2 1 2 f X k xn x1

2 f X k x1x2 2 f X k x2 2 2 f X k xn x2
3.矩阵的运算 向量和矩阵之间可以进行各种运算，如 加减法运算； 数乘运算外； 一般的乘法运算。
4.矩阵的乘法运算 令
x1 c1 X x 2 , C c2 , x3 c3 a11 A a21 a31 a12 a22 a32 a13 a23 a33
说明与梯度成钝角的方向是函数值下降的方向 f 可见函数的梯度具有以下性质：
s
（1）梯度是一个向量。 （2）梯度方向是等值线(面)的外法线方向。
（3）梯度是函数在一点邻域内局部性态的描述。
2.3 多元函数的泰勒展开
一元函数f（x）若在点的邻域内 n 阶可导，则函数可在该 点的邻域内可作如下展开：
f ( x ) f ( xk ) f ' ( xk ) ( x xk ) f " ( xk ) ( x xk )2 Rn
向量与矩阵相乘
(行向量)
a11 a12 a13 c1 a11c1 a12c2 a13c3 AX a21 a22 a23 c2 a21c1 a22c2 a23c3 a31 a32 a33 c3 a31c1 a32 c2 a33c3
X T HX 0
则称矩阵H是正定矩阵；
（2）若有
X T HX 0
则称矩阵H是负定矩阵；
X T HX 0
（3）若有时 X T HX 0 有时 则称矩阵H是不定矩阵。
矩阵正定性的判定（主子式法） ⑴ 如果矩阵H的各阶主子式的值均大于零，即 一阶主子式 二阶主子式
h11 0
h11 h12 0 h21 h22
h11
h12 h22 h32
h13 h23 0 h33
三阶主子式
h21 h31
… 则矩阵H是正定的；
⑵ 如果矩阵H的各阶主子式的值负正相间，即 奇数阶主子式小于零，偶数阶主子式大于零时， 矩阵H负定； ⑶ 其他情况下H不定。
例2-2 用泰勒展开的方法将函数 f（X）=x15 + x24 在点 X1= [1，1]T 简化成线性函数和二次函数。
k

S1
此式表明，函数在某点沿方向S的 方向导数等于该点的梯度在方向S 上的投影。
f X k S
(2)

Xk
f X k S (1)

⑶ 梯度的方向
1)当方向S与梯度垂直时
f X S
f X

k

k
f

X
k
X
k
S
T
S 0
f
说明函数的梯度方向是在一点等值线(面)的法线方向 2）当方向S与梯度的夹角为零时
(列向量)
a11 a12 a13 y1 X T AX x1 x2 x3 a21 a22 a23 y2 a31 a32 a33 y3 ( x1a11 x2 a21 x3 a31 ) y1 ( x1a12 x2 a22 x3 a32 ) y2 ( x1a13 x2 a23 x3 a33 ) y3 （数）




T
方向导数与梯度的关系
f X k S

f

k
X
k
T
S0
|| f X || c os
|| f X k || || S 0 || c os f X k ,S f X

S2
f X k
,S

x1 1 x1 1 X X x 1 x 1 2 2
代入泰勒展开式得简化的线性函数
1 X X1 f X f X f X x1 1 2 5 4 x 1 2 5 x1 4 x2 7 1
3）当方向S与梯度方向的夹角为锐角时
f X k S
f X k

s

f

f 说明与梯度成锐角的方向是函数值上升的方向。 4）当方向S与梯度方向的夹角为钝角时
f X k S
X
k
T
S 0
Xk

f

f X k
X
k

X
k
T
S 0
2.2 方向导数与梯度
⑴ 导数是函数在某点的变化率的数学描述
df dx
一元函数f(x)在点xk的一阶导数
x xk
f ( X k ) , x1
f ( X k ) , x2
多元函数f(X)在点 Xk 的一阶偏导数
f ( X k ) S
多元函数f(X)在点 X k 沿任意方向S的一阶偏导数, 称方向导数