工程优化方法及应用 第二章

基本概念和理论基础
主要内容：
§1 代数基础：范数、正定性
Page 1
§2 多元函数分析基础： Hesse矩阵、方向导数、中值公式
§3 多元函数的极值
§4 等高线 §5 凸分析基础：凸集、凸函数、凸规划 §6 最优化算法的结构
§1 代数基础
向量范数定义 ——列向量 ——l1范数
Page 2
——l2范数
——l∞范数
——lp范数
范数常见不等式
Page 3
l1-范数
l2 -范数
l∞范数 相互等价
矩阵范数
Page 4
特别地，方阵有如下范数 ——l1范数(列和的最大者 )
——l∞范数(行和的最大者 ) ——l2范数也称谱范数
(ATA最大特征值开平方)
矩阵正定性
Page 5
定义：设Q为 n×n 阶对称矩阵,
① 若 x R , x 0 ，均有 xT Qx 0 ，则称 Q 正定。
n
② 若 x R n , x 0 ，均有 xT Qx 0 ，则称Q半正定。 ③ 若 x R n , x 0，均有 xT Qx 0 ，则称Q负定。
④ 若 x R n , x 0 , 均有 xT Qx 0 ，则称Q半负定。
正定判定定理
Page 6
矩阵 Q 正定
Q 的所有特征根大于零; Q 的各阶顺序主子式都大于零； Q 的各阶主子式都大于零； 存在非奇异矩阵G，使得Q=GGT
矩阵 Q 半正定
Q 的所有特征根大于等于零; Q 的各阶主子式都大于等于零； 存在矩阵G，使得Q=GGT。
负定判定定理 矩阵 Q 负定
Page 7
Q 的所有特征根小于零; Q 的所有奇数阶顺序主子式都小于
零，且偶数阶顺序主子式都大于零； Q 的所有奇数阶主子式都小于零且 偶数阶主子式都大于零； 存在非奇异矩阵G，使得-Q=GGT
矩阵 Q 半负定
Q 的所有特征根小于等于零; Q 的所有奇数阶主子式都小于等
于零，且偶数阶主子式都大于等于零； 存在矩阵G，使得-Q=GGT。
Page 8
例1 判定矩阵是否正定:
6 3 1 Q 3 2 0 1 0 4
解：对称矩阵Q 的三个顺序主子式依次为
6 6 0,
6 3
3 2
6
3 1 2 0 0 10 0, 4
3 0, 3
1
矩阵Q是正定的。
§2 多元函数分析基础
多元函数
n f ( x ) : R R n元函数：
Page 9
T f ( x ) c x b ci xi b n元线性函数： i 1
n
x1 x x 2 Rn ... xn
n n n 1 T 1 n元二次函数：f ( x ) x Qx cT x b qij xi x j ci xi b 2 2 i 1 j 1 i 1
n元向量值线性函数：
F ( x ) ( f1 ( x ),..., f m ( x )) Ax d R m
T
= A1 x d1，A2 x d 2， ..., Am x d m
A1 A A 2 ... Am
d1 d d 2 ... dm
序列收敛
定义 设
Page 10
k
{x } k k 则称序列 {x } 依范数收敛到 x* ,记为 lim x k x * k
定义 若 {x k } 满足 lim x m x l 0 ，则称
为一向量序列，如果
lim x k x* 0
序列。i.e.
m ,l
{x k } 为 Cauchy
0, N 0,当m, l N , 有 x m x l
注：
{x
k
} 收敛
是Cauchy 序列. {x }
k
Cauchy 序列的任一子列都收敛。
梯度、Hesse 矩阵
给定区域 D上的 n 元实值函数
Page 11
f : D R R
n
1
f ( x)
的梯度
f x x 1 f x ——列向量 f x x2 f x x n
Page 12
f ( x)
的梯度
f ( x ) 的 Hesse 矩阵
f x f x
2
f x x 1 f x f x x2 f x x n
2 f x x 2 1 2 f x x2 x1 2 f x xn x1
f x f x x1x2 x1xn 2 2 f x f x 2 x2 x2xn 2 2 f x f x 2 xn x2 xn
2 2
Page 13
常用的梯度和Hesse阵公式：
T
(1)f x b x ,
1 T (2) f x x x, 2
1 T (3) f x x Qx, 2
则 f x b, f ( x) 0nn
2
则 f x x, f x I
2
则 f x Qx, f x Q.
2
1 T (4) f x x Qx +bT x c, 2
其中Q为实对称矩阵
则 f x Qx b, 2 f x Q.
方向导数
0
Page 14
定义 (方向导数) 设 f : R n R1 在点 x 处可微, d 为固
定单位向量，则称 f(x) 在x 处沿方向 d 的方向导数为
f x f x td f x lim t 0 d t (实数)
f x 注：（1） f ( x ) d f ( x ) d cos d f x (2)若 0，称 d 为 f ( x ) 在 x 处的上升方向 d
Page 15
f x 若 0，称 d 为 f ( x ) 在 x 处的下降方向 d f x n 若f ( x )=0，则对 d R ,有 =0 d
0
f ( x ) (3) f ( x ) 在 x 处增加最快的方向d f ( x ) f ( x ) f ( x ) 在 x 处下降最快的方向d f ( x )
最速上 升方向
最速 下降
方向
Page 16
2 2 例 1 试求目标函数 f ( x1 , x 2 ) 3x1 4 x1 x 2 x2 在点 x0 (0,1)T 处的最速下降方
向，并求沿这个方向移动一个单位长度后新点的目标函数值。 解：由于 下降方向
f x f x 6 x1 4 x2 , 4 x1 2 x2 , 则函数在 x0 (0,1)T 处的最速 x1 x2
f x x 6 x1 4 x2 4 1 p f x0 f x 4 x1 -2 x2 x1 0 2 x2 1 x1 0 x 2
x2 1
此方向上的单位向量
e
f x0 f x0

4 2
4 2
2
2
2 5 5 1 5 5
2 2 5 5 26 5 1 2 2 新点是x1 x 0 e 0 5 f x 3 x 4 x x x | 2 5 0.73 1 1 2 2 x1 1 1 1 . 5 5 1 5 5 5

中值公式
设 f ( x) : Rn R 二阶可导，则在x* 的邻域内有： 一阶Taylor展开式
Page 17
f ( x ) f ( x*) f T ( x*)( x x*) o( x x * ) f ( x*) T f [ x * ( x x*)]( x x*)
二阶Taylor展开式
T
0,1
1 2 T 2 f ( x ) f ( x*) f ( x*)( x x*) ( x x*) f ( x*)( x x*) o( x x * ) 2 1 T f ( x*) f ( x*)( x x*) ( x x*)T 2 f [ x * ( x x*)]( x x*) 2
第二章 基本概念和理论基础
本章主要内容：
§1 代数基础：范数、正定性
Page 18
§2 多元函数分析基础： Hesse矩阵、方向导数、中值公式
§3 多元函数的极值
§4 等高线 §5 凸分析基础：凸集、凸函数、凸规划 §6 最优化算法的结构
§3 多元函数的 极值
Page 19
对于一个极小化问题，我们的目的是求出全局极小点，而全 局极小点不好求，因此我们一般的做法是先求出所有局部极小值 点，再从中找出全局极小点。
为了求出函数的局部极小值点，我们需要考察函数 f 在局部 极小点处满足什么条件？反过来，满足什么条件的点是局部极小 点？首先回顾二元函数的极值条件（高等数学），然后推广到多 元函数。
二元函数极值的判别条件
定理 (必要条件) 设 f ( x , y ) : D R2 R 且 (1) x0 , y0 为D的一个内点; (2) f ( x, y ) 在 x0 , y0 可微; (3) ( x0 , y0 ) 为 f ( x, y ) 的极值点;
x
Page 20
注：可微的极值点一定是驻点， 反之不一定成立。
f ( x0 , y0 ) f ( x0 , y0 ) （驻点） 则在 x0 , y0 处, 0. y
例 度为
f x1 , x2 x1 x2 在 x* 0,0 T 处梯
T ， f 0,0 (0,0)
f
但 x* 只是双曲抛物面的鞍点，而不
是极小点。
x
Page 21
定理
(充分条件)
2 设 f ( x, y ) : D R R 且
(1) x0 , y0 为D的一个内点;
(2) f ( x, y ) 在 x0 , y0 二次连续可微;
f ( x0 , y0 ) f ( x0 , y0 ) 0; x y Hesse阵 '' '' '' 令 A f xx x0 , y0 , B f xy x0 , y0 , C f yy x0 , y0 , 则
(3) x0 , y0 为 f ( x, y)
的驻点，即
(1) 当 AC B 0 时，具有极值
2
A 0 取严格极大值
负定
A 0 取严格极小值
(2) 当 AC B2 0 时， x0 , y0 不是f ( x, y) 的极值点， ( x0 , y0 ) 称为函数的鞍点；
2 (3) 当 AC B 0 时，不能确定，需另行讨论。
AC B det H x0 , y0
2
( x0 , y0 ) f xx ( x0 , y0 ) f yx
( x0 , y0 ) f xy ( x0 , y0 ) f yy
Hesse阵 正定
多元函数的极值判别条件
定理 (必要 条件) 设 f ( x ) : D Rn R 且 (1) x*为D的一个内点; (2) f ( x ) 在 x * 可微; (3) x * 为 f ( x ) 的极值点; 则 f x * 0. 证明: 借助一元函数极值的必要条件，见下页。