工程优化 第二章---- 基础知识

lim
f ( x xi ei ) f ( x ) pi , i 1, 2, xi
,n
故 f ( x ) 存在且 p f ( x ) ，由（2.2）知结论成立。
根据上述定理， （*）也可写成
f ( x x) f ( x ) f ( x )T x o(|| x ||)
，
故矩阵 A 为正定矩阵.
正定二次函数的极小点
定理： 若二次函数 f x 等值面是同心椭球面族，且中心为 x* Q1 b 证明：作变换 x y Q1b,代入二次函数式中：
y f y Q b
1
1 T x Qx bT x c 中Q正定，则它的 2
| xT y| || x || || y ||
等号成立当且仅当 x y （ 为实数） 。
|| x y || ( ( xi yi ) 2 )
i 1 n 1 2
为两点 x, y 间的距离。
范数及其相关不等式
1.向量的几种范数:
n 2 x 2 xi i 1
kj
设序列 {x } 是 R 中一个向量序列，如果存在一个子序
k
n
列 {x } ，使 lim x
j
kj
ˆ ，则称 x x ˆ 是序列 {x k } 的一个聚点。
据定义易知， 如果无穷序列有界， 即存在正数 M ， 使得对所有 k 均有 || x 定义
k
|| M
， 则这个序列必有聚点。
设 {xk } 是 R n 中一个向量序列，x Rn ，如
d f ( x ) f ( x )T e ，其中 e || d || d
f ( x e) f ( x ) f ( x ) lim 证明：由定义 d = 00
f ( x )T e o( ) f ( x )T e = 0 0
lim
d 是n维 定义 设 f ( x) 是 R n 上的连续函数，x Rn ，
n
一个
f ( x x) f ( x ) pT x lim 0 ||x||0 || x ||
（2.1） （2.2）
则称 f ( x) 在点 x 处可微，并称
df ( x) pT x
为 f ( x) 在点 x 处的微分。 式（2.1）可以写成下述等价形式
f ( x x) f ( x ) pT x o(|| x ||)
果对每个任给的 0 ，总存在正整数 K ，使得当
m, l K 时就有 || x m xl ||
，则称序列 {xk } 为 Cauchy 序
列。 定理 设 {x } R 为 Cauchy 序列， 则 {xk } 的聚点必
k n
为极限点。
§2 多元函数的梯度、Hesse 矩阵和泰勒公式
（*）
定义 2 设 f : R 于自变量 x ( x1, x2 ,
n
R, x Rn 0 ， 如果 f ( x) 在点 x 处对
, xn )T 的各分量的偏导数
f ( x ) , i 1, 2, xi ,n
都存在，则称函数 f ( x) 在点 x 处一阶可导，并且称向 量
f ( x ) f ( x ) f ( x ) , , x x 1 2 f ( x ) , g ( x) xn
三、 序列的极限 定义 设
{x k } 是 R n 中一个向量序列，x R n ，如果对每个任给
k
的 0 ，存在正整数 K ，使得当 k K 时就有 || x 敛到 x ，或称序列以 x 为极限，记作 lim x
k k
x || ，则称序列收
x。
按此定义，序列若存在极限，则任何子序列有相同的极限， 即序列的极限是惟一的。 定义
x xi ei ,
i 1, 2,
,n，
, xn )T ， ei 是第 i 个分量为
1，其余
, pn )T ，则
,n
分量为 0 的单位坐标向量，记 从而
xi 0
p ( p1 , p2 ,
i 1, 2,
f ( x xi ei ) f ( x ) pi xi o(| xi |),
T
为 f ( x) 在点 x 处的一阶偏导数或梯度。 定理 设 f : R
n
R, x R n 。如果 f ( x) 在点 x 处可微，
则 f ( x) 在点 x 处的梯度 f ( x ) 存在，且
df ( x) f ( x )T x
证明：在（*）中依次取 其中 x (x1, x2 ,
课后作业
第一章：P8: 1.1 第二章： P38: 2.1 2.3 2.9-- 2.14 2.19 2.20(1,3) 2.28 2.29
第二章 基础知识
●
预备知识 多元函数的梯度、Hesse 矩阵和泰勒公式 多元函数的极值 二维问题的图解法 凸集与凸函数及其判定方法 凸规划及其性质
●
●
●
●
●
第二章 基础知识 §1 预备知识 一、向量的范数 本课程中，约定向量均取列向量形式。这样 n 维 Euclid 空间 R n 中的一 个向量 x 表示为
怎么判定一个对称矩阵A是不是正定的？
Sylvester（西尔维斯特 ）定理： 一个n×n对称矩阵A是正定矩阵的充要条件是 矩阵A的各阶顺序主子式都是正的。 A是正定矩阵的充要条件有以下几条：
(1) 存在非奇异矩阵G, 使得 A=GTG;
(2) A的所有特征根大于零;
(3) 有满秩矩阵G，使A=GTG ;
n x 2 x
1 x
x A xT Ax


1 2
2. 矩阵范数:
Ax A max x 0 x
n
(||.||为某一向量范数)
特别对方阵有
A 1 max aij
j
A max aij
i j 1
i 1 n
(列和的最大者 ) (行和的最大者 ) 谱范数(ATA最大特征值开平方)
(4) A的所有顺序主子式都大于零.
思考：负定矩阵、半负定矩阵的判定条件？ 例 判定矩阵
6 3 1 A 3 2 0 1 0 4
是否正定？
解：对称矩阵 A 的三个顺序主子式依次为：
| 6 | 6 0, 6 3 3 2 6 3 0, 3 1 3 1 2 0 0 10 0 4
非零向量，如果存在 0 ，使得
f ( x d ) f ( x ) ， (0, )
则称 d 为 f ( x) 在点 x 处的下降方向；若
f ( x d ) f ( x ) ， (0, )
则称 d 为 f ( x) 在点 x 处的上升方向。
f ( x ) 由方向导数定义， 应用极限保号性知， 当 d 0 时， f ( x) 从点 x 出发沿方向 d 在 x 附近是下降的；当 f ( x ) 0 时， f ( x) 从点 x 出发沿方向 d 在 x 附近是上升 d
元 函 数 f ( x1, x2 , , xn ) 可 视 为 向 量 变 量 x ( x1 , x2 , , xn )T 的实值函数，记作 f ( x) 。 一、多元函数的梯度 定义 1 设 f : Rn R, x Rn 。如果存在 n 维向量 p ， 对任意 n 维非零向量 x ，使得
f ( x x) f ( x ) f ( x )T x o(|| x ||) 或 这与一元函数展到两项的 Taylor 公式是相对应的。 二、方向导数 定义 设 f : Rn R, x Rn ，d 是给定的 n 维非零向量，
e
d || d || ，若极限
0
A 2 A A
T
性质:
AB A B
二、正定矩阵及其判定 本课程中，约定矩阵为实矩阵。把 m n 实矩阵的全体记为 R mn 。 设 A 是 n 阶对称矩阵， x 为任意非零 n 维向量， （1） 若 xT Ax 0 ，则称 A 为正定矩阵，记作 A 0 ； （2） 若 xT Ax 0 ，则称 A 为半正定矩阵，记作 A 0 ； （3） 若 xT Ax 0 ，则称 A 为负定矩阵，记作 A 0 ； （4） 若 xT Ax 0 ，则称 A 为半负定矩阵，记作 A 0 ； 除此之外，称 A 为不定矩阵。 由定义： 若 A 是正定的，则称 A 是负定的。 若 A 是半正定的，则称 A 是半负定的。
n
则称函数 || x || 为 R n 上的向量范数。
T n 对 任 意 的 x ( x1 , x2 , , xn ) R ， 1 p ， 称
( | xi | )
p i 1
n
1
p
为向量 x 的 p 范数，记作 || x || p ，即
n 1 p i 1
|| x || p ( | xi | p )
（ 1 ）对任意 x Rn 有 || x || 0 ，当且仅当 x 0 时
|| x || 0 ；
（2）对任意 x Rn 及实数 有 || x ||| | || x || ； （3）对任意 x, y R 有 || x y |||| x || || y ||
.
来自百度文库
T 1 y Q 1b Q y Q 1b bT y Q 1b c 2

1 T 1 y Qy bT Q 1b c 2 2
椭球面 y12+ 3y22+4y32=6
2
根据解析几何知识，Q为正定矩阵的二次型 1 yT Qy 的
等值面是以坐标原点y 0为中心的同心椭球面族。由于上
(1 p )
在 p 范数中，用得最多的是 2 范数，即
|| x ||2 ( xi )
2 i 1
n
1
2
因此常记 || ||2 为 || || 。 设 x, y R ， 称
n
x y xi yi yT x
T i 1
n
为向量 x 与 y 的内
积。 关于范数与内积，有重要的 Cauchy 不等式：
x1 x x 2 xn
T 也可表示为行向量的转置，即 x ( x1 , x2 , , xn ) ，其中 x1 , x2 , , xn 为向量 x
的分量。分量都为零的向量称为零向量，记为 0。 定义 在 n 维线性空间 R n 中，定义实函数 || x || ，使其满足以下三 个条件：
lim
f ( x e) f ( x )

( R) 存在，则称
此极限为
f ( x) 在点 x 沿方向 d 的方向导数， 记作
f ( x ) d 。
定理 设 f : Rn R, x Rn 。如果 f ( x) 在点 x 处可微， 则 f ( x) 在点 x 处沿任何非零向量 d 的方向导数存在， 且
的。方向导数的正负号决定了函数的升降，升降快 慢由它的绝对值大小决定。绝对值越大，升降的速
1 式中的 bT Q 1b是常数，所以 y 的等值面也是以y 0为中 2

心的同心椭球面族，回到原坐标系中去，原二次函数就是以
x* Q1 b为中心的同心椭球面族。 这族椭球面的中心x* Q1 b
恰是二次目标函数的唯一极小点。
前面已说过，一般目标函数的等值面在极小点附 近近似地呈现为椭球面族。 由此可见对于二次函数有效的求极小点的算法， 当用于一般函数时，至少在极小点附近同样有效。 因此在最优化理论中判定一个算法好坏的标准之 一，是把该算法用于Q为正定的二次函数，如能迅速 找到极小点，就是好算法；否则就不是太好的算法。 特别地，若算法对于Q为正定的二次函数能在有 限步内找出极小点来，就称此算法为二次收敛算法， 或具有二次收敛性。
x 1 xi
i 1 n
1 2
范数常见不等式 l2范数 l1范数 l∞范数
x2 x1 n x
x

2

x2 n x
x

max xi
x

x1n x

x
n | x |p i p i 1

1 p
x

x2 x
A
1
2
lp范数 椭球范数(A正定)