第二章 基础知识
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
积。 关于范数与内积，有重要的 Cauchy 不等式：
| xT y| || x || || y ||
等号成立当且仅当 x y （ 为实数）。
||
x
y
||
n
(
(
xi
yi
)2
)
1 2
为两点
x,
y
间的距离。
i 1
范数及其相关不等式
1.向量的几种范数:
1
x
2
n i 1
2
心的同心椭球面族，回到原坐标系中去，原二次函数就是以
x* Q1 b为中心的同心椭球面族。 这族椭球面的中心x* Q1 b
恰是二次目标函数的唯一极小点。
前面已说过，一般目标函数的等值面在极小点附 近近似地呈现为椭球面族。
由此可见对于二次函数有效的求极小点的算法， 当用于一般函数时，至少在极小点附近同样有效。
快的方向是负梯度方向。因此，负梯度方向又叫做最
速下降方向（steepest descent direction）.
重要结论：
设 f : Rn R, x Rn 。如果 f (x) 在点 x 处可微。若存在 n
维非零向量 d ，使得 f (x)T d 0 ，则称 d 是 f (x) 在点 x 处的
且
f (x) d
f
(x
)T
e
，其中
e
||
d d
||
证明：由定义
f (x ) d
= lim 00
f
(x
e)
f
(x)
= f (x)T e o()
lim
f (x)T e
00
定义 设 f (x) 是 Rn 上的连续函数，x Rn ，d 是 n 维
f
(x)
在点 x 处沿方向 d 的变化率。根据Cauchy 不等式，有
| f (x) || f (x)T e ||| f (x) || || e |||| f (x) || d
且当
e
||
f f
(x (x
) )
||
时，
|
f (x d
)
|
取得最大值。由此可知，
梯度方向是函数值上升最快的方向，而函数值下降最
若 A 是正定的，则称 A 是负定的。 若 A 是半正定的，则称 A 是半负定的。
怎么判定一个对称矩阵A是不是正定的？
Sylvester（西尔维斯特 ）定理：
一个n×n对称矩阵A是正定矩阵的充要条件是
矩阵A的各阶顺序主子式都是正的。 A是正定矩阵的充要条件有以下几条： (1) 存在非奇异矩阵G, 使得 A=GTG; (2) A的所有特征根大于零; (3) 有满秩矩阵G，使A=GTG ; (4) A的所有顺序主子式都大于零.
列 ，使 {xkj }
lim xkj
xˆ ，则称
xˆ
是序列 {xk } 的一个聚点。
j
据定义易知，如果无穷序列有界，即存在正数 M ， 使得对所有 k 均有|| xk || M ，则这个序列必有聚点。
定义 设{xk}是 Rn 中一个向量序列，x Rn ，如 果对每个任给的 0 ，总存在正整数 K ，使得当 m,l K 时就有 || xm xl || ，则称序列 {xk} 为 Cauchy 序 列。
思考：负定矩阵、半负定矩阵的判定条件？
6 3 1
例
判定矩阵
A
3
2
0
是否正定？
1 0 4
解：对称矩阵 A 的三个顺序主子式依次为：
6 3 1
6 3
| 6 | 6 0,
3 0, 3 2 0 10 0
3 2
1 04
，
故矩阵 A 为正定矩阵.
f (x d
)
0
时， f (x) 从点 x 出发沿方向 d 在 x 附近是下降的；当
f (x) d
0
时，
f
(x)
从点
x
出发沿方向
d
在
x
附近是上升
的。方向导数的正负号决定了函数的升降，升降快
慢由它的绝对值大小决定。绝对值越大，升降的速
度就越快，所以，方向导数
f (x ) d
又可以称为函数
, xn 为向量 x
定义 在 n 维线性空间 Rn 中，定义实函数|| x || ，使其满足以下三
个条件：
（1）对任意 x Rn 有 || x || 0 ，当且仅当 x 0 时
|| x || 0 ；
（2）对任意 x Rn 及实数 有|| x ||| | || x || ；
则 f (x) 在点 x 处的梯度f (x) 存在，且
df (x) f (x)T x
证明：在（*）中依次取 x xiei, i 1,2, ,n ，
其中 x (x1,x2, ,xn)T ， ei 是第 i 个分量为 1，其余
分量为 0 的单位坐标向量，记 p ( p1, p2, , pn)T ，则
（3）对任意 x, y Rn 有|| x y |||| x || || y ||
则称函数|| x || 为 Rn 上的向量范数。
对 任 意 的 x (x1, x2, , xn )T Rn ， 1 p ， 称
n
1
( | xi |p )
p
为向量 x 的 p 范数，记作|| x ||p ，即
e
||
d d
||
，若极限
lim f (x e) f (x)
0
( R) 存在，则称
此极限为
f
(x)
在点
x
沿方向
d
的方向导数，记作
f (x ) d
。
定理 设 f : Rn R, x Rn 。如果 f (x) 在点 x 处可微，
则 f (x) 在点 x 处沿任何非零向量 d 的方向导数存在，
课后作业
第一章：P8: 1.1 第二章： P38: 2.1 2.3 2.9-- 2.14 2.19
2.20(1,3) 2.27--- 2.29
第二章 基础知识
● 预备知识 ●多元函数的梯度、Hesse 矩阵和泰勒公式 ●多元函数的极值 ●二维问题的图解法 ●凸集与凸函数及其判定方法 ●凸规划及其性质
从而
f (x xiei ) f (x) pixi o(| xi |), i 1, 2, , n
lim
xi 0
f (x xiei ) xi
f (x)
pi
,
i 1, 2,
,n
故f (x) 存在且 p f (x) ，由（2.2）知结论成立。
根据上述定理，（*）也可写成
非零向量，如果存在 0 ，使得
f (x d) f (x) ， (0, )
则称 d 为 f (x) 在点 x 处的下降方向；若
f (x d) f (x) ， (0, )
则称 d 为 f (x) 在点 x 处的上升方向。
由方向导数定义，应用极限保号性知，当
x 2
1
x xT Ax 2 A
椭球范数(A正定)
2. 矩阵范数:
Ax A max
x0 x
(||.||为某一向量范数)
特别对方阵有
n
A 1
max j
i 1
aij
n
A
max i
j 1
aij
A 2
AT A
(列和的最大者 ) (行和的最大者 )
谱范数(ATA最大特征值开平方)
因此在最优化理论中判定一个算法好坏的标准之 一，是把该算法用于Q为正定的二次函数，如能迅速 找到极小点，就是好算法；否则就不是太好的算法。
特别地，若算法对于Q为正定的二次函数能在有 限步内找出极小点来，就称此算法为二次收敛算法， 或具有二次收敛性。
三、 序列的极限
定义 设 {xk}是 Rn 中一个向量序列，x Rn ，如果对每个任给
定理 设{xk} Rn 为 Cauchy 序列，则{xk}的聚点必 为极限点。
§2 多元函数的梯度、Hesse 矩阵和泰勒公式
一 个 n 元 函 数 f (x1, x2, , xn) 可 视 为 向 量 变 量 x (x1, x2, , xn)T 的实值函数，记作 f (x) 。 一、多元函数的梯度
正定二次函数的极小点
定理： 若二次函数f x 1 xTQx bT x c 中Q正定，则它的
2
等值面是同心椭球面族，且中心为 x* Q1 b .
证明：作变换 x y Q1b,代入二次函数式中：
y f y Q1b
1 y Q1b T Q y Q1b bT 2
f (x) , i 1, 2, , n xi
都存在，则称函数 f (x) 在点 x 处一阶可导，并且称向
T
量
f
(
x
)
f (x x1
)
,
f (x x2
)
,
f (x)
,
xn
g(x)
为 f (x) 在点 x 处的一阶偏导数或梯度。
定理 设 f : Rn R, x Rn 。如果 f (x) 在点 x 处可微，
y Q1b c
1 yTQy 1 bTQ1b c
2
2
椭球面 y12+ 3y22+4y32=6
根据解析几何知识，Q为正定矩阵的二次型1 yTQy 的
2
等值面是以坐标原点y 0为中心的同心椭球面族。由于上
式中的1 bTQ1b是常数，所以 y的等值面也是以y 0为中
性质: AB A B
二、正定矩阵及其判定 本课程中，约定矩阵为实矩阵。把 mn 实矩阵的全体记为
。 Rmn 设 A 是 n 阶对称矩阵， x 为任意非零 n 维向量，
（1） 若 xT Ax 0 ，则称 A 为正定矩阵，记作 A 0 ； （2） 若 xT Ax 0 ，则称 A 为半正定矩阵，记作 A 0； （3） 若 xT Ax 0 ，则称 A 为负定矩阵，记作 A 0； （4） 若 xT Ax 0 ，则称 A 为半负定矩阵，记作 A 0； 除此之外，称 A 为不定矩阵。 由定义：
i 1
n
1
|| x ||p ( | xi |p ) p
i 1
(1 p )
在 p 范数中，用得最多的是 2 范数，即
n
|| x ||2 (
xi
2
)
1 2
ห้องสมุดไป่ตู้
i 1
因此常记|| ||2 为|| || 。
n
设 x, y Rn ，称 xT y xi yi yT x 为向量 x 与 y 的内 i 1
的 0 ，存在正整数 K ，使得当 k K 时就有|| xk x || ，则称序列收
敛到 x ，或称序列以 x 为极限，记作 lim xk x 。 k 按此定义，序列若存在极限，则任何子序列有相同的极限，
即序列的极限是惟一的。
定义 设序列{xk}是 Rn 中一个向量序列，如果存在一个子序
定义 1 设 f : Rn R, x Rn 。如果存在 n 维向量 p ， 对任意 n 维非零向量 x ，使得
lim f (x x) f (x) pT x 0
||x||0
|| x ||
（2.1）
则称 f (x) 在点 x 处可微，并称
df (x) pT x
（2.2）
第二章 基础知识
一、向量的范数
§1 预备知识
本课程中，约定向量均取列向量形式。这样 n 维 Euclid 空间 Rn 中的一
个向量 x 表示为
x1
x
x2
xn
也可表示为行向量的转置，即 x (x1, x2, , xn )T ，其中 x1, x2,
的分量。分量都为零的向量称为零向量，记为 0。
xi2
2
l2范数
范数常见不等式
x x nx
2
1
2
n
x 1
xi
i 1
x max xi
1
n p
x p i1 |xi|p
l1范数 l∞范数 lp范数
x x nx
2
x x n x
1
x x x
2
1
n
x 2
x A
1
为 f (x) 在点 x 处的微分。
式（2.1）可以写成下述等价形式
f (x x) f (x) pT x o(|| x ||)
（*）
定义 2 设 f : Rn R, x Rn 0 ，如果 f (x) 在点 x 处对
于自变量 x (x1, x2, , xn)T 的各分量的偏导数
f (x x) f (x) f (x)T x o(|| x ||)
或 f (x x) f (x) f (x)T x o(|| x ||) 这与一元函数展到两项的 Taylor 公式是相对应的。 二、方向导数
定义 设 f : Rn R, x Rn ，d 是给定的 n 维非零向量，
| xT y| || x || || y ||
等号成立当且仅当 x y （ 为实数）。
||
x
y
||
n
(
(
xi
yi
)2
)
1 2
为两点
x,
y
间的距离。
i 1
范数及其相关不等式
1.向量的几种范数:
1
x
2
n i 1
2
心的同心椭球面族，回到原坐标系中去，原二次函数就是以
x* Q1 b为中心的同心椭球面族。 这族椭球面的中心x* Q1 b
恰是二次目标函数的唯一极小点。
前面已说过，一般目标函数的等值面在极小点附 近近似地呈现为椭球面族。
由此可见对于二次函数有效的求极小点的算法， 当用于一般函数时，至少在极小点附近同样有效。
快的方向是负梯度方向。因此，负梯度方向又叫做最
速下降方向（steepest descent direction）.
重要结论：
设 f : Rn R, x Rn 。如果 f (x) 在点 x 处可微。若存在 n
维非零向量 d ，使得 f (x)T d 0 ，则称 d 是 f (x) 在点 x 处的
且
f (x) d
f
(x
)T
e
，其中
e
||
d d
||
证明：由定义
f (x ) d
= lim 00
f
(x
e)
f
(x)
= f (x)T e o()
lim
f (x)T e
00
定义 设 f (x) 是 Rn 上的连续函数，x Rn ，d 是 n 维
f
(x)
在点 x 处沿方向 d 的变化率。根据Cauchy 不等式，有
| f (x) || f (x)T e ||| f (x) || || e |||| f (x) || d
且当
e
||
f f
(x (x
) )
||
时，
|
f (x d
)
|
取得最大值。由此可知，
梯度方向是函数值上升最快的方向，而函数值下降最
若 A 是正定的，则称 A 是负定的。 若 A 是半正定的，则称 A 是半负定的。
怎么判定一个对称矩阵A是不是正定的？
Sylvester（西尔维斯特 ）定理：
一个n×n对称矩阵A是正定矩阵的充要条件是
矩阵A的各阶顺序主子式都是正的。 A是正定矩阵的充要条件有以下几条： (1) 存在非奇异矩阵G, 使得 A=GTG; (2) A的所有特征根大于零; (3) 有满秩矩阵G，使A=GTG ; (4) A的所有顺序主子式都大于零.
列 ，使 {xkj }
lim xkj
xˆ ，则称
xˆ
是序列 {xk } 的一个聚点。
j
据定义易知，如果无穷序列有界，即存在正数 M ， 使得对所有 k 均有|| xk || M ，则这个序列必有聚点。
定义 设{xk}是 Rn 中一个向量序列，x Rn ，如 果对每个任给的 0 ，总存在正整数 K ，使得当 m,l K 时就有 || xm xl || ，则称序列 {xk} 为 Cauchy 序 列。
思考：负定矩阵、半负定矩阵的判定条件？
6 3 1
例
判定矩阵
A
3
2
0
是否正定？
1 0 4
解：对称矩阵 A 的三个顺序主子式依次为：
6 3 1
6 3
| 6 | 6 0,
3 0, 3 2 0 10 0
3 2
1 04
，
故矩阵 A 为正定矩阵.
f (x d
)
0
时， f (x) 从点 x 出发沿方向 d 在 x 附近是下降的；当
f (x) d
0
时，
f
(x)
从点
x
出发沿方向
d
在
x
附近是上升
的。方向导数的正负号决定了函数的升降，升降快
慢由它的绝对值大小决定。绝对值越大，升降的速
度就越快，所以，方向导数
f (x ) d
又可以称为函数
, xn 为向量 x
定义 在 n 维线性空间 Rn 中，定义实函数|| x || ，使其满足以下三
个条件：
（1）对任意 x Rn 有 || x || 0 ，当且仅当 x 0 时
|| x || 0 ；
（2）对任意 x Rn 及实数 有|| x ||| | || x || ；
则 f (x) 在点 x 处的梯度f (x) 存在，且
df (x) f (x)T x
证明：在（*）中依次取 x xiei, i 1,2, ,n ，
其中 x (x1,x2, ,xn)T ， ei 是第 i 个分量为 1，其余
分量为 0 的单位坐标向量，记 p ( p1, p2, , pn)T ，则
（3）对任意 x, y Rn 有|| x y |||| x || || y ||
则称函数|| x || 为 Rn 上的向量范数。
对 任 意 的 x (x1, x2, , xn )T Rn ， 1 p ， 称
n
1
( | xi |p )
p
为向量 x 的 p 范数，记作|| x ||p ，即
e
||
d d
||
，若极限
lim f (x e) f (x)
0
( R) 存在，则称
此极限为
f
(x)
在点
x
沿方向
d
的方向导数，记作
f (x ) d
。
定理 设 f : Rn R, x Rn 。如果 f (x) 在点 x 处可微，
则 f (x) 在点 x 处沿任何非零向量 d 的方向导数存在，
课后作业
第一章：P8: 1.1 第二章： P38: 2.1 2.3 2.9-- 2.14 2.19
2.20(1,3) 2.27--- 2.29
第二章 基础知识
● 预备知识 ●多元函数的梯度、Hesse 矩阵和泰勒公式 ●多元函数的极值 ●二维问题的图解法 ●凸集与凸函数及其判定方法 ●凸规划及其性质
从而
f (x xiei ) f (x) pixi o(| xi |), i 1, 2, , n
lim
xi 0
f (x xiei ) xi
f (x)
pi
,
i 1, 2,
,n
故f (x) 存在且 p f (x) ，由（2.2）知结论成立。
根据上述定理，（*）也可写成
非零向量，如果存在 0 ，使得
f (x d) f (x) ， (0, )
则称 d 为 f (x) 在点 x 处的下降方向；若
f (x d) f (x) ， (0, )
则称 d 为 f (x) 在点 x 处的上升方向。
由方向导数定义，应用极限保号性知，当
x 2
1
x xT Ax 2 A
椭球范数(A正定)
2. 矩阵范数:
Ax A max
x0 x
(||.||为某一向量范数)
特别对方阵有
n
A 1
max j
i 1
aij
n
A
max i
j 1
aij
A 2
AT A
(列和的最大者 ) (行和的最大者 )
谱范数(ATA最大特征值开平方)
因此在最优化理论中判定一个算法好坏的标准之 一，是把该算法用于Q为正定的二次函数，如能迅速 找到极小点，就是好算法；否则就不是太好的算法。
特别地，若算法对于Q为正定的二次函数能在有 限步内找出极小点来，就称此算法为二次收敛算法， 或具有二次收敛性。
三、 序列的极限
定义 设 {xk}是 Rn 中一个向量序列，x Rn ，如果对每个任给
定理 设{xk} Rn 为 Cauchy 序列，则{xk}的聚点必 为极限点。
§2 多元函数的梯度、Hesse 矩阵和泰勒公式
一 个 n 元 函 数 f (x1, x2, , xn) 可 视 为 向 量 变 量 x (x1, x2, , xn)T 的实值函数，记作 f (x) 。 一、多元函数的梯度
正定二次函数的极小点
定理： 若二次函数f x 1 xTQx bT x c 中Q正定，则它的
2
等值面是同心椭球面族，且中心为 x* Q1 b .
证明：作变换 x y Q1b,代入二次函数式中：
y f y Q1b
1 y Q1b T Q y Q1b bT 2
f (x) , i 1, 2, , n xi
都存在，则称函数 f (x) 在点 x 处一阶可导，并且称向
T
量
f
(
x
)
f (x x1
)
,
f (x x2
)
,
f (x)
,
xn
g(x)
为 f (x) 在点 x 处的一阶偏导数或梯度。
定理 设 f : Rn R, x Rn 。如果 f (x) 在点 x 处可微，
y Q1b c
1 yTQy 1 bTQ1b c
2
2
椭球面 y12+ 3y22+4y32=6
根据解析几何知识，Q为正定矩阵的二次型1 yTQy 的
2
等值面是以坐标原点y 0为中心的同心椭球面族。由于上
式中的1 bTQ1b是常数，所以 y的等值面也是以y 0为中
性质: AB A B
二、正定矩阵及其判定 本课程中，约定矩阵为实矩阵。把 mn 实矩阵的全体记为
。 Rmn 设 A 是 n 阶对称矩阵， x 为任意非零 n 维向量，
（1） 若 xT Ax 0 ，则称 A 为正定矩阵，记作 A 0 ； （2） 若 xT Ax 0 ，则称 A 为半正定矩阵，记作 A 0； （3） 若 xT Ax 0 ，则称 A 为负定矩阵，记作 A 0； （4） 若 xT Ax 0 ，则称 A 为半负定矩阵，记作 A 0； 除此之外，称 A 为不定矩阵。 由定义：
i 1
n
1
|| x ||p ( | xi |p ) p
i 1
(1 p )
在 p 范数中，用得最多的是 2 范数，即
n
|| x ||2 (
xi
2
)
1 2
ห้องสมุดไป่ตู้
i 1
因此常记|| ||2 为|| || 。
n
设 x, y Rn ，称 xT y xi yi yT x 为向量 x 与 y 的内 i 1
的 0 ，存在正整数 K ，使得当 k K 时就有|| xk x || ，则称序列收
敛到 x ，或称序列以 x 为极限，记作 lim xk x 。 k 按此定义，序列若存在极限，则任何子序列有相同的极限，
即序列的极限是惟一的。
定义 设序列{xk}是 Rn 中一个向量序列，如果存在一个子序
定义 1 设 f : Rn R, x Rn 。如果存在 n 维向量 p ， 对任意 n 维非零向量 x ，使得
lim f (x x) f (x) pT x 0
||x||0
|| x ||
（2.1）
则称 f (x) 在点 x 处可微，并称
df (x) pT x
（2.2）
第二章 基础知识
一、向量的范数
§1 预备知识
本课程中，约定向量均取列向量形式。这样 n 维 Euclid 空间 Rn 中的一
个向量 x 表示为
x1
x
x2
xn
也可表示为行向量的转置，即 x (x1, x2, , xn )T ，其中 x1, x2,
的分量。分量都为零的向量称为零向量，记为 0。
xi2
2
l2范数
范数常见不等式
x x nx
2
1
2
n
x 1
xi
i 1
x max xi
1
n p
x p i1 |xi|p
l1范数 l∞范数 lp范数
x x nx
2
x x n x
1
x x x
2
1
n
x 2
x A
1
为 f (x) 在点 x 处的微分。
式（2.1）可以写成下述等价形式
f (x x) f (x) pT x o(|| x ||)
（*）
定义 2 设 f : Rn R, x Rn 0 ，如果 f (x) 在点 x 处对
于自变量 x (x1, x2, , xn)T 的各分量的偏导数
f (x x) f (x) f (x)T x o(|| x ||)
或 f (x x) f (x) f (x)T x o(|| x ||) 这与一元函数展到两项的 Taylor 公式是相对应的。 二、方向导数
定义 设 f : Rn R, x Rn ，d 是给定的 n 维非零向量，