大学信息与计算科学-最优化方法-二次函数、梯度与 Hesse矩阵

6 3 1
6
=6＞0，
6 3 3 2
=3＞0， 3 2 0
1 04
=10＞0
因此知矩阵Q是正定的。
例：把二次函数 f x1, x2, x3 3x12 x22 2x32 3x1x2 x1x3 4x1 5x2 化为矩阵
向量形式并检验Q是否正定，。
解：展开
f
x1x2 x3
1 2
Z T QZ
gij g ji
其向量矩阵表示形式是：f Z 1 Z TQZ bT Z c
2
其中 Q=
g11 g21
g12 g22
g1n g2n
gn1 gn2 gnn
b=
b1 b2
bn
Q为对称矩阵
在代数学中将特殊的二次函数 f Z 1 Z TQZ 称为二次型。
2
对于二次函数，我们更关心的是Q为正定矩阵的情形。
证明：令 l l1,l2,,ln T
，
依次取P= piei ,i 1 ~ n , pi为任意无穷小变量，ei 是
第
i
个坐标轴上的单位向量，即
ei
0,
i
0,1,0,
0
T
由 f 在 Z0 处可微，则 ⑵ 对P= piei 成立，即
f Z0 piei f Z0 li pi o pi i 1 ~ n
定义：设Q为n×n对称矩阵
若 Z Rn ，Z ≠0 ，均有 ZTQZ＞0 ，则称矩阵Q是正定的。
若
，均有 ≥0 ，则称矩阵Q是半正定的。
Z Rn
Z TQZ
若 Z Rn ，且Z≠0，均有 ZTQZ＜0，则称Q是负定的。
若 Z Rn ，均有 ZTQwk.baidu.com ≤0，则称Q是半负定的。
判定一个对称矩阵Q是不是正定的，可以用Sylvester定理来判定。
与题中函数比较各项系数为：Q=
由前例知Q正定
8 12 2
10 10 10
Q 1
12 10
23 10
3 10
2 3 3
10
10
10
6 3 1 3 2 0 1 0 4
b= 4
5
0
§6 梯度与 Hesse矩阵
一、多元函数的可微性和梯度
以后我们研究的最优化问题涉及的均是多元函数，并要求它们 的可微性，下面先给出定义。
bT
Z
=
1
g11
2
x1, x2 , x3 g21 g31
g12 g22 g32
g13 g23
x1 x2
b1
,
b2
,
b3
x1 x2
g33 x3
x3
=
1 2
g11x12
1 2
g 22 x22
1 2
g 33 x32
g12 x1 x2
g13x1x3
g23x2 x3
b1x1
b2
x2
b3 x3
Sylvester定理：一个n×n对称矩阵Q是正定矩阵的充要条件是矩阵Q 的各阶主子式都是正的。
A是正定矩阵
非奇异矩阵A= GG
A的所有特征根大于零 有高矩阵G，使A= GG（矩阵秩等于 矩阵列：高矩阵） A的所有主子式＞0
例：判定矩阵Q=
6 3
3 2
1 是否正定
0
1 0 4
解：对称矩阵Q的三个主子式依次为：
若f 在Z0 处可微,将⑶代入⑵得 f Z0 p f Z0 f Z0 T p o p ⑸
这与一元函数展开到两项的Taylor 公式是相对应的。
二、梯度的性质
设f(Z) 在定义域内有连续偏导数，即有连续梯度f Z，则梯度
有以下两个重要性质：
性质一 函数在某点的梯度不为零，则必与过该点的等值面垂直
定义2
两边除以 pi并取 pi 0 的极限有：
i 1 ~ n f Z0 lim
xi
Pi 0
f Z0
piei
pi
f Z0 li
以 f(Z) 的 n 个偏导数为分量的向量称为 f(Z) 在Z处的梯度。
记为 f Z =
f Z
x1
,
f Z
x2
,
f Z
xn
T
⑷
梯度也可称为函数 f(Z) 关于向量Z的一阶导数。
该点在等值面上的任一条曲线L在此点的切线垂直。从而与过该点
的切平面垂直，从而性质一成立。
f x0
t0
为说明第二条性质，先引进下面方向导数定义：
f Z = f Z0
定义 设 f : Rn R1在点Z处可微，P为固定向量，e 为向量P方向
的单位向量，则称极限：
f Z0 lim f Z0 te f Z0
f: D Rn R1 表示 f 是定义在 Rn 中区域D上的 n 元实值函数。
定义1：设 f:
, D , 若 L ，使 P
有：
D Rn R1
lim f
Z0
z0
p
Rn
f z0 lT P
=0
⑴
Rn
P 0
P
则称 f(Z) 在 处可微。
若令 Z0
=
则 f 在 处可微时，有 =0，即 是无穷小量。
从而 Z0
lim P 0
⑵
f Z0 p f Z0 lT p o p
其中o P P 表示 P 的高阶无穷小，与一元函数可微性定义类
似（ ot 即 lim ot 0 ） t0 t
定理：若 f(Z) 数存在，且
l在 Zf0处xZ10可, 微fxZ2，0 , 则, ff(xZZn0)T在⑶该点处关于各变量的一阶偏导
为函数f(Z)
p
在点Z
t 0
t
0处沿方向P的方向导数，其中f
Z
p
0
为其记号，
由定义及极限性质可知：
若 f Z0 ＜0，则f(Z) 0，则t＞0p充分小时 f Z0
二次函数
在n元函数中，除了线形函数：
n
f x1x2 xn
ai xi c
i 1
或f(z)=az+c
a1
aT
a2
an
外，最简单最重要的一类就是二次函数。
二次函数的一般形式为
f
x1, x2 ,xn
1 2
n i1
n
gij xi x j
j 1
n
bi xi c
i1
其中 gij ,bi , c 均为常数。
把此曲线方程代入⑹ f x1 , x2 ,xn r0
两边同时在0处关于θ求导数，根据复合函数微分法有：
f Z0
x1
x1 0
f Z0
x2
x2
0
f Z0
xn
xn
0
0
⑺
向量 t0 x10
由⑷、⑺有： f
, x2 Z0
T
0 ,xn 0 t0 0
,
即函数恰为f(Z曲) 线在LZ在0处Z的0处梯的度切向f Z量0与 ，过
性质二 梯度方向是函数具有最大变化率的方向。
性质一的证明：
过点Z0的等值面方程为：f Z = f Z0 或 f x1, x2,xn = r0 ，r0 = f Z0
⑹
设 x1 x1 , x2 x2 ,xn xn 是过点 Z0同时又完全在等值面
⑹上的任一条光滑曲线L的方程，θ为参数。点 x对0 应的参数是 0