第二章 目标函数的基本性质及数学分析

第二章目标函数的基本性质及数学分析2.1 目标函数的等值面（线）
对于简单的问题，可用等值线或等值面来描述函数的变化趋势，还可以直观地给出极值点的位置。

1）目标函数的等值面，其数学表达式为f(x)=c。

在这种线或面上所有点的函数值均相等，因此，这种线或面就称为函数的等值线或等值面。

当c取一系列不同的常数值时，可以得到一组形态相似的等值线或等值面，称为函数的等值线簇或等值面簇。

2）当n=2时，该点集是设计平面中的一条直线
或曲线；例1（图2.1）。

例1 目标函数f(x)＝一60x1一120x2的等值线族。

这是一组相互平行的直线，函数值沿箭头所指方
间逐渐下降。

如图2.1所示。

图2.1函数的等值线簇
3）当n=3时，该点集是设计空间中的一个平面或曲
面；例2。

例2 函数f(x)＝x l2十x22一4x1十4的图形(旋转抛物
面)，以及用平面f(X)＝c切割该抛物面所得交线在设
计空间中的投影。

如图2.2所示。

4）当n大于3时，该点集是设计空间中的一个超曲面。

图2.2 函数的等值面簇
2.2 目标函数的方向导数和梯度
实例：一块长方形的金属板，四个顶点的坐标是(1,1)，(5,1)，(1,3)，(5,3)．在坐标原点处有一个火焰，它使金属板受热．假定板上任意一点处的温度与该点到原点的距离成反比．在(3,2)处有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？
问题的实质：应沿由热变冷变化最骤烈的方向（即梯度方向）爬行．
2.2.1方向导数的定义
讨论函数),(y x f z =在一点P 沿某一方向的变化率问题．
定理 如果函数),(y x f z =在点),(y x P 是可微分的，那末函数在该点沿任意方向L 的方向导数都存在，且有
ϕϕsin cos y
f x f l f ∂∂+
∂∂=∂∂，
其中ϕ为x 轴到方向L 的转角．
例2.1 求函数 y
xe z 2= 在点 )0 ,1(P 处沿从点 )0 ,1(P
到点 )1 ,2(-Q 的方向的方向导数.
解： 这里方向 l 即为}1 ,1{-=PQ , 故x 轴到方向 l 的转角4
π
ϕ-
=.
=∂∂)
0,1(
x
z 由 )
0,1(2y
e
=1
=∂∂)
0,1(y
z )
0,1(22y
xe =2
故方向导数
=∂∂l
z )4
sin(2)4
cos(1π
π
-
⋅+-⋅= .2
2-
=
2.2.2梯度的定义
函数在一点的梯度是这样一个向量, 它的方向与取得最大方向导数的方向一致, 而它的模为方向导数的最大值. 用u ∇
定义2.4 以)(x f 的n 个偏导数为分量的向量称为)(x f 在x 处的梯度，记为
T
n x x f x x f x x f x f ⎥⎦
⎤
⎢⎣⎡∂∂∂∂∂∂=∇)(,
,)(,
)
()(2
1
梯度也可以称为函数)(x f 关于向量x 的一阶导数．
2.2.3、梯度与方向导数之间的关系
(1) 若0)(0<∇P x f T ，则P 的方向是函数)(x f 在点0x 处的下降方向； (2) 若0)(0>∇P x f T ，则P 的方向是函数)(x f 在点0x 处的上升方向． 方向导数的正负决定了函数值的升降，而升降的快慢就由它的绝对值大小决定．绝对值越大，升降的速度就越快，即
由此可得如下重要结论(如图2.1所示）： (1)梯度方向是函数值的最速上升方向； (2)函数在与其梯度正交的方向上变化率为零；
(3)函数在与其梯度成锐角的方向上是上升的，而在与其梯度成钝角的方向上是下降的；
(4)梯度反方向是函数值的最速下降方向．
例2.2：求函数y x z y x u 2332222-+++=在点)2,1,1(、)0,2
1
,23(-处的梯度，并问在哪些点处梯度为零？
k z u j y u i x u z y x u ∂∂+∂∂+∂∂=∇),,( ,6)24()32(k z j y i x +-++=
.1225)2,1,1(k j i u ++=∇ 0)0,2
1
,23(=-∇u
例2.3 试求目标函数
1)(2
221++=x x X f 在点T
X ]30[0，
=处的最速下降方向，并求
沿这个方向移动一个单位长后新点的目标函数值．
解 因为
2
2
11
22x x f x x f =∂∂=∂∂，
，
所以最速下降方
向
是
⎥
⎦
⎤
⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=∇-==6022)(302102
1x x x x X f ．
这个方向上的单位向量是
⎥
⎦⎤
⎢⎣⎡-=∇-∇-=10)()
(00X f X f e ．
故新点是
⎥
⎦⎤
⎢⎣⎡=⎥⎦⎤⎢⎣⎡-+⎥⎦⎤⎢⎣⎡=+=20103001e X X ，
2.2.4小结
1、方向导数的概念
（注意方向导数与一般所说偏导数的区别） 2、梯度的概念
（注意梯度是一个向量） 3、方向导数与梯度的关系 思考题：
一、讨论函数2
2),(y
x y x f z +==在)0,0(点处的偏导数是否存在？方向导数
是否存在？ 答：
x
f x f x
z x ∆-∆=∂∂→∆)
0,0()0,(lim
)
0,0( .||lim
x
x x ∆∆=→∆
同理：
)
0,0(y
z ∂∂y
y y ∆∆=→∆||lim
故两个偏导数均不存在.
图2.1
沿任意方向},,{z y x l =
的方向导数, ρ
ρ)
0,0(),(lim
)
0,0(f y x f l
z -∆∆=∂∂→ 1)
()
()()(lim
2
2
220
=∆+∆∆+∆=→y x y x ρ
故沿任意方向的方向导数均存在且相等.
2.3 多元目标函数的泰勒表达式和海赛矩阵
2.3.1 海赛（Hesse ）矩阵
前面说过，梯度)(x f ∇是)(x f 关于x 的一阶导数，现在要问)(x f 关于x 的二阶导数是什么？
定义 ： 如果)(x f 在点0x 处对于自变量x 的各分量的二阶偏导数
j
i x x x f ∂∂∂)(2
（n j i ,,2,1, =）
都存在，则称函数)(x f 在点0x 处二阶可导，并且称矩阵
⎥⎥⎥⎥⎥
⎥
⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎢⎢⎢⎢
⎣
⎡∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=∇n n n
n n
n x x x f x x x f x
x x f x x x f x x x f x
x x f x x x f x x x f x x x f x f )()()()()()
()()()()(02
202
102202
2
2021
202
102
2102
1
10202
是)(x f 在点0x 处的Hesse 矩阵．
在数学分析中已经知道，当)(x f 在点0x 处的所有二阶偏导数为连续时有
．
，，，，，n j i x x f x x f i
j j
i 212
2
=∂∂∂=
∂∂∂
因此，在这种情况下Hesse 矩阵是对称的． 例2.4 求目标函数2
3
13222
12
33
24
1432)(x x x x x x x x x X f -+-++=的梯度和Hesse 矩
阵． 解 因为
，
，，31233
32
12
222
3213112464624x x x x x f x x x x f x x x x x f -+=∂∂+-=∂∂--=∂∂，
所以 ⎥
⎥
⎥⎦⎤⎢⎢⎢⎣⎡-++---=∇312332
1222
321312464624)(x x x x x x x x x x x X f ．
又因为
2
2
2
21
2132
1
121322
2
212
22
23
3
1222212462f f f x x x x x
x x x x f f f x x x x x x ∂∂∂=-=-=-∂∂∂∂∂∂===-∂∂∂，，，，
，
，
所以
⎥⎥⎥⎦
⎤
⎢⎢⎢⎣
⎡------=∇132
1
312212
264
2412222212)(x x
x x x x x x X f ．
例
2.5 设1
R b R X R a n
n
∈∈∈，，
，求线性函数
b
X a X f T
+=)(
在任意点X 处的梯度和Hesse 矩阵．
解 设
T
n T
n x x x X a a a a ]
[][2121，，，，，，， ==，则
∑=+=
n
i i
i
n b
x
a x x x f 1
21)(，，， ，
，
，，，，n i a x f i i
21==∂∂ （2.2）
∴
a
a a a X f T
n ==∇],,,[)(21 ．
由式（2.2）进而知
，
，，，，，n j i x x f
j
i 2102
==∂∂∂
∴
O X f =∇)(2
（n n ⨯阶零矩阵）．
2.3.2 多元目标函数的泰勒表达式
定理 1 （泰勒(Taylor)中值定理） 如果函数)(x f 在含有0x 的某个开区间(b a ,)内具有直到(1+n )阶的导数，则当任一),(b a x ∈，有
++-''+
-'+= 2
00000)(!
2)())(()()(x x x f x x x f x f x f
)()(!
)
(00)
(x R x x n x f
n n
n +-, （3）
其中 1
0)
1()
()!
1()
()(++-+=n n n x x n f
x R ξ，
对于n 维向量的x
x
x
f x x x
f x
f x f T
k T T
k k ∆⋅∇∆+
∆⋅∇+≈)(2
1)()()()
(2)
()
(
2.4 目标函数的极值条件
2.4.1 无约束问题的极值条件
1.必要条件：梯度等于0
即： 0)(,
,)(,)()(*
2
1*
=⎥⎦⎤
⎢⎣
⎡∂∂∂∂∂∂=∇T
x
n x x f x x f x x f x f 2.充分条件：海赛矩阵>0 正定，有极小值
海赛矩阵<0 负定，有极大值
2.4.2 有约束问题的极值条件
（1）目标函数的凸性与凸函数
研究目标函数的凸性是为了分清目标函数的极小值在什么情况是极大值什么情况是极小值。

a. 凸组合：已知n R D ⊂，任取k 个点D x i ∈，如果存在常数
0≥i a ),,2,1(k i =，11
=∑=k
i i a 使得-
==∑x x a k
i i
i 1
则称-
x
为i x ),,2,1(k i =的凸组合。

b. 凸集：设集合n R D ⊂，如果D 中任意两点的凸组合仍然属于D ,则称D 为凸集。

c. 凸函数
设
n
R
D f ⊂:，
任取
D
x x ∈2
1,如果
1
,
0,2
1
21=≥∀∑=i i
a
a a 有
)
()()(2
21
12
211x f a x f a x a x a f +≤+，则称f 为D 上的（严格）凸函数。

几何描述（P14页）
例子：2)(x x f =
(2) 凸函数的性质
若)(x f 为凸函数
(1) )(x f α (2) )()(21x f x f + (3) )()(21x f x f βα+
(4) )1(x 和)2(x 定义在凸函数)(x f 的两个最小点，则连线必为最小点。

(3) 凸函数的判定条件 a. 一阶导数向量法
)(x f 是凸集D 上的凸函数的充要条件是D x x ∈∀2
1
,，有
)()()()()
1()
2()
1()
1()
2(x
x
x
f x
f x
f T -∇+≥
b. 二阶导数矩阵法
设)(x f 在凸集X 上有二阶连续偏导数，则)(x f 是凸函数的充要条件是D x ∈∀ ，有)(2x f ∇（海赛矩阵半正定。

例：正定二次函数c x b Ax x x f T
T ++=2
1)(，其中A 是正定矩阵。

例 2)(x x f =
（1）一阶法 )1(2)(x x f =∇ 左边=2
)2(x
右边=2
)1(x +)(2)1()2()1(x x x -
左-右=0)(2)2()1(≥-x x 满足条件
（2）二阶法
02)(2>=∇x f 满足条件 例2-4（P14） 解： （1）一阶法
⎥⎥
⎥
⎦
⎤⎢⎢⎢⎣⎡++--+-=∇13123214532436)(x x x x x x x x f 2
1
x x
∀
左边=2
)2(1)2(3)(x x f =
右边==∇⋅-)()()
1()
1()
2(x
f x
x T
（2）二阶法
⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡--=∇40
1
023
136)(2
x f
(4) 约束问题的最优解条件
对于约束，现在进一步阐明起作用约束与不起作用约束的概念．一般的约束优化问题，其约束包含不等式约束m u x g u ,,2,1,0)( =≥和等式约束
p v x h v ,,2,1,0)( ==．在可行点*x 处，如果有0)(=*x g u ，则该约束)(x g u 称可
行点*x 的起作用约束；而如果有0)(≥*x g u ，则该约束)(x g u 称可行点*x 的不起作用约束．对于等式约束0)(=x h v ，显然在任意可行点处的等式约束都是起作用约束．
在某个可行点*x 处，起作用约束在*x 的邻域内起到限制可行域范围的作用，而不起作用约束在*x 处的邻域内就不产生影响．因此，应把注意力集中在起作用约束上
Kuhn —Tucker 条件（库克塔克简称K —T 条件）
在优化实用计算中，常常需要判断某可行迭代点k x 是否可作为约束最优点
*
x
输出而结束迭代，或者对此输出的可行结果进行检查，观察它是否已满足约
束最优解的必要条件，这种判断或检验通常借助于T
K -条件进行的。

T
K
-条件
可叙述如下：
如果*x 是一个局部极小点 ，且各梯度矢量)(*∇x g u 、)(*∇x h u 组成线性无关的矢量系，那么必存在一组非负乘子*λ、*u ，使得
⎪⎪⎪⎩
⎪⎪⎪⎨⎧===≥=∇+∇+∇***
*=**=**∑∑),,2,1(0)(),,2,1(0
0)()()(1
1m u x g m u x h x g x f u u u v m
u v u m u u
λλμλ成立． 必须指出，在一般情形下，T
K
-条件是判别约束极小点的一阶必要条件，
但并非充分条件．只是对于凸规划问题，即对于目标函数)(x f 为凸函数，可行域为凸集的最优化问题，T
K
-条件才是约束最优化问题的充分条件．而且，在
这种情况下的局部最优解也必为全局最优解．
应用T
K -条件检验某迭代点)(k x 是否为约束最优点的具体作法可按下述步
骤进行：
（1）判断是否都为凸函数
（2）检验)(k x 是否为可行点．为此需要计算)(k x 处的诸约束函数值)()(k i x g ，
)()
(k v x
h 。

若是可行点，则m
u x
g k u ,2,1,0)()
(=≥,p v x h k v ,2,1,0)()(==。

（3）选出可行点)(k x 处的起作用约束．前面已求得l 个)()(k u x g 和)()(k v x h 值，其中等于零或相当接近零的约束就是起作用约束．把这些起作用约束重新编排成
序列I i X g i ，，，
， 21)(=． （4）计算)(k x 点目标函数的梯度)()(k x f ∇和I 个起作用约束函数的梯度
)()
(k u x
g ．
（5）按T
K
-条件，k X 点应满足
∑==≥=∇-∇I
i i k i i k I i X g X f 1
)
21(0
0)()(，，，， λλ. (2.21）
将式（2.21）中的各梯度矢量用其分量表示，则可得到i λ为变量的线性方程组
⎪⎪⎪⎪
⎪
⎩⎪
⎪⎪⎪⎪
⎨⎧=∂∂++∂∂+∂∂++∂∂+∂∂=∂∂++∂∂+∂∂++∂∂+∂∂=∂∂++∂∂+∂∂++∂∂+∂∂0)()
()()()(0)()()()()(0)()
()()()()()(11)()(11)(2)(2)(112)(2)(112
)
(1
)(1)(111)(1)(111
)(n k p p n k n k m m n k n
k k p p k k m m k k k p p k k m m k k x x h x x h x x g x x g x x f x x h x x h x x g x x g x x f x x h x x h x x g x x g x x f μμλλμμλλμμλλ
由于矢量系I i X g k i ，，，， 21)(=∇是线性无关的，所以该方程组存在唯一解．通过
解此线性方程组，求得一组乘子I λλλ，，，
21，若所有乘子均为非负，即I i i ，，，， 210=≥λ，则k X 即为约束最优解．否则，k X 点就不是约束最优点．
例2.5 设约束优化问题
⎪⎩⎪
⎨⎧≤-=≤-=≤-+=+-=0
)(0
)(0
4)(..)3()(min
23
1222112
2
21x x g x x g x x x g t s x x x f 它的当前迭代点为T X ]0,2[=，试用T
K
-条件判别它是否为约束最优点．
解：
(1)判断函数的凸性
（2）计算k X 点的诸约束函数值 （3）k X 点起作用约束是 （4）求k X 点梯度
（5）求拉格朗日乘子 按T K -条件应有
)()()()
(32)
(11)
(=∇+∇+∇k k k x
g x
g x
f λλ
写成线性方程组
⎩⎨
⎧=-=-00
242
11λλλ 解得02
121>==λλ．乘子均为非负，故T
X ]
0,2[=满足约束最优解的一阶必要条
件． 作业：
1. 判断下列函数的凸性
（1） 212
22
12132),(x x x x x x f ++-=
（2） 65342),(12
2212
121--+-=x x x x x x x f （3） 212
32
22
121432),(x x x x x x x f --+= 解：
（1）
211
32x x x f +-=∂∂
122
34x x x f +=∂∂
221
2
-=∂∂x
f
422
2
=∂∂x
f
32
12
=∂∂∂x x f
⎥⎦
⎤
⎢
⎣⎡-=∇43
32
2f 02<- 海赛矩阵不是半正定的，因此不是凸函数 （2）
544211
--=∂∂x x x f
212
64x x x f +-=∂∂
421
2
=∂∂x
f
622
2
=∂∂x
f
42
12
-=∂∂∂x x f
⎥⎦⎤⎢
⎣⎡--=∇64
44
2f 04> 086
4
44>=--海赛矩阵是半正定的，因
此是凸函数212
3222121432),(x x x x x x x f --+=
（3）
211
42x x x f -=∂∂
122
44x x x f -=∂∂
33
6x x f -=∂∂
22
1
2
=∂∂x
f
422
2
=∂∂x
f
623
2
-=∂∂x
f
42
12
-=∂∂∂x x f
03
12
=∂∂∂x x f
03
22
=∂∂∂x x f
⎥⎥⎥
⎦
⎤
⎢⎢⎢⎣⎡---=∇60
044
0422
f 02> 084
442<-=--
海赛矩阵不是半正定的，因此不是凸函数
2. 设约束优化问题的数学模型为：
⎩⎨⎧≤-++=≤-+-=+-++=0
22)(02)(..10
44)(min
212
221221122
212
1x x x x x g x x x g t s x x x x x f 试用K-T 条件判别点T X ]1,1[-=是否为最
优点。

3. 设约束优化问题
⎪⎩⎪
⎨⎧≥=≥=≥--=+-=．
，，，0)(0)(01)(..)2()(min 132222112
22
1x X g x X g x x X g t s x x X f 它的当前迭代点为T
k
X ]01[，=，试用T
K -条件判别它是否为约束最优点．
解：（1）计算k X 点的诸约束函数值
，
，
，
1)(0)(011)(222
1===-=k k k X g X g X g
k
X 是可行点．
（2）k X 点起作用约束是
2222
11)(1)(x X g x x X g =--=，
．
（3）求k X 点梯度
．
，
，
⎥⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢⎣⎡=∇⎥⎦⎤
⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--=∇⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=∇1010)(1212)(022)2(2)()0,1(2)0,1(11)0,1(21k k k X g x X g x x X f
（4）求拉格朗日乘子
按T K -条件应有
．，01012020)()()(212211=⎥⎦
⎤
⎢⎣⎡-⎥⎦⎤⎢⎣⎡---⎥⎦⎤⎢⎣⎡-=∇-∇-∇λλλλk k k X g X g X f
写成线性方程组
⎩⎨
⎧=-=+-．，
0022211λλλ
解得010121>=>=λλ，．乘子均为非负，故T
k X ]
0,1[=满足约束最优解的一阶
必要条件．。