工程优化方法第二章2

当 A=I 时
定理1 设A为 n 阶对称正定矩阵，则 x, y Rn，恒有
x, y 2 x, Ax y, A-1y
(1)
等号成立当且仅当 x 与 A1 y 线性相关;
其中 x, y 表示向量的内积。
重要的不等式
定理2：设A为 n 阶对称正定矩阵，m与M分别为A的最小
与最大特征值，则 x Rn, x 0 ，恒有
1，
x x1
1
x2
上式可写为： y f x1 1 f x2
所以： f x y f x1 1 f x2
f x1 1 x2 f x1 1 f x2
凸函数----推广到多元函数
定义（凸函数）: 设集合 D Rn 为凸集，函数 f :DR, 若 x,
y D, (0 , 1) ，均有 f( x+(1- ) y ) ≤f(x)+(1- )f(y) ，
第二章 基本概念和理论基础
本章主要内容：
§1 多元函数的梯度及其Hesse矩阵 §2 多元函数的极值及其判别条件 §3 等高线 §4 多元函数分析（二次函数） §5 凸集、凸函数、凸规划 §6 几个重要的不等式
凸集、凸函数和凸规划
问题（极小值点和最小值点之间的关系）： 设f(x)定义在D内，f(x*)为极小值，这是一局部概念，即在x*的 邻域内，f(x*)最小。若x*为f(x)的最小值点，则x*为f(x)的极小 值点。反过来不一定成立。
凸函数的判定定理
定理(一阶条件): 设D Rn 为非空凸集，函数 f :DR 在
D 上可微，则
(1) f在D上为凸函数 任意x，yD，恒有
f (y) ≥ f (x)+ f T(x)(y-x)
(1)
(2) f在D上为严格凸函数 任意x≠yD，恒有
f (y) > f (x)+ f T(x)(y-x) .
凸集与性质
A
B
D
C
⑴
⑵
⑶
⑷
⑸
⑹
凸集：在点集中任取两点，则其连线仍在其中。 即没有凹入的部分；没有空洞。
凸集与性质
例1: 证明集合 S = { x∣Ax = b } 是凸集。其中A为 mn矩阵，
b为m维向量。
证明: x1, x2 S, 即 Ax1 b, Ax2 b, 0,1,
A( x1 (1 )x2) Ax1 (1)Ax2 b (1)b b, 所以 x1 (1 )x2 S, 即S是凸集。
2
f
(x)
10 6

6
10
的顺序主子式都是正的，所以正定，因此
f(x)在凸集D上是严格凸函数。
例: 试证明 f (x) x12 x22 为凹函数。
证明：首先用定义证明g(x1) x12 是凸函数，即对任意 x11和 x12 ,
看下述各式是否成立： x11 (1)x12 2 (x121) (1)(x122)
(2)
证明:见书中定理 2.11 (P27)
凸函数的判定定理
定理5（二阶条件）: 设D Rn 为含有内点的非空凸集， 函数 f :DR在 D 上二次可微，则
a) f在D上为凸函数 xD，2f (x) 半正定； b) 若 xD，2f (x) 正定，则f在D上为严格凸函数。
证明:见书中定理2.12（P28） 由一阶条件和多元函数的泰勒展开式可证。
凸锥。
0
凸函数
由一元函数的几何图形知：f(x)是凸函数，任意给定曲线上两点 A，B，则弦AB在与弧AB之上，用数学式子表示：
弦AB的方程：y
f
x1
f
x2
x2
f x1
x1
x
x1
x2 x f x1 x x1 f x2
令
x2 x x2 x1
，
则
x2 x1
x x1 x2 x1
注： AB 不一定是凸集。
m
m
定义：设 x1, x2 ,..., xm Rn , i 0, i 1, 那么称 i xi
是 x1, x2,..., xm 的凸组合。
i 1
i 1
性质2：S 是凸集 S 中任意有限个点的凸组合属于 S。
证明：见书中定理 2.9 (P23). 提示：充分性显然。必要性用数学归纳法。
x , y 的距离： ‖x-y‖= [(x-y)T(x-y)](1/2) x 的长度： ‖x‖= [ xTx ](1/2) 三角不等式： ‖x + y‖≤‖x‖+‖y‖
重要的不等式
定理（Cauchy-Schwarz不等式）
x, y 2 x, x y, y x, y Rn
(2)
等式成立当且仅当 x 与 y 线性相关。
为凸集。
因为两点 x1, x2 连线上任一点可以表示为 x x1 (1)x2, 0,1.
等价定义（凸集）：设 D Rn , x1, x2 D, 0,1, 恒有
x1 (1)x2 D, 0,1,
称集合 D为凸集 。
规定：空集和单元素集也是凸集。
三角形，矩形，圆，球，凸多边形，第一象限，第一卦限等都 是凸的。
x1x2 x2x1
H
2 0
0 2
-f(x)的海赛矩阵处处负定，故 f (x) 为(严格)凹函数。
凸规划
定义（凸规划）: 考虑如下非线性规划
min f x
s.t. gi x 0, i 1, 2, , m
(1)
当 f (x), gi (x)(i 1, 2, , m) 都是凸函数时,称规划 (1) 为凸规划
性质2: 设(1)为凸规划，若f(x)在非空可行集R上是严格凸函 数，则(1)的全局极小点是唯一的。
证明：见书中定理 2.14.
为什么凸在最优化中如此特殊
一个凸集有非空的相对内部； 一个凸集是连通的并且在任意点具有可行方向； 一个凸函数的局部极小点都是全局极小点； 一个凸函数是连续的并且具有良好的可微性。
证明参见文中定理2.10的证明。
性质2：设 f1, f2 是凸集D上的凸函数， 1) 设a, b > 0, 则af1+bf2 是凸函数； 2) f(x)= max{ f1(x) , f2 (x) } 是凸函数。
思考： af1 - bf2 是否是凸函数？ g(x)= min{ f1(x) , f2 (x) }是否是凸函数？
回忆：一个矩阵半正定充要条件是所有主子式非负； 一个矩阵正定充要条件是所有顺序主子式为正。
凸函数的判定定理
例：设二次函数 f x xT Ax
(1)：若 A为半定矩阵，f (x)在Rn 中为凸函数 ； (2)：若 A为正定矩阵，f (x) 在Rn 中为严格凸函数。
例：判断f(x)=5x12-6x1x2+5x22在凸集D上是否是凸函数？
即 ( 2 )x121 2( 2 )x11x12 ( 2 )x122 0 或 ( 2 )(x11 x12 )2 0 由于0< 1, 故 2 <0. 显然，不管 x11和 x12取什么值，总有
( 2 )(x11 x12 )2 0
从而 证明 g(x1) x12 为凸函数。用同样的方法可以证明 g(x2 ) x22 也是凸函数。根据性质2，g(x) x12 +x22 为凸函数。 因此 f (x) x12 x22 为凹函数。
f
(
x)
2 2
x1 x2
y12
y22
x12
x22
(2x1
2x2 )
y1 y2
x1 x2
或 y12 y22 x12 x22 2x1( y1 x1) 2x2 ( y2 x2 )
或 ( y12 2 y1x1 x12 ) ( y22 2 y2 x2 x22 ) 0 或 ( y1 x1)2 ( y2 x2 )2 0
1)若A半正定，则f x 在 Rn 上是凸函数； 2)若A正定，则 f x在 Rn 上是严格凸函数。
证明: x1, x2 Rn , 0,1，
f x1 1 x2 f x1 1 f x2
x1
1
x
2
T
A x1
1 x2
x1 T Ax1 1
x2
T Ax2
( 1) x1 T Ax1 2 1 x1 T Ax2 ( 1) x2 T Ax2
(
1)
x1
T Ax1 2
x1
T Ax2
x2
T
Ax2
(
1)
x1
T Ax1
x1
T Ax2
x2
T Ax2
x2
T
Ax1
1
x1 x2
T
A
x1 x2
0 A半正定 0 A 正定
凸函数的性质
性质1： f(x) 为凸集 S 上的凸函数 S 上任意有限点的凸组合 的函数值不大于各点函数值的凸组合。
范数----向量范数
x Rn
x max xi
n
x 1
xi
i1
1
x
2
n i1
xi2
2
1
x
p
n i1
xip
p
l 范数 l1 范数 l2 范数
l p 范数
1
x xT Ax 2 A
（A正定）椭球范数
范数----矩阵范数
不管y1、y2、x1、x2取什么值，上式均成立，从而得证。
例: 试证明 f (x) x12 x22 为凹函数。
下面用二阶条件证明:
由于
f (x) x1
2 x1 ,
f (x) x2
2x2 ,
2 f (x) 2 0, 2 f (x) 2, 2 f (x) 2 f (x) 0,
x12
x22
则称 f(x)为凸集 D 上的凸函数。
若进一步有上面不等式以严格不等式成立，则称 f(x)为凸集 D 上的严格凸函数。