第二章 优化设计理论基础

1
第一节 极值理论
由极值的充分条件求函数的二阶导数矩阵，并判断其正定性得
0 6 x 6 12 0 2 f ( X 1) 1 1 0 8 0 6 x 4 2 2
3
矩阵正定
0 6 x 6 12 0 2 f ( X 2 ) 1 0 8 1 6 x2 4 0
x1
x2
a11 x3 a21 a31
a12 a22 a32
a13 y1 y a23 2 a33 y3
( x1a11 x2a21 x3a31 ) y1 ( x1a12 x2a22 x3a32 ) y2 ( x1a13 x2a23 x3a33 ) y3 (数)
-2
矩阵不定
0 6 x 6 12 0 2 f ( X 3 ) 1 3 0 8 0 6 x 4 2 2
3
矩阵不定
0 6 x 6 12 0 2 f ( X 4 ) 1 0 8 3 6 x2 4 0
解：因
g1 ( X ) 22 0 4 0 g2 ( X ) 0 g3 ( X ) 2
得知，点 X k 的起作用约束是 g1 ( X ) 0 和 g 2 ( X ) 0 。
第一节 极值理论
约束问题的极值条件
在点 X k 有
2( x 3) 2 f ( X k ) 1 0 2 x 2 2 x 4 g1 ( X k ) 1 1 1 0 g 2 ( X k ) 1
第一节 极值理论
约束问题的极值条件
例 用k-t条件判断点 X k 2,0T 是否为以下问题的最优点：
2 min f ( X ) ( x1 3) 2 x2
s.t. g1 ( X ) x12 x2 4 0 g 2 ( X ) x2 0 g 3 ( X ) x1 0
第三节 正定二次函数与泰勒函数 第四节 共轭方向法 第五节 拉格朗日乘子
第一节 极值理论
无约束问题的极值条件
由微分理论可，一元函数 f ( x) 在点 x k 取得极值的必要条件是函数在
该点的一阶导数等于零，充分条件是对应的二阶导数不等于零，即
f ( xk ) 0 f ( xk ) 0
极小点是约束边界上的一点，该点是约束边界与目标函数的一条等值线 的切点。(c)中有两个极值点，一个是目标函数的等值线与约束边界的切 点，一个是两条约束边界线的交点。
第一节 极值理论
约束问题的极值条件
可见，约束问题的极值条件比无约束问题复杂得多。下面分别就等式 约束和不等式约束两种情况加以讨论。 1)等式约束问题的极值条件 由高等数学可知，对于等式约束最优化问题
2
矩阵负定
由此知 X 1 是函数的极小值点， X 4 函数的极大值点， X 2 和 X 3 均为非极值 点。
第一节 极值理论
约束问题的极值条件
约束问题的极值有多种状态，如下图所示。其中，(a)为目标函数的 极小点在约束可行域内的情况，此时目标函数的极小点也就是约束问题
的极小点。(b)为目标函数的极小点在可行域外的情况，此时约束问题的
X X
k T
2
f (X k ) X X k 0


第一节 极值理论
无约束问题的极值条件
此式说明函数的二阶导数矩阵必须是正定的，这就是多元函数取得
极小值的充分条件。由此可知，多元函数在点X 取得极小值的充要条件 是：函数在该点的梯度为零，二阶导数矩阵为正定，即：
f ( X ) 0
将以上各梯度值代人k-t条件式
有：
f ( X k ) 1g1 ( X k ) 2g 2 ( X k ) - 2 4 0 1 2 0 1 1
k 解得， 1 2 0.5 均大于零，满足k-t条件，说明 X 2,0 就是所给约 T
得：
m
f ( X ) v hv ( X ) 0
v 不全为零
这就是等式约束问题在点X取得极值的必要条件。此式可概括为：在 等式约束的极值点上，目标函数的负梯度等于诸约束函数梯度的非零线
v 1
性组合。
第一节 极值理论
约束问题的极值条件
2)不等式约束问题的极值条件 对于不等式约束问题： min f ( X )
所组成的数组称为 n 维向
为 m 行 n 列矩阵，可表示为:
n m个有序的数aij (i 1,2,, m; j 1,2,, n)
a11 a 21 am1 a12 a22 am 2 a1n a2 n amn
排成的 m 行 n 列的数表称
实用优化技术
任课教师：董明望
第二章 优化设计理论基础
回顾优化设计数学的理论基础，使学习优化技术变得 相对容易，可以提高学习优化技术的效率。本章节主要 介绍的优化设计的理论基础有极值理论（分为有约束极 值问题和无约束极值问题）、向量与矩阵、正定二次函 数和泰勒函数。
目录
第一节 极值理论
第二节 向量与矩阵
解：由极值的必要条件
3x12 6 x1 9 f ( X ) 2 0 3x2 4 x2 4
解得以下4个驻点：
1 1 X 2 ， X 2 2 3 - 3 - 3 3 X 2 X4 - 2 3

第一节 极值理论
约束问题的极值条件
根据分析，不等式约束问题的极小点取值条件可概括为：
f（X） gi ( X ) 0 iI k i 0 (i I k )
式中， gi ( X ) 0 (i I k ) 为点的起作用约束。 上式不等式约束问题的极值条件，其意义可概括为：在不等式约束问 题的极小点上，目标函数的负梯度等于起作用约束梯度的非负线性组合。 其几何意义如上图，即在不等式约束问题的极小点上，目标函数的负梯 度位于起作用约束梯度所成的夹角或锥体之内。在非极小点上，目标函 数的负梯度位于起作用约束梯度所成的夹角或锥体之外。
第三节 正定二次函数和泰勒函数
正定二次函数
二次函数是最简单的非线性函数，在最优化理论中具有重要的意义。 根据函数的泰勒二次展开式，可以把一般的二次函数写成以下向量形式：
1 T X HX BT X c 2 式中， H 为n n 阶常数矩阵，相当 B 为常数向量，相当于函数的梯度； T 于函数的二阶导数矩阵。X HX 称二次型，H 称二次型矩阵。 f（X）
2 f ( X ) 正定
同理，多元函数在点X 取得极大值的充要条件是：函数在该点的梯
度等于零，二阶导数矩阵为负定。若二阶导数矩阵 2 f（X ） 不定，则 X 为非极值点。
第一节 极值理论
无约束问题的极值条件
3 3 2 例 求函数 f（X） x1 x2 3x12 2x2 9x1 4x1 的极值。
则有:
a12 a22 a32
a13 a23 a33
x1
x1
x2
y1 x y x y x y (数) x3 y 2 1 1 2 2 3 3 y3
a11 x3 a21 a31 a12 a22 a32 a13 a23 a33
在点 x k 取得极大值。极值点和极值分别记作x xk 和 f f ( xk ) 。
当 f ( xk ) 0 时，函数 f ( x) 在点 x k 取得极小值。当 f ( xk ) 0 时，函数f ( x)

第一节 极值理论
无约束问题的极值条件
与此相似，多元函数 f ( x) 在点 X k 取得极值的必要条件是函数在该 点的所有方向导数都等于零，也就是说函数在该点的梯度等于零，即：
min f ( X ) s.t. hv ( X ) 0 (v 1,2,, m)
可以建立如下拉格朗日函数
m
L（X , ） f ( X ) v hv ( X )
式中，
T 1，2， ，n 称为拉格朗日乘子向量。
v 1
第一节 极值理论
约束问题的极值条件
令
L（X , ） 0
建立这一问题的拉格朗日函数
2 L（X , ， X） f ( X ) u gu ( X ) xu n p


X xn1 , xn2 ,, xn p 式中，

u 1

T
为松弛变量组成的向量。
X） 0 则有： 令该拉格朗日函数的梯度等于零，即 L（X , ，
p L f ( X ) u g u ( X ) 0 X u 1 L 2 g u ( X ) xn u 0 L 2u x n u 0 (u 1,2, , p ) X
x2
第二节 向量与矩阵
x1a11 x2a21 x3a31
a11 a 21 a31 a12 a22 a32
x1a12 x2a22 x3a32
x1a13 x2a23 x3a33 (行向量)
a13 y1 a11 y1 a12 y2 a13 y3 y a y a y a y （列向量） a23 23 3 2 21 1 22 2 a33 y3 a31 y1 a32 y2 a33 y3
束最优化问题的最优点。
第二节 向量与矩阵
量。n 维向量写成一列时称为列向量，记作 X ；写成一行时称为行向量， 记作 。如 XT :
x1 x X 2 ， X T x1 xn x2 x n
由线性代数知，n 个有序的数
x1 , x2 xn
A Amn
第二节 向量与矩阵
向量和向量、矩阵和矩阵之间可以进行各种运算，除简单的加减法和 数乘运算外，还可进行一般的乘法运算。设
x1 y1 a11 ， Y y , A a X x 2 2 21 x3 y3 a31
f ( X ) 0
把函数在点 X k 展开成泰勒二次近似式，并将以上必要条件代人，整 理后得：
f (X ) f (X k )
1 X Xk 2


T
2 f ( X k ) X X k


当 X k 为函数的极小点时，因为有 f ( X ) f ( X k ) 0 ，故必有
第一节 极值理论
约束问题的极值条件
f ( X ) v hv ( X ) 0
v 1 m
f（X） gi ( X ) 0 iI k i 0 (i I k )
上面两个式子也称Kuhn-Tucker条件，简称k-t条件。k-t条件是约束
问题极值的必要条件。满足k-t条件的点称为k-t点，在一般情况下k-t点 就是约束问题的最优点。因此k-t条件既可以用作约束问题的终止条件， 也可以用来直接求解简单的约束最优化问题。
s.t. gu ( X ) 0
引
(u 1,2,, p)
p
入个松弛变量xnu 0 (u 1,2,, p) ，可将上面的不等式约束问题
变成等式约束问题：
min f ( X ) s.t. gu ( X ) xnu 0 (u 1,2,, p)
第一节 极值理论
约束问题的极值条件