第二章 优化设计理论基础

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1
第一节 极值理论
由极值的充分条件求函数的二阶导数矩阵,并判断其正定性得
0 6 x 6 12 0 2 f ( X 1) 1 1 0 8 0 6 x 4 2 2
3
矩阵正定
0 6 x 6 12 0 2 f ( X 2 ) 1 0 8 1 6 x2 4 0
x1
x2
a11 x3 a21 a31
a12 a22 a32
a13 y1 y a23 2 a33 y3
( x1a11 x2a21 x3a31 ) y1 ( x1a12 x2a22 x3a32 ) y2 ( x1a13 x2a23 x3a33 ) y3 (数)
-2
矩阵不定
0 6 x 6 12 0 2 f ( X 3 ) 1 3 0 8 0 6 x 4 2 2
3
矩阵不定
0 6 x 6 12 0 2 f ( X 4 ) 1 0 8 3 6 x2 4 0
解:因
g1 ( X ) 22 0 4 0 g2 ( X ) 0 g3 ( X ) 2
得知,点 X k 的起作用约束是 g1 ( X ) 0 和 g 2 ( X ) 0 。
第一节 极值理论
约束问题的极值条件
在点 X k 有
2( x 3) 2 f ( X k ) 1 0 2 x 2 2 x 4 g1 ( X k ) 1 1 1 0 g 2 ( X k ) 1
第一节 极值理论
约束问题的极值条件
例 用k-t条件判断点 X k 2,0T 是否为以下问题的最优点:
2 min f ( X ) ( x1 3) 2 x2
s.t. g1 ( X ) x12 x2 4 0 g 2 ( X ) x2 0 g 3 ( X ) x1 0
第三节 正定二次函数与泰勒函数 第四节 共轭方向法 第五节 拉格朗日乘子
第一节 极值理论
无约束问题的极值条件
由微分理论可,一元函数 f ( x) 在点 x k 取得极值的必要条件是函数在
该点的一阶导数等于零,充分条件是对应的二阶导数不等于零,即
f ( xk ) 0 f ( xk ) 0
极小点是约束边界上的一点,该点是约束边界与目标函数的一条等值线 的切点。(c)中有两个极值点,一个是目标函数的等值线与约束边界的切 点,一个是两条约束边界线的交点。
第一节 极值理论
约束问题的极值条件
可见,约束问题的极值条件比无约束问题复杂得多。下面分别就等式 约束和不等式约束两种情况加以讨论。 1)等式约束问题的极值条件 由高等数学可知,对于等式约束最优化问题
2
矩阵负定
由此知 X 1 是函数的极小值点, X 4 函数的极大值点, X 2 和 X 3 均为非极值 点。
第一节 极值理论
约束问题的极值条件
约束问题的极值有多种状态,如下图所示。其中,(a)为目标函数的 极小点在约束可行域内的情况,此时目标函数的极小点也就是约束问题
的极小点。(b)为目标函数的极小点在可行域外的情况,此时约束问题的
X X
k T
2
f (X k ) X X k 0


第一节 极值理论
无约束问题的极值条件
此式说明函数的二阶导数矩阵必须是正定的,这就是多元函数取得
极小值的充分条件。由此可知,多元函数在点X 取得极小值的充要条件 是:函数在该点的梯度为零,二阶导数矩阵为正定,即:
f ( X ) 0
将以上各梯度值代人k-t条件式
有:
f ( X k ) 1g1 ( X k ) 2g 2 ( X k ) - 2 4 0 1 2 0 1 1
k 解得, 1 2 0.5 均大于零,满足k-t条件,说明 X 2,0 就是所给约 T
得:
m
f ( X ) v hv ( X ) 0
v 不全为零
这就是等式约束问题在点X取得极值的必要条件。此式可概括为:在 等式约束的极值点上,目标函数的负梯度等于诸约束函数梯度的非零线
v 1
性组合。
第一节 极值理论
约束问题的极值条件
2)不等式约束问题的极值条件 对于不等式约束问题: min f ( X )
所组成的数组称为 n 维向
为 m 行 n 列矩阵,可表示为:
n m个有序的数aij (i 1,2,, m; j 1,2,, n)
a11 a 21 am1 a12 a22 am 2 a1n a2 n amn
排成的 m 行 n 列的数表称
实用优化技术
任课教师:董明望
第二章 优化设计理论基础
回顾优化设计数学的理论基础,使学习优化技术变得 相对容易,可以提高学习优化技术的效率。本章节主要 介绍的优化设计的理论基础有极值理论(分为有约束极 值问题和无约束极值问题)、向量与矩阵、正定二次函 数和泰勒函数。
目录
第一节 极值理论
第二节 向量与矩阵
解:由极值的必要条件
3x12 6 x1 9 f ( X ) 2 0 3x2 4 x2 4
解得以下4个驻点:
1 1 X 2 , X 2 2 3 - 3 - 3 3 X 2 X4 - 2 3

第一节 极值理论
约束问题的极值条件
根据分析,不等式约束问题的极小点取值条件可概括为:
f(X) gi ( X ) 0 iI k i 0 (i I k )
式中, gi ( X ) 0 (i I k ) 为点的起作用约束。 上式不等式约束问题的极值条件,其意义可概括为:在不等式约束问 题的极小点上,目标函数的负梯度等于起作用约束梯度的非负线性组合。 其几何意义如上图,即在不等式约束问题的极小点上,目标函数的负梯 度位于起作用约束梯度所成的夹角或锥体之内。在非极小点上,目标函 数的负梯度位于起作用约束梯度所成的夹角或锥体之外。
第三节 正定二次函数和泰勒函数
正定二次函数
二次函数是最简单的非线性函数,在最优化理论中具有重要的意义。 根据函数的泰勒二次展开式,可以把一般的二次函数写成以下向量形式:
1 T X HX BT X c 2 式中, H 为n n 阶常数矩阵,相当 B 为常数向量,相当于函数的梯度; T 于函数的二阶导数矩阵。X HX 称二次型,H 称二次型矩阵。 f(X)
2 f ( X ) 正定
同理,多元函数在点X 取得极大值的充要条件是:函数在该点的梯
度等于零,二阶导数矩阵为负定。若二阶导数矩阵 2 f(X ) 不定,则 X 为非极值点。
第一节 极值理论
无约束问题的极值条件
3 3 2 例 求函数 f(X) x1 x2 3x12 2x2 9x1 4x1 的极值。
则有:
a12 a22 a32
a13 a23 a33
x1
x1
x2
y1 x y x y x y (数) x3 y 2 1 1 2 2 3 3 y3
a11 x3 a21 a31 a12 a22 a32 a13 a23 a33
在点 x k 取得极大值。极值点和极值分别记作x xk 和 f f ( xk ) 。
当 f ( xk ) 0 时,函数 f ( x) 在点 x k 取得极小值。当 f ( xk ) 0 时,函数f ( x)

第一节 极值理论
无约束问题的极值条件
与此相似,多元函数 f ( x) 在点 X k 取得极值的必要条件是函数在该 点的所有方向导数都等于零,也就是说函数在该点的梯度等于零,即:
min f ( X ) s.t. hv ( X ) 0 (v 1,2,, m)
可以建立如下拉格朗日函数
m
L(X , ) f ( X ) v hv ( X )
式中,
T 1,2, ,n 称为拉格朗日乘子向量。
v 1
第一节 极值理论
约束问题的极值条件

L(X , ) 0
建立这一问题的拉格朗日函数
2 L(X , , X) f ( X ) u gu ( X ) xu n p


X xn1 , xn2 ,, xn p 式中,

u 1

T
为松弛变量组成的向量。
X) 0 则有: 令该拉格朗日函数的梯度等于零,即 L(X , ,
p L f ( X ) u g u ( X ) 0 X u 1 L 2 g u ( X ) xn u 0 L 2u x n u 0 (u 1,2, , p ) X
x2
第二节 向量与矩阵
x1a11 x2a21 x3a31
a11 a 21 a31 a12 a22 a32
x1a12 x2a22 x3a32
x1a13 x2a23 x3a33 (行向量)
a13 y1 a11 y1 a12 y2 a13 y3 y a y a y a y (列向量) a23 23 3 2 21 1 22 2 a33 y3 a31 y1 a32 y2 a33 y3
束最优化问题的最优点。
第二节 向量与矩阵
量。n 维向量写成一列时称为列向量,记作 X ;写成一行时称为行向量, 记作 。如 XT :
x1 x X 2 , X T x1 xn x2 x n
由线性代数知,n 个有序的数
x1 , x2 xn
A Amn
第二节 向量与矩阵
向量和向量、矩阵和矩阵之间可以进行各种运算,除简单的加减法和 数乘运算外,还可进行一般的乘法运算。设
x1 y1 a11 , Y y , A a X x 2 2 21 x3 y3 a31
f ( X ) 0
把函数在点 X k 展开成泰勒二次近似式,并将以上必要条件代人,整 理后得:
f (X ) f (X k )
1 X Xk 2


T
2 f ( X k ) X X k


当 X k 为函数的极小点时,因为有 f ( X ) f ( X k ) 0 ,故必有
第一节 极值理论
约束问题的极值条件
f ( X ) v hv ( X ) 0
v 1 m
f(X) gi ( X ) 0 iI k i 0 (i I k )
上面两个式子也称Kuhn-Tucker条件,简称k-t条件。k-t条件是约束
问题极值的必要条件。满足k-t条件的点称为k-t点,在一般情况下k-t点 就是约束问题的最优点。因此k-t条件既可以用作约束问题的终止条件, 也可以用来直接求解简单的约束最优化问题。
s.t. gu ( X ) 0

(u 1,2,, p)
p
入个松弛变量xnu 0 (u 1,2,, p) ,可将上面的不等式约束问题
变成等式约束问题:
min f ( X ) s.t. gu ( X ) xnu 0 (u 1,2,, p)
第一节 极值理论
约束问题的极值条件
相关文档
最新文档