第2章经典最优化方法讲解

凸集与凸函数
凸集与凸函数
Biblioteka Baidu
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
等式约束最优化问题
等式约束最优化问题的数学模型式
minf ( X ) S .t.g i ( x ) 0
X En
i 1, 2,..., m
这里介绍两种比较常用的方法：消元法和拉格朗日乘子法。
等式约束最优化问题
1.消元法 消元法就是将等式约束最优化问题转化为无约束最优化问题的一种最为简单的方法， 这里以二维为例，对其方法加以说明： 已知问题的数学模型为 minf ( X )＝f ( x1 , x2 ) S .t.g ( x1 , x2 ) 0 先由约束方程g ( x1 , x2 )＝0，解出x2 h( x1 ), 即消去x2； 然后把所得的表达式代入目标函数中，便可得到无约束的极值问题 minf ( X ) min f ( x1 , h( x1 ))
采用解析法求解，其求解过程可以归结为一下三个步骤： 1.令梯度g=0，解出各个驻点。 2.计算各驻点的矩阵 A,判断矩阵A正定或负定，得到相对应的极小点 或极大点； 3.计算极值。
常用微分公式
对于多元函数，在求解运算过程中，常用到以下微分公式： 1.C＝0 式中C为常数； 0为n维0向量； 2.B＝0 式中B为n维常向量； 0为n*n阶矩阵； 3.BT X＝B 式中B为n维常向量； X为n维变向量； BT X为标量 4.(XT X)＝2X； 5.(XT QX)＝2QX； 6.X=I；
(4)二元函数极值的充分条件 定理：二元函数f ( X )存在极值点的充分条件是：梯度g f ( X )＝0。且A 2 f ( X ) 正定，则有极小点。反之，则有极大点。
无约束最优化问题
• 由上一节可知，对于无约束最优化问题，其数学模型中只有目标函 数
minf ( X )
X En
第２章 经典最优化方法
内容介绍
微分学中求极值 无约束最优化问题 常用微分公式 凸集与凸函数 等式约束最优化问题 不等式约束最优化问题 变分学中求极值
微分学中求极值
• 一元函数的极值 1.一元函数极值的求法与判别 必要条件： 设函数 f ( x) 在点 x0 处具有导数，且在x0 处 f ( x)取得极值，则该函数 f ( x)在 x 处的导数 0
微分学中求极值
(3)赫森矩阵（Hesse）
定义：赫森矩阵，是二阶偏导数矩阵，且是2× 2对称方阵 ，用记号A代表 2 f A f (X ) X 2 性质：1.A是目标函数的二阶偏导数，是梯度的一阶偏导数。
2
2.A是对称方阵。 3. A为正定的条件是：各阶主子式大于零。 4.若矩阵A正定，则二次型X T AX 0，若矩阵A负定，则二次型X T AX 0
T
微分学中求极值
(2)梯度与方向导数 f X 梯度g在x1方向上的投影，即g在x1方向上的分量，就是函数f ( X )在x1方向的偏导数， 梯度的定义：梯度是函数f ( X )的一阶偏导数组成的向量。记为：gf ( X ) 即函数在x1方向的变化率。
方向导数的定义：二元函数f ( X )沿任意方向取长度为X的点，该点的函数的极限 f ( x x1 , x2 x2 ) f ( x1 , x2 ) lim 1 0 存在，就称极限值为函数f ( X )在该点沿方向的方向导数
微分学中求极值
由梯度与方向导数的概念，我们可以得到： 1.函数f ( X )在该点沿 方向的方向导数等于梯度g沿 方向的 投影。 2.梯度g在自身方向上的投影最大，最大值为 g .因而，函数 f ( x)沿梯度方向上升最快。 3.梯度g 在与自身垂直的方向上投影为0, 所以函数沿与梯度 垂直方向变化最慢，变化率为0； 4.与梯度成锐角方向，函数是上升的；与梯度成钝角方向， 函数是下降的。
f ' ( x) 0
这里有个前提，即函数 f ( x) 在设计区间要连续可导。凡是满足 上述的点都叫函数 f ( x) 的驻点。我们可知驻点并不完全是极值 点，它还有拐点，当然，极值点必定是驻点。因此，还必须有判 别函数极值的更充分条件。
微分学中求极值
充分条件： 当函数的一阶导数f '( x) 0, 二阶导数f '' x 0, 并且 1 ）f '' x 0时，函数f ( x)取极大值，有极大值点； 2）f '' x 0时，函数f ( x)取极小值，有极小值点； 找出函数的极值点，函数的极值自然容易计算出来。
.
由此可见： 当f ' x* 0时，函数f x 是单调上升；当f ' x* 0时，函数 函数f x 是单调上升； 当f ' x* ＝0时，若f '' x* 0，则x*为极小点，若f '' x* 0，则x*为极大点
微分学中求极值
• 二元函数的极值
微分学中求极值
2.在x*附近展成台劳极 f x f x* f ' x* x 1 '' * f x x 2 2! . 1 = f x* f ' x* x f '' x* x 2 2! = f x* f ' x* x
(1)二元函数的台劳展开式 1 f f ( X ) f ( X ) * X X T 2 X
* T
2 f X *2 X
其中 f f f g f ( X ) , 叫梯度，是一阶偏导向量。 X x1 x2 2 f 2 f x 2 , x x 2 f 1 1 2 A 2 f ( X ) 叫赫森矩阵，是二阶偏导向量，对称方阵。 X 2 2 f 2 f , 2 x x 1 2 x2 故台劳展开式也可写成 1 f ( X ) f ( X * ) g T X X T AX 2