最新2第二章优化设计的数学基础new汇总

f
令
f
x 0
x
1
f
f x1
T
f x
2
x0
称其为函数f(x1,x2)在x0点的梯度。
x2 x0
设
d
cos
1
cos2
为d方向的单位向量， 则可得：
f f x T d
d x0
0
`
例2-1 求二元函数
f x , x x 2 x 2 4 x 2 x 5
12
12
1
2
在x0 = [0 0]T处函数变化率最大的方向和数值。
i
i
i
i
来求解l个待定系数1，2，，l，使得l个变量的微分dx1, dx2, ，dxl 的系数
全为零。于是得到
n f1 h 12 h 2 l h l di x0
则有
f h1h2 hl 0
x 1x 2x
l x
(b)
j
j
j
j
(j = l+1, l+2,,n)
式（a),(b)及等式约束条件 hk(x) = 0 (k = 1,2,l) 就是点x达到约束极值的必要 条件。
等值面上过x0的一切曲面相垂直，如图2-5所示。
2.2 多元函数的泰勒（Taylor)展开式
多元函数的泰勒(Taylor)展开在优化方法中十分重要， 许多方法及其收敛性证明都是从它出发的。
2.3 无约束优化问题的极值条件
一、一元函数极值条件 对于连续可微的一元函数f(x),如在x*点有极值，
2第二章优化设计的数学基础 new
类似的，
一个三元函数
在 fx,x,x 123
xxx x 0 1,0 2,0 30
点处沿d方向的方向导
数和偏导数的关系如下所示，见图2-2
f f co sf co sf co s
d x x0
1x0
1 x 2x0
2 x 3x0
3
类似的， 一个n元函数fx1,x2, ， xn在 x 0 点处沿d方向的方向导数
一、消元法
1）二元函数只有一个等式约束 minf(x1，x2)
s.t. h (x1，x2) = 0
处理方法：将x1表示为x1 = (x2), 并代入目标函数中消去x1,变成一元函数F(x2),
则等式约束优化问题变为无约束优化问题。目标函数二维变一维,故称降维法。
2）n维情况 minf(x1，x2，，xn)
结果就是满足约束条件的原目标函数的极值点。自F(x, )具有极值的必要条
件：
F x 0i 1 ,2 , ,n , F 0k 1 ,2 , ,l
i
k
可得l+n个方程。由这些方程组求得函数f(x)的极值点x*=[x1* x2* xl*]T.
例2-4 用拉格朗日乘子法计算极值点坐标 f(x1，x2)=4x12+5x22
d fx 0in 1 x fix 0co i s fx 0T d fx 0co f,s d
d方向上的单位向量
cos 1
d
cos
2
梯度f(x0)的模为
cos n 1
f
x0
n i1
f xi
2
x0
2
梯度方向单位向量为
p
f x0 f x0
，它与函数等值面 f (x) = c相垂直，也就是和
s.t. hk (x1，x2 ，，xn) = 0 (k = 1,2,l) 由l个约束方程将n个变量中的前l个变量用其余n-l个变量表示， 有
x1 = (xl+1,xl+2,,xn)
x2 = (xl+1,xl+2,,xn)
xn = (xl+1,xl+2,,xn)
将这些函数关系代入到目标函数中， 得到只含有xl+1,xl+2,,xn共n-l个变量的函
4 2
2 5
2 15
5
三、向多元函数的推广
函数 f(x1,x2， , xn)在x0 (x1,x2， , xn)处的梯度可定义为
f
x1 f
f
x0
x
2
f x1
f xn x0
f x2
f T
xn
x0
函数 f(x1,x2， , xn)在x0处沿d的方向导数可表示为
x i1
dx i
f
x*T
dx0
i
dh x* k
n hk
x i1
d
xh
i
k
x* T dx0
i
(k = 1,2,l)
令
i n 1 x fi 1 h x1 i 2 h x2 i l h xil di x0
可通过其中的l个方程
fh1h2 hl 0
x 1x 2x
l x
(a)
f f cosf cos f cos
d x x0
1 x0
1 x 2 x0
2
x
n
n x0
Байду номын сангаасn f
x i1
cos i
i x0
其中的cosi为d方向和坐标轴xi方向之间夹角的余弦。
2、二元函数的梯度
f f
f
f
dx 0 x 1x 0co 1 s x 2x 0co 2 s x 1
fco 1s x 2 x 0 co 2 s
数F(xl+1,xl+2,,xn), 从而利用无约束优化问题的极值条件求解。（因为将l个
约束方程联立往往求不出解来，实际上难于求解）
二、拉格朗日乘子法
通过增加变量将等式约束优化问题变成无约束优化问题。
对于
minf(x) s.t. hk(x) = 0 (k = 1,2,l)
在极值点x*处有
d
fx*
n f
解：由于函数变化率最大的方向是梯度方向， 这里用单位向 量p表示， 函数变化率最大的数值是梯度的模f(x0)。求 f(x1,x2)在x0点处的梯度方向和数值，计算 如下
f
f
x0xf1
x2 x0
22xx12
4 2x0
24
fx0 x f1 2 x f2 2422225
p
f x0 f x0
其必要条件为： f ’(x*)=0
若x*为有极小值点，其充分条件为： f ”(x*)>0
若x*为有极大值点，其充分条件为： f ”(x*)<0
2.4 凸集与凸函数与凸规划
2.4.1凸集与非凸集
2.5 等式约束优化问题的极值条件
对于等式约束优化问题： minf(x)
s.t. hk(x) = 0 (k = 1,2,m) 需要导出极值存在的条件。 数学上有两种处理方法： 消元法（降维法） 拉格朗日乘子法（升维法）
式（a),(b)可以合并写成
fh1h2 hl 0
x 1x 2x
l x
i
i
i
i
(i = 1, 2,,n)
（c）
令
Fx,fx l khkx
k1
式中 待定系数k称为拉格朗日乘子， F(x, )称为拉格朗日函数。本方法称为
拉格朗日乘子法。
把F(x, )作为一个新的无约束条件的目标函数来求解它的极值点， 所得