优化设计的数学基础PPT资料61页
合集下载
【精品】优化设计的数学基础(一)课件
式中D表示由p个不等约束条件和q个等约束条 件所规定的可行域。
通过最优化方法求得的一组最优设计变量：
X*[x1*,x2*, ,xn*]
表示了一个最优化的设计方案，称为最优设计点。 对应于该设计方案的目标函数为：
F * F ( X * ) F ( x 1 * ,x 2 * , ,x n * )
称为最优化值。
满足上述要求的计算过程或计算方法就是所谓的 数值迭代过程 或 数值迭代方法。
数值迭代的基本思想是：从某一个选定的初始点 X ( 0出) 发，按照某种最优化方法所规定的原则，确定适
当的方向和步长，获得第一个新的修改设计点 X (1 )，
计算此点的目标函数值 F ( X (1)使) 满足：
F(X(1))F(X(0))
X(m) X(p)
满足上述条件的点列称为基本序列，这个条件叫做点列收敛的柯西 准则。收敛条件式也可写作：
n
2
X(m) i
Xi(p)
i1
2、优化计算的终止准则
通常采用的计算终止准则有以下几种形式：
（1）当两相邻的迭代点 之间的距离足够小时用矢量的长 度来表示，即为：
X(m) X(p)
n
2
§3-4 优化设计的数学模型
综上所述，最优化问题数学模型一般表示如下： 对于无约束最优化问题：
m in F ( X )
X Rn
式中，R n 表示n维实欧氏空间。
对于约束最优化问题：
minF(X)
XDRn
D: gu(X) 0 ,
u
1,2,...,
p
hv(X) 0 ,
v=1,2....,q
或
X (k1) i
X (k) i
i1
优化设计的数学基础
a11 a12 a11 0, a11 a12 a21 a22 0, , a21 a22 an1 an 2
a1n a2 n ann 0
即矩阵A的各阶主子式均大于零。当矩阵A为正定时，其对应的二次型 为正定二次型。 如果实二次型 XTAX 中的矩阵A的各阶主子式负、正相间（即所 有奇数阶主子式小于零，而所有偶数阶主子式大于零），即
■ 函数的泰勒近似展开式和黑塞矩阵 ■ 无约束优化问题的极值条件 ■ 凸函数与凸规划 ■
约束优化问题的极值条件
2.1 二次型与正定矩阵
在介绍优化方法时，常常是将二次型函数作为对象。其原因除了 二次型函数在工程优化问题中有较多的应用且比较简单之外，还因为 任何一个复杂的多元函数都可采用泰勒二次展开式做局部逼近，使复 杂函数简化为二次函数。因此，需要讨论有关二次型函数的问题。
A 称为二次型矩阵，因为 aij = aji ，所以 A =AT，称为对称矩阵，
因此二次型矩阵都是对称矩阵。
2. 正定矩阵
在采用泰勒二次近似展开式讨论函数的极值时，常要分析二次型 函数是否正定或负定。二次型的正定与负定的定义简述如下： 如果对于任意的非零向量 X = [x1, x2, …，xn]T，即x1，x2，…，xn 不全为零，若有 XTAX > 0，则称此二次型 f (X)=XTAX 是正定二次 型， 其对应的矩阵A 称为正定矩阵； 若有 XTAX ≥0，则称此二次型 f (X) = XTAX 为半正定二次型，并称 其相应的矩阵A为半正定矩阵； 若有XTAX < 0，则称此二次型 f (X)=XTAX 为负定二次型，其对应 的矩阵A为负定矩阵。 矩阵A的正定与负定的判别，可用矩阵A的各阶顺序主子式的正负 来判别。矩阵A的正定条件是：
a1n a2 n ann
现代设计方法课件PPT 第2章 优化设计的数学基础
1 [ X X (1) ]T 2 f ( X (1) )[ X X (1) ] 2
3x2 6 6(x1 1)2 6x12 12x1 3x2
将 X (点 X (1) 的值相等。
重庆大学机械工程学院
5
现代设计方法——第2章 优化设计的数学基础
分析式（2-9）中的取值对方向导数 f ( X k) ) / S 影响，可知，在设计空间
中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方
向函数值都减小；梯度 f (X ) 的方向为函数 f(X) 过 X (k) 点的等值线（或等值面）
的外法线方向。
Δ Δ Δ
x2
变化率为零的方向
下降方向
将代数式（2-6）写成矩阵形式，则有
f
(X (k) S
)
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
f ( X (k) )
x1
f ( X (k) ) cos1
x2
cos
2
f ( X (k) )
令
f ( X (k) )
x1
,
f ( X (k) )
S
cos1 cos2
当 X (k) 为函数的极小点时，有 f (X ) f (X (k) ) 0 ，故必有
[ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 0
根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必 须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 X (k) 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二 阶导数矩阵）正定，即
求展开式的二次项
3x2 6 6(x1 1)2 6x12 12x1 3x2
将 X (点 X (1) 的值相等。
重庆大学机械工程学院
5
现代设计方法——第2章 优化设计的数学基础
分析式（2-9）中的取值对方向导数 f ( X k) ) / S 影响，可知，在设计空间
中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方
向函数值都减小；梯度 f (X ) 的方向为函数 f(X) 过 X (k) 点的等值线（或等值面）
的外法线方向。
Δ Δ Δ
x2
变化率为零的方向
下降方向
将代数式（2-6）写成矩阵形式，则有
f
(X (k) S
)
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
f ( X (k) )
x1
f ( X (k) ) cos1
x2
cos
2
f ( X (k) )
令
f ( X (k) )
x1
,
f ( X (k) )
S
cos1 cos2
当 X (k) 为函数的极小点时，有 f (X ) f (X (k) ) 0 ，故必有
[ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 0
根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必 须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 X (k) 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二 阶导数矩阵）正定，即
求展开式的二次项
第2章 优化设计的数学基础
ρ
=
∂F ( x 0 ) ∂x1 =
∆x1 cos θ1 +
∂F ( x 0 ) ∂x2
ρ
+ lim
ρ →0
0 0 F ( x10 + ∆x1 , x2 + ∆x2 ) − F ( x10 + ∆x1 , x2 ) ∆x2
∆x2
ρ
cos θ 2 cos θ 2 + ∂F ( x 0 ) ∂x3 cos θ3
α x + (1 − α ) x ⊂ D
1 2
二、凸函数
定义在凸集D上的函数 ，如满足以下条件， 定义在凸集 上的函数F，如满足以下条件， 上的函数
F αx1 + (1 − α )x 2 ≤ αF x1 + (1 − α )F x 2
则，F为D上的凸函数，如不等式反向，则为 上的凸函数， 为 上的凸函数 如不等式反向， 凹函数 凸函数的性质： 凸函数的性质： F (x1 ) + F (x 2 ) 在D上也是凸函数； λ 1、 F (x ) 、 上也是凸函数； 、 上也是凸函数 2、F为凸函数的充分必要条件是： 为凸函数的充分必要条件是： 、 为凸函数的充分必要条件是 (x 2 ) ≥ F (x1 ) + [∇F (x1 )]T (x 2 − x1 ) F 。 函数切线永远在曲线以下。 即函数切线永远在曲线以下。
T
d = [ cos θ1
cos θ 2 ]
T
设： 则有
cos θ1 S≡ 为单位向量。 为单位向量 cos θ 2 ∂f = ∇f ( x0 )T S = ∇f ( x0 ) cos(∇f , S ) x0 ∂S
梯度方向是函数值增加最快的方向，而梯度 梯度方向是函数值增加最快的方向， 的模就是函数变化率的最大值。
机械优化设计之优化设计的数学基础培训课件(
两个同阶数的矩阵A与B可以进行加减运算，其和或差C亦同阶矩
阵。矩阵C中各元素为矩阵A 、B中各对应元素之和或差。即：
CAB则必有相对于元素的对应关系 cij aij bij 矩阵加法还满足交换律和结合律，设有同阶矩阵A 、B 、C，
则有：
ABBA ABCABC
10
第二章 优化设计的数学基础
用AT表示，即：
a11 A a21
am1
a12 a22
am2
a1n
a2
n
amn
mn
a11 a21 AT a12 a22
a1n a2n
am1
am2
amn
nm
同样，行矩阵的转置为列矩阵，列矩阵的转置为行矩阵，如：
a1 a2
a m n
它就被称为矩阵，简记为: A a ij ,i 1 ,2 , ,m ;j 1 ,2 , ,n
5
第二章 优化设计的数学基础
2.1 矩阵 2.1.1 矩阵的概念
由方阵A的全部元素构成的行列式，称为矩阵A的行列式，记为|A|。
a11 a12
a1n
A a21 a22
机械优化设计中的几个问题
2
补课时间：周四11-13节 教室：3A103
第二章 优化设计的数学基础
01 矩阵运算
02 多元函数的方向导数与梯度
03 多元函数的泰勒展开 04 凸集、凸函数与凸规划
05 最优化问题的极值存在条件
第二章 优化设计的数学基础
2.1 矩阵
2.1.1 矩阵的概念 a11x1 a12x2 a21x1 a22x2
a2n
最优化_第2章 优化设计的数学基础
(0) (0) f ( x1(0) , x2 x2 ) f ( x1(0) , x2 ) f ( x) lim x2 X ( 0) x2 0 x2
分别表示沿坐标轴x1和x2方向在X (0)处的f(X)变化率。
§2.1
多元函数的导数与梯度
(0) (0) f x1(0) x1 , x2 x2 f x1(0) , x2 f lim d X ( 0 ) d 0 d (0) (0) (0) f x1 x1 , x2 f x1(0) , x2 x1 lim d 0 x1 d
n元函数极值充分条件:海塞矩阵为正定。
2 f 2 x 1 2 f x2 x1 (0) G( X ) 2 f xn x1
2 f xn x2
§2.4
凸集、凸函数与凸规划
f X f X*
函数f(X)在X*附近的一切X均满足不等式
2.二阶导数（ Hessian矩阵)判断
Hessian矩阵G(X)在R上处处半正定。
(0) 1 (0) 2
X (0)
x2
§2.2
多元函数的泰勒展开
二元函数泰勒展开矩阵形式:
f x1 , x2 f X
(0)
f ( X
(0) T
1 ) X X TG ( X (0) )X 2
2 f x 2 1 其中: G ( X (0) ) 2 f x2 x1
2 2
2 5 5 5 1 5 1 5 5
f
X
(1)
26 3x 4 x1 x2 x |X ( 0 ) 5 2 5
2 1
优化设计基础PPT讲稿
其中，x1 x1 x10，x2 x2 x20
二元函数泰勒展开式的矩阵形式：
f
x
f
x0
f x1
f x2
x0
x1
x2
1 2
x1
2 f
x2
x12 2 f
x2x1
f
x0
f
T
1T
x0 x x G
x0
x …
2
2 f
x1x2 2 f x22
x0
例：设目标函数f (x)
f (x1, x2 ) 4
x12 x2 , 求点x0
[1
1]T 处沿
d1和d2两个方向的方向导数。
向量d1的方向为：1
2
，
4
向量d2的方向为：1
3
，2
6
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f
梯度：二元函数f
(x1, x2 )在点x0处的梯度是f
优化设计基础课件
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
一个多元函数可用偏导数的概念来研究函数沿各坐标方向 的变化率。
二元函数的偏导数：
一个二元函数f (x1, x2 )在点x0 (x10 , x20 )处的偏导数是
f lim f x10 x1, x20 f x10 , x20
(x0 )
x1
f
x2
x0
f
x1
T
f
,
x2
x0
方向导数与梯度的关系： f f (x0 )T d f (x0 ) cos(f , d) d x0
二元函数f
(
x1,
x2
优化设计的数学基础.ppt
hk (x) = 0 (k = 1, 2,L ,l )
引入拉格郎日乘子 l 函数
k
(k
=
1, 2,L ,l )
构成一个新的目标
l
å F (x, l ) = f (x ) + l khk (x )
k=1
将其作为一个新的无约束条件的目标函数来求解它 的极值点，所得结果就是原等式约束问题的极值点。
新的目标函数具有极值点的必要条件为
海赛矩阵
轾 犏 抖2 f 犏 犏 犏 犏 ¶抖x2 f12 G (x0 ) = 犏 犏 犏 犏抖x2Mx1 犏 犏 犏 犏 臌抖x抖n2 f x 1
2f
抖x1 x2
2f
¶
x
2 2
M
2f 抖xn x2
?2f L 抖x1 xn
?2f L 抖x2 xn MM
?2f
L
¶
x
2 n
x0
例题（一）
求二元函数f (x1, x2 ) =
x0
=
轾 犏 犏 臌抖抖xf1
fT x2 x0
称为函数f (x1, x2 )在x0 (x10, x20 ) 处的梯度
d
=
轾 犏cos q1 犏 犏 臌cos q2
称为d 方向单位向量
¶f ¶d
x0
=
?
f (x 0 )T d
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
¶F = 0 (i = 1, 2,L , n)
¶ xi
¶F ¶l k
=
hk (x ) =
0
(k
=
1, 2,L ,l)
一共可得n+l个方程，从而可解得(x,)共n+l个未知
引入拉格郎日乘子 l 函数
k
(k
=
1, 2,L ,l )
构成一个新的目标
l
å F (x, l ) = f (x ) + l khk (x )
k=1
将其作为一个新的无约束条件的目标函数来求解它 的极值点，所得结果就是原等式约束问题的极值点。
新的目标函数具有极值点的必要条件为
海赛矩阵
轾 犏 抖2 f 犏 犏 犏 犏 ¶抖x2 f12 G (x0 ) = 犏 犏 犏 犏抖x2Mx1 犏 犏 犏 犏 臌抖x抖n2 f x 1
2f
抖x1 x2
2f
¶
x
2 2
M
2f 抖xn x2
?2f L 抖x1 xn
?2f L 抖x2 xn MM
?2f
L
¶
x
2 n
x0
例题（一）
求二元函数f (x1, x2 ) =
x0
=
轾 犏 犏 臌抖抖xf1
fT x2 x0
称为函数f (x1, x2 )在x0 (x10, x20 ) 处的梯度
d
=
轾 犏cos q1 犏 犏 臌cos q2
称为d 方向单位向量
¶f ¶d
x0
=
?
f (x 0 )T d
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
¶F = 0 (i = 1, 2,L , n)
¶ xi
¶F ¶l k
=
hk (x ) =
0
(k
=
1, 2,L ,l)
一共可得n+l个方程，从而可解得(x,)共n+l个未知
优化设计的数学基础
第二章 优化设计的数学基础优化设计中绝大多数是多变量有约束的非线性规划问题，即是求解多变量非线性函数的极值问题。
由此可见，优化设计是建立在多元函数的极值理论基础上的，对于无约束优化问题为数学上的无条件极值问题，而对于约束优化问题则为数学上的条件极值问题。
本章主要叙述与此相关的数学基础知识。
第一节 函数的方向导数与梯度一、函数的方向导数一个二元函数()21,x x F 在点()02010,x x X 处的偏导数，即函数沿坐标轴方向的变化率定义为：而沿空间任一方向S 的变化率即方向导数为：方向导数与偏导数之间的数量关系为依此类推可知n 维函数()n x x x F ,,,21 在空间一点()002010,,,n x x x X 沿S 方向的方向导数为二、函数的梯度 函数()X F 在某点X 的方向导数表明函数沿某一方向S 的变化率。
—般函数在某一确定点沿不同方向的变化率是不同的。
为求得函数在某点X 的方向导数为最大的方向，引入梯度的概念。
仍以二元函数()21,x x F 为例进行讨论，将函数沿方向S 的方向导数写成如下形式令：图2-1 二维空间中的方向图2-2 三维空间中的方向称为()21,x x F 在点X 处的梯度()X F grad ，而同时设S 为单位向量于是方向导数可写为：此式表明，函数()X F 沿S 方向的方向导数等于向量()X F ∇在S 方向上的投影。
且当()()1,cos =∇S X F ，即向量()X F ∇与S 的方向相向时，向量()X F ∇在S 方向上的投影最大，其值为()X F ∇。
这表明梯度()X F ∇是函数()X F 在点X 处方向导数最大的方向，也就是导数变化率最大的方向。
上述梯度的定义和运算可以推广到n 维函数中去，即对于n 元函数()n x x x F ,,,21 ，其梯度定义为由此可见，梯度是一个向量，梯度方向是函数具有最大变化率的方向。
即梯度()X F ∇方向是函数()X F 的最速上升方向，而负梯度()X F ∇-方向则为函数()X F 的最速下降方向。
优化设计的数学基础
f x f x*
所以函数f(x)在 x* 处取得局部极小值，称x*为
局部极小点。 而优化问题一般是要求目标函数在某一区域内 的全局极小点。 函数的局部极小点是不是一定是全局极小点呢？
图2-7 下凸的一元函数
一、凸集
一个点集（或区域），如果连接其中任意两点 x1 x2
的线段都全部包含在该集合内，就称该点集为凸集， 否则为非凸集。
梯度 F ( x0 ) 模：
1
F ( x0 )
n i1
( F xi
)2 x0
2
函数的梯度方向与函数等值面相垂直，也就是 和等值面上过x0的一切曲线相垂直。
由于梯度的模因点而异，即函数在不同点处的
最大变化率是不同的。因此，梯度是函数的一种局 部性质。
梯度两个重要性质：
在工程中大多数优化问题，可表示为不等式约束 条件的优化问题。
有必要引出非线性优化问题的重要理论，是不等式 约束的多元函数的极值的必要条件。
库恩-塔克（Kuhn-Tucker）条件
一、一元函数在给定区间上的极值条件
一元函数f(x)在给定区间[a,b]上的极值问题，可以 写成下列具有不等式约束条件的优化问题：
集R内任意不同两点x1 x2 ，不等式
f x2 f x1 x2 x1 T f x1
恒成立。
2f(x)为定义在凸集R上且具有连续二阶导数的 函数，则f(x)在R上为凸函数的充要条件
Hesse矩阵在R上处处半正定。
f x0
f
x (0) 1
x1,
x20
x2
f
x10 , x20
lim
d
0
所以函数f(x)在 x* 处取得局部极小值，称x*为
局部极小点。 而优化问题一般是要求目标函数在某一区域内 的全局极小点。 函数的局部极小点是不是一定是全局极小点呢？
图2-7 下凸的一元函数
一、凸集
一个点集（或区域），如果连接其中任意两点 x1 x2
的线段都全部包含在该集合内，就称该点集为凸集， 否则为非凸集。
梯度 F ( x0 ) 模：
1
F ( x0 )
n i1
( F xi
)2 x0
2
函数的梯度方向与函数等值面相垂直，也就是 和等值面上过x0的一切曲线相垂直。
由于梯度的模因点而异，即函数在不同点处的
最大变化率是不同的。因此，梯度是函数的一种局 部性质。
梯度两个重要性质：
在工程中大多数优化问题，可表示为不等式约束 条件的优化问题。
有必要引出非线性优化问题的重要理论，是不等式 约束的多元函数的极值的必要条件。
库恩-塔克（Kuhn-Tucker）条件
一、一元函数在给定区间上的极值条件
一元函数f(x)在给定区间[a,b]上的极值问题，可以 写成下列具有不等式约束条件的优化问题：
集R内任意不同两点x1 x2 ，不等式
f x2 f x1 x2 x1 T f x1
恒成立。
2f(x)为定义在凸集R上且具有连续二阶导数的 函数，则f(x)在R上为凸函数的充要条件
Hesse矩阵在R上处处半正定。
f x0
f
x (0) 1
x1,
x20
x2
f
x10 , x20
lim
d
0
优化设计第02课-2数学基础PPT课件
②当u1=0,a1≠0 时，g1(x)=a-x＜0，约束不起作用，即为x>a 的情况。
上述分析可表示为：u1
0 0
, g1( x) 0 为起作用约束，即x=a , g1( x) 0 为不起作用约束，即x>a
上式表明， u1与g1(x)至少必有一个为0，因此，可将u1a1=0的
条件写成：
u1g1(x)=0。
若将这些关系式代入到目标函数中，从而得到只含xl+1, xl+2,…,xn共n-l个变量的函数，这样就可以利用无约束优化问题 的极值求解。
二、拉格朗日乘子法
通过增加变量将等式约束优化问题变成无约束优化问题。
对于具有l个等式约束的N维优化问题：
min f(x)
s.t. hk(x)=0 (k=1, 2, … , l) 为了求出f(x)的可能极值点x*=[x1* x２*… xn*]T，引入拉格朗日 乘子k (k=1, 2, … , l) ，并构成一个新的目标函数：
2F
x12
2F
2
F
(
x*
)
x2x1
2F
xnx1
2F x1x2 2F
x22
2F xnx2
2F
x1xn
2F
x2xn
正定或负定
2F
xn2 x*
✓ 海赛（Hessian）矩阵 H (x) 正定，即各阶主 子式均大于零，则x*为极小点。
✓ 海赛（Hessian）矩阵 H (x) 负定，即各阶主 子式负、正相间，则x *为极大点。
Learning Is To Achieve A Certain Goal And Work Hard, Is A Process To Overcome Various Difficulties For A Goal
上述分析可表示为：u1
0 0
, g1( x) 0 为起作用约束，即x=a , g1( x) 0 为不起作用约束，即x>a
上式表明， u1与g1(x)至少必有一个为0，因此，可将u1a1=0的
条件写成：
u1g1(x)=0。
若将这些关系式代入到目标函数中，从而得到只含xl+1, xl+2,…,xn共n-l个变量的函数，这样就可以利用无约束优化问题 的极值求解。
二、拉格朗日乘子法
通过增加变量将等式约束优化问题变成无约束优化问题。
对于具有l个等式约束的N维优化问题：
min f(x)
s.t. hk(x)=0 (k=1, 2, … , l) 为了求出f(x)的可能极值点x*=[x1* x２*… xn*]T，引入拉格朗日 乘子k (k=1, 2, … , l) ，并构成一个新的目标函数：
2F
x12
2F
2
F
(
x*
)
x2x1
2F
xnx1
2F x1x2 2F
x22
2F xnx2
2F
x1xn
2F
x2xn
正定或负定
2F
xn2 x*
✓ 海赛（Hessian）矩阵 H (x) 正定，即各阶主 子式均大于零，则x*为极小点。
✓ 海赛（Hessian）矩阵 H (x) 负定，即各阶主 子式负、正相间，则x *为极大点。
Learning Is To Achieve A Certain Goal And Work Hard, Is A Process To Overcome Various Difficulties For A Goal
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 x1
2 x2
4
x2
在点x(1)=[3,2]T处的梯度为：
f(x(1))2x21x24x(1) 2 4
例2-2*：试求目标函数fx 1 ,x 2 3 x 1 2 4 x 1 x 2 x 2 2 在点X0 0,1T 处
的最速下降方向，并求沿这个方向移动一个单位长度后新点的
目标函数值。 解： 由于
有一个二维函数，如图2-1所示。
图2-1 函数的方向导数
其函数在 x 0 点沿d方向的方向导数为
fx 0
fx 1 (0 ) x 1 ,x 2 0 x 2 fx 1 0 ,x 2 0
lim d 0
lim x1 0 x2 0
f x 1 (0 ) x 1 ,x 2 0 x 2f x 1 0 ,x 2 0 x 2 x 1
第一节 多元函数的方向导数与梯度
一、方向导数
从多元函数的微分学得知，对于一个连续可
微函数f(x)在某一点 x ( k ) 的一阶偏导数为：
f ( x k ) ， f ( x k ) ，… ， f ( x k )
x1
x2
xn
它表示函数f(x)值在x ( k ) 点沿各坐标轴方向的变
化率。
泰勒展开写成向量矩阵形式
fx fx * fx * T x x * 1 2 x x * T G x * x x *
∵ f x* 0
fx fx * 1 2 x x * TG x *x x *
∵ fxfx*0
则极小点必须满足
xx* TGx* xx*0
x * 为无约束极小点的充分条件
G
x0
x12 2 f
x2x1
2 f
x1x2
2 f
x22
x0
x0
x10
x
2
0
各阶主子式大于零
例：求函数的 fx 1 ,x 2 x 1 2 x 2 2 4 x 1 2 x 2 5极值
第三节 无约束优化问题的极值条件
无约束优化问题是使目标函数取得极小值，所 谓极值条件就是指目标函数取得极小值时极值 点所应满足的条件。
•新点是
X1 X0 e1 0 1 5 5 2
55 2
5
5 11 5 5
f X 1 3 x 1 2 4 x 1 x 2 x 2 2|X 0 2 5 6 25
几个常用的梯度公式：
1. fXC常 数 则 ， fX0 即 ， C0
2. fXbTX 则 ， fXb
.
3. fXXTX 则 ， fX2X
.
4. Q 对 称 矩 阵 。 fXXTQ X 则 ， fX2Q X
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数，则极值点 的必要条件一阶偏导数等于零，即
f x* 0
满足此条件仅表明该点为驻点，不能肯定为极值 点，即使为极值点，也不能判断为极大点还是极 小点，还得给出极值点的充分条件
性质二 梯度方向是函数具有最大变化率的方向。
x2
f(x0)
最速上升方向
x0
－f(x0) 最速下降方向
下降方向
上升方向 变化率为零的方向
O
x1
图2-2 梯度方向与等值面的关系
例题 2-1
求函数 f(x ) x 1 2 x 2 2 4 x 1 4 在点[3,2]T 的 梯度。
解：
f
f
(
x)
x1 f
第四节 凸集、凸函数与凸规划
前面我们根据函数极值条件确定了极小点 x * 则函数f(x)在x * 附近的一切x均满足不等式
f xf x*
所以函数f(x)在 x * 处取得局部极小值，称x * 为
其Hesse矩阵G(X*)为正定的。
多元函数f(x)在x * 处取得极值，则极值的条件为
（1） ▽F(X*)=0； 必要条件 （2）Hesse矩阵G(X*)为正定。 充分条件
为无约束优化问题的极值条件
同学考虑二元函数在 x * 处取得极值的充分必
要条件。
f
f
x
x1
0
f
x
2
2 f
f d
x0
f
x0 T
d
即
f d x0
f x0T d
fx0T cosf,d
三、多元函数的梯度
f x0 f x0
f
x0
T
f x0
,
,...
x1
x2
xn
cos 1
沿d方向的方向向量
d
c
o
s
2
...
c
o
s
n
即
f d x0
f x0T d
fx0T cosf,d
图2-5 梯度方向与等值面的关系
2 f xk
x1x2
2 f xk
...
2 f xk
x1xn
2 f xk
G
xk
x 2 x1
x
2 2
...
x.
...
2 f xk
2 f xk
2 f xk
...
xnx1
xnx2
xn2
为N维函数f(x)在点 x ( k ) 处的Hesse矩阵
x 1
f
x10,x20 x2 f
x10,x20
x2
x2
f x0
f x0
x1
cos1 x2
cos2
二、二元函数的梯度
对于二维函数 f x1, x2 在 x 0 点处的梯度
f x0
f
x0
T
f x0
,
x1
x2
x0
设
d
cos1
c
o
s
2
为d方向的单位向量，则有
fX
fX
x 1 6 x 1 4 x 2 , x 2 4 x 1 2 x 2
则函数在 X0 0,1T处的最速下降方向是
f X
Pf
X0
fxX 1
x2 x10
46xx1124xx22x10 x21
4 2
这个方向上的单位向量是：
x21
f X0
e
f X0
4 2
5 2
5
4222 1 5 5
设目标函数在 x * 点至少有二阶连续的偏导数，则
在这一点的泰勒二次近似展开式为：
fx fx * i n 1 f x x i*x i x * 1 2 i,n j 1 2 x f i x x j *x i x i *x j x * j
2 f xk
2
x12 f xk
梯度 F(x0) 模：
1
F(x0)
n i1
(F xi )2x0
2
函数的梯度方向与函数等值面相垂直，也就是 和等值面上过x0的一切曲线相垂直。
由于梯度的模因点而异，即函数在不同点处的
最大变化率是不同的。因此，梯度是函数的一种局 部性质。
梯度两个重要性质：
性质一 函数在某点的梯度不为零，则必与过该点 的等值面垂直；