最优化_第2章 优化设计的数学基础
合集下载
现代设计方法---优化设计
E=2×105MPa。现要求在满足使用要求的条件下，试设计一个用
料最省的方案。
优化目标
用料最省
V 1 d 2L
4
d
F M
L
强度条件
max
FL 0.1d 3
w
M
0.2d 3
条件 刚度条件
f
FL3 3EJ
64FL3
3Ed 4
f
边界条件 L Lmin 8c14m
例3 设某车间生产A和B两种产品，每种产品各有两道工序，分 别由两台机器完成这两道工序，其工时列于表中。若每台机器每 周至多工作40小时。产品A的单价为200元，产品B的单价为500 元。问每周A、B产品应各生产多少件，可使总产值为最高。 （这是生产规划的最优化问题）
F —弹簧在负荷P作用下所产生的变形量
n —弹簧的有效圈数
d —弹簧材料的直径
G —弹簧材料的切变模量
3
• 根据上式，如己知或先预定 D2、n、d、G 各参数，通过多次试算、
修改，就有可能得到压簧刚度等于或接近于 的设P计参数。
• 刚度公式也可以写成一般的多元函数表达式，即
• 式中 代表性y能指f 标(xi ) ， 是i 设 1计,2参,量,，N分别代 表 、y 、 、 ，所以P xi 。
0 x L
x b
图1－2
这一优化设计问题是具有两个设计变 量(即x和α)的非线性规划问题。
13
例2：有一圆形等截面的销轴，一端固定，一端作用着集中载荷
F=1000N和扭矩M=100N·m。由于结构需要，轴的长度L不得小于
8cm，已知销轴材料的许用弯曲应力[σW]=120MPa，许用扭转切 应力[τ]=80MPa，允许挠度[f]=0.01cm，密度ρ=7.8t/m3，弹性模量
优化设计的数学基础
a11 a12 a11 0, a11 a12 a21 a22 0, , a21 a22 an1 an 2
a1n a2 n ann 0
即矩阵A的各阶主子式均大于零。当矩阵A为正定时，其对应的二次型 为正定二次型。 如果实二次型 XTAX 中的矩阵A的各阶主子式负、正相间（即所 有奇数阶主子式小于零，而所有偶数阶主子式大于零），即
■ 函数的泰勒近似展开式和黑塞矩阵 ■ 无约束优化问题的极值条件 ■ 凸函数与凸规划 ■
约束优化问题的极值条件
2.1 二次型与正定矩阵
在介绍优化方法时，常常是将二次型函数作为对象。其原因除了 二次型函数在工程优化问题中有较多的应用且比较简单之外，还因为 任何一个复杂的多元函数都可采用泰勒二次展开式做局部逼近，使复 杂函数简化为二次函数。因此，需要讨论有关二次型函数的问题。
A 称为二次型矩阵，因为 aij = aji ，所以 A =AT，称为对称矩阵，
因此二次型矩阵都是对称矩阵。
2. 正定矩阵
在采用泰勒二次近似展开式讨论函数的极值时，常要分析二次型 函数是否正定或负定。二次型的正定与负定的定义简述如下： 如果对于任意的非零向量 X = [x1, x2, …，xn]T，即x1，x2，…，xn 不全为零，若有 XTAX > 0，则称此二次型 f (X)=XTAX 是正定二次 型， 其对应的矩阵A 称为正定矩阵； 若有 XTAX ≥0，则称此二次型 f (X) = XTAX 为半正定二次型，并称 其相应的矩阵A为半正定矩阵； 若有XTAX < 0，则称此二次型 f (X)=XTAX 为负定二次型，其对应 的矩阵A为负定矩阵。 矩阵A的正定与负定的判别，可用矩阵A的各阶顺序主子式的正负 来判别。矩阵A的正定条件是：
a1n a2 n ann
现代设计方法课件PPT 第2章 优化设计的数学基础
1 [ X X (1) ]T 2 f ( X (1) )[ X X (1) ] 2
3x2 6 6(x1 1)2 6x12 12x1 3x2
将 X (点 X (1) 的值相等。
重庆大学机械工程学院
5
现代设计方法——第2章 优化设计的数学基础
分析式（2-9）中的取值对方向导数 f ( X k) ) / S 影响，可知，在设计空间
中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方
向函数值都减小；梯度 f (X ) 的方向为函数 f(X) 过 X (k) 点的等值线（或等值面）
的外法线方向。
Δ Δ Δ
x2
变化率为零的方向
下降方向
将代数式（2-6）写成矩阵形式，则有
f
(X (k) S
)
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
f ( X (k) )
x1
f ( X (k) ) cos1
x2
cos
2
f ( X (k) )
令
f ( X (k) )
x1
,
f ( X (k) )
S
cos1 cos2
当 X (k) 为函数的极小点时，有 f (X ) f (X (k) ) 0 ，故必有
[ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 0
根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必 须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 X (k) 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二 阶导数矩阵）正定，即
求展开式的二次项
3x2 6 6(x1 1)2 6x12 12x1 3x2
将 X (点 X (1) 的值相等。
重庆大学机械工程学院
5
现代设计方法——第2章 优化设计的数学基础
分析式（2-9）中的取值对方向导数 f ( X k) ) / S 影响，可知，在设计空间
中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方
向函数值都减小；梯度 f (X ) 的方向为函数 f(X) 过 X (k) 点的等值线（或等值面）
的外法线方向。
Δ Δ Δ
x2
变化率为零的方向
下降方向
将代数式（2-6）写成矩阵形式，则有
f
(X (k) S
)
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
f ( X (k) )
x1
f ( X (k) ) cos1
x2
cos
2
f ( X (k) )
令
f ( X (k) )
x1
,
f ( X (k) )
S
cos1 cos2
当 X (k) 为函数的极小点时，有 f (X ) f (X (k) ) 0 ，故必有
[ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 0
根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必 须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 X (k) 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二 阶导数矩阵）正定，即
求展开式的二次项
最优化原理知识点
1.优化设计数学模型的三要素是什么？试写出其数学表达式。
2.常用的迭代终止准则有哪些？(1)点距准则 ||Xk+1-Xk||≤ε(2)值差准则 |f(Xk+1)-f(Xk)|≤ε(3)梯度准则 ||▽ f(Xk+1) ||≤ε3.设计的变量和设计空间的关系是什么？由n个设计变量x1,x2,…xn为坐标所组成的实空间称作设计空间。
4.梯度和方向导数的关系是什么？梯度▽ F(X) 是一个向量，梯度方向是函数具有最大变化率的方向（方向导数最大的方向）。
5.如何判断矩阵的正定性？若有HTHX>0，则称矩阵H是正定矩阵；矩阵A正定的条件是A的各阶主子式大于零。
6.为什么说正定二次函数在最优化理论中具有特殊意义？因为许多最优化理论和最优化方法都是根据正定二次函数提出并加以证明的,而且所有对正定二次函数适用并有效的最优化算法,经证明,对一般非线性函数也是适用和有效的。
7.什么是库恩-塔克条件？其几何意义又是什么？等式约束：不等式约束：8.为什么二次插值法的收敛速度要比黄金分割法快？而在相同τ下的实际精度没有黄金分割法高？9.试写出梯度法（最速下降法）的迭代算法公式，并简要叙述该算法的特点。
公式：方法特点：1）初始点可任选，每次迭代计算量小，存储量少，程序简短。
即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点；2）任意相邻两点的搜索方向是正交的，它的迭代路径为绕道逼近极小点。
当迭代点接近极小点时，步长变得很小，越走越慢。
梯度法只具有线性收敛速度。
10.梯度法计算速度慢的原因是什么？为什么一些好的算法第一步迭代都以负梯度作为搜索方向？在迭代点向函数极小点靠近的过程，走的是曲折的路线，形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。
11.牛顿方向如何得到？有何优点？12.共轭方向如何产生？有何优点？13.线性规划的基本解、基本可行解和最优解之间有什么关系？14.在解的转换中，如何保证目标函数值不仅下降，而且下降的最多？15.非线性约束最优化问题的求解方法有哪两类？各有什么特点？16.约束优化方法中的可行方向法产生可行方向应满足什么条件？试用文字描述并用公式表达。
最优化设计 课后习题答案
最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。
机械优化设计方法
2 1 2 2 1 2 2
2 F B 2 h2 得到m(h) y h
第一章 优化设计概述
第一节 人字架的优化设计
解析法：
dm 2 F d B 2 h 2 2 F B2 求导 ( ) (1 2 ) 0 dh y dh h y h 解得h* B 152 cm 76cm 2 2F 代入D表达式D* 6.43cm T y 4 FB
l
θ
第一章 优化设计概述
第三节 优化设计问题的数学模型
优化问题的几何解释： 无约束优化问题：目标函数的极小点就是等值面的中心； 等式约束优化问题：设计变量x的设计点必须在 所表示的面或线上，为起作用约束。 不等式约束优化问题：可行点 g ( x) 0
h( x) 0
优化设计问题的数学模型的三要素：设计变量、目 标函数和约束条件。
第一章 优化设计概述
第三节 优化设计问题的数学模型
设计变量：
在设计过程中进行选择并最终必须确定的各项独立参数， 称为设计变量。
设计变量向量：
x [ x1x2
xn ]T
设计常量：参数中凡是可以根据设计要求事先给定的，称为设计常量 。 设计变量：需要在设计过程中优选的参数，称为设计变量。 连续设计变量：有界连续变化的量。 离散设计变量：表示为离散量。
钢管壁厚T=0.25cm，
钢管材料的弹性模量E=2.1×105Mpa， 材料密度ρ=7.8×103kg/m3，
许用压应力σy= 420MPa。
求在钢管压应力σ不超过许用压应力σy 和失稳临界应力σe的条件下， 人字架的高h和钢管平均直径D，使钢管总质量m为最小。
第一章 优化设计概述
第一节 人字架的优化设计
绪论
2 F B 2 h2 得到m(h) y h
第一章 优化设计概述
第一节 人字架的优化设计
解析法：
dm 2 F d B 2 h 2 2 F B2 求导 ( ) (1 2 ) 0 dh y dh h y h 解得h* B 152 cm 76cm 2 2F 代入D表达式D* 6.43cm T y 4 FB
l
θ
第一章 优化设计概述
第三节 优化设计问题的数学模型
优化问题的几何解释： 无约束优化问题：目标函数的极小点就是等值面的中心； 等式约束优化问题：设计变量x的设计点必须在 所表示的面或线上，为起作用约束。 不等式约束优化问题：可行点 g ( x) 0
h( x) 0
优化设计问题的数学模型的三要素：设计变量、目 标函数和约束条件。
第一章 优化设计概述
第三节 优化设计问题的数学模型
设计变量：
在设计过程中进行选择并最终必须确定的各项独立参数， 称为设计变量。
设计变量向量：
x [ x1x2
xn ]T
设计常量：参数中凡是可以根据设计要求事先给定的，称为设计常量 。 设计变量：需要在设计过程中优选的参数，称为设计变量。 连续设计变量：有界连续变化的量。 离散设计变量：表示为离散量。
钢管壁厚T=0.25cm，
钢管材料的弹性模量E=2.1×105Mpa， 材料密度ρ=7.8×103kg/m3，
许用压应力σy= 420MPa。
求在钢管压应力σ不超过许用压应力σy 和失稳临界应力σe的条件下， 人字架的高h和钢管平均直径D，使钢管总质量m为最小。
第一章 优化设计概述
第一节 人字架的优化设计
绪论
机械优化设计方法-
其极小点在目标函数等值面的中心。
约束优化: 在可行域内对设计变量求目标函数 的极小点。 其极小点在可行域内或在可行域边界上。
第四节优化设计问题的基本解法
求解优化问题的方法:
解析法
数学模型复杂时不便求解
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
图1-11 寻求极值点的搜索过程
A TDh
钢管的临界应力 e
Fe A
2E T 2 D2
8 B2 h2
强度约束条件 x y 可以写成 1 F B2 h2 2 TDh y
稳定约束条件 x e 可以写成
1
F B2 h2 2 2E T 2 D2
TDh
,
,...
x1
x2
xn
沿d方向的方向向量
cos1
d
cos
2
...
cos
n
即
f d
x0
f
x 0 T
d
f x 0 T
cosf ,d
图2-5 梯度方向与等值面的关系
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数, 则极值点 的必要条件一阶偏导数等于零, 即
第二章 优化设计的数学基础
机械设计问题一般是非线性规划问题。
实质上是多元非线性函数的极小化问题, 因此, 机械优化设计是建立在多元函数的极值理论 基础上的。
机械优化设计问题分为:
无约束优化 无条件极值问题
约束优化
条件极值问题
第一节 多元函数的方向导数与梯度
一、方向导数
从多元函数的微分学得知，对于一个连续可
f x* 0
满足此条件仅表明该点为驻点, 不能肯定为极值 点, 即使为极值点, 也不能判断为极大点还是极 小点, 还得给出极值点的充分条件
约束优化: 在可行域内对设计变量求目标函数 的极小点。 其极小点在可行域内或在可行域边界上。
第四节优化设计问题的基本解法
求解优化问题的方法:
解析法
数学模型复杂时不便求解
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
图1-11 寻求极值点的搜索过程
A TDh
钢管的临界应力 e
Fe A
2E T 2 D2
8 B2 h2
强度约束条件 x y 可以写成 1 F B2 h2 2 TDh y
稳定约束条件 x e 可以写成
1
F B2 h2 2 2E T 2 D2
TDh
,
,...
x1
x2
xn
沿d方向的方向向量
cos1
d
cos
2
...
cos
n
即
f d
x0
f
x 0 T
d
f x 0 T
cosf ,d
图2-5 梯度方向与等值面的关系
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数, 则极值点 的必要条件一阶偏导数等于零, 即
第二章 优化设计的数学基础
机械设计问题一般是非线性规划问题。
实质上是多元非线性函数的极小化问题, 因此, 机械优化设计是建立在多元函数的极值理论 基础上的。
机械优化设计问题分为:
无约束优化 无条件极值问题
约束优化
条件极值问题
第一节 多元函数的方向导数与梯度
一、方向导数
从多元函数的微分学得知，对于一个连续可
f x* 0
满足此条件仅表明该点为驻点, 不能肯定为极值 点, 即使为极值点, 也不能判断为极大点还是极 小点, 还得给出极值点的充分条件
优化设计-最优化基础理论+对分法
1.8.2 Newton切线法说明
这种方法一旦用好，收敛速度是很高的．如果初始点选得适当，通 常经过几次迭代就可以得到满足一般精度要求的结果.但是它也有缺点： 需要求二阶导数．如果在多维最优化问题的一维搜索中使用这种方法， 就要涉及Hesse矩阵，一般是难于求出的． 当曲线 y (t ) 在 [a, b] 上有较复杂的弯曲时，这种方法也往往失效．如 图 (a)所示迭代： t0 t1 t2 , 结果t 2 跳出 [a, b] .迭代或者发散，或者找到的根 并不是我们想要的结果． 即使曲线比较正常，在 [a, b] 中或者上凹或者下凹，初始点的选取也必 须适当．在图（b）的情况下，曲线上凹，应选点b作为初始点；而在图 （c）的情况下，曲线下凹，应选点a为初始点．否则都可能失败．
1. 最优化技术的理论基础
1.3 极值理论
一元函数的极值问题
判断极值条件：设函数f(X)在点x0处具有二阶导数f"(x0)。 若f'(x0)<0，则f(x0)为函数的极大值；
若f‘(x0)>0，则f(x0)为函数的极小值。 二元函数极值
对于三元以上函数的极值通常采用二次全微分d
2
f ( P0 )判定
开始
选定 t0,确定[a b],要 ' 求 ( a ) 0, (b) 0
Newton
切线法 计算流 程图
t t 0 ' ( t 0 ) / '' ( t 0 )
t t0
Y
N
t0 t
t * t0 , * (t0 )
t* , *
输出
结束
函数、约束函数在该点的某些信息，确定本次迭代的一个搜索方向和适 当的步长，从而到达一个新点，用式子表示即为
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(0) (0) f ( x1(0) , x2 x2 ) f ( x1(0) , x2 ) f ( x) lim x2 X ( 0) x2 0 x2
分别表示沿坐标轴x1和x2方向在X (0)处的f(X)变化率。
§2.1
多元函数的导数与梯度
(0) (0) f x1(0) x1 , x2 x2 f x1(0) , x2 f lim d X ( 0 ) d 0 d (0) (0) (0) f x1 x1 , x2 f x1(0) , x2 x1 lim d 0 x1 d
n元函数极值充分条件:海塞矩阵为正定。
2 f 2 x 1 2 f x2 x1 (0) G( X ) 2 f xn x1
2 f xn x2
§2.4
凸集、凸函数与凸规划
f X f X*
函数f(X)在X*附近的一切X均满足不等式
2.二阶导数（ Hessian矩阵)判断
Hessian矩阵G(X)在R上处处半正定。
(0) 1 (0) 2
X (0)
x2
§2.2
多元函数的泰勒展开
二元函数泰勒展开矩阵形式:
f x1 , x2 f X
(0)
f ( X
(0) T
1 ) X X TG ( X (0) )X 2
2 f x 2 1 其中: G ( X (0) ) 2 f x2 x1
2 2
2 5 5 5 1 5 1 5 5
f
X
(1)
26 3x 4 x1 x2 x |X ( 0 ) 5 2 5
2 1
§2.2
多元函数的泰勒展开
一元函数泰勒展开:
1 '' 0 f x f x f x x f x x 2 2
X (0) -▽f(X (0))
上升方向 最速下降方向 下降方向 d: 等值线的切线方向， 函数值变化率为零的方向 最速上升方向
0
x1
§2.1
多元函数的导数与梯度
f f f x , x ,... x 2 n X ( 0) 1
T
进一步推导到n维:
f X
(0)
f 即 d
cos 1 cos 2 沿d方向的方向向量 d ... cos n
X ( 0)
f X
(0) T
(0) f X d cos f , d
§2.1
多元函数的导数与梯度
▽f(X (0)) x2 -▽f(X (0))
f
''
X 0
f '' X 0
f '' X 0
极大值
极小值
偶次阶导数不 为零为极值点
奇次阶导数不 为零为拐点
§2.3
无约束优化问题的极值条件
f f 0 x1 x2
二元函数极值必要条件:
即:
f ( X ) 0
2 f 0 2 x1
2 f x12 f x2x1
X
(0)
x1(0) 2 (0) x2 1
§2.3
无约束优化问题的极值条件
2 f x 2 G ( X (0) ) 2 1 f x2 x1 2 f x1x2 2 0 2 f 0 2 2 x2
f(X)在X0点沿d方向的方向导数:
lim
(0) (0) f x1(0) x1 , x2 x2 f x1(0) x1 , x2 x2
d 0
x2
x2
d
d
f cos 1 f cos 2 x1 X ( 0) x2 X ( 0 )
上升方向 最速下降方向 下降方向
梯度重要性质：
① 梯度是 X (0)点处最大的 方向导数； ② 梯度方向是过点的等值 线的法线方向； ③ 梯度是X (0)点处的局部 性质； ④ 梯度指向函数变化率最 大的方向； ⑤ 正梯度方向是函数值最 速上升的方向，负梯度 方向是函数值最速下降 的方向。
X (0)
2 f x1x2 称为海赛（Hessian）矩阵 2 f 2 x2 X ( 0 )
§2.2
多元函数的泰勒展开
n元函数泰勒展开矩阵形式:
f (X ) f X
(0)
f ( X
(0) T
1 T (0) ) X x G ( X )X 2
2 f x1xn 2 f x2 xn 2 f xn 2 X (0)
2
二元函数极值充分条件:海 塞矩阵各阶主子式均大于零。
2 f x1x2 f 2 x2
2
0
§2.3
无约束优化问题的极值条件
求函数 f(X)=x12+x22-4x1-2x2+5 的极值
解 ：1）根据极值的必要条件求驻点
f x 2 x 4 1 1 0 f ( x ) f 2 x2 2 x 2
称f(x)是定义在凸集上的一个凸函数。
f(x)
（ f x1） 1 f x2
f x1 1 x2
0
a x1
x
x2 b
x
§2.4
凸集、凸函数与凸规划
f x2 f x1 x2 x1 f x1
T
三、凸性条件 1.一阶导数判断
2 f 2 x 1 2 f x2 x1 (0) G( X ) 2 f xn x1
2 f x1x2 2 f x2 2
2 f xn x2
§2.3
无约束优化问题的极值条件
f 'X 0
必要条件
一元函数极值条件:
2）利用海塞矩阵判断驻点是否为极值点
一阶主子式：
2 f x12
(0)
20
X ( 0)
二阶主子式： G( X
2 0 ) 40 0 2
X
(0)
2 为极值点，f(X (0))=0为极值 1
§2.3
无约束优化问题的极值条件
2 f x1x2 2 f x2 2 2 f x2 xn 0 2 f (0) xn 2 X 2 f x1xn
方向导数最大值发生在 :
cos f , d 1
结论: d方向取梯度方向时,函数值的变化率最大。 可见梯度方向是函数值变化最大的方向
§2.1
f d
多元函数的导数与梯度
cos f , d 0
(0) f X 0 cos f , d
X (0)
x2
▽f(X (0))
Δd x2(0) X (0) θ2 θ1 0 x1(0) Δx1
Δx2
表示沿d方向在X (0)处的f(X)变化率。
x1
§2.1
多元函数的导数与梯度
x3
n维函数f(X)在X (0)点沿d方 向的方向导数:
f f f cos 1 cos 2 d X ( 0) x1 X ( 0) x2 X ( 0) f cos n xn X ( 0) f cos i i 1 xi X ( 0)
为d方向的单位向量，则有
f d
X ( 0)
f f (0) T cos 1 cos 2 f X d x1 X ( 0) x2 X ( 0)
§2.1X ( 0)
f X
(0) T
d f X (0) cos f , d
第二章优化设计的数学基础
2.1 多元函数的导数与梯度 2.2 多元函数的泰勒展开 2.3 无约束优化极值条件 2.4 凸集、凸函数与凸规划 2.5等式约束优化极值条件
2.6 不等式约束优化极值条件
§2.1
一、方向导数
多元函数的导数与梯度
二元函数f(x1，x2)在X (0)的偏导数为：
(0) (0) f ( x1(0) x1 , x2 ) f ( x1(0) , x2 ) f ( x) lim x1 X ( 0) x1 0 x1
f X f X 6 x1 4 x2 , 4 x1 2 x2 x1 x2
函数在X (0)=[0, 1]T 处的最速下降方向是
f X x 6 x1 4 x2 4 1 (0) f X f X 4 x1 2 x2 x1 0 2 x2 1 x2 x1 0
函数f(X)在X*处取得局部极小值，称X*为 局部极小点。 而优化问题一般是要求目标函数在某一区 域内的全局极小点。
§2.4
凸集、凸函数与凸规划
一、凸集 一个点集（或区域），如果连接其中任意两点的线 段都全部包含在该集合内，就称该点集为凸集，否 则为非凸集。
x2 x2 y x1 y x2 x2
x1 0
n
x3(0)
θ3
d θ2
X (0)
θ1
0
x2(0) x2
x1(0) x1
§2.1
二、梯度
多元函数的导数与梯度
对于二维函数f(X)在X (0)点处的梯度:
f X
设
(0)
f x f x x , x 1 2 X ( 0)
T
cos 1 d cos 2
x2 1
§2.1
多元函数的导数与梯度
4 2
这个方向上的单位向量是：
e