机械优化设计复习总结

1. 优化设计问题的求解方法:解析解法和数值近似解法。

解析解法是指优化对象用数学方程（数学模型）描述，用
数学解析方法的求解方法。

解析法的局限性：数学描述复杂，不便于或不可能用解析方法求解。

数值解法：优化对象无法用数学方程描述，只能通过大量的试验数据或拟合方法构造近似函数式，求其优化解；以数学原理为指导，通过试验逐步改进得到优化解。

数值解法可用于复杂函数的优化解，也可用于没有数学解析表达式的优化问题。

但不能把所有设计参数都完全考虑并表达，只是一个近似的数学描述。

数值解法的基本思路：先确定极小点所在的搜索区间，然后根据区间消去原理不断缩小此区间，从而获得极小点的数值近似解。

2. 优化的数学模型包含的三个基本要素：设计变量、约束条件（等式约束和不等式约束）、目标函数（一般使得目
标函数达到极小值）。

3. 机械优化设计中，两类设计方法：优化准则法和数学规划法。

优化准则法：1k k k x
c x +=（为一对角矩阵） 数学规划法：1k k k k x x
d α+=+（\k k d α分别为适当步长\某一搜索方向——数学规划法的核心）
4. 机械优化设计问题一般是非线性规划问题，实质上是多元非线性函数的极小化问题。

重点知识点：等式约束优
化问题的极值问题和不等式约束优化问题的极值条件。

5. 对于二元以上的函数，方向导数为某一方向的偏导数。

函数沿某一方向的方向导数等于函数在该点处的梯度与这一方向单位向量的内积。

梯度方向是函数值变化最快的方向（最速上升方向），建议用单位向量表示，而梯度的模是函数变化率的最大值。

6. 多元函数的泰勒展开。

海赛矩阵：()0G x =222
112222122f f x x x f f x x x ⎡⎤∂∂⎢⎥∂∂∂⎢⎥⎢⎥∂∂⎢⎥∂∂∂⎣⎦
（对称方阵） 7. 极值条件是指目标函数取得极小值时极值点应满足的条件。

某点取得极值，在此点函数的一阶导数为零，极值
点的必要条件：极值点必在驻点处取得。

用函数的二阶倒数来检验驻点是否为极值点。

二阶倒数大于零，取得极小值。

二阶导数等于零时，判断开始不为零的导数阶数如果是偶次，则为极值点，奇次则为拐点。

二元函数在某点取得极值的充分条件是在该点出的海赛矩阵正定。

极值点反映函数在某点附近的局部性质。

8. 凸集、凸函数、凸规划。

凸规划问题的任何局部最优解也就是全局最优点。

凸集是指一个点集或一个区域内，
连接其中任意两点的线段上的所有元素都包含在该集合内。

性质：凸集乘上某实数、两凸集相加、两凸集的交集仍是凸集。

凸函数：连接凸集定义域内任意两点的线段上，函数值总小于或等于用任意两点函数值做线性内插所得的值。

数学表达: ()()()()12121101f ax a x f x f x ααα+-≤+-≤≤⎡⎤⎣⎦,若两式均去掉等号，
则()f x 称作严格凸函数。

凸函数同样满足倍乘，加法和倍乘加仍为凸函数的三条基本性质。

凸规划针对目标函数和约束条件均为凸函数是的约束优化问题。

9. 等式约束优化问题的极值条件。

两种处理方法：消元法和拉格朗日乘子法。

也分别称作降维法和升维法。

消元
法:将等式约束条件的一个变量表示成另一个变量的函数。

减少了变量的个数。

拉格朗日乘子法是通过增加变量λ将等式约束优化问题变成无约束优化问题，增加了变量的个数。

10. 不等式约束优化问题的极值条件。

不等式约束的多元函数极值的必要条件为库恩塔克条件。

库恩塔克条件：
()()()**1*000m j j j i i j j j
f x
g x x x g x μμμ=⎧∂∂⎪+=∂∂⎪⎪=⎨⎪⎪⎪≥⎩∑，几何意义：在约束极小值处，函数的负梯度一定能表示成所有起作用约束在该点梯度的非负线性组合。

对于含有等式约束的优化问题的拉格朗日乘子，并没有非负的要求。

11. 一维搜索是指一元函数的极值问题。

搜索区间的外推法（进退法）：假设函数在搜索区间具有单谷性，使函数在
搜索区间形成“高低高”趋势来确定极小点所在的区间。

分别对应搜索的起点，中间点和终点。

再利用区间消
去法原理比较函数值的大小以确定极小值所在的搜索区间。

12. 一维搜索方法。

试探法：常用的一维搜索的方法是黄金分割法（0.618法）。

适用于任何单谷函数求极小值问题。

黄金分割法要求插入点的位置相对于区间的两端点对称。

所以插入点的位置为：()
()12a b b a a a b a λλ=--=+-，区间缩短
率为λ；插值法（函数逼近法）：利用试验点的函数值建立函数近似表达式来求函数的极小点。

两种用二次函数
逼近原来函数的方法：牛顿法（切线法）和抛物线法（二次插值法）。

牛顿法迭代公式：()()
'1''k k k k f f αααα+=-，牛顿法的计算步骤：计算()()'''k k f f αα；求()()
'1''k k k k f f αααα+=-，若1k k ααε+-≤则求得近似解*1k αα+=；二次插值法：21131
21112133123312p y y c y y c c c c ααααααααα--⎛⎫--===+- ⎪--⎝⎭
，p α对应的极值点，对应的函数值为极小值。

13. 无约束优化问题。

常用的数值计算方法为搜索方法。

基本思想：从给定的初始点，沿某一搜索方向进行搜索，
确定最佳步长使函数值沿搜索方向下降最大。

各种无约束优化方法的区别在于确定其搜索方向的方法不同，所以，搜索方向的构成问题是无约束优化方法的关键。

无约束优化方法可以分为两类：一类是利用目标函数的一阶或二阶导数的无约束优化方法，如最速下降法，共轭梯度法，牛顿法和变尺度法；另一类只利用目标函数值的无约束优化方法，如坐标轮换法，单形替换法，和鲍威尔法。

14. 最速下降法（梯度法）。

从某点出发，搜索方向去该点的负梯度方向。

为了使目标函数获得最大下降值。

其步长
因子去一维最佳步长：()()()()1min min k k k k k k k f x f x f x f x f x ααϕα+⎡⎤⎡⎤=-∇=-∇=⎣⎦⎣⎦
，在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。

最速下降法迭代行进的距离缩短，收敛速度减慢。

梯度反映的是函数的局部性质。

最速下降法的收敛速度和变量的尺度关系很大。

最速下降方向的每一次搜索方向与前一次的搜索方向互相垂直，形成“之”字形的锯齿现象。

15. 牛顿型方法。

多元函数求极值的牛顿法迭代公式：()()1
12k k k k x x f x f x -+⎡⎤=-∇∇⎣⎦。

若某一迭代方法能使二次函数在有限次迭代内达到极小点，则称此迭代方法是二次收敛的。

牛顿方法时二次收敛的。

牛顿法和阻尼牛顿法统称为牛顿型方法。

主要缺点是计算函数的二阶导数矩阵，并对该矩阵求逆。

16. 共轭方向法。

对于二元函数，为避免锯齿现象，在第二次的迭代搜索方向上取到极小点。

所必须满足的条件：
()010T
d Gd =，满足条件的两个向量01\d d 称之为共轭向量，或称之为对G 是共轭方向。

多维函数当中，共轭向量互相正交且线性无关；n 维空间互相共轭的非零向量的个数不超过n ；共轭方向法具有二次收敛性。

格拉姆-斯密特向量共轭化方法：选定线性无关向量组：01n v v v ⋅⋅⋅⋅⋅⋅（例如他们是n 个坐标轴上的单位向量）首先，取00d v =，令10110d v d β=+，根据共轭条件确定()()()011000T
T d Gv d G d β=-，同样地，根据
()()()1
1,T
j k k j T j j d Gv d G d β++=-确定1k d +共轭方向的搜索方向可由梯度法和鲍威尔法提供。

17. 共轭梯度法（旋转梯度法）。

共轭方向与梯度之间的关系：()()10T j k k
d g g +-=，表明沿方向k d 搜索，其终点
1k x +与始点k x 的梯度之差()1k k g g +-与k d 的共轭方向j d 正交。

计算过程：第一个搜索方向取0x 的负梯度0g -，
则00d g =-；求0d 的共轭方向1d 作为下一次的搜索方向1010d g d β=-+，其中1
00g g β=-，共轭方向的递推公式：21
112k k k k k g d g d g +++=-+，第一个方向取作负梯度方向，其余各步的搜索方向将负梯度偏转一个角度，
对负梯度进行修正，共轭方向法是对最速下降法的一种改进。

18. 变尺度法：放大或缩小各个坐标，改善函数的偏心程度。

Qx x →，
1122T T T x Q GQx x Gx →，若矩阵G 是正定的，那么总存在矩阵是使T Q GQ I =，将偏心程度变为零。

尺度变换后牛顿方向：
()()1k k T k d G f x QQ f x -=-∇=-∇，牛顿迭代公式：()1k k k k T k k k x x d x QQ f x αα+=+=-∇，T H QQ =是在x 空间内测量距离大小的度量，称作尺度矩阵。

变尺度法中利用尺度矩阵代替海赛矩阵的逆阵进行求解。

1k k k k k k k k x x H g d H g α+=-=-，拟牛顿条件：()111k k k k k H g g x x +++-=-，变尺度法的一般步骤：选定初始点0x 和收敛精度ε；计算初始点的梯度0g ，选取初始对称正定矩阵0H （例如0H I =），置0k →；计算搜
索方向k k k d H g =-；沿k d 方向进行一维搜索1k k k k x x d α+=+，计算
()1111,,k k k k k k k k g f x s x x y g g ++++=∇=-=-，判断是否满足迭代终止准则，若满足，则*1k x x +=，若迭代n
次后仍没找到极小点，重置k H 为单位矩阵，并以当前设计点为初始点10k x x +→，返回到计算
()1111,,k k k k k k k k g f x s x x y g g ++++=∇=-=-进行下一轮的迭代或者计算矩阵1k k k H H E +=+，置1k k
+→返回到计算k k k d H g =-
19. DFP 算法。

选取不同的形式的矫正矩阵k E 就构成不同的变尺度法。

DFP 算法的k E 形式：
T T k k k k k k k
E u u u u αβ=+经过推到后DFP 的校正公式：1T T k k k k k k k k T T k k k K k s s H y y H H H s y y H y +=+- 20. 坐标轮换法（变量轮换法）：每次搜索只允许一个变量变化，其余变量保持不变，沿坐标方向轮流进行搜索的寻
优方法。

这种方法的收敛效果和目标函数等值线的形状有很大关系。

21. 鲍威尔方法。

直接利用函数值来构造共轭方向的一种共轭方向法。

任选一初始点0x ，再选两个线性无关的向量，
如坐标轴单位向量[]110T e =和[]201T
e =作为初始搜素方向；从0
x 出发，顺次沿12\e e 作一维搜索得到点0012\x x ，两点的连线得到一新方向1002d x x =-，用1d 代替1e 形成两个线性无关向量12\e d ，作为下一轮迭代的搜索方向。

再从02x 出发，沿1d 方向作一维搜索得点1
0x 作为下一轮迭代的初始点。

在进行两轮的迭代后目标函数取得极小值。

改进的鲍威尔方法中，判断原向量组的“好坏”来界定原向量组是否需要替换。

改进鲍威尔法的具体步骤：给定初始点0x ，沿n 个线性无关的向量（n 个坐标轴单位向量）0k →；作一维搜索后沿
10k k k n n d x x +=-移动一个距离得到：102k k k n n x x x +=-（反射点坐标）再求得三点的目标函数值
()()()00231=k k k n n F f x F f x F f x +==，根据判别条件30F F 〈和
()()()
2023020320.5m m F F F F F F F -+--∆〈∆-确定是否要对原方向进行替换。

若不满足判别条件，仍用原方向组，并以1k k n n x x +函数值中的较小者作为下一轮迭代的始点。

若满足上述判别条件，则将1k n d +补充到原方向
组中，下轮的始点是沿1k n d +方向进行进行一维搜素的极小点10k x +
22. 单形替换法。

单纯性是指在n 维空间中有1k n =+个顶点的多面体。

区别于线性规划中的单纯型法。

通过反射、
扩张、收缩、和缩边等方式得到新的单纯型，其中至少有一个顶点的函数值比原单纯型要小。

计算步骤：构造初始单纯型，计算各顶点的函数值。

比较顶点函数值的大小，判断是否满足收敛准则：min max i H L L i
f f f f f ε-=〈；不满足收敛准则，计算除H x 外其他各点的“重心”1n x +，101n n i H i x x x n +=⎛⎫=- ⎪⎝⎭
∑，反射点2n x +，212n n H x x x ++=-，()22n n f f x ++=；反射：当2L n c f f f +≤〈时，以2n x +代替H x ，2n f +代替H f ,构成一新单纯型。

扩张（收缩）
：当2n L f f +〈时，取扩张点()()3121n n n n x x x x αβ++++=+-并计算其函数值()33n n f f x ++=，若32n n f f ++〈则以3n x +代替H x ，3n f +代替H f ,构成一新单纯型。

否则以2n x +代替H x ，2n f +代替H f ,构成一新单纯型；缩边：可将各向量i L x x -的长度都缩小一半，即：()12
i i L x x x =
+。

单形替代法当问题维数n 较高时，需要经过很多次迭代，因此一般用于10n 〈的情形。

23. 目标函数和约束条件都为线性的优化问题称之为线性规划问题。

线性规划标准形式中约束条件包含两个部分：
一是等式约束；而是变量的非负要求。

如果约束条件中含有不等式约束，可引入松弛变量将不等式约束转化为等式约束。

如果原来问题中一些变量并不要求是非负的，那么可以写成两个非负变量之差。

在目标函数中不会出现松弛变量，但新的非负变量需要写入目标函数当中。

24. 基本解：当变量数大于方程数，若使其中（变量数-方程数）个变量取零值，则当方程有解时，其唯一解。

基本
可行解：满足非负要求的基本解，其中取正值的变量称为基本变量，取零值的变量称为非基本变量，基本变量所对应的系数列向量称作基底向量。

可行解：凸多边形内各点满足全部约束条件的点。

目标函数达到极小值的可行解就是最优解，它处在凸多边形的顶点上，只要在有限个顶点中寻找（基本可行解）。

25. 基本可行解的转换。

进行转轴运算（高斯消元）。

选定不同的轴元素，得到不同基本可行解。

将非基本变量变成
基本变量，实现一份基本解到另一个基本解的转换。

基本可行解到另一个基本可行解的转换。

若右端i b 都是非负的，则必须选定为正值的轴元素进行转轴运算。

引入松弛因子将不等式约束转换为等式约束可以发现，这些松弛变量就可以作为初始基本可行解中的一部分基本变量。

当时，当右端i b 为负值时，对应的松弛变量就不可以作为基本可行解的基本变量。

26. 单纯型方法（精读）解决从一组基本可行解转换到另一组可行解时，判断哪一组可行解时最优解问题。

单纯型
方法围绕两个规则进行：一是θ规则，二是最速变化规则（目标函数变化最大规则）。

27. 约束优化方法，根据求解方式的不同，可分为直接解法和间接解法。

直接解法通常使用与仅含不等式约束的问
题。

基本思路：在m 个不等式约束条件所确定的可行域内，选择一个初始点0x ，然后决定可行搜索方向d ，以
适当的步长α，沿d 方向进行搜索，使目标函数值下降的可行的新点1x 完成一次迭代，重复迭代过程直至满足收敛条件。

间接法的基本思路：将约束优化问题中的约束函数进行特殊的加权处理，和目标函数结合起来，构成一个新的目标函数，即将原约束优化问题转化为一个或一系列的无约束优化问题，再对新的目标函数进行无约束优化计算，得到原约束问题的最优解。

直接解法包括随机方向法、复合型法、可行方向法、广义节约梯度法，属于间接解法的惩罚函数法和增广乘子法。

28. 随机方向法。

基本思路：在可行域内选择一个初始点，利用随机数的概率特性，产生若干个随机方向，并从中
选择一个能使目标函数值下降最快的随机方向作为可行的搜索方向。

优点：对目标函数的性态无特殊要求，程序设计简单，使用方便，收敛速度比较快。

按照一定的数学模型得到的随机数称为伪随机数。

初始点0x 必须是一个可行点。

产生k 个n 维随机单位向量，找到k 个随机点中使目标函数最小的点L x ，得到可行搜索方向0L d x x =-，进行迭代计算，直到搜索到一个满足全部约束条件且目标函数值不再下降的新点x 。

29. 复合型法。

基本思路：在可行域内构造具有k （12n k n +≤≤）个顶点（k 个顶点都必须是可行点）的初始复
合型。

比较各顶点目标函数值，找到目标函数最大值的顶点（最坏点），找到一个使目标函数下降的新点代替最坏点，构成新的复合型，重复迭代。

根据不同的方法生成初始复合型。

复合型的搜索方法：反射——计算复合型顶点目标函数值，找出最好点L x 、最坏点H x 及次坏点G x ，计算除最坏点H x 外其他1k -个顶点的重中心C x ，最坏点和中心点的连线方向为目标函数下降的方向，得反射点坐标：()R C C H x x x x α=+-；扩张——求得反射点为可行点，且目标函数下降较多，沿反射方向继续移动，找到更好的新点E x ，得扩张点坐标：
()E R R C x x x x γ=+-;收缩——中心店C x 以外找不到好的反射点，在C x 以内采用收缩的方法，收缩点坐标：
()k H C H x x x x β=+-；
压缩——采取将复合型各顶点向最好点L x 靠拢，采用压缩的方法来改变复合型的形状，压缩顶点坐标：()0.5j L L j x x x x =--。

30. 可行方向法。

基本思路是在可行域内选择一个初始点o x ，确定一个可行方向d 和适当步长后，按1k k k
x x d α+=+进行迭代计算。

根据约束函数和目标函数的不同形状，分为以下三种不同的搜索策略。

一是在约束面的迭代点k x
处，产生一个可行方向k d ，沿此方向作一维最优化搜索，得到可行域内的新点1k x +，再沿1k x +点的负梯度方向()11k k d f x ++=-∇继续搜索；二是在约束面的迭代点k x 处，产生一个可行方向k d ，沿此方向作一维最优化搜索，得到可行域外的新点1k x +，再设法将x 点移动到约束面上，即取k d 与约束面的交点作为新的迭代点1k x +；三是沿约束面搜索，适用于只具有线性约束条件的非线性规划问题。

可行方向的两个条件：可行条件——()0T k k j g x d ⎡⎤∇≤⎣⎦；下降条件——()0T k k f x d ⎡⎤〈⎣⎦。

可行反向的产生方法：优选方向法和梯度投影法。

优选方向法为满足两个条件内的可行方向的优选；梯度投影法为当负梯度方向()k
f x -∇不满足可行条件时，将()k f x -∇方向投影到约束面上。

确定步长的两种常用方法：去最优步长或取k α到约束边界的最大步长。

31. 惩罚函数法。

基本思路是将约束优化问题中的不等式和等式约束函数经过加权转化后，和目标函数结合形成新
的目标函数——惩罚函数()()()()121211,,m l
j k
j k x r r f x r G g x r H h x φ==⎡⎤=++⎡⎤⎣⎦⎣⎦∑∑，加权项可分为障碍项和惩罚项；障碍项的作用是当迭代点在可行域内时，在迭代过程中将阻止迭代点越出可行域，惩罚项的作用是当迭代点在非可行域内或不满足等式约束条件时，在迭代过程中将迫使迭代点逼近约束边界或等式约束曲面。

根据迭代过程是否在可行域内进行，惩罚函数法可分为一下三种：内点惩罚函数法、外点惩罚函数法和混合惩罚函数法。

32. 内点法只能用来求解具有不等式约束的优化问题。

转化后惩罚函数的形式为：()()()11,m j j x r f x r
g x φ==-∑或()()()1
,ln m j j x r f x r g x φ=⎡⎤=--⎣⎦∑，r 为惩罚因子，它是有大到小趋近于零的数列。

内点法的初始点0x 应选择力约束边界较远的可行点。

惩罚因子缩减系数。

33. 外点法可以用来求解含不等式和等式约束的优化问题。

外点法惩罚函数的形式为：
()()()()22
11,max 0,m l j k j k x r f x r g x r h x φ==⎡⎤=++⎡
⎤⎣⎦⎣⎦∑∑，r 为惩罚因子，它是由小到大，且趋于∞的数列。

34. 混合惩罚函数法。

把内点法和外点法结合起来。

用来求解勇士具有等式约束和不等式约束函数的优化问题。

混
合惩罚函数的形式为：()()(
)()2111,m l k
j k j x r f x r h x g x φ===-+⎡⎤⎣⎦∑，障碍项的惩罚因子r 按内点法选取，
惩罚项的惩罚因子r 按外点法选取。

35. 多目标优化问题和单目标优化问题的一个本质的不同点是：多目标优化是一个向量函数的优化，即函数值大小
的比较，而向量函数值大小的比较，要比标量值大小的比较复杂。

非劣解（有效解、Parato 最优解）是指在有m 个目标函数()()0i f x
，当要求 个目标值不变坏是，找不到一个x ，使得另一个目标函数值()i f x 比()*i f x 更好，则将此*x 作为非劣解。

多目标优化问题只有求得解时非劣解或弱非劣解时才有意义，劣解是没有意义的，绝对
最优解存在的可能性很小。

36. 多目标优化方法。

主要目标法：从多个目标中选择一个目标作为主要目标，其他目标转化成约束函数，将多目
标优化问题变成单目标优化问题；统一目标法：线性加权和法、理想点法和平方和加权法、分目标乘除法；分层序列法及宽容分层序列法：将多目标优化问题中的l 个目标函数分清主次，按其重要程度逐一排除，依次对各个目标函数求最优解，后一目标在前一目标函数最优解的集合内寻优。

分层序列法可能会出现中断现象。

引进宽容分层序列法，对个目标函数的最优解放宽要求，事先对各目标函数的最优值给定宽容量。

37. 约束非线性离散变量的优化方法有：一是以连续变量优化方法为基础的方式：圆整法、拟离散法、离散型罚函
数法；二是离散变量的随机性优化方法：离散变量随机试验法、随机离散搜索法；三是离散变量搜索优化方法：启发式组合优化方法、证书梯度法、离散复合型法；其他离散变量优化方法：非线性隐枚举法、分支定界法、离散型网格和离散型正交网格法、离散变量的组合型法。