机械优化设计作业——梯度法求解
机械优化设计 优化设计中的几个问题
144 4 x1 4 4 x 2
令 x1 12x1
11
x2 2x2
机械优化设计
1 f x x x x1 x2 x1 3
2 1 2 2
x2
T
可将Hession矩阵的主对角线元素全部化为1.
1 x1* x1 *， 12 1 x2 * x2 * 2
③ 提高运行的稳定性； 的准确性。 原则：不能改变约束的性质。
6
④ 提高运行解
机械优化设计
1. 设计变量应取相同的数量级 设计变量常存在量级差异: 模数:1-10毫米; 齿轮齿数:12-100多;杆长:几百—几 千毫米. 这在一维方法中选取初始进退距产生了困难. 改进办法: 将设计变量全部无量纲化和规格化. （1）用初始点的各分量进行标度
gu ( X ) 0
ku gu ( X ) 0
0 [ ]
ku 为正整数
（2）将约束条件规格化 例1 例2
[ ] g ( X ) 1
g ( X ) 0,1
a xi a xi b(b 0) 1 b b
xi a g2 ( X ) 0 b b
( 0) ˆ x xi xi ,i 1,2,...,n i
（2） 通过设计变量的变化范围进行标度 当有 xid xi xig ,i 1, 2,..., n xi xid ˆi g , 作变换 x n d i 1, 2,..., xi xi
ˆ i 的值在(0--1)变化. 这样可使 x 其反变换公式为
可自动满足.
10
机械优化设计
4. 目标函数的尺度变换 对于二次函数, 若Hession矩阵的主对角线元素的大 小很悬殊, 则其等值线是一族扁平的椭圆. 利用梯度法和 共轭方向法求解时有困难—稍有计算误差,搜索方向便有 较大的偏离. 办法:通过变换,使Hession矩阵的主对角线元素变 为相同值.
机械优化设计--现代优化计算方法
0101 0011 0101 1101
交配 交配
N1’： 0 1 1 1 N2’： 1 0 1 0 N3’： 0 1 0 0 N4’： 1 0 1 0
0 1 1 1 = 14 0 0 0 1 = 11 0 1 0 1 =9 1 1 0 1 = 23
通过分别交换基因，实现了交配，得到了4个新个体N1’、 N2’、 N3’和N4’ 。 若对某个个体（例如N2’ ）进行基因变异（1→0），可得N2”: 0 0 1 0 0 0 0 1 (=3)
四.算法实现的几个技术问题 —— 新状态产生函数 genete (x(k))
基本要求：应保证所产生的候选解可以遍及整个解域。
一般形式：
xi'
x(k) i
i
1, 2,
, n)
η为摄动幅度系数；ε为服从某种随机分布的变动量
例：已知各变量的变动范围 xiL xi xiU i 1, 2, , n)
二. 基本思想：
状态 迁移准则（ Metropolis 抽样稳定性条件）：
exp
Ei
Ej kt
random 0,1
若新状态 j 的能量满足条件，则被用 来替代原状态 i。 高温下，接受能量差较大的新状态； 低温下，只接受能量差较小的新状态。
基本思想：
由某一较高的初始温度开始，利用上式在解域内随机搜索采 样，随着温度不断降低，使系统的能量达到最低状态，即相当于 能量函数的全局最优解。
§6.4 遗传优化算法
二. 基本思想：
例6-1 用遗传算法求min f (x1,x2)= x1 + x2 ，当x1和x2为整数时的整数解，且 0 x1和x2 15
机械优化设计
机械优化设计一、共轭梯度法描述1、原理：梯度法在迭代点原理极小点的迭代开始阶段，收敛速度较快，当迭代点接近极小点时，步长变得很小，收敛速度变慢，而沿共轭方向搜索具有二次收敛性。
因此，可以将梯度法和共轭方向法结合起来，每一轮搜索的第一步沿负梯度方向搜索，后续各步沿上一步的共轭方向搜索，每一步搜索n 步，即为共轭梯度法，其搜索线路如图所示。
2、搜索方向（1）第一步的搜索方向--------负梯度方向第一步的搜到方向与最速下降法相同，为负梯度方向，即d k=−∇F(x k)=−g k沿负梯度方向，从x k出发找到x k+1。
（2）以后各步的搜索方向--------共轭方向第二步及以后各步的搜索方向为上一步搜索方向的共轭方向，即d k+1=−∇F(x k+1)+β∙d k=−g k+1+β∙d k上式表示，以上一步搜索方向的一部分与当前搜索出发点x（k+1）的负梯度方向的矢量相加，合成新的搜索方向------d k的共轭方二、共轭梯度法的算法①任选初始点x0，给定收敛精度ε和维数n。
②令k←0，求迭代初始点x0的梯度g k；g k=∇F(x k)取第一次搜索的方向d0为初始点的负梯度，即d k=−g k。
③进行一维搜索，求最佳步长αk并求出新点min f(x k+αk d k)→αkx k+1=x k+αk d k④计算x k+1点的梯度g k+1=∇F(x k+1)⑤收敛检查满足条件‖∇F(x k+1)‖<ε则：x∗=x k，计算结束。
否则，继续下一步。
⑥判断k+1是否等于n，若k+1=n，则令x0←x k+1，转步骤②；若k+1<n，则继续下一步。
⑦计算β=‖g k+1‖2‖g k‖2⑧确定下一步搜索方向d k+1=−g k+1+β∙d k 令： k←k+1，返回步骤③。
三、共轭梯度法程序图由以上计算过程可画出共轭梯度法的程序图，便于以后编写MATLAB程序或C语言四、 共轭梯度例题例：求下列目标函数f (x )=x 12+2x 22−4x 1−2x 1x 2的极小值及在极小值处的极小点。
优化设计之梯度法
优化设计之梯度法梯度法是一种常用的优化算法，可用于求解函数的最小值或最大值。
它的基本思想是通过迭代的方式，不断沿着函数的负梯度方向更新参数，从而逐步逼近最优解。
然而，在实际应用中，梯度法可能存在一些问题，例如收敛速度慢、容易陷入局部最优等。
因此，我们可以对梯度法进行优化，以提高算法的性能。
首先，我们可以考虑使用更快速的收敛速度。
传统的梯度法每次迭代都需要计算函数的梯度，然后更新参数。
但是，这种方式在参数空间较大时，计算量较大。
因此，我们可以尝试使用近似梯度的方法来加速算法。
例如，可以使用随机梯度下降法（SGD）或者批量随机梯度下降法（mini-batch SGD），这些方法每次只选择部分样本来计算梯度，从而减少计算量。
此外，通过合理设置学习率和迭代次数，也可以提高算法的收敛速度。
其次，我们可以考虑使用更稳定的梯度下降方法。
梯度法容易陷入局部最优的问题，因为仅通过当前位置的梯度信息进行参数更新。
为了解决这个问题，可以尝试使用动量法（Momentum）、Adam等算法。
这些算法在更新参数时，除了使用当前的梯度信息，还考虑了之前多个迭代的梯度信息，从而使得参数更新更稳定，更容易逃离局部最优。
此外，我们可以考虑使用自适应学习率的方法。
传统的梯度法中，学习率是一个固定的参数，需要人为设置。
但是，在实际应用中，梯度的大小可能会随着参数变化而变化。
因此，我们可以使用自适应学习率的方法，例如Adagrad、Adam等。
这些方法能够根据梯度的大小自动调整学习率，从而更加准确地收敛到最优解。
此外，我们还可以通过正则化方法进一步优化梯度法。
正则化方法可以有效地防止过拟合问题，提高模型的泛化能力。
在梯度法中，可以使用L1正则化、L2正则化等方法，通过在损失函数中增加正则项，从而限制模型的参数范围，减少过拟合的风险。
最后，我们可以考虑使用并行计算的方法来加速梯度法。
梯度法的每次迭代都需要计算函数的梯度，这是一个计算密集型的任务。
(完整版)机械优化设计习题参考答案孙靖民第四版机械优化设计
2.黄金分割法（0.618法）
原理：提高搜索效率：1）每次只插一个值，利用一个前次的插值；2）每次的缩短率λ相同。左右对称。
程序：p52
（四）插值方法
1.抛物线法
原理：任意插3点：
算得： ； ；
要求：
设函数 用经过3点的抛物线 代替，有
解线代数方程
解得：
程序框图p57
网格法 ，缩小区间，继续搜索。
Monte Carlo方法 ， ，随机数。
比较各次得到的 得解
遗传算法(专题)
（二）区间消去法（凸函数）
1.搜索区间的确定：高—低--高（ ）则区间内有极值。
2.区间消去法原理：在区间[a, b]内插两个点a1, b1保留有极值点区间，消去多余区间。
缩短率：
（三）0.618法
可行方向—约束允许的、函数减小的方向。（图）约束边界的切线与函数等高线的切线方向形成的区域。
数学模型
用内点法或混合法，取 ，
直接方法
（一）随机方向法
1.在可行域产生一个初始点 ，因 （约束），则
--（0，1）的随机数。
2.找k个随机方向，每个方向有n个方向余弦，要产生kn个随机数 ， ， ，随机方向的单位向量为
3.取一试验步长 ，计算每个方向的最优点
4.找出可行域中的最好点 得搜索方向 。以 为起点， 为搜索方向得 。最优点必须在可行域内或边界上，为此要逐步增加步长。
得
穷举下去得递推公式
3.算例
p73
4.框图p72
5.特点
作业：1. 2.
（六）变尺度法
1.引言
坐标变换
二次函数
令 为尺度变换矩阵
梯度法求解无约束优化问题
梯度法求解无约束优化问题梯度法是一种常用的无约束优化算法，用于求解目标函数的最小值。
该方法基于目标函数在当前点的梯度方向进行迭代，直到达到最小值或满足停止条件。
下面将从算法原理、步骤、优缺点等方面介绍梯度法求解无约束优化问题。
一、算法原理梯度法是一种基于一阶导数信息的优化算法，其基本思想是在当前点沿着目标函数的梯度方向进行迭代，以期望能够找到函数的最小值。
在梯度法中，每次迭代的步长和方向都是由目标函数在当前点的梯度方向决定的。
二、步骤1. 初始化：选择一个初始点$x_0$，设置迭代次数$k=0$。
2. 计算梯度：计算目标函数在当前点$x_k$的梯度$\nabla f(x_k)$。
3. 更新变量：根据梯度方向和步长更新变量$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$，其中$\alpha_k$是步长，可以通过线性搜索或其他方法确定。
4. 判断停止条件：如果满足停止条件，算法结束；否则，令$k=k+1$，返回步骤2。
三、优缺点1. 优点：梯度法是一种简单、易于实现的优化算法，适用于大部分的连续可导函数。
2. 缺点：梯度法存在局部最优解的问题，容易陷入局部最优解而无法找到全局最优解。
此外，如果步长选择不当，可能会导致算法收敛速度慢或不收敛。
四、应用梯度法广泛应用于机器学习、深度学习、信号处理、图像处理等领域。
例如，在机器学习中，梯度法常用于求解线性回归、逻辑回归、神经网络等模型的参数。
总之，梯度法是一种常用的无约束优化算法，其基本思想是在当前点沿着目标函数的梯度方向进行迭代，以期望能够找到函数的最小值。
该算法简单易用，但存在局部最优解和步长选择不当等问题，需要根据具体问题进行调整和优化。
机械优化设计(1)复习资料
欢迎共阅一、 填空题1. 用最速下降法求()()2211f x =100)1x x -+-（x 最优解时，设()[]00.5,0.5T x =-,第一步迭代的搜索方向为______。
2. 机械优化设计采用数学的规划法，其核心一是最佳步长，二是搜索方向。
3. 当优化问题是凸规划的情况下，在任何局部最优解就是全域最优解。
4. 应用外推法来确定搜索区间时，最后得到的三点，即为搜索区间的始点，中间点和终，近位置。
.将函数f(X)=x 12+x 22-x 1x 2-10x 1-4x 2+60表示成C X B HX X T T ++21的形式 [][]604-10-21-1-221212121+⎥⎦⎤⎢⎣⎡+⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡x x x x x x 。
15. 存在矩阵H ，向量1d ，2d ，当满足d 1THd 2=0向量1d 和向量2d 是关于H 共轭方向。
16. 采用外点法求约束优化问题时，将约束优化问题转化为外点形式时引入的惩罚因子r数列，具有__单调递增___特点。
17. 采用数学规划法求解多元函数极值点时，根据迭代公式需要进行一维搜索，即求最佳步长。
18. 对于一维搜索，搜索区间为[],a b ，中间插入两个点1a ，1b ，11a b <，计算出()()11f a f b <，则缩短后的搜索区间为[]1,a b 。
3. 内点惩罚函数用于求解____B___优化问题。
4. 拉格朗日乘子法师求解等式约束优化问题的一种经典法，它是一种__D____。
5. 对于一维搜索，搜索区间为[],a b ，中间插入两个点1a ，1b ，11a b <，计算出()()11f a f b <，则缩短后的搜索区间为____D____。
6. ____D____不是优化设计问题数学模型的基本要素。
7. 变尺度发的迭代公式为()1k k k k k x x a H f x +=-∇，下列不属于k H 必须满足的条件是___C______。
梯度求解方法
梯度求解方法梯度求解方法是一种常用的优化算法，用于求解函数的极值点。
在机器学习和深度学习中，梯度求解方法被广泛应用于模型训练和参数优化过程中。
本文将介绍梯度求解方法的原理和常用的算法，以及其在实际应用中的一些注意事项。
一、梯度的概念在数学中，梯度是一个向量，表示函数在某一点上的变化率最大的方向。
对于多元函数而言，梯度是一个向量，其每个分量分别对应函数在每个自变量上的偏导数。
梯度的方向指向函数在某一点上变化最快的方向，而梯度的模表示函数在该点上的变化率。
二、梯度下降法梯度下降法是一种基于梯度的优化算法，用于求解函数的极小值点。
其基本思想是从一个初始点开始，沿着梯度的反方向迭代更新自变量，直到达到收敛条件或迭代次数达到上限。
具体来说，梯度下降法的更新规则如下：1. 初始化自变量的初始值；2. 计算当前点的梯度；3. 根据梯度的反方向更新自变量；4. 重复步骤2和3，直到达到收敛条件或迭代次数达到上限。
在梯度下降法中，学习率是一个重要的超参数，它控制了自变量在每次迭代中的更新幅度。
学习率过大可能导致震荡或发散，学习率过小可能导致收敛速度过慢。
三、常用的梯度下降算法1. 批量梯度下降法（Batch Gradient Descent，BGD）：在每次迭代中，BGD使用全部训练样本计算梯度，并更新自变量。
BGD的优点是每次迭代都朝着全局最优解的方向前进，但计算梯度的代价较高。
2. 随机梯度下降法（Stochastic Gradient Descent，SGD）：在每次迭代中，SGD使用一个样本计算梯度，并更新自变量。
SGD的优点是计算梯度的代价较低，但由于每次迭代只使用一个样本，更新方向可能不够准确。
3. 小批量梯度下降法（Mini-batch Gradient Descent）：在每次迭代中，Mini-batch GD使用一小批样本计算梯度，并更新自变量。
这种方法综合了BGD和SGD的优点，既可以保证较准确的更新方向，又能降低计算梯度的代价。
《机械优化设计》习题及答案
机械优化设计习题及参考答案1-1.简述优化设计问题数学模型的表达形式。
答：优化问题的数学模型是实际优化设计问题的数学抽象。
在明确设计变量、约束条件、目标函数之后，优化设计问题就可以表示成一般数学形式。
求设计变量向量[]12Tn x x x x =L 使 ()min f x → 且满足约束条件()0(1,2,)k h x k l ==L ()0(1,2,)j g x j m ≤=L2-1.何谓函数的梯度？梯度对优化设计有何意义？答：二元函数f(x 1,x 2)在x 0点处的方向导数的表达式可以改写成下面的形式：⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡∂∂∂∂=∂∂+∂∂=∂∂2cos 1cos 212cos 21cos 1θθθθxo x f x f xo x f xo x f xo d fρ令xo Tx f x f x f x fx f ⎥⎦⎤⎢⎣⎡∂∂∂∂=∂∂∂∂=∇21]21[)0(， 则称它为函数f （x 1，x 2）在x 0点处的梯度。
（1）梯度方向是函数值变化最快方向，梯度模是函数变化率的最大值。
（2）梯度与切线方向d 垂直，从而推得梯度方向为等值面的法线方向。
梯度)0(x f ∇方向为函数变化率最大方向，也就是最速上升方向。
负梯度-)0(x f ∇方向为函数变化率最小方向，即最速下降方向。
2-2.求二元函数f （x 1，x 2）=2x 12+x 22-2x 1+x 2在T x ]0,0[0=处函数变化率最大的方向和数值。
解：由于函数变化率最大的方向就是梯度的方向，这里用单位向量p表示，函数变化率最大和数值时梯度的模)0(x f ∇。
求f （x1，x2）在x0点处的梯度方向和数值，计算如下：()⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡+-=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∂∂∂∂=∇120122214210x x x x f x f x f 2221)0(⎪⎭⎫ ⎝⎛∂∂+⎪⎭⎫ ⎝⎛∂∂=∇x f x f x f =5⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=∇∇=5152512)0()0(x f x f p ϖ2-3.试求目标函数()2221212143,x x x x x x f +-=在点X 0=[1,0]T 处的最速下降方向，并求沿着该方向移动一个单位长度后新点的目标函数值。
机械优化设计共轭梯度法
0
则可行方向为
d xL x
0
搜索步长的确定
确定可行搜索方向后，在该方向上的搜 索步长 一般按加速步长法来确定。加速 步长法是指依次迭代的步长按一定的比例 递增的方法。各次迭代的步长按下式计算：
步长加速系数，一般取1.3 步长，初始步长为 0
•
确定初始可行点
方法1）决定性方法 当问题的约束条件 比较简单，可凭判断人为地在可行域内选定 一个初始点。
方法2） 随机投点方法 当问题的约束条 件较为复杂时，靠判断选择初始可行点较困 难，这时可借助计算机中的随机数发生器， 产生随机但可行的初始点。
设给定设计变量的上下限值为：
ai≤ xi ≤ bi (i = 1, 2, …, n)
XL S S X(0) XL
0
若f (X(1) ) > f (XL)，则应缩短步长 ，直 至取得一个好的可行点作为新一轮搜索的起 始点。如此周而复始，当迭代步长 已经很 小时，说明搜索已逼近约束最优点。达到精 度要求时，即可终止迭代计算。
• 随机数的产生
随机数是由电脑产生的伪随机数。
在MATLAB中可调用rand( )函数实现； 在turbo C 中可调用randn( ) 函数实现
要产生N个随机搜索方向e(k) (k =1, 2, …, N) , 需要产生N组随机数ri(k) (i = 1, 2, …, n; k =1, 2, …, N) 。
综上所述，产生可行搜索方向的条件可概括为： 当 x 点满足 L g j ( xL ) 0
f ( x L ) min { f ( x ) | j 1,2,3..., k}
以定步长 0 搜索得到N个试验点Xk (k= 1, 2, …, N)， 然后计算比较N个试验点处的函数值
机械优化设计方法简介
机械优化设计方法简介一.引言“设计”作为人们综合运用科学技术原理和知识并有目的地创造产品的一项技术，已经发展为现代社会工业文明的重要支柱。
今天，设计水平已是一个国家的工业创新能力和市场竞争能力的重要标志。
许多的设计实践经验告诉我们，设计质量的高低，是决定产品的一系列技术和经济指标的重要因素。
因此，在产品生产技术的第一道工序—设计上，考虑越周全和越符合客观，则效果就会越好。
在产品设计中，追求设计结果的最优化，一直是我们工作努力的目标。
现代设计理论、方法和技术中的优化设计，为工程设计人员提供了一种易于实施且可使设计结果达到最优化的重要方法和技术，以便在解决一些复杂问题时，能从众多设计的方案中找出尽可能完善的或是最好的方案。
这对于提高产品性能、改进产品质量、提高设计效率，都是具有重要意义的。
二．优化设计的概念优化设计是将工程设计问题转化为最优化问题，利用数学规划的方法，借助于计算机（高速度、高精度和大存储量）的处理，从满足设计要求的一切可行方案中，按照预定的目标自动寻找最优设计的一种设计方法。
机械优化设计最优化（Optimization)通常是指解决设计问题时，使其结果达到某种意义上的无可争议的完善化。
最优化“OPT”在科学和技术领域内如同使用最大“MAX”和最小“MIN”一样具有普遍性。
把机械设计和现代设计理论及方法相结合，借助电子计算机，自动寻找实现预期目标的最优设计方案和最佳设计参数。
三．优化设计的一般实施步骤(1）根据设计要求和目的定义优化设计问题；(2）建立优化设计问题的数学模型；(3）选用合适的优化计算方法；(4）确定必要的数据和设计初始点；(5）编写包括数学模型和优化算法的计算机程序，通过计算机的求解计算获取最优结构参数；(6）对结果数据和设计方案进行合理性和适用性分析。
其中，最关键的是两个方面的工作：首先将优化设计问题抽象和表述为计算机可以接受与处理的优化设计数学模型，通常简称它为优化建模；然后选用优化计算方法及其程序在计算机上求出这个模型的的最优解，通常简称它为优化计算。
梯度法收敛准则在机械优化设计中的应用分析
１ 优 化方法常用 的收敛准则
在优 化设 计 中设计 变 量 、 目标 函数 和约 束 条件是 优 化设 计 数学 模 型 的基 本 组 成部 分 ， 通 过选 择 适 当
的优 化 方法 对数 学模 型求 解 即可得 到 最优 解 。在求 解过 程 中要 考 虑 优化 问题 的 收敛 性 和迭 代 过程 的终
苗淑 静 ，崔 昭 霞 ，于明 华
（ 内蒙古工业 大学机械学院 ， 呼和浩特 ， ０ １ ０ ０ ５ １ ） 摘 要： 收敛准则是机械优 化设 计 中的关键 因素 ， 其选用 将直接 影响着 优
化设计 的结果 。本 文对梯度法采用 相邻设 计点 的距离 充分小 的收敛准 则 和迭代点 目标 函数梯度足够小 的收敛 准则 之间的关系进行推导 ， 分别应用 两种 收敛 准则对梯度法进行实例计算 比较 ， 发现采用 目标 函数梯度足够小 的收敛准则可 以提高优化设计结 果的精度 。
内蒙古工业大学学报
Ｊ ＯＵＲＮＡＬ ＯＦ Ｉ ＮＮＥＲ ＭＯＮＧＯＬＩ Ａ
第３ ２卷
第 １ 期
ＵＮＩ ＶＥＲＳ Ｉ ＴＹ ＯＦ Ｉ ＥＣＨＮ０Ｌ ０ＧＹ
文章 编 号 ： １ ０ ０ １ —５ １ ６ ７ （ ２ ０ １ ３ ） ０ １ —０ ０ １ １— ０ ４
梯 度 法 收 敛 准 则 在 机 械 优 化 设 计 中 的 应 用 分 析
有任何 区别 。通常情况下搜索步长 ｌ Ｏ ｔ Ｉ ≠１ ， 则有 ：
【 “一 ｌ ｌ 】 ≠ｌ ｌ Ｖ ｆ （ Ｘ ）ｌ ｌ （ ８ ）
即梯 度法 中使 用点 距准 则 和梯度 准则 作 为迭代 收敛 （ 终止） 准则是 有 区别 的 ， 不 能相 互取 代 。
并 将式 （ ５ ） 取模有 ： Ｉ ｌ “一 Ｉ ｌ＝ Ｉ ｌ一 ｖ ｆ （ ｘ ）Ｉ １ （ ６ ） （ ７ ）
机械优化设计方法总结
优化算法的总结一、总结优化设计算法（一维，多维无约束，多维有约束）的特点、使用条件及选择方法的原则。
1.1 一维搜索方法1.1.1 黄金分割法特点：简单，有效，成熟的一维直接搜索方法，应用广泛。
可以把区间缩小的任意长度。
使用条件：适用于[a,b]区间上使用原则：黄金分割点的内分点选取必须遵循每次区间缩短都取相等区间缩短率的原则。
1.2.2二次插值法特点：收敛速度较黄金分割法快，可靠性不如黄金分割法，初始点的选择影响收敛效果。
不可能一次就达到函数的最优解，必须重复多次，向最优值逐渐逼近。
原则：首先要选择一个初始步长，用外推法确定极值点存在的区间，然后用二次差值法求极值点的近似值。
1.2无约束多维优化方法1.2.1 最速下降法特点：1）最速下降法是求解无约束多元函数极值问题的古老算法之一；2）最速下降法理论明确，方法简单，概念清楚，每迭代一次除需进行一维搜索外，只需计算函数的一阶偏导数，计算量小；3）对初始点的要求较低，初始迭代效果较好，前后两步迭代的搜索方向相互正交，在极值点附近收敛很慢。
选用原则及条件：一般与其他算法配合，在迭代开始时使用。
1.2.2共轭梯度法特点：1）仅需计算函数的一阶偏导数，编程容易，准备工作量比牛顿法小，收敛速度远超过梯度法，但有效性比DFP(变尺度)法差；2）使用一阶倒数的算法，所用公式结构简单，并且所需的储存量少。
3）收敛速度很快，有超线性的手链速度。
使用条件：适用于维数较高(50维以上)、一阶偏导数易求的优化问题。
使用原则：共轭梯度法在第一个搜索方向取负梯度方向，而其余各步的搜索方向将负梯度偏转一个角度，即对负梯度进行修正，实质上是对最速下降法的改进。
在n次迭代后如果没有达到收敛精度，则通常以重置负梯度方向开始，直到满足精度为止。
1.2.3 牛顿法特点：牛顿法对初始点要求不严格，具有二次收敛性，最优点附近的收敛速度极快，对于正定二次函数的寻优，迭代一次即可达到极小点；当初始点选的合适的时候，是目前算法中收敛的最快的一种（尤其对二次函数）。
机械优化
一.无约束最优化方法1.梯度法（最速下降法）2.牛顿法（基本牛顿法、阻尼牛顿法）3.变尺度法（拟牛顿法）4.共轭梯度法5.鲍威尔法（基本鲍威尔法、修正鲍威尔法）二.约束最优化方法1.可行方向法2.惩罚函数法（外点法、内点法、混合法）3.乘子法（等式约束问题乘子法、不等式约束问题乘子法）4.序列二次规划法5.多目标最优化法（主要目标法、线性加权法、理想点法、目标逼近法、最大最小法）三.智能最优化方法1.遗传算法2.神经网络算法（人工神经元与神经网络模型、BP网络、径向基RBF网络、Hopfield网络）共轭梯度法目录简介算法介绍编辑本段简介共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它共轭梯度法仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。
共轭梯度法最早是又Hestenes和Stiefle（1952）提出来的，用于解正定系数矩阵的线性方程组，在这个基础上，Fletcher和Reeves（1964）首先提出了解非线性最优化问题的共轭梯度法。
由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用与实际问题中。
共轭梯度法是一个典型的共轭方向法，它的每一个搜索方向是互相共轭的，而这些搜索方向d仅仅是负梯度方向与上一次迭代的搜索方向的组合，因此，存储量少，计算方便编辑本段算法介绍又称共轭斜量法，是解线性代数方程组和非线性方程组的一种数值方法，例如对线性代数方程组A尣＝ƒ, (1) 式中A为n阶矩阵，尣和ƒ为n维列向量,当A对称正定时,可以证明求(1)的解尣*和求二次泛函(2)的极小值问题是等价的。
此处(尣,у)表示向量尣和у的内积。
由此，给定了初始向量尣（0），按某一方向去求(2)取极小值的点尣（1）,就得到下一个迭代值尣（1）,再由尣（1）出发，求尣（2）等等，这样来逼近尣*。
[工学]机械优化设计作业
![[工学]机械优化设计作业](https://img.taocdn.com/s3/m/71ccb4024b73f242336c5fde.png)
(t ) (k )
(k )
t S ) f ( X
(k )
(t )
(k )
) f ( X
(k )
(k )
T
(k ) ) S t
T
f f ( X
) f ( X ) t f ( X
(k ) ) S
由此可得试验步长 t 的计算公式为
(3)将位于非可行域的试验点 X (t ) 调整到约束面上。如下图所示 (t ) g2 ( X (t ) ) 0 的位置，显然应将 ，若试验点 X (t ) 位于 g1 ( X ) 0 ， (t ) (t ) (t ) (t ) 试验点 X 调整到 g1 ( X ) 0，因为对于试验点 X 来讲，g1 ( X ) (t ) g ( X ) 大。苦设 gk ( X (t ) ) 为约束违反量最大的 的约束违反量比 2 (t ) 约束条件，则 gk ( X ) 应满足
对于具有非线性约束函数的非线性规划问题，沿约束面的切线 方向进行搜索时，新点 X 又将进入非可行域，如下图所示，此时， X 须将进入非可行域的新点 设法调整到约束面上，然后才能进行 下一次迭代。解决这个问题的办法是先规定允许进入非可行域的 “深度”，即建立约束容差 的边界，然后沿目标函数的梯度方 ) g ( X ) 向 f ( X 或起作用约束函数的负梯度方向 ，将新点返回 到约束面上，其计算公式为
3．梯度投影法 (k ) (k ) f ( X )不满足可行条件时 当 X 点目标函数的负梯度方向 (k ) ，可将 f ( X ) 方向投影到约束面(或约束面的交集)上，得到 投影向量 S ( k ) ，如下图所示，显然投影向量满足方向的可行和下 降条件。
梯度投影法就是取该方向作为本次迭代的可行方向，其计算公 式为 (k )
机械优化设计试题
一、 填空题 [每空1分，共20分]1.组成优化设计数学模型的三要素是 、 、 。
2.数学规划法的迭代公式是 ，其核心是 和 。
3.惩罚函数法的基本思想是通过增加变量将 优化问题变成 优化问题。
4.函数()22124F X x x =+在⎥⎦⎤⎢⎣⎡=420X 点处的梯度为 ，海赛矩阵为 。
5. 判断是否终止迭代的准则通常有 、 和 三种形式。
6.最速下降法以 方向作为搜索方向，因此最速下降法又称为 法，其收敛速度较 。
7.二元函数在某点处取得极值的充分条件是 ，必要条件是该点处的 。
8.用黄金分割法求一元函数3610)(2+-=x x x f 的极小点，初始搜索区间]10,10[],[-=b a ，经第一次区间消去后得到的新区间为 。
9.进退法确定搜索区间，函数值形成 区间。
二、 选择题 [每小题2分，共20分]1. 利用法在搜索区间［a,b ］内确定两点a1=,b1=，由此可知区间［a,b ］的值是( )A. ［0,］B. ［,1］C. ［0,1］D.［,1］ 2．一个多元函数()F X 在X* 附近偏导数连续，则该点位极小值点的充要条件为（ ）A ．()*0F X ∇= B. ()*0F X ∇=,()*H X 为正定C ．()*0H X = D.()*0F X ∇=,()*H X 为负定3.已知二元二次型函数F(X)=AX X T21，其中A=⎥⎦⎤⎢⎣⎡4221，则该二次型是( )的。
A. 正定B. 负定C. 不定D. 半正定4.在下列特性中，梯度法不具有的是（ ）。
A. 对初始点的要求不高B. 要计算一阶偏导数C. 二次收敛性D. 只利用目标函数的一阶偏导数值构成搜索方向5.具有n 个变量的函数F （X ）的hessian 矩阵是n n ⨯阶偏导数矩阵，该矩阵是（ ）A. 非对称矩阵B. 对称矩阵C. 三角矩阵D. 分块矩阵6. 已知函数F(X)=-1222121222x x x x x +-+，判断其驻点(1，1)是( ) A. 最小点 B. 极小点 C. 极大点 D. 最大点 7.下面关于梯度法的一些说法，正确的是( )。
机械优化设计第四节无约束共轭梯度法7
f ( x
)
x
*
x
( k 2)
S (k )
x
( k 3)
x
(k )
x
( k 1)
S (k )
将迭代公式
x
( k 1)
g x ( k ) S ( k )代入上式得：
(k )
( k 1)
g
(k )
g ( k 1) g ( k ) ( k ) AS ( k )上式也同乘 S ( k 1)
( k 1) g ( k 1) g ( k 1) g T (k ) (k ) (k ) 2 g g g
T
2
共轭方向
S
( k 1)
g
( k 1)
g
( k 1) 2 (k ) 2
S (k )
g
(0)
3、迭代步骤（以二维为例） 1、取初始点x 计算精度 2、计算梯度g f ( x )从 出发沿 S (0) g (0)方向一维 x (1) 搜索到 x ) 3、计算 g (1计算 ( 0)确定 S (1) g (1) ( 0) S ( 0) ) 4、从 x 出发沿 S (1方向一维搜索 ,就可以达到优化 点x
S g
( k 1) T
( k 1) T
( k 1)
( k 1)
g ( k ) ( k ) S ( k 1) AS ( k )
( k 1) T (k )
得：
T
( k 1) ( k ) A x x
T
) 要使 S ( k 与 S ( k 1)对A共轭则有S AS 即 S g g 0 再将 S f ( x ) S g S g S g g 0 代入上式： g g g g S g
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
梯 度 法 求 最 优 解 问 题
姓 名：李刚 学号：2016210309
1、所求问题
用梯度法求目标函数121222125.05.1)(x x x x x x F --+=的无约束最优解，已知初始点
T X ]4,2[)0(-=，02.0=ε或002.0=ε
2、Matlab 编程实现
建立了一个Stair(e).m 的子函数来求解，e 为函数的输入变量，即问题中的ε。
只需要在Matlab “命令行窗口”去调用此函数即可，用02.0=ε或002.0=ε去代替Stair(e).m 函数中的输入变量e 即可。
程序源码：
function z =Stair(e)
%输入变量e 来代替求解精度问题，方便求解不同静精度问题
syms x1 x2 a
f=1.5*x1^2+0.5*x2^2-x1*x2-2*x1; %目标函数
dx1=diff(f,x1); %对x1求偏导
dx2=diff(f,x2); %对x2求偏导
g=[dx1,dx2]; %梯度
X=[x1,x2]; %建立坐标变量
X0=[-2,4]; %初始点坐标
g0=subs(g,X,X0); %subs 函数，用X0代替g 函数中的X G=norm(g0); %梯度的模
k=0; %迭代次数变量
F=subs(f,X,X0); %subs 函数，用X0代替f 函数中的X F=double(F); %数据类型转换
fprintf('迭代次数k=%d ；',k);
fprintf('坐标值x1=%5.7f ',X0(1));
fprintf('x2=%5.7f ；',X0(2));
%fprintf('坐标值 X=%d %d\n',X0);
fprintf('函数值F=%5.7f\n\n',F)
for i=1:20 %迭代求解
if (G>e) %判断是否满足精度要求 k=k+1;
d=-g0/G; %确定搜索方向
F=subs(f,X,X0); %计算F(x）目标函数的值
fm=subs(f,X,X0+a*d); %求最优步长，以计算新的迭代点
fmd=diff(fm); %求偏导
a0=solve(fmd); %求出偏导函数的零解，求得最优步长X0=X0+a0*d; %求得新的迭代点
g0=subs(g,X,X0); %计算新的梯度
G=norm(g0); %计算新的梯度的模
g0=double(g0); %数据类型转化
G=double(G);
X0=double(X0);
F=double(subs(f,X,X0));
a0=double(a0);
%结果输出
fprintf('迭代次数k=%d；',k);
fprintf('坐标值x1=%5.7f ',X0(1));
fprintf('x2=%5.9f；',X0(2));
fprintf('函数值F=%5.7f\n',F);
fprintf('梯度g(k)=%5.7f %5.7f；',g0);
fprintf('梯度的模||g(k)||=%5.7f；',G);
fprintf('步长a(k)=%5.7f\n\n',a0);
end
end
z=[X0 F];
end
运行结果
ε时，命令窗口输入Stair(0.02)，运行结果见下图：
当02
.0
=
ε时，命令窗口输入Stair(0.02)，运行结果见下图：当002
.0
=。