最优化计算方法(工程优化)第4章
第4章 用最优化方法解决参数估计问题
= =
a0 a0
+ +
a1 x1 a1 x2
+
a2
x
2 1
+
a2
x
2 2
⎫ ⎪ ⎬
P(x3 )
=
a0
+
a1 x3
+
a
2
x
2 3
⎪ ⎭
插值法
对多项式求导数，并令其为零，得
P' (x) = a1 + 2a2 x = 0
x min
=
− a1 2a2
上式就是计算近似极小点的公式。为了确定这个极
小点只需算出a1和a2。
此时，若在 xk−1与 xk 之间的中点进行第k+1点的计 算，即取 x k +1 = ( x k −1 + x k ) / 2
这样共得四个等间距的点 xk−2 , xk−1, xk , xk+1 ,它们之 间的间距为 d 当 Q(x1) > Q(x2 ) 时 d = 2 k −3 h ;当 时 Q(x1) < Q(x2 ) ，d = 2k−4 h。比较这四个点的函数 值，取函数值最小的xb,则 xa = xb − d , xc = xb + d ， 这样就可以得三点x a , x b , x c ，以便于构成二次插
x1 x2
= =
a0 b0
+ −
λ (b0 λ (b0
− −
a0 a0
)⎫ )⎭⎬
分割法
且希望经过分割后其保留点仍处于留下区间的相应位置
上，即 x1在 [a 0 , b0 ]中的位置与x2在[a1,b1 ]中相仿,且比值相等
(6.2.2)
最优化设计 课后习题答案
最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。
工程优化方法及应用 第四章1-2节
2 x x -0f x 1/2
1 0 0
Page 8
第2次迭代：
-1 f x , -2
1
|| f x1 || 5 0.5,
1
2+1 x x -1f x = 1/2+2 1 ( )=f x1 -f x1 =f 2+ ,1/2+2
2、其基本思想和逻辑结构可以推广到约束问题；
3、约束问题可以转化成无约束问题求解。
f ( x), x D min f ( x) min F ( x), 其中F ( x) n xD 类
解析法：对简单问题，求解必要条件或充分条件； 零阶法：只需计算函数值 f(x) 迭代算法 一阶法：需计算 ▽f(x) 梯度法 二阶法：需计算 ▽2f(x) 建立迭代算法的关键：确定迭代格式
3
5/2+22 3 x x -2f ( x )= = ， 3/2 2 5/4
继续迭代可得到函数的近似最优解。
Page 10
2 2 例 用最速下降法求函数 f ( x1 , x2 )＝x1 的极小点（迭代两 4 x2 T 次）。 并验证相邻两个搜索方向是正交的。初始点 x 0 1,1 。
No
Page 6
Yes stop. x* =xk
dk= －▽f(xk ) min f(xk+λdk) s.t. λ >0 得最佳步长因子λk 令： xk+1=xk+λkdk 解
最速下降法的算例
取 x 0 1,1T , =0.5. 解：函数的梯度为
Page 7
2 2 min f ( x ) x 2 x 例 利用最速下降法求解 1 2 2 x1 x2 4 x1 ,
最优化方法 第四章(遗传算法)
一、遗传算法简介
达尔文 (Darwin) 的进化论：自然选择原理
自然选择就是指生物由于环境中某些因素的影响而使得
有利于一些个体的生存，而不利于另外一些个体生存的
演化过程：物竞天择，适者生存 遗传：子代和父代具有相同或相似的性状，保证物种的 稳定性； 变异：子代与父代，子代不同个体之间总有差异，是生 命多样性的根源；
选择运算 个体评价 交叉运算
变异运算
群体p(t+1)
解
码
解集合
二、标准遗传算法
标准遗传算法的主要步骤
Step1 根据优化问题的特点对优化变量进行编码，随机产 生一组初始个体构成初始种群,并评价每一个个体的适配值; Step2 判断算法收敛准则是否满足。若满足则输出搜索结果； 否则执行以下步骤; Step3 根据适配值大小以一定方式进行复制(选择)操作; Step4 按交叉概率 pc 执行交叉操作; Step5 按变异概率 pm 执行变异操作; Step6 更新种群，返回Step2.
二、标准遗传算法
标准遗传算法算例---手工计算
max
s .t.
2 f x1 , x2 x12 x2
x1 0,1 7 x2 0,1 7
编码：二进制编码 基因型X= 1 0 1 1 1 0 对应的表现型是：X= 5, 6
二、标准遗传算法 ① ② 个体编号 初始群体 i P(0) 1 2 3 4 011101 101011 011100 111001 ③ x1 3 5 3 7 ④ x2 5 3 4 1 ⑤ f(x1,x2) 34 ∑fi=143 34 fmax=50 25 f=35.75 50 ⑥ f i/ ∑ f i 0.24 0.24 0.17 0.35
最优化计算方法(工程优化)第1章
最优化在物质运输、自动控制、机械设计、采矿冶金、经 济管理等科学技术各领域中有广泛应用。下面举几个简单的实 例。
例1：把半径为1的实心金属球熔化后，铸成一个实心圆柱体， 问圆柱体取什么尺寸才能使它的表面积最小？
解：决定圆柱体表面积大小有两个决策变量：圆柱体底面半 径r、高h。
问题的约束条件是所铸圆柱体重量与球重相等。即
优化模型的分类
根据问题的不同特点分类
一般的约束优化问题
标准形式
min
xRn
f
x
s.t. gi x 0, i 1, 2, , m
1） gi x 0 -gi x 0
2）
hi
x
0
hi x 0
-hi
x
0
优化模型的分类
根据函数类型分类
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
yi
a1
1
a3
ln 1
a2 exp
xi
a4 a5
最优化问题举例
例3已：知有从一v旅i 到行团v j从的v旅0费出为发要cij遍，游问城应市如何v1安, v排2 行,..程.,使vn总 ，
费用最小？
模型：
变量—是否从i第个城市到第j个城市
xij 1, 0;
约束—每个城市只能到达一次、离开一次
因此，我们在学习本课程时要尽可能了解如何 由实际问题形成最优化的数学模型。
数学模型: 对现实事物或问题的数学抽象或描述。
最优化问题的数学模型与分类
数学模型的建立
建立数学模型时要尽可能简单，而且要能完整地描 述所研究的系统。
过于简单的数学模型所得到的结果可能不符合实际情 况；而过于详细复杂的模型又给分析计算带来困难。
最优化计算方法课后习题答案----高等教育出社。施光燕
习题二包括题目： P36页 5（1）（4）5（4）习题三包括题目：P61页 1(1)(2); 3; 5; 6; 14；15(1) 1(1)(2)的解如下3题的解如下5,6题14题解如下14. 设22121212()(6)(233)f x x x x x x x =+++---, 求点在(4,6)T-处的牛顿方向。
解：已知 (1)(4,6)T x=-，由题意得121212212121212(6)2(233)(3)()2(6)2(233)(3)x x x x x x x f x x x x x x x x +++-----⎛⎫∇= ⎪+++-----⎝⎭∴ (1)1344()56g f x -⎛⎫=∇=⎪⎝⎭21212122211212122(3)22(3)(3)2(233)()22(3)(3)2(233)22(3)x x x x x x x f x x x x x x x x +--+--------⎛⎫∇= ⎪+--------+--⎝⎭∴ (1)2(1)1656()()564G x f x --⎛⎫=∇=⎪-⎝⎭(1)11/8007/400()7/4001/200G x --⎛⎫= ⎪--⎝⎭∴ (1)(1)11141/100()574/100d G x g -⎛⎫=-=⎪-⎝⎭15（1）解如下15. 用DFP 方法求下列问题的极小点（1）22121212min 353x x x x x x ++++解：取 (0)(1,1)T x=，0H I =时，DFP 法的第一步与最速下降法相同2112352()156x x f x x x ++⎛⎫∇= ⎪++⎝⎭， (0)(1,1)T x =，(0)10()12f x ⎛⎫∇= ⎪⎝⎭(1)0.07800.2936x -⎛⎫= ⎪-⎝⎭， (1)1.3760() 1.1516f x ⎛⎫∇= ⎪-⎝⎭以下作第二次迭代(1)(0)1 1.07801.2936x x δ-⎛⎫=-= ⎪-⎝⎭， (1)(0)18.6240()()13.1516f x f x γ-⎛⎫=∇-∇= ⎪-⎝⎭0110111011101T T T TH H H H H γγδδδγγγ=+- 其中，111011126.3096,247.3380T T TH δγγγγγ===111.1621 1.39451.3945 1.6734Tδδ⎛⎫= ⎪⎝⎭ ， 01101174.3734113.4194113.4194172.9646T TH H γγγγ⎛⎫== ⎪⎝⎭所以10.74350.40560.40560.3643H -⎛⎫= ⎪-⎝⎭(1)(1)1 1.4901()0.9776dH f x -⎛⎫=-∇= ⎪⎝⎭令 (2)(1)(1)1xx d α=+ ， 利用 (1)(1)()0df x d d αα+=，求得 10.5727α=-所以 (2)(1)(1)0.77540.57270.8535xx d⎛⎫=-= ⎪-⎝⎭ ， (2)0.2833()0.244f x ⎛⎫∇= ⎪-⎝⎭以下作第三次迭代(2)(1)20.85340.5599x x δ⎛⎫=-= ⎪-⎝⎭ ， (2)(1)2 1.0927()()0.9076f x f x γ-⎛⎫=∇-∇= ⎪⎝⎭22 1.4407T δγ=- ， 212 1.9922T H γγ=220.72830.47780.47780.3135T δδ-⎛⎫=⎪-⎝⎭1221 1.39360.91350.91350.5988T H H γγ-⎛⎫= ⎪-⎝⎭所以22122121222120.46150.38460.38460.1539T T T TH H H H H δδγγδγγγ-⎛⎫=+-= ⎪-⎝⎭(2)(2)20.2246()0.1465d H f x ⎛⎫=-∇= ⎪-⎝⎭令 (3)(2)(2)2xxdα=+ ， 利用(2)(2)()0df x d d αα+=，求得 21α=所以 (3)(2)(2)11x x d ⎛⎫=+=⎪-⎝⎭， 因为 (3)()0f x ∇=，于是停止 (3)(1,1)T x =-即为最优解。
工程优化方法-第1章 极值理论与最优化问题的数学表达
f ( X *) 0
展开式：
f ( X * X ) f ( X *) f ( X *)T X 1 X T H ( X *)X 2
f ( X * X ) f (X *) 1 X T H (X *)X 0 2
f ( X * X ) f ( X *)
可见，通过梯度为零点的海辛矩阵是否是正定可 以判别是否是极小点。
j
h11, h12,
H
hn1, hn2,
, h1n
, hnn
nn
nn
hij x j xi
hij x j xi
[ i1 j1
, i1 j1
,
x1
x2
nn
hij x j xi
, i1 j1
]T
xn
n
n
n
n
n
n
[ h1 j x j hi1xi , h2 j x j hi2xi , , hnj x j hin xi ]T
j 1
(1 5)
L( X ,W ,) xi
f ( X ) xi
m
j
j 1
g j ( X ) xi
0
L( X ,W ,)
w j
2 jwj
0
L( X ,W
j
,)
g
j(X
)
w2j
0
由上式可推导：
f ( X )
xi
jg j(X )
m
j
j 1
0
g j ( X xi
)
0
j 0
(1 6)
求极小问题的 j 取值推导：
梯度方向是函数值变化率最大方向证明：
证明：设X为任意迭代点，设沿任意迭代方向移动到新点：
最优化方法(刘)第四章
阻尼牛顿法收敛定理
定理2: 设 f ( x) 二阶连续可微， 又设对任意的x0 ∈Rn , 存在常数m > 0, 使得 f ( x) 在 L ={x f (x) ≤ f (x0 )} 2 T 2 上满足： ∇ f ( x)µ ≥ m µ ,∀ ∈Rn , x∈L( x0 ) µ µ 则在精确线搜索条件下， 阻尼牛顿法产生的点列 {xk } 满足： (1) 当{xk } 是有限点列时， 其最后一个点为 f ( x) 的唯一极小点． (2)当{xk } 是无限点列时， 收敛到 f (x) 的唯一极小点．
) x0 = (9,1
T
g0 = ∇ ( x0 ) = (9,9) f
T
T 7.2 7.2 g0 g0 x = x0 − T g0 = 1 −0.8 g1 = −7.2 g0 G 0 g T 9×0.82 g1 g1 x2 = x − T g1 = 1 2 (−1 ×0.82 g1 G 1 g )
9 1 0 x = x0 −G g0 = − 1 1 0 9
1 − 0 −1
9 0 = = x* 9 0
牛顿法收敛定理
定理1: 设 f ( x) 二次连续可微， *是 f ( x) 的局 x 部极小点， f (x* ) 正定． 假定 f ( x) 的海色阵 ∇
gk →0 .
证明： 对于最速下降法， k = 0, 由以上定理立得． θ
收敛性分析
定理2: 设 f ( x) 二次连续可微， ∇2 f ( x) ≤ M, 且 其中 M是个正常数， 对任何给定的初始点 x0, 最速下降算法或有限终止， 或者lim f ( xk ) = −∞ ,
k→ ∞
第四章约束问题的最优化方法
迭代，产生的极值点 xk*(r(k))
4
序列从可行域外部趋向原目标
函数的约束最优点 x* 。
外点法可以用来求解含不等式和等式约束的优化问题。
二. 惩罚函数的形式：
m
l
( x, r) f ( x) r max[0, gi ( x)]2 r [hj ( x)]2
i1
j1
• 惩罚因子rk 是递增的，rk1 a rk ，a为递增系数，a 1
惩罚项：当迭代点在非可行域或不满足不等式约束条件时，在迭 代过程之中迫使迭代点逼近约束边界或等式约束曲面。
加权因子（即惩罚因子）： r1 , r2
无约束优化问题：min . (x, r1, r2 )
Φ函数的极小点序列 x (k)* ( r1 (k) , r2 (k) ) k= 0,1,2…
其收敛必须满足：
这种方法是1968年由美国学者A．V．Fiacco和 G．P．Mcormick提出的，把不等式约束引入数学模型中，为求多 维有约束非线性规划问题开创了一个新局面。
适用范围：求解等式约束优化问题和一般约束优化问题。
§4.2 内点惩罚函数法（障碍函数法）
一. 基本思想： 内点法将新目标函数 Φ( x , r ) 构筑在可行域 D 内，随着惩罚
六. 举例：盖板问题
设计一个箱形截面的盖板。 已知：长度 l0= 600cm，宽度 b = 60cm， h 侧板厚度 ts = 0.5cm，翼板厚度为 tf(cm)，高 度为 h(cm)，承受最大的单位载荷 q = 0.01Mpa。
tf ts
b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
f (x) r1G[gu (x)] r2 H[hv (x)]
系统工程(第四章)
2 优化变量
• 对于过程系统参数优化 过程系统参数优化问题，优化变量向量就 过程系统参数优化 是过程变量向量。过程变量向量包括决策变量 决策变量 和状态变量 状态变量 • 决策变量等于系统的自由度，它们是系统变量 中可以独立变化以改变系统行为的变量； • 状态变量是决策变量的函数，它们是不能独立 变化的变量，服从于描述系统行为的模型方程
过程系统优化问题可表示为
Min
f (w, x, z) = 0
c(w, x, z) = 0
F(w, x)
h(w, x) = 0
g(w, x) ≥ 0
w－决策变量向量（w1，…，wr）; x－状态变量向量（x1，…，xm） z－过程单元内部变量向量（z1，…，zs） F－目标函数 f－m维流程描述方程组（状态方程） c－s维尺寸成本方程组 h－l维等式设计约束方程 g－不等式设计约束方程
4.2.3 化工过程系统最优化方法的分类
• • • • • 无约束最优化与有约束最优化 线性规划与非线性规划 单维最优化和多维最优化 解析法与数值法 可行路径法和不可行路径法
（1） 无约束最优化与有约束最优化
• 在寻求最优决策时，如果对于决策变量及状态变 量无任何附加限制，则称为无约束最优化 无约束最优化 • 问题的最优解就是目标函数的极值。这类问题比 较简单，求解方法是最优化技术的基础 • 在建立最优化模型方程时，若直接或间接的对决 策变量施以某种限制，则称为有约束最优化 有约束最优化。又 有约束最优化 等式约束最优化和 可分为等式约束最优化和不等式约束最优化 等式约束最优化 不等式约束最优化。 • 求解方法是通过把有约束最优化问题转化成无约 束最优化模型进行求解
• 实际生产操作必须根据环境和条件的变化来 调节决策变量（即操作变量），从而使整个 过程系统处于最佳状态，也就是目标函数达 到最优。这就是操作参数优化问题 操作参数优化问题
第4章 最优化方法(运筹学)
例题分析5：投资问题
例5 某部门现有资金200万元，今后五年内考虑给以下的项目 投资。已知： 项目A：从第一年到第五年每年年初都可投资，当年末能收回 本利110%； 项目B：从第一年到第四年每年年初都可投资，次年末能收回 本利125%，但规定每年最大投资额不能超过30万元； 项目C：需在第三年年初投资，第五年末能收回本利140%，但 规定最大投资额不能超过80万元； 项目D：需在第二年年初投资，第五年末能收回本利155%，但 规定最大投资额不能超过100万元。 问应如何确定这些项目的每年投资额，使得第五年年末拥 有资金的本利金额为最大？
欧洲的古代城堡为什么建成圆形？
案例：生产计划问题
例1.
某工厂在计划期内要安排Ⅰ、Ⅱ两种产品的 生产，已知生产单位产品所需的设备台时及A、B两 种原材料的消耗、资源的限制，如下表：
Ⅰ
设备 原料 A 原料 B 单位产品获利 1 2 0 50 元
Ⅱ
1 1 1 100 元资源限制 300 来自时 400 千克 250 千克
问题：工厂应分别生产多少单位Ⅰ、Ⅱ产品才能
使工厂获利最多？
第一节 线性规划
一、在管理中一些典型的线性规划应用 二、线性规划的一般模型
三、线性规划问题的计算机求解
（Excel，lingo）
第一节 线性规划
一、在管理中一些典型的线性规划应用 1、合理利用线材问题：如何在保证生产的条件下， 下料最少 2、配料问题：在原料供应量的限制下如何获取最大 利润 3、投资问题：从投资项目中选取方案，使投资回报 最大 4、产品生产计划：合理利用人力、物力、财力等， 使获利最大 5、劳动力安排：用最少的劳动力来满足工作的需要 6、运输问题：如何制定调运方案，使总运费最小
最优化计算方法
最优化计算方法
最优化计算方法是一种数学方法，用于在给定约束条件下寻找最优解。
该方法可用于解决许多实际问题，如工程设计、金融分析和生产计划。
最优化计算方法通常包括线性规划、非线性规划、整数规划、动态规划、图论和近似算法等。
线性规划是最常用的最优化计算方法之一，其基本思想是通过确定一组线性等式或不等式来最小化或最大化一个线性函数。
非线性规划则涉及非线性函数的最小化或最大化，通常需要使用迭代算法进行求解。
整数规划则限制决策变量必须是整数，这使得问题更加复杂，需要使用专门的算法进行求解。
动态规划是一种适用于有重叠子问题和最优子结构性质的问题
的优化计算方法。
它通常用于求解最长公共子序列、背包问题和最短路径等问题。
图论和近似算法也在一定程度上可以用于最优化计算方法中。
总的来说，最优化计算方法是一种非常重要的数学方法，可用于解决各种实际问题。
随着计算机技术的不断发展，最优化计算方法也在不断发展和完善。
- 1 -。
最优化理论与算法(第四章)
第四章 共轭梯度法§ 共轭方向法共轭方向法是无约束最优化问题的一类重要算法。
它一方面克服了最速下降法中，迭代点列呈锯齿形前进，收敛慢的缺点，同时又不像牛顿法中计算牛顿方向花费大量的工作量，尤其是共轭方向法具有所谓二次收敛性质，即当将其用于二次函数时，具有有限终止性质。
一、共轭方向概念 设G 是n n ⨯对称正定矩阵，1d ，2d 是n 维非零向量，假设120T d Gd = （）那么称1d ，2d 是G －共轭的。
类似地，设1,,m d d 是n R 中一组非零向量。
假设0T i j d Gd =()i j ≠ （）那么称向量组1,,m d d 是G －共轭的。
注：(1) 当G I =时，共轭性就变成正交性，故共轭是正交概念的推行。
(2) 若1,,m d d G －共轭，那么它们必线性无关。
二、共轭方向法共轭方向法确实是依照一组彼此共轭方向依次搜索。
模式算法：1）给出初始点0x ，计算00()g g x =，计算0d ，使000Td g <，:0k = （初始共轭方向）； 2）计算k α和1k x +，使得0()min ()k k k k k f x d f x d ααα≥+=+，令1k k k k x x d α+=+；3）计算1k d +，使10Tk j d Gd +=，0,1,,j k =，令:1k k =+，转2）。
三、共轭方向法的大体定理共轭方向法最重要的性质确实是：当算法用于正定二次函数时，能够在有限多次迭代后终止，取得最优解（固然要执行精准一维搜索）。
定理 关于正定二次函数，共轭方向法最多通过n 步精准搜索终止；且对每一个1i x +，都是()f x 在线性流形00,i j j j j x x x d αα=⎧⎫⎪⎪=+∀⎨⎬⎪⎪⎩⎭∑中的极小点。
证明：首先证明对所有的1i n ≤-，都有10T i j g d +=，0,1,,j i =（即每一个迭代点处的梯度与以前的搜索方向均正交）事实上，由于目标函数是二次函数，因此有()11k k k k k k g g G x x Gd α++-=-=1）当j i <时， ()1111iTTT i j j j k k j k j g d gd g g d +++=+=+-∑110iT T j j kkj k j gd dGd α+=+=+=∑2）当j i =时，由精准搜索性质知：10T i j g d +=综上所述，有 10T i j g d += (0,1,,)j i =。
最优化计算方法课后习题集答案解析
解：取 ， 时，DFP法的第一步与最速下降法相同
， ，
，
以下作第二次迭代
，
其中，
，
所以
令 ， 利用 ，求得
所以 ，
以下作第三次迭代
，
，
所以
令 ， 利用 ，求得
所以 ， 因为 ，于是停止
即为最优解。
习题四
包括题目： P95页 3；4；8；9(1)；12选做；13选做
3题解如下
3.考虑问题 ，其中
X1,x2,x3≥0 （3）
求出点（1,1,0）处的一个下降可行方向.
解：首先检查在点（1,1,0）处哪些约束为有效约束。检查易知（1），X3≥0为有效约束。设所求可行方向d=(d1,d2,d3)T。根据可行方向d的定义，应存在a>0，使对∀t∈（0，a）能有
X+td=(1+td1,1+td2,0+td3)T
（1）
s.t.
（2）
s.t.
（1）解：非线性规划的K-T条件如下：
（1）
（2）
（3）
再加上约束条件 （4）
为求出满足（1）~（4）式的解，分情况考虑：
①若（4）式等号不成立，即 ，那么由（2）式得 ，将 代入（1）式解得 ， ，所得值不满足 的条件，故舍去。
②若（4）式等号成立，由（1）式可以解得 ， ，代入（4）式有：
JBi
1
2
3
4
5
6
7
8
9
di0
1
1
0
-5/6
-1/6
1
10/6
4
0
0
38/6
2
0
1
-9/6
工程最优化设计理论、方法和应用PPT课件
于是 变成求
f(Xk+1)=f(Xk+αk dk )
的极值点问题
这里的核心问题是确定
?dk ?αk
1.解析法:可以确定dk(目标函数的负梯度方向)，也可求出
一元函数的极值确定一最佳搜索步长αk，即φ(αk ) = f(Xk+αk dk )，应有φ’(αk )=0
min f (x1,..., xn )
s.t. gk (x1,..., xn ) 0 k 1,..., n
Eular,Lagrange, Problems in infinite dimensions, calculus of variations
1950s－, 数学规划法， 即：数值计算法(迭代法)—通过计算求得最优解。
供应量
360
300
200
？
分析：设每天生产甲产品 x1 件， 乙产品 x2 件，于是该生产计划问题可归结为
求变量 x1， x2 使函数 f(x1,x2)=60x1+120x2 极大化
需满足条件
g1(x1, x2 ) 9x1 4x2 360
g2 (x1, x2 ) 3x1 10x2 300
g3 (x1, x2 ) 4x1 5x2 200
Fe
2EI
L2
其中，I钢管截面惯性矩
I (R4 r4 ) A (T 2 D2 )
4
8
1
刚好满足强度约束条 件 时，有
F1 A
F(B2 h2 ) 2
TDh
y
其中 A是钢管截面面积 A=π(R2-r2)= πTD
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
• 但对一般n元函数 f(x) 来说，由条件 f (x) 0 得到的是一个
非线性方程组，解它相当困难。
这里用到的一阶必要条件就是最优性条件。
所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。
这些条件对于最优化算法的建立和最优化理论的推导都是 至关重要的。
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件)
设 f : Rn R ，若 x 为 f (x) 的局部极小点，且在 N (x*)
最速下降法的迭代格式
(1) 选定某一初始点 x1 ， 0 并令 k: 1 (2) 若 f (xk ) , x* xk，否则转（3）；
f
(x)
，此时由f
(x)T
p
f
(x)
可得
p
f (x) f (x)
最速下降法
最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。
该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。
• 为此，常直接使用迭代法。
根据迭代点是否 沿某个方向产生
线搜索方法：迭代点沿某方向产生 信赖域方法：迭代点在某区域内搜索产生
线搜索迭代法的步骤
(1) 选定某一初始点 x1 ，并令 k: 1.
(2) 确搜索方向 d k .
(3) 从 xk 出发，沿方向 d k 求步长 k ，以产生下一个迭代点
xk +1. (4) 检查得到的新点 xk +1是否为极小点或近似极小点。
若是，则停止迭代。
否则，令k: k 1，转(2)继续进行迭代。
在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索，
下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
负梯度方向
这是函数值减少 最快的方向
假设 f 连续可微，
d k f (xk )
f
(xk
k d k )
min 0
f
(xk
dk )
步长 k由精确一维搜索得到。
从而得到第 k+1次迭代点，即
xk1 xk +k d k xk kf (xk )
最速下降法 负梯度方向d k f (xk )是函数值减少最快的方向 ？
令 p 是单位长度的向量， p 1, 0,
第4章 无约束最优化方法
• 最优性条件 • 最速下降法 • 牛顿法及其阻尼牛顿法 • 共轭方向法 • 共轭梯度法 • 变尺度法（DFP算法和BFGS算法）
无约束最优化问题：
min f (x) f : Rn R
(1)
目的是找 Rn 中的一点 x* ，使对x Rn ，均有 f (x*) f (x) ，称 x * 为(1)的全局极小点。
无约束优化方法
本章介绍解析法
收敛速度快，需要计算梯度或者Hesse矩阵
可求得目标函数的梯度时使用解析法
直接法：仅利用函数值的信息，寻找最优解
不涉及导数，适用性强，但收敛速度慢
在不可能求得目标函数的梯度或偏导数时使用直接法
最优性条件(Optimality Conditions)
解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。
在点 x1, x2, x3, x4 处的Hesse阵依次为：
2
f
x1
2 0
02 ,
2
f
x2
2 0
0
2
,
2
f
x3
2 0
0 2
,2
f
x4
2 0
0 2 .
1
1 1 1
x1
0
,
x2
2
,
x3
0
,
x4
2
.
无约束优化的最优性条件
2
f
x1
2 0
0 2 ,
2
f
x4
定理(一阶必要条件)
设 f : Rn R 是严格凸函数且在 x 处连续可微，若 f (x*) 0, 则 x 为 f (x) 的唯一全局极小点。
无约束优化的最优性条件
例： 利用最优性条件求解下列问题：
解：
min
f
x
1 3
x13
1 3
x23
x22
x1
f x1
x12 1,
f x2
x22 2x2,
求解 (1)的计算方法称为无约束最优化方法。
最优化方法中的基本方法---无约束优化方法
无约束最优化方法应用广泛，理论也比较成熟； 可将约束优化问题转化为无约束优化问题来处理；
min
xD
f
(x)
min
xRn
F ( x),
其中F ( x)
f (x), x D
,
others.
解析法：利用函数的一阶或二阶导数的方法
内连续可微，则
f (x*) 0.
无约束优化的最优性条件----二阶必要条件
定理（二阶必要条件）
若 x*为f x的局部极小点，且在 N x* 内 f x 二次连续
可微，则f (x*) 0,2 f (x*) 半正定。
无约束优化的最优性条件----二阶充分条件
定理(二阶充分条件)
设 f : Rn R ，若在 N (x*) 内 f (x) 二次连续可微，且