第4章 最优化方法
合集下载
无约束多维问题的优化方法
T
k 1
X X 0
F
k 0
i0
X, f
f 0 f X
t Si 2
结束
9
2013-2-28
3)最优步长法 最优步长法是利用一维探索方方，如黄金分割 法或二次插值法，来确定最优步长 i 值 在第k轮探索的第i次迭代中其步长为：
min f
X
i 1
Si f
f ( x 0 ) 104 2 x1 4 f ( x ) 100 50 x2 x0 沿负梯度方向进行一维搜索，有
0
2 4 0 x x 0 f ( x ) 2 100 0
1 0 0
0为一维搜索最佳步长，应满足极值必要条件
4.1 坐标轮换法
坐标轮换法又称为“变量轮换法”，“交替法”或 “降维法”。是一种常用的降维方法。是一种不需要 求函数导数，直接探索目标函数最优解的方法。
一）基本思想
每次仅对多元函数的一个变量沿其坐标轴进行 一维探索，其余各变量均固定不动，并依次轮换进 行一维探索的坐标轴，完成第一轮探索后再重新进 行第二轮探索，直到找到目标函数在全域上的最小 点为止。以达到将一个多维的无约束最优化问题， 转化为一系列的一维问题来求解的目的。
2 4 0 1.919 877 x 2 100 0 0.307 178 5 102
1
f ( x1 ) 3.686 164
T 继续作下去，经10次迭代后，得到最优解 x 0 0
f ( x ) 0
这一问题的目标函数f(x)的等值线为一簇椭圆。
全过程的搜索路线呈锯齿状，在远离极小点时逼近速度 较快，而在接近极小点时逼近速度较慢。 （4）梯度法的收敛速度 与目标函数的性质密切相 关。对于等值线(面)为同 心圆（球）的目标函数， 一次搜索即可达到极小点。
工程优化 第4章-4
优点：计算量较少，而且总能收敛到一个局部极小点。 缺点：收敛速度较慢
牛顿法（Newton）---基本思想
牛顿法是一种函数逼近法，基本思想是：在极小点附近用 函数的二阶泰勒多项式近似代替目标函数，从而求得目标函数 的极小点的近似值。 对 f (x) 在 x k 点二阶泰勒展开：
f ( x) f ( xk ) f '( xk )( x xk )
从极值的必要条件 P x a1 2a2 x 0
求得
x a1 / 2a2
求出系数 a1 和 a2 ，就可得到极小点的表达式。
x a1 / 2a2
1 x 2 x
2 2 2
2 x3 f1 x32 x12 f 2 x12 x22 f 3
P x1 a0 a1 x1 a2 x12 f1 f x1
（1） （2） （3）
P x2 a0 a1 x2 a2 x22 f2 f x2
P x3 a0 a1 x3 a2 x32 f3 f x3
插值法---求二次插值多项式的极小点
0, 令 k 1 。 步骤1：给定初始点 x1 R，
步骤2：计算 f '( xk ), f ''( xk ) 。
步骤3：若 f '( xk ) ，停止，x* xk ，否则转步骤4。 步骤4：计算
f '( xk ) xk 1 =xk f ''( xk )
令 k k 1，转步骤2。 特点：收敛速度快，局部二阶收敛。 缺点：须计算二次导数，工作量大；对初始点要求高，要求初 始点离极小点不太远，否则有可能使极小化发散或收敛到非极 小点；局部收敛。
第四章约束问题的最优化方法
当limr(k) 0 k
则(x, r(k) ) f (x) , xk * x *
例： 用内点法求
min
f
(x)
x2 1
x2 2
s.t. g( x) 1 x1 0 的约束最优解。
解:
首先构造内点惩罚函数: (
x,
r)
x2 1
x2 2
rk
ln(x1
1)
用解析法求函数的极小值，运用极值条件：
二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足
1
u1 gu (x)
② .(x, r(k) )
m
f (x) r(k)
1
u1 gu (x)
③ .(x, r (k) )
f (x)
m
r (k) u u 1
1 gu (x)
其中：gu (x) 0,u 1,2,...m
其中：gu (x) 0,u 1,2,...m
gu(x)0, u=1,2,…,p
适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件；
• 内点的收敛条件为： xk1 xk 1
和
最优化方法4-1第四章 约束最优化方法-KKT条件
（I） x*为问题的局部最优解且 I*={i| c i (x*)=0, 1≤i≤m };
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
最优化方法第四章B
将上式右边极小化, 即令
q(k) (s) f (xk ) 2 f (xk )s 0
得:
xk1 xk [ 2 f (xk )]1 f (xk )
(4.2.2) (4.2.3)
这就是牛顿法迭代公式.相应的算法称为牛顿法
令 Gk 2 f (xk ), gk f (xk ) , 则(4.2.3)也可写成
事实上, 由于精确线性搜索满足gkT1dk 0则
gT k 1
g
k
dkT1dk
0
(4.1.11)
这表明最速下降法中相邻两次的搜索方向是相互直
交的, 这就产生了锯齿形状.越接近极小点, 步长越
小, 前进越慢.
最速下降法的锯齿现象
x2 x1
x*
x3
最速下降法的收敛速度
精确线性搜索的最速下降法的收敛速度是线性的
dk
o(
x xk
)
(4.1.2)
显然, 若dk 满足 gkT dk 0 , 则是下降方向, 它使得
f (xk dk ) f (xk )
当
取定后,
g
T k
d
的值越小,
k
即
g
T k
dk
的值越大,
函
数f(x)在xk处下降量越大.
由Cauchy-Schwartz(柯西-施瓦)不等式
二次型 f (x1, x2 ,, xn ) 如果对于任意一组不全为零的 实数 c1 , c2 ,, cn都有 f (c1, c2 ,, cn ) 0 就称为正定的.
A是一个实对称矩阵，如果 实二次型
xT Ax
是正定的，则A称为正定矩阵.
最优化方法之 对偶理论讲解
问题： 0成立的条件.
LP 对偶问题的表达
（1）对称LP问题的定义
(P)
min s.t.
cT x Ax b x0
（2）对称LP问题的对偶问题
max
(D)
bT w AT w c w0
s.t.
例：写出下列LP问题的对偶问题
min 8 x1 16 x2 12 x3 2 x1 4 x2 s.t. 2 x1 4 x3 3 x1 , x2 , x3 0
线性规划的对偶问题为：
max wT b1 vT b2 s.t. wT A1 vT A2 c w0
求下列非线性规划问题的对偶问题:
2 min x12 x2 s.t. x1 x2 4 0 x1 , x2 0
解：把变量的非负限制作为集约束，即 x1 x D x1 0, x2 0 , x2
( w, v) inf f ( x) wT g ( x) vT h( x) | x D f ( x) wT g ( x) vT h( x) f ( x).
推论1: 对于原问题和对偶问题 ，必有 inf f ( x) | g ( x) 0, h( x) 0, x D sup (w, v) | w 0. 1,, m h j ( x) 0, j 1,, l xD
集约束
(1)
定义(1)的对偶问题:
max ( w, v) s.t. w 0
(2)
max ( w, v) s.t. w 0
m l 其中 ( w, v) inf f ( x) wi gi ( x) v j h j ( x) x D i 1 j 1
最优化方法与理论第四章 例题
解 Lagrange 函数为
x1 x2 5.
x1 x2 5 0
L( x1 , x2 , ) ( x1 2) 2 ( x2 1) 2 ( x1 x2 5) ，
令 L( x1 , x2 , ) 0 ，即
2( x1 2) 0, 2( x2 1) 0, x x 5 0. 2 1
T
定理 4.5(几何最优性条件)
若 x * 是约束问题（4.7）的局部最优点，则点 x * 的容
许方向锥与下降方向锥的交集是空集.
定理 4.5 表明：在最优点处，一定不存在下降容许方向.换句话说，在最优点处，或 者不存在下降方向，或者任何下降方向都不是容许方向.
定理 4.5 表明：不等式方程组
T ) p 0, i I si ( x T f ( x ) p 0
无解.
引理 4.8（Gordan） 设 a1 , a2 ,, am 是 n 维向量，则不存在向量 p 使得
aiT p 0, i 1, 2,, m
成立的必要条件是，存在不全为零的非负数 1 , 2 ,, m 使得
T
(2)K-T 条件为
2( x1 2) 2 x1 0 , 2 x2 0 2( x2 1) 2 2 (9 x1 x2 ) 0, 0.
① ② ③
由③，若 0 ，代入①得 x1 2, x2 1 .由于[2,1]T∈D，所以[2,1]T 是 K-T 点.又 因是凸规划问题，所以[2,1]T 是最优解.
x1 x2 5.
x1 x2 5 0
L( x1 , x2 , ) ( x1 2) 2 ( x2 1) 2 ( x1 x2 5) ，
令 L( x1 , x2 , ) 0 ，即
2( x1 2) 0, 2( x2 1) 0, x x 5 0. 2 1
T
定理 4.5(几何最优性条件)
若 x * 是约束问题（4.7）的局部最优点，则点 x * 的容
许方向锥与下降方向锥的交集是空集.
定理 4.5 表明：在最优点处，一定不存在下降容许方向.换句话说，在最优点处，或 者不存在下降方向，或者任何下降方向都不是容许方向.
定理 4.5 表明：不等式方程组
T ) p 0, i I si ( x T f ( x ) p 0
无解.
引理 4.8（Gordan） 设 a1 , a2 ,, am 是 n 维向量，则不存在向量 p 使得
aiT p 0, i 1, 2,, m
成立的必要条件是，存在不全为零的非负数 1 , 2 ,, m 使得
T
(2)K-T 条件为
2( x1 2) 2 x1 0 , 2 x2 0 2( x2 1) 2 2 (9 x1 x2 ) 0, 0.
① ② ③
由③，若 0 ，代入①得 x1 2, x2 1 .由于[2,1]T∈D，所以[2,1]T 是 K-T 点.又 因是凸规划问题，所以[2,1]T 是最优解.
最优化计算方法(工程优化)第4章
f (x*) 0, 2 f x 正定，则 x 为 f (x) 的严格局部极小
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
04最优化方法
zk 1 z * zk 二次收敛”，这与二阶收敛没有必 然联系。所谓二次收敛即一个算法有用于具有正定距 阵的 二次函数时在有限步可以获得它的极小点。 但二次函数的算法往往具有超线形以上的收敛速度， 是一个比较好的算法。
§第一章结束§
第二章 直线搜索
本章将论证以下四种直线搜索方法： (t )的一阶导数连续宾可以求 （1）对分法：适用于 出的情况。 (t ) 的一阶导数和二阶 （2）Newton切线法：适用于 导数都可求出的情况。 （3）黄金分割法：适用于一般的函数。 （4）抛物线插值法：适用于一般的连续函数。
(5) 判定Zk+1是否满足给定的终止准则，若满足，则打 印Zk+1和f ( zk 1 ) ，终止迭代。否则令k:=k+1,转（2）。
二，迭代算法中直线搜索及其性质： 当选择好了搜索方向后，选择步长因子的方法有 多种。而实际计算中最常用的方法是直线搜索（又称 一维搜索），即选取tk使：
f ( zk tk pk ) min f ( zk tpk ).
三，收敛速度；
构造一个算法，首先必须要求能够收敛于原问题 的解，另一方面还必须要求收敛于原问题解的速度较 快，这才是比较理想的 。 收敛速度的快慢用收敛的阶俩衡量。
定义1：对收敛于解 z* R的序列
zk ，若存在一个
与k无关的数 (0,1) ， 当k k0 (k0为某一整数）时有 则称序列zk 是线形（或一阶）收敛的。 定义2：对收敛于解z*的序列zk ，若存在一个与k无 关的 数β>0和α>1，当 k k 0时， z k 1 z * z k z * 则zk 的收敛阶为α或α阶收敛。当α=2时称为二阶收 敛，当0<α<1称为超线形收敛。一般说来，线形收敛速 度较慢，二阶收敛速度很快，超线形收敛居中。如果 一个算法具有超线形以上的收敛速度，则为一个
最优化方法
最优化方法
任课教师：赵俊锋
联系方式：zhaojf@
办公地点：勇字楼506
教材及主要参考书目
●实用最优化方法(第三版)，唐焕文，秦学志
●应用最优化方法及MATLAB实现，刘兴高，胡云卿●最优化理论与方法，袁亚湘，孙文瑜
●非线性规划(第2版)，宋士吉等译
●最优化计算方法，陈开周编
答疑安排
考核方式
学科总成绩
平时成绩
（30％）
课堂考勤（40％）平时作业
（30％）
课堂表现
（30％）
期末成绩
（70％）
课堂讨论
编程计算
闭卷考试
具体内容
●第一章绪论
●第二章无约束最优化方法●第三章约束最优化方法●第四章人工智能优化算法●第五章多目标优化算法
一
绪论最优化问题模型及分类最优化问题举例
课程简介二三四最优化问题数学基础。
第4章最优化方法运筹学
回收的本利金相等)
x31 + x32+ x33 = 1.1x21+ 1.25x12 x41 + x42 = 1.1x31+ 1.25x22 x51 = 1.1x41+ 1.25x32 xi2 ≤ 30 ( i =1、2、3、4 ) x33 ≤ 80 x24 ≤ 100 xij ≥ 0 ( i = 1、2、3、4、5；j = 1、2、3、4）
设备 原料 A 原料 B 单位产品获利
Ⅰ
1 2 0 50 元
Ⅱ
1 1 1 100 元
资源限制
300 台时 400 千克 250 千克
问题：工厂应分别生产多少单位Ⅰ、Ⅱ产品才能 使工厂获利最多？
第一节 线性规划
一、在管理中一些典型的线性规划应用 二、线性规划的一般模型
三、线性规划问题的计算机求解 （Excel，lingo）
x1,x2,x3,x4 ≥ 0
例题分析5：投资问题
例5 某部门现有资金200万元，今后五年内考虑给以下的项目 投资。已知：
项目A：从第一年到第五年每年年初都可投资，当年末能收回 本利110%；
项目B：从第一年到第四年每年年初都可投资，次年末能收回 本利125%，但规定每年最大投资额不能超过30万元；
B(j=2)、C(j=3)、D(j=4)项目的金额。这样我们建立如下的
决策变量：
1
2345
A x11 x21 x31 x41 x51
B x12 x22 x32 x42
C
x33
Байду номын сангаасD
x24
例题分析5：投资问题
Max z = 1.1x51+ 1.25x42+ 1.4x33 + 1.55x24 s.t. x11+ x12 = 200 x21 + x22+ x24 = 1.1x11(第二年的投资与第一年投资
x31 + x32+ x33 = 1.1x21+ 1.25x12 x41 + x42 = 1.1x31+ 1.25x22 x51 = 1.1x41+ 1.25x32 xi2 ≤ 30 ( i =1、2、3、4 ) x33 ≤ 80 x24 ≤ 100 xij ≥ 0 ( i = 1、2、3、4、5；j = 1、2、3、4）
设备 原料 A 原料 B 单位产品获利
Ⅰ
1 2 0 50 元
Ⅱ
1 1 1 100 元
资源限制
300 台时 400 千克 250 千克
问题：工厂应分别生产多少单位Ⅰ、Ⅱ产品才能 使工厂获利最多？
第一节 线性规划
一、在管理中一些典型的线性规划应用 二、线性规划的一般模型
三、线性规划问题的计算机求解 （Excel，lingo）
x1,x2,x3,x4 ≥ 0
例题分析5：投资问题
例5 某部门现有资金200万元，今后五年内考虑给以下的项目 投资。已知：
项目A：从第一年到第五年每年年初都可投资，当年末能收回 本利110%；
项目B：从第一年到第四年每年年初都可投资，次年末能收回 本利125%，但规定每年最大投资额不能超过30万元；
B(j=2)、C(j=3)、D(j=4)项目的金额。这样我们建立如下的
决策变量：
1
2345
A x11 x21 x31 x41 x51
B x12 x22 x32 x42
C
x33
Байду номын сангаасD
x24
例题分析5：投资问题
Max z = 1.1x51+ 1.25x42+ 1.4x33 + 1.55x24 s.t. x11+ x12 = 200 x21 + x22+ x24 = 1.1x11(第二年的投资与第一年投资
最优化方法(刘)第四章
阻尼牛顿法收敛定理
定理2: 设 f ( x) 二阶连续可微， 又设对任意的x0 ∈Rn , 存在常数m > 0, 使得 f ( x) 在 L ={x f (x) ≤ f (x0 )} 2 T 2 上满足： ∇ f ( x)µ ≥ m µ ,∀ ∈Rn , x∈L( x0 ) µ µ 则在精确线搜索条件下， 阻尼牛顿法产生的点列 {xk } 满足： (1) 当{xk } 是有限点列时， 其最后一个点为 f ( x) 的唯一极小点． (2)当{xk } 是无限点列时， 收敛到 f (x) 的唯一极小点．
) x0 = (9,1
T
g0 = ∇ ( x0 ) = (9,9) f
T
T 7.2 7.2 g0 g0 x = x0 − T g0 = 1 −0.8 g1 = −7.2 g0 G 0 g T 9×0.82 g1 g1 x2 = x − T g1 = 1 2 (−1 ×0.82 g1 G 1 g )
9 1 0 x = x0 −G g0 = − 1 1 0 9
1 − 0 −1
9 0 = = x* 9 0
牛顿法收敛定理
定理1: 设 f ( x) 二次连续可微， *是 f ( x) 的局 x 部极小点， f (x* ) 正定． 假定 f ( x) 的海色阵 ∇
gk →0 .
证明： 对于最速下降法， k = 0, 由以上定理立得． θ
收敛性分析
定理2: 设 f ( x) 二次连续可微， ∇2 f ( x) ≤ M, 且 其中 M是个正常数， 对任何给定的初始点 x0, 最速下降算法或有限终止， 或者lim f ( xk ) = −∞ ,
k→ ∞
第四章约束问题的最优化方法
迭代，产生的极值点 xk*(r(k))
4
序列从可行域外部趋向原目标
函数的约束最优点 x* 。
外点法可以用来求解含不等式和等式约束的优化问题。
二. 惩罚函数的形式：
m
l
( x, r) f ( x) r max[0, gi ( x)]2 r [hj ( x)]2
i1
j1
• 惩罚因子rk 是递增的，rk1 a rk ，a为递增系数，a 1
惩罚项：当迭代点在非可行域或不满足不等式约束条件时，在迭 代过程之中迫使迭代点逼近约束边界或等式约束曲面。
加权因子（即惩罚因子）： r1 , r2
无约束优化问题：min . (x, r1, r2 )
Φ函数的极小点序列 x (k)* ( r1 (k) , r2 (k) ) k= 0,1,2…
其收敛必须满足：
这种方法是1968年由美国学者A．V．Fiacco和 G．P．Mcormick提出的，把不等式约束引入数学模型中，为求多 维有约束非线性规划问题开创了一个新局面。
适用范围：求解等式约束优化问题和一般约束优化问题。
§4.2 内点惩罚函数法（障碍函数法）
一. 基本思想： 内点法将新目标函数 Φ( x , r ) 构筑在可行域 D 内，随着惩罚
六. 举例：盖板问题
设计一个箱形截面的盖板。 已知：长度 l0= 600cm，宽度 b = 60cm， h 侧板厚度 ts = 0.5cm，翼板厚度为 tf(cm)，高 度为 h(cm)，承受最大的单位载荷 q = 0.01Mpa。
tf ts
b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
f (x) r1G[gu (x)] r2 H[hv (x)]
最优化方法第四章(1)
以下几个概念是讨论的基础。
v
v
某 称个为不是定等关义式 于4.1约容对束许于有点约sxv%i束(的xv%问)起题作0（，用4则约.7该）束不，；v等设否式则x%约，束D若。ssi若i((xv%xv%x)%)使0得0，
则该不等式约束称为是关于容许点 x%的不起作用约束。
例如，
不等式约束关于容许集的任意内点都是不起作用约束。
) 时，对于所有的 。根据定义4.3，即
i
，
记
G(
v G(x%)
{ pv
v
v
x%) C(x%)
si
。
(
v x%)T
pv 0,
i I} ，则依引理4.3可知，
v
是方s两i (不 向部xv)起向分由作量，这0用。，梯个约 换变度引束 句成理， 话起看si则 说作(到xv%)，用一pv总约约个是束束事s指曲，实i (向面x且v%，)包若s就i含(sxv是ix%()容仅xv%点)许使0集x把v%0v某的整个，的那个约而一一空束其个侧间，它容。分例约许成如束
由点 xv 的所有下降方向向量构成的集合称为点 xv 的
下降方向锥。 定理4.4 设
f
: Rn
R1 在点
xv 处可微，则点
xv 的
下降方向向量 pv 必满足
f (xv)T pv 0
记 既是点
xvS(
xv) {pv f (xv)T pv 0}
的下降方向锥。显然
，则定理4.4表明， S ( xv)
在第2章和第1章中，已经分别讨论过线性规划问题和 无约束问题的最优性条件。定理2.9是线性规划问题的最 优性充分条件。定理1.15、定理1.17和定理1.18以及推论 1.16分别是无约束问题的最优性必要条件、充分条件以及 充分且必要条件。本节主要讨论一般约束问题的最优性条 件。我们将先从仅含等式约束或不等式约束的问题入手， 然后自然过渡到一般约束问题。
最优化理论与算法(第四章)
第四章 共轭梯度法§ 共轭方向法共轭方向法是无约束最优化问题的一类重要算法。
它一方面克服了最速下降法中，迭代点列呈锯齿形前进，收敛慢的缺点，同时又不像牛顿法中计算牛顿方向花费大量的工作量，尤其是共轭方向法具有所谓二次收敛性质，即当将其用于二次函数时，具有有限终止性质。
一、共轭方向概念 设G 是n n ⨯对称正定矩阵，1d ，2d 是n 维非零向量，假设120T d Gd = （）那么称1d ，2d 是G －共轭的。
类似地，设1,,m d d 是n R 中一组非零向量。
假设0T i j d Gd =()i j ≠ （）那么称向量组1,,m d d 是G －共轭的。
注：(1) 当G I =时，共轭性就变成正交性，故共轭是正交概念的推行。
(2) 若1,,m d d G －共轭，那么它们必线性无关。
二、共轭方向法共轭方向法确实是依照一组彼此共轭方向依次搜索。
模式算法：1）给出初始点0x ，计算00()g g x =，计算0d ，使000Td g <，:0k = （初始共轭方向）； 2）计算k α和1k x +，使得0()min ()k k k k k f x d f x d ααα≥+=+，令1k k k k x x d α+=+；3）计算1k d +，使10Tk j d Gd +=，0,1,,j k =，令:1k k =+，转2）。
三、共轭方向法的大体定理共轭方向法最重要的性质确实是：当算法用于正定二次函数时，能够在有限多次迭代后终止，取得最优解（固然要执行精准一维搜索）。
定理 关于正定二次函数，共轭方向法最多通过n 步精准搜索终止；且对每一个1i x +，都是()f x 在线性流形00,i j j j j x x x d αα=⎧⎫⎪⎪=+∀⎨⎬⎪⎪⎩⎭∑中的极小点。
证明：首先证明对所有的1i n ≤-，都有10T i j g d +=，0,1,,j i =（即每一个迭代点处的梯度与以前的搜索方向均正交）事实上，由于目标函数是二次函数，因此有()11k k k k k k g g G x x Gd α++-=-=1）当j i <时， ()1111iTTT i j j j k k j k j g d gd g g d +++=+=+-∑110iT T j j kkj k j gd dGd α+=+=+=∑2）当j i =时，由精准搜索性质知：10T i j g d +=综上所述，有 10T i j g d += (0,1,,)j i =。
天津大学《最优化方法》复习题(含答案)
天津大学《最优化方法》复习题(含答案)天津大学《最优化方法》复习题（含答案）第一章 概述(包括凸规划)一、 判断与填空题1 )].([arg )(arg m in m axx f x f nnRx Rx -=∈∈ √2 {}{}.:)(min :)(max nnR D x x f R D x x f ⊆∈-=⊆∈ ⨯3 设.:R R D f n →⊆ 若nR x∈*，对于一切nR x ∈恒有)()(x f x f ≤*，则称*x 为最优化问题)(minx f Dx ∈的全局最优解. ⨯4 设.:R RD f n→⊆ 若Dx∈*，存在*x 的某邻域)(*x N ε，使得对一切)(*∈x N x ε恒有)()(x f x f <*，则称*x 为最优化问题)(minx f Dx ∈的严格局部最优解. ⨯5 给定一个最优化问题，那么它的最优值是一个定值. √6 非空集合nR D ⊆为凸集当且仅当D 中任意两点连线段上任一点属于D . √7 非空集合nR D ⊆为凸集当且仅当D 中任意有限个点的凸组合仍属于D . √8 任意两个凸集的并集为凸集. ⨯ 9 函数RR D f n→⊆:为凸集D 上的凸函数当且仅当f -为D 上的凹函数. √10 设RRD f n→⊆:为凸集D 上的可微凸函数，Dx ∈*.则对D x ∈∀，有).()()()(***-∇≤-x x x f x f x f T⨯ 11 若)(x c 是凹函数，则}0)( {≥∈=x c R x D n是凸集。
√12 设{}kx 为由求解)(minx f Dx ∈的算法A 产生的迭代序列，假设算法A 为下降算法，则对{},2,1,0∈∀k ，恒有)()(1kk x f x f ≤+ .13 算法迭代时的终止准则（写出三种）：_____________________________________。
14 凸规划的全体极小点组成的集合是凸集。
1 (LP)的解集是凸的. √2 对于标准型的(LP)，设{}k x 由单纯形算法产生，则对{} ,2,1,0∈k ，有.1+>k T k T x c x c ×3 若*x 为(LP)的最优解，*y 为(DP)的可行解，则.**y b x c T T ≥ √4 设0x 是线性规划(LP)对应的基),,(1m P P B =的基可行解，与基变量m x x ,,1 对应的规范式中，若存在0<k σ，则线性规划(LP)没有最优解。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例题分析2： 例题分析 ：食谱问题
已知某人每周所需的营养成分、 例1 已知某人每周所需的营养成分、所食用的食品及 单位食品所含营养如下表所示： 单位食品所含营养如下表所示：
营养成分 蛋白质 某维生素 某矿物质 单价（ 单价（元） 大米 a11 a21 a31 c1 白菜 a12 a22 a32 c2 鸡蛋 a13 a23 a33 c3 猪肉 a14 a24 a34 c4 营养成分的需要量（ 营养成分的需要量（周） b1 b2 b3 —
例题分析3： 例题分析 ：人力资源分配问题
例2．某昼夜服务的公交线路每天各时间段内所需司机和乘务 人员数如下： 人员数如下：
班次 1 2 3 4 5 6 时间 6：00 —— 10：00 ： ： 10：00 —— 14：00 ： ： 14：00 —— 18：00 ： ： 18：00 —— 22：00 ： ： 22：00 —— 2：00 ： ： 2：00 —— 6：00 ： ： 所需人数 60 70 60 50 20 30
第一节 线性规划
二、线性规划的一般模型 线性规划的组成： （一）线性规划的组成： 目标函数 Max F 或 Min F 约束条件 s.t. (subject to) 满足于 决策变量 用符号来表示可控制的因素
第一节 线性规划
（二）建模过程 1.理解要解决的问题，了解解题的目标和条件； 理解要解决的问题，了解解题的目标和条件； 理解要解决的问题 2.定义决策变量（ x1 ，x2 ，… ，xn ），每一组值表 定义决策变量（ ），每一组值表 定义决策变量 示一个方案； 示一个方案； 3.用决策变量的线性函数形式写出目标函数，确定最 用决策变量的线性函数形式写出目标函数， 用决策变量的线性函数形式写出目标函数 大化或最小化目标； 大化或最小化目标； 4.用一组决策变量的等式或不等式表示解决问题过程 用一组决策变量的等式或不等式表示解决问题过程 中必须遵循的约束条件
第一节 线性规划
三、线性规划问题的计算机求解
软件使用演示：（演示例1 软件使用演示：（演示例1） ：（演示例 第一步：点击“开始” >“程序” “管理运筹学2.0”， 管理运筹学2.0” 第一步：点击“开始”->“程序”-> “管理运筹学2.0”，弹 程序 出主窗口。 出主窗口。 第二步：选择所需子模块，点击主窗口中的相应按钮。本题中 第二步：选择所需子模块，点击主窗口中的相应按钮。 选用“线性规划”方法。 选用“线性规划”方法。 第三步：点击“新建”按钮，输入数据。本题中共有2个变量 个变量， 第三步：点击“新建”按钮，输入数据。本题中共有 个变量， 4个约束条件，目标函数取 个约束条件， 个约束条件 目标函数取MAX。点击“确定”后，在表中 。点击“确定” 输入C 等值，并确定变量的正负约束。 输入 j,bi和aij等值，并确定变量的正负约束。 第四步：点击“解决”按钮，得出计算结果。 第四步：点击“解决”按钮，得出计算结果。
例题分析4： 例题分析 ：合理下料问题
分别为上面4种方案下料的原材 设 x1,x2,x3,x4 分别为上面 种方案下料的原材 料根数。这样我们建立如下的数学模型。 料根数。这样我们建立如下的数学模型。 Min f = x1 + x2 + x3 + x4 s.t. 3x1 + 2x2 + x3 ≥ 100 2x2 + 4x3 + 6x4 ≥ 200 x1,x2,x3,x4 ≥ 0
Ⅰ
设备 原料 A 原料 B 单位产品获利 1 2 0 50 元
Ⅱ
1 1 1 100 元
资源限制 300 台时 400 千克 250 千克
问题：工厂应分别生产多少单位Ⅰ 问题：工厂应分别生产多少单位Ⅰ、Ⅱ产品才能 使工厂获利最多？ 使工厂获利最多？
第一节 线性规划
一、在管理中一些典型的线性规划应用 二、线性规划的一般模型
Ⅱ
1 1千克 250 千克
问：工厂应分别生产多少单位Ⅰ、Ⅱ产品才能使工 工厂应分别生产多少单位Ⅰ 厂获利最多？ 厂获利最多？
例题分析1： 例题分析 ：生产计划问题
单位， 解：工厂应分别生产Ⅰ、Ⅱ产品x1、x2单位， 工厂应分别生产Ⅰ 产品 则所求的线性规划模型为： 则所求的线性规划模型为： Max z = 50 x1 + 100 x2 s.t. x1 + x2 ≤ 300 2 x1 + x2 ≤ 400 x2 ≤ 250 x1 , x2 ≥ 0
例题分析1： 例题分析 ：生产计划问题
某工厂在计划期内要安排Ⅰ 例1. 某工厂在计划期内要安排Ⅰ、Ⅱ两种产品的 生产，已知生产单位产品所需的设备台时及A、 生产，已知生产单位产品所需的设备台时及 、B 两种原材料的消耗、资源的限制，如下表： 两种原材料的消耗、资源的限制，如下表：
Ⅰ
设备 原料 A 原料 B 单位产品获利 1 2 0 50 元
例题分析5： 例题分析 ：投资问题
Max z = 1.1x51+ 1.25x42+ 1.4x33 + 1.55x24 s.t. x11+ x12 = 200 x21 + x22+ x24 = 1.1x11 x31 + x32+ x33 = 1.1x21+ 1.25x12 x41 + x42 = 1.1x31+ 1.25x22 x51 = 1.1x41+ 1.25x32 xi2 ≤ 30 ( i =1、2、3、4 ) =1、 x33 ≤ 80 x24 ≤ 100 xij ≥ 0 ( i = 1、2、3、4、5；j = 1、2、3、4） 1、 1、
三、线性规划问题的计算机求解
第一节 线性规划
一、在管理中一些典型的线性规划应用 合理利用线材问题：如何在保证生产的条件下， 1、合理利用线材问题：如何在保证生产的条件下， 下料最少 配料问题： 2、配料问题：在原料供应量的限制下如何获取最大 利润 投资问题：从投资项目中选取方案， 3、投资问题：从投资项目中选取方案，使投资回报 最大 产品生产计划：合理利用人力、物力、财力等， 4、产品生产计划：合理利用人力、物力、财力等， 使获利最大 5、劳动力安排：用最少的劳动力来满足工作的需要 劳动力安排： 运输问题：如何制定调运方案， 6、运输问题：如何制定调运方案，使总运费最小
问这个人每周应食用大米、白菜、 问这个人每周应食用大米、白菜、鸡蛋和猪肉各多 能使生活费用最省？ 少，能使生活费用最省？
例题分析2： 例题分析 ：食谱问题
解：设这个人每周应食用大米、白菜、鸡蛋、 设这个人每周应食用大米、白菜、鸡蛋、 猪肉各为x 猪肉各为 1、x2、x3、x4，则所求的线性规 划模型为： 划模型为： minZ = c1x1+c2x2+c3x3+c4x4 s.t. a11x1+a12x2 +a13x3+a14x4≥b1 a21x1+a22x2+a23x3+a24x4 ≥b2 a31x1+a32x2+a33x3+a34x4 ≥b3 x1,x2,x3,x4 ≥0
例题分析5： 例题分析 ：投资问题
某部门现有资金200万元， 200万元 例5 某部门现有资金200万元，今后五年内考虑给以下的项目 投资。已知： 投资。已知： 项目A 从第一年到第五年每年年初都可投资， 项目A：从第一年到第五年每年年初都可投资，当年末能收回 本利110% 110%； 本利110%； 项目B 从第一年到第四年每年年初都可投资， 项目B：从第一年到第四年每年年初都可投资，次年末能收回 本利125% 但规定每年最大投资额不能超过30万元； 125%， 30万元 本利125%，但规定每年最大投资额不能超过30万元； 项目C 需在第三年年初投资，第五年末能收回本利140% 140%， 项目C：需在第三年年初投资，第五年末能收回本利140%，但 规定最大投资额不能超过80万元； 80万元 规定最大投资额不能超过80万元； 项目D 需在第二年年初投资，第五年末能收回本利155% 155%， 项目D：需在第二年年初投资，第五年末能收回本利155%，但 规定最大投资额不能超过100万元。 100万元 规定最大投资额不能超过100万元。 问应如何确定这些项目的每年投资额， 问应如何确定这些项目的每年投资额，使得第五年年末拥 有资金的本利金额为最大？ 有资金的本利金额为最大？
第四章 最优化方法
第一节 线性规划 第二节 运输问题和指派问题 第三节 动态规划
案例： 案例：生产计划问题
某工厂在计划期内要安排Ⅰ 例1. 某工厂在计划期内要安排Ⅰ、Ⅱ两种产品的 生产，已知生产单位产品所需的设备台时及A、 生产，已知生产单位产品所需的设备台时及 、B 两种原材料的消耗、资源的限制，如下表： 两种原材料的消耗、资源的限制，如下表：
表示从第i 解：设 xi 表示从第i班次开始上班的司机和乘务人员数 (i=1,2,3,4,5,6),这样我们建立如下的数学模型。 (i=1,2,3,4,5,6),这样我们建立如下的数学模型。 这样我们建立如下的数学模型 Min Z = x1 + x2 + x3 + x4 + x5 + x6 s.t.
x1 + x6 ≥ 60 x1 + x2 ≥ 70 x2 + x3 ≥ 60 x3 + x4 ≥ 50 x4 + x5 ≥ 20 x5 + x6 ≥ 30 x1 ,x2 ,x3 ,x4 ,x5 ,x6 ≥ 0
例题分析4： 例题分析 ：合理下料问题
假定现有一批某种型号的圆钢长8米 需要裁取长2.5 例4 假定现有一批某种型号的圆钢长 米，需要裁取长 米的毛坯100根、长1.3米的毛坯 米的毛坯200根，问应该怎样选择 米的毛坯 根 米的毛坯 根 下料方式才能既满足需要，又使总的用料最省？ 下料方式才能既满足需要，又使总的用料最省？ 各种可能的裁剪方案如下表所示： 解：各种可能的裁剪方案如下表所示： 方案1 方案2 方案3 方案4 型号 方案 方案 方案 方案 3 2 1 0 2.5米 米 0 2 4 6 1.3米 米 0.4 0.3 0.2 余料(米 余料 米) 0.5 需要根数 100 200 —