优化设计3——惩罚函数法
惩罚函数法
k k 1
r k 1 cr k
否
X 0 X *(rk )
开始
输入 X 0、r0、c、
k←0
求 min(X , rk )
满足收敛条件？ 是
X * X *(rk ) f ( X *) f X *(rk )
结束
3.外点惩罚函数法
求解策略
外点惩罚函数法简称外点法。这种方法和内点相反，
3.外点惩罚函数法
外点法程序框图：
Yes
X * X *(rk )
Yes
f ( X *) f X *(rk )
结束
开始
输入 X 0, r0, c,1,2
k 0
求 min ( X , rk ) 得X *(rk )
Q max g j ( X *(rk ))
Q 1 ?
No
X * (r k ) X * (r k1) 2
(X , r) f (X ) rmax 0, g j (X ) rhk (X )
j 1
k 1
式中：r为惩罚因子，它是由小到大，且趋近于∞的数列
3.外点惩罚函数法
l
2m
2
即 r0＜r1＜r2＜··· ,hk (X ) 、max 0, g j (X )分别对
应为对应于不等式约束和等k式1 约束函数j1的惩罚项， 其中
当 r , lim(1 1 ) 1。
r 4r
当逐步增大r值，直至趋近于无穷时，逼近原问题的约束最优
解，当r=0.25,0.5,1,2时，惩罚函数 (X , r) 的等值线图
下如
3.外点惩罚函数法
当r逐渐增大时，极值
点 X *(r)的序列将沿一直线轨 迹 ( X *(r), r) 1 X *(r) 在可 行域外逐步逼近2 最优2 点。
最优化方法 第三章(罚函数法)
这种惩罚策略，对于在无约束的求解过程中企图违反约
束的迭代点给予很大的目标函数值，迫使无约束问题的 极小点或者无限地向可行域D靠近，或者一直保持在可 行域D内移动，直到收敛到原来约束最优化问题的极小 点。
不改变可行域局部极小值，可以将 约束域之外的局部极小值变大。
p ( x) 0, x D p ( x) 0, x D
k k
k 1
k 1
xk 1是F x, M k 1 的最优解.
k 1 k k 1 k 0 M k 1 M k p ( x ) p ( x ) p ( x ) p ( x )
M k 1 M k
(3) f ( x k 1 ) M k p( x k 1 ) F ( x k 1 , M k ) F ( x k , M k ) f ( x k ) M k p( x k )
gi ( x) gi ( x) max gi ( x), 0 = 罚函数p(x)的构造 2 m l p( x) (max gi ( x), 0) 2 h 2 j ( x)
i 1 j 1
(1) p(x)连续 (2) p( x) 0, x D (3) p( x) 0, x D
二、外点法 外点罚函数法算法步骤 1：给定初始点 x 0 ，初始罚因子M1 0 (可取M1 1 ), 精度 0, k : 1. 2：以 x k 1初始点，求解无约束优化问题
min F ( x, M k ) f ( x) M k p( x)
得到极小点 x* ( M k )，记为 x k ， 其中
p( x) (max gi ( x), 0) h 2 j ( x)
2 i 1 j 1 m l
优化设计3——惩罚函数法
罚函数的求解过程是： 定义G[gi(X)]和H[hj(X)]的形式， 选择罚因子的序列r1(k)和r2(k)，每调整一次罚因子的值， 即对罚函数P作一次无约束优化，可得一个无约束最优解； 随着罚因子的不断调整，无约束最优解不断逼近有约束最 优解。 这是一种序列求优过程，故罚函数又称为“序列无约 束极小化方法”（Sequential Unconstrained Minization Technique），简称为SUMT法。
为了便于在计算机上利用直接寻优方法进行迭代计算，一 般引入函数
L 2 p Z ( ) [h j ( X )]2 i 1 xi j 1
n
然后对Z函数求极小值，即可求得原问题的最优解。
2015-4-29
19
对于不等式约束优化问题，可设法引入松弛变量，使不等式 变成等式，即可按等式约束优化问题求解。 例如：对于下面不等式约束条件 g(X)=ax1+bx2+c ≥0
2015-4-29
10
（7）终止判别：反复执行上述过程中，随着反射系数α
的不断减半，复合形逐渐向最优点收缩，复合形越来越小， 直到满足 k 1 2 1 { [ f ( X i ) f ( X c ] } 2 1 (a) k i 1
时，迭代结束。此时复合形中目标函数值最小的顶点 （或用X(C0)点）即为最优解。式中XC 为复合形所有顶点的 点集中心，即 k
2015-4-29
28
除上式外，常用的内点罚函数形式还有：
P( X , r ( k ) ) f ( X ) r ( k ) ln[ gi ( X )] P( X , r
(k ) m
) f (X ) r
惩罚函数法
惩罚函数法
惩罚函数法（penalty function method）是一种优化方法。
它的基本思想是，将原始问题转换为一个新的目标函数，在此基础上，通过对不等式、二次限制条件等加入惩罚项，使得原问题转化为无约束优化问题，从而可以采用常见的求解方法，如牛顿法、拉格朗日乘子法或者梯度下降法等。
该方法的具体步骤如下：
(1) 将原有的约束条件作为等式或不等式表示；
(2) 将约束条件中的不等式转换为等式，并将其和原有的等式组合在一起，形成新的约束条件；
(3) 将原有的目标函数和约束条件组合在一起，形成新的目标函数；
(4) 将新的目标函数中的不等式约束条件添加惩罚项，并且形成一个新的无约束优化问题；
(5) 用一种方法求解这个新的无约束优化问题，获得最优解。
惩罚函数法简介
惩罚函数法简介罚函数法它将有约束最优化问题转化为求解无约束最优化问题：其中M为足够大的正数，起"惩罚"作用，称之为罚因子，F(x,M)称为罚函数。
定理对于某个确定的正数M,若罚函数F(x,M)的最优解x*满足有约束最优化问题的约束条件，则x*是该问题的最优解。
序列无约束最小化方法罚函数法在理论上是可行的，在实际计算中的缺点是罚因子M的取值难于把握，太小起不到惩罚作用；太大则由于误差的影响会导致错误。
改进这些缺点，可根据上述定理加以改进，先取较小的正数M，求出F(x,M)的最优解x*。
当x*不满足有约束最优化问题的约束条件时，放大M(例如乘以10)重复进行，直到x*满足有约束最优化问题的约束条件时为止。
种类传统的罚函数法一般分为外部罚函数法和内部罚函数法。
外部罚函数法是从非可行解出发逐渐移动到可行区域的方法。
内部罚函数法也称为障碍罚函数法，这种方法是在可行域内部进行搜索，约束边界起到类似围墙的作用，如果当前解远离约束边界时，则罚函数值是非常小的，否则罚函数值接近无穷大的方法。
由于进化计算中通常采用外部罚函数法，因此本文主要介绍外部罚函数法。
在进化计算中，研究者选择外部罚函数法的原因主要是该方法不需要提供初始可行解。
需要提供初始可行解则是内部罚函数法的主要缺点。
由于进化算法应用到实际问题中可能存在搜索可行解就是NP难问题，因此这个缺点是非常致命的。
外部罚函数的一般形式为B(x)=f(x)+[∑riGi+∑cjHj]其中B(x)是优化过程中新的目标函数，Gi和Hj分别是约束条件gi(x)和hj(x)的函数，ri和cj是常数，称为罚因子。
Gi和Hj最常见的形式是Gi=max[0,gi(x)]aHj=|hj(x)|b其中a和b一般是1或者2。
理想的情况下，罚因子应该尽量小，但是如果罚因子低于最小值时可能会产生非可行解是最优解的情况（称为最小罚因子规则）。
这是由于如果罚因子过大或者过小都会对进化算法求解问题产生困难。
机械优化设计第五节约束优化-惩罚函数法3-5
外点法求解时，惩罚函数的形式为：
(k ) ( x, r ) f ( x) r max 0, gu ( x) r hv ( x) u 1 v 1
(k ) (k ) m p 2 2
k 1, 2
r
(1) ( 2)
(k )
内点法对企图从内部穿越可行域的点施以惩 g x 0 时，则障碍项的 罚。设计点离边界越近 值急剧增大,并趋向无穷大,于是惩罚越大,于是惩 罚函数 ( x r ( k ) )亦随之急剧增大至无穷大.
u
就好像在可行域的边界上设置很高的障 碍，从而保障迭代点一直在可行域内而又趋向 于约束最优点。当 k r ( k ) 0时，才能求得 原约束问题的最优解。 参数的选取和确定：
(0)
（2）初始惩罚因子 r
(0)
的选择
) . 初始惩罚因子 r ( 0的选择对于计算效率影响很大
若r x, 项）的作用就会很小，
x, r ( k )
( 0 ) 值得太小，则在惩罚函数中障碍项（惩罚
r
(k )
f ( x)
这时求惩罚函数 的无约束极值点。 犹如求原目标函数 f ( x)本身的无约束极值点而 这个极值点 x又不大可能接近 f ( x) 的约束极值点,
D.收敛条件： 同时满足:(1)相邻两次惩罚函数值相对变化 足够小； (2)相邻两次惩罚函数无约束最优 点的距离足够小。
(k ) x r
* (k ) ( k 1) ( k 1) , r x r , r 1 * ( k 1) ( k 1) x r , r
0422 罚函数法
Page 17
所以
1 r x r r
令 r 0 有：
x( r ) x 1, 0
*
T
则最优解及最优值分别为：
x 1, 0
* T
8 , f . 3
*
3. 算法实现
Page 18
Step1: 给出 x 0 R n (要求是可行点)， 0 104 罚因子 r1 r1 10 , 缩小系数 c 0.1 , 令 k 1. Step2: 以 x k 1 为初始点求无约束问题：
2 2 min f x x1 x2
Page 7
s.t
解：作辅助函数
x1 1 0
2 1 2 2 2
F x, x x max 0, x1 1
2 2 x x x1 1 0 1 2 即：F x , 2 2 2 x1 1 0 x1 x2 x1 1 x1 1 因此： F 2 x1 x1 2 x1 2 x1 1 x1 1 F 2 x2 x2
i 1 j 1
0 是很大的正数．
P ( x ) 0, F ( x , ) f ( x ). 当 x是可行点时， 分析： 当 x不是可行点时， P x 0, 又因 是大正数．
故此 x 很难成为 F x， 的极小点. 因此，按上策略 得到的 F x, 的极小点应充分靠近可行域，逐渐
“围墙”，当迭代点靠近边界时，目标函数值陡然增大,
这相当于对它进行惩罚，从而阻止迭代点穿越边界，
这样就可以把最优解“挡”在可行域内了．
注意： 内点法只适合于不等式约束问题，并且要求 可行域的内点集非空．
分享：惩罚函数法（内点法、外点法）求解约束优化问题最优值
分享：惩罚函数法（内点法、外点法）求解约束优化问题最优值1 用外点法求下列问题的最优解方法一：外点牛顿法：clcm=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);% a b为最优点坐标，f0为最优点函数值，f1 f2最优点梯度。
syms x1 x2 e; %e为罚因子。
m(1)=1;c=10;a(1)=0;b(1)=0; %c为递增系数。
赋初值。
f=x1^2+x2^2+e*(1-x1)^2;f0(1)=1;fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(fx1,'x2');fx2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');%求偏导、海森元素。
for k=1:100 %外点法e迭代循环.x1=a(k);x2=b(k);e=m(k);for n=1:100 %梯度法求最优值。
f1=subs(fx1); %求解梯度值和海森矩阵f2=subs(fx2);f11=subs(fx1x1);f12=subs(fx1x2);f21=subs(fx2x1);f22=subs(fx2x2);if(double(sqrt(f1^2+f2^2))<=0.001) %最优值收敛条件a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs (f));break;elseX=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]';x1=X(1,1);x2=X(2,1);endendif(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(abs((f0(k+1)-f0(k))/f0(k)))<=0.001) %罚因子迭代收敛条件a(k+1) %输出最优点坐标，罚因子迭代次数，最优值b(k+1)kf0(k+1)break;elsem(k+1)=c*m(k);endend方法二：外点梯度法：clcm=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);syms d x1 x2 e;m(1)=1;c=10;a(1)=0;b(1)=0;f=x1^2+x2^2+e*(1-x1)^2; f0(1)=1;fx1=diff(f,'x1');fx2=diff(f,'x2');for k=1:100x1=a(k);x2=b(k);e=m(k);for n=1:100f1=subs(fx1);f2=subs(fx2);if(double(sqrt(f1^2+f2^2))<=0.002)a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs (f));break;elseD=(x1-d*f1)^2+(x2-d*f2)^2+e*(1-(x1-d*f1))^2;Dd=diff(D,'d'); dd=solve(Dd); x1=x1-dd*f1; x2=x2-dd*f2;endendif(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(abs((f0(k+1)-f0(k))/f0(k)))<=0.001) a(k+1)b(k+1)kf0(k+1)break;elsem(k+1)=c*m(k);endend2,点法求下列问题的最优解内点牛顿法clcm=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);syms x1 x2 e;m(1)=1;c=0.2;a(1)=2;b(1)=-3;f=x1^2+x2^2-e*(1/(2*x1+x2-2)+1/(1-x1)); f0(1)=15;fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(f x1,'x2');fx2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');for k=1:100x1=a(k);x2=b(k);e=m(k);for n=1:100f1=subs(fx1);f2=subs(fx2);f11=subs(fx1x1);f12=subs(fx1x2);f21=subs(fx2x1);f22=subs(fx2x2);if(double(sqrt(f1^2+f2^2))<=0.002)a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs (f));break;elseX=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]';x1=X(1,1);x2=X(2,1);endendif(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(abs((f0(k+1)-f0(k))/f0(k)))<=0.001) a(k+1)b(k+1)kf0(k+1)break;elsem(k+1)=c*m(k);endend。
现代设计方法第六章 优化设计方法 (4-8) 惩罚函数法
二、内点惩罚函数法
§ 4 . 2内点惩罚函数法
四. 几个参数的选择： 1. 惩罚因子初始值 r(0) 的选择： 过大、过小均不好， p f ( x( 0 ) ) ( 0) 建议考虑选择：r = 100 m 1 ∑ (0) u =1 g ( x ) u
2.
Φ( x , r ) = f ( x ) − r
二、内点惩罚函数法
r r = cr k −1
4) 收敛条件
(k = 1,2,...)
式中的c 称为惩罚因子的缩减系数，c 为小于1 的正数。一般的看法是，c 值 的大小在迭代过程中不起决定性作用，通常的取值范围在0 . 1 ~ 0 . 7 之间。
φ[ x * (r k ), r k ] − φ[ x * (r k −1 ), r k −1 ] ≤ ε1 k −1 k −1 * φ[ x (r ), r ] x * (r k ) − x * (r k −1 ) ≤ ε 2
方法： ③ 搜索方法： l l 任意给出一个初始点； 判断其可行性，若违反了S 个约束，求出不满足约束中的最大值：
gk ( x( 0 ) ) = max{gu (x( 0 ) )}
min. gk ( x) s.t.
u = 1,2,...,S；
l
应用优化方法减少违反约束：
x ∈ Rn
gu ( x ) − gu x ( 0 ) ≤ 0 gu ( x ) ≤ 0
或：
(k )
1 ∑ i =1 g i ( x )
m
φ ( x, r ) = f ( x ) − r
(k )
∑ ln[− g ( x )]
i i =1
m
二、内点惩罚函数法
k r 是惩罚因子，它是一个由大到小且趋近于0 的正数列，即:
直接-间接法----罚函数法
(x*, r(k) ) 3, 1.632, 1.20, 1.0630, 1
上图表示出 r(k ) 取值不同时所得到的约束最优点 x*(r(k) ) 逐步逼
近原问题最优点 x* 的情形。
例:用内点法求问题 min f x x12 x22 约束最优解。 s.t.g x 1 x1 0
解:用内点法求该问题，首先构造内点惩罚函数：
g
j
X
0(
j
1,
2,
m)
转化后的惩罚函数形式为
x,r
f
m
x r j 1
1
gj x
m
或 X , r f X r ln g j X j 1
m 1
m
g j1 j X 或
ln g j X
j 1
——障碍项。
r 是惩罚因子，它是由大到小，且趋近于0的数列，即
r0 r1 r 2 r k r k1 0
g(x)
1 x
可以看出 (x, r(k) ) 由两部分组成，即 1 2 ，其中：
1 f (x) x
2
r(k) 1 1 x
r(k)
1 x 1
(x, r(k) ) f (x) r(k) 1 x r(k) 1
g(x)
1 x
即： 1 2
是原目标函数，为一直线；
是一族倒数曲线，当 x 1 时, 2 。
由于内点法的迭代过程在可行域内进行，障碍项
的作用是阻止迭代点越出可行域。由障碍项的函数形式
可知，当迭Байду номын сангаас点靠近某一约束边界时，其值趋近0，而
障碍项的值陡然增加，并趋近于无穷大，好像在可行域
的边界上筑起了一道“高墙”，使迭代点始终不能越出
最优化方法之-罚函数法讲解
内点罚函数法优点
迭代总在可行域内进行，每一个中间结果都是 可行解，可以作为近似解。
内点罚函数法缺点
选取初始可行点较困难，且只适用于含不等式 约束的非性性规划问题。
x2)
0
x1
1
2 2M
x2
1
(2 2M )2
1
2M
当M
时，有
x1 x 2
0 0
步骤:
1.给定x( 初 0) ，始 初点 始 M10 罚 (M1 因 1 ) ， 子 放 系c数 1 ，允许 0 ， 误 k置 差 1 。
2.以x(k1)为初始点，求解无约 问题 束 minf(x) Mkp(x)
201 101
以此类推，得序列： 3，21，201，2001， 2 11 101 1001
2
外点罚函数法的一个重要特点:
函数 F(x,M)是在整个En空 内间 进行,优 初化 始
点可任意,且 选外 择点法也可规 用划 于的 非最 凸.优
缺点:
1.惩罚项Mp(x)的二阶偏导数一般在 不;存
2.外点法的中间可 结行 果,不 解 不能 是作为近 ;
P~(x,rk) iSk
gi(x)rk
iTk
1 gi(x)
记 R~k x|gi(x)0 iTk
(rk 0)
5.以x(k)为初始点R， ~k域在内，求障碍 P~(函 x,rk数 ) 的极小:点
minP~(x,rk) s.t. xR~k 得x(k1)，转 6。
6.令 0rk1rk如r取 k1110rk,置 k:k1， 转 2。
引入罚项
p(x )
m
g i( x )
i 1
其中 ( y )是连续函数，且满足
(y ) 0 ( y ) 0
机械优化设计惩罚函数法
５．３．５惩罚函数法在约束优化方法中，可以根据对约束条件处理方法的不同，可将约束优化方法称为直接法和间接法两大类。
在直接法中，又可根据搜索方向选取的不同分为：约束坐标轮换法、约束随机法、复合形法以及可行方向法。
这些方法在搜索过程中，对每个迭代点都要进行适用性、可行性两个条件检验，由此来直接处理约束条件。
本节所述的惩罚函数法是属于约束优化的间接法。
目前已有的许多著作和文献表明，对无约束优化方法的研究要比对约束优化方法的研究更为完善和成熟，并建立起了许多有效的、可靠的算法。
如果能通过某种办法对约束条件加以处理，将约束优化问题转化成无约束优化问题，这样就可以直接用无约束优化方法来求解约束优化问题。
但是，这种转化必须满足如下两个前提条件：一是不破坏原约束问题的约束条件，二是最优解必须归结到原约束问题的最优解上去。
约束优化问题的间接法有多种，例如消元法、拉格朗日乘子法、惩罚函数法等，其中惩罚函数法应用最广。
惩罚函数法（简称罚函数法）的特点是能解等式约束、不等式约束以及两种约束兼有的优化问题。
且基本构思简单，易编程序，使用效果较好。
惩罚函数法有两种类型：参数型与非参数型。
本节只介绍参数型的惩罚函数法。
参数型惩罚函数法的基本思想是将一般约束优化问题数学模型：minＦ(x)ｘ∈ＤＲnＤ：ｇｕ（ｘ）≥０，ｕ＝１，２，······,ｐｈｖ（ｘ）≥０，ｕ＝１，２，······,ｑ转化成为一个如下的无约束优化问题minφ(x, r(k), m(k)) (5.56)ｘ∈Ｒn构造的新目标函数一般形式为φ(x,r(k),m(k))＝Ｆ(x)＋ｒ(k)∑=pu1Ｇ［ｇｕ（ｘ）］＋ｍ(k)∑=qv1Ｈ［ｈｖ（ｘ）］（5.57）式中，φ(x,r(k),m(k))为增广函数，称为惩罚函数，简称罚函数，是式（5.56）无约束优化问题的目标函数；ｒ(k)、ｍ(k)称为惩罚因子，是大于零的可调参数；Ｇ[ｇｕ（ｘ）]、Ｈ[ｈｖ（ｘ）]为分别由ｇｕ（ｘ）、ｈｖ（ｘ）构造出来的泛函数。
最优化方法之罚函数法讲解
contents
目录
• 引言 • 罚函数法基本原理 • 经典罚函数法介绍 • 改进型罚函数法探讨 • 数值实验与案例分析 • 结论与展望
01 引言
最优化问题概述
01
02
03
最优化问题的定义
最优化问题是在一定条件 下，寻找一组参数值，使 得某个或某些目标函数达 到最优的问题。
混合罚函数法
• 基本思想：混合罚函数法结合了外点罚函数法和内点罚函数法的特点，通过同时构造包含原目标函数、等式约 束和不等式约束的辅助函数，将约束问题转化为无约束问题进行求解。
• 辅助函数构造：混合罚函数法的辅助函数通常包括原目标函数、等式约束的二次惩罚项以及不等式约束的对数 障碍项。其中，二次惩罚项用于处理等式约束，对数障碍项用于处理不等式约束。
内点罚函数法
• 基本思想：与外点罚函数法类似，内点罚函数法也是通过构造辅助函数将约束问题转化为无约束问题。不同之 处在于，内点罚函数法要求迭代点始终保持在可行域内部，并在可行域边界上对原目标函数进行惩罚。
• 辅助函数构造：内点罚函数法的辅助函数通常取为原目标函数加上一个障碍项，该障碍项在可行域内部为零， 在可行域边界上取正值，且随着接近边界程度的增加而趋于无穷大。
• 迭代过程：从满足所有约束条件的一个点出发（通常通过其他方法获得），通过求解无约束问题的极小化序列 来逼近原问题的最优解。在迭代过程中，根据当前点违反约束的情况动态调整惩罚因子和障碍参数，以保证算 法的稳定性和收敛性。
• 优缺点：混合罚函数法能够同时处理等式和不等式约束，具有较广泛的适用性。然而，由于需要同时考虑多种 类型的约束和惩罚项，算法的复杂性和计算量相对较大。此外，惩罚因子和障碍参数的选择对算法效果也有一 定影响。
最优化理论第五章-惩罚函数法
课堂练习：
外点法求解
称为SUMT方法 基本步骤：
序列无约束极小化方法
收敛于
1.3. 外点法收敛性
定理2： 定理3：
的最优解。
2. 内点罚函数法
2.1 思想：从内点出发，保持在可行域内部进行搜索。
只适用于不等式约束问题
两种形式：
原始问题的解
2.2 r如何取值？
r太大，问题的解不精确
计算步骤： ∆例题： 解得：
2.3. 收敛性
例：乘子法求解：
3.3. 不等式约束的乘子法
转化为
等式
定义增广Lagrange函数。 求得原问题的解
用配方法整理则有： 增广Lagrange函数变为
一般问题
例题：
则
作业：
1. 阅读MATLAB中optimization toolbox 中的Quasi-Newton Method 和 Least-Squares Method 算法，用Lsqnonlin（）函数 求解
有约束最优化：
可行域
定义：局部极小点，局部严格极小点
一阶条件（必要条件） 二阶条件（必要条件）
惩罚函数法 可行方向法，二次规划
1. 外点罚函数法
1.1 罚函数概念
a 对于等式约束：
对于线性约束可 消元处理
第2项很大
很大的正数
b. 不等式约束
转化为 c.一般情况：
罚回来
过大，计算困难 太小，远离约束问题的最优解
定理：问题
∆ 外点法 内点法
应用序列无约束极小化方法，简单
成为病态矩阵 无法求解
增大
3. 乘子法（Hestenes, Powell）提出
惩罚函数法
显然 p( x) 满恰足前面的条件（1）和（2）。
连续， 也连续。 结论 1 ： 如果 g j ( x ) j = 1,2, L , m ） （ 连续，那么 p( x ) 也连续。
事实上，只须注意： 事实上，只须注意： f1 ( x ) + f 2 ( x ) − f1 ( x ) − f 2 ( x ) min { f 1 ( x ), f 2 ( x )} = 2
m
n
得到其最优解 x * (λ k )，记为 x k + 1。 step 3 . 如果 µ k q( x k + 1 ) ≤ ε , 则 x k + 1 就是问题 min f ( x ) 的最优解， stop;否则转 step 4。 的最优解， （A）：
x∈ D
step 4 . 给定 µ k + 1 < µ k（可取 µ k + 1 = βµ k 这里 β < 1 为惩罚 因子的缩小系数） , 因子的缩小系数） k := k + 1, 转 step 2。
x∈ D
: 证明 ： 因为 x * (λ k ) 是（B） min ϕ k ( x ) 的最优解 。
x∈ R n
所以 ϕ k ( x * (λ k )) ≤ ϕ k ( x ) , ∀ x ∈ R n 。
, 又 x * (λ k ) ∈ D, 即g j ( x * (λ k )) ≥ 0 j = 1,2,L, m ） （ 所以 p( x * (λ k ) ) = 0 。
1 ∑ 例如： 例如： q( x ) = 或 q( x ) = j =1 g ( x ) j
m m
1 等; 2 j =1 g ( x )
惩罚函数法
⑶若对于罚因子的取值由初始的 r (0逐) 渐变小 (r(0) r(1) )
时，惩罚函数(x, r(愈k) )逼近于原目标函数F（x），罚
函数曲线越来越接近于原F（x）=ax直线，如图所示，对
应罚函数 (x,r的(k)最) 优点列
束优化问题的最优点x*=b
x不0*,断x1*,趋近于原约
小结
由以上可见，如果选择一个可行点作初始
所得解为
x
* k
；当k在增大的过程中，得到惩罚函数的无
约束最优点列为
x0 *,x1 *, xk *,
点列中各点均在可行域内部，随着k→∞的过程，r(k) 0
点列将趋近于原约束问题的最优解x*。即
lim
x
* k
=x*
k
由此可知，内点法的序列无约束最优点 x k*是在可行域内
部且趋近于约束最优点x*的。
u1
在可行域内 （包括边界）
的含义可用另一形式表示
0
B(x)
r(k)
p
[gu
u1
(x)]2
当gu(x) ≥0 （x∈D） 当gu(x) <0 （x∈D）
在非可行域， 为递增函数
外点罚函数的求解过程
用外点罚函数去逼近原目标函数F(x)，构造一个无约束 优化问题模型
p
mi(xn ,r(k))F (x)r(k) mi0 ,n gu({ x)} []2 u 1
⑹由终止准则，若满足则转步骤⑺，否则转⑸ ⑺ x* , xk* F* 输出F最(xk*优)解(x*,F*)
入口
给定：x(0) ∈D,r(0),C,ε1,ε2
内
点
k←0
法
流 程 图
用无约束优化方法求罚函数
数值最优化方法-罚函数方法
k k
根据引理，我们还知道 f ( xk ) 单调增加，并且
f ( x k ) P ( x k , k ) f ( x * )
（4.1.3）
惩罚项所具有的性质应该怎么样呢？ 怎么取呢？
想一想 有没有其他形式的惩罚项。
6
一般约束优化问题
min f ( x ) s.t. ci ( x) 0
ci ( x) 0 i I l 1,2,, m
i E 1,2, , l
怎么构造罚函数？
~ P x, f ( x) P x l m ~ P x ci ( x ) min0, ci ( x )
得到 以 xk 为 近 似 最 优 解 ， 停 止 。 否 则 ， 令
~ minP x, k f ( x) k P x
k 1 c k , k k 1 ，转 Step 2。
那么这类方法是否能收敛呢？？
13
~ minP x, k f ( x) k P x
2 2 min f x1 , x2 x1 x2 s.t. x1 x 2 2 0
其中的 表示很大的正数。
2 2 P x1 , x 2 , x1 x 2 x1 x 2 2
2
2 x1 x 2 2 1
当 时， x1 x 2 1 即无约束优化问题最优解的极限为原问题的解。
14
证明 (1)因为 xk 是 P ( x , k ) 的极小点，且 k 1 k ，故
最优化方法-罚函数法
������(2)= 0.32,0.625 ，������ ������(2), ������1 = 1.5237
22:06
2.罚函数的基本原理
F(x)的等价表达式： ������ ������, ������ = ������ + ������[max 0, −������ + 2 ]2
其中，μ是一个充分大的数。 记 ������ ������ = [max 0, −������ + 2 ]2
通常把������������ ������ 称为罚函数（Penalty Function），记为 P ������, ������ = ������������ ������
2������1 + 2 + ������ = 0
令൞���������′���2 = 0 即ቐ
4������2+������ = 0
���������′��� = 0
������1 + ������2 − 1 = 0
解得������∗ = ������ , ������ , ������ ������∗ ≈ ������. ������������������������
利用图解法不难看出，原问题的约束极小点正是������∗ = 2.
22:06
2.罚函数的基本原理
约束极小化的一般问题为
������������������������ ������
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
共有n + p 个方程，可解出x1*, x2*, …, xn* 和λ1*，λ2*, …, λn* 共 n+p 个未知量，则有
j h j ( X *) 0, j 1,2,, p L( X *,*) f ( X *)
若X*及λ*是L(X*, λ*)的极小点，则X*必为f(X)的极小点。
若f(X (R)) < f (X(H))，则用反射点X
(R)代替最坏点X(H)，构
成新的复合形，转步骤（7）。
若f (X (R)) ≥ f(X (H))，则将反射系数α减半，转（5）， 重新计算反射点。 若直到反射系数α小于一个预先给定的很小正数时，反射点 的函数值仍大于最坏点函数值，则说明该反射方向不好， 此时改用次坏点X (G)代替最坏点X (H)，即X (H)= X(G), 换一 个反射方向，转（4）。
2015-4-29
25
为使罚函数 P(X,r1(k),r2(k))的极小点序列X*(r1(k),r2(k))
( k=1, 2,„，) 收敛到目标函数 f(X) 的约束最优解， 上式中的惩罚项必须具有以下极限性质：
m (k ) lim r1 G[ g i ( X )] 0 k i 1 p (k ) lim r2 H [h j ( X )] 0 k j 1
为了便于在计算机上利用直接寻优方法进行迭代计算，一 般引入函数
L 2 p Z ( ) [h j ( X )]2 i 1 xi j 1
n
然后对Z函数求极小值，-29
19
对于不等式约束优化问题，可设法引入松弛变量，使不等式 变成等式，即可按等式约束优化问题求解。 例如：对于下面不等式约束条件 g(X)=ax1+bx2+c ≥0
2015-4-29
27
内点法是改造原目标函数f(X)，使其在边界附近尽量抬高， 离边界越近，抬得越高。不难想到，构造如下的罚函数可以 实现上述想法：
P( X , r
(k )
) f (X ) r
(k )
1 g (X ) i 1 i
m
式中右端第二项为内点法惩罚项，当迭代点X从可行域内部 接近某个约束 gi(X) ≤0 的界面 gi(X)=0 时，- 1 / gi(X) 就趋于 无穷大，它像绝壁一样阻止迭代点越出边界。
2015-4-29 24
罚函数的求解过程是： 定义G[gi(X)]和H[hj(X)]的形式， 选择罚因子的序列r1(k)和r2(k)，每调整一次罚因子的值， 即对罚函数P作一次无约束优化，可得一个无约束最优解； 随着罚因子的不断调整，无约束最优解不断逼近有约束最 优解。 这是一种序列求优过程，故罚函数又称为“序列无约 束极小化方法”（Sequential Unconstrained Minization Technique），简称为SUMT法。
点为止。
2015-4-29 4
复合形法的特点：
原理简单、方法直观、不需要计算导数。也不 需要一维搜索，复合形不要求为规则图形，灵活 可变。适宜处理不等式约束问题且能防止顶点退 化。在求解过程中涉及的可行域较广，故结果可 靠。但复合形法不适宜应用于中、高维问题，原 因是维数若太高，计算量急增，收敛很慢。
2015-4-29
5
2、复合形法计算步骤
（1）输入各常量，如设计变量个数n，收敛精度ε1、ε2，初始反射系数α，
设计变量的上下界值 b j 和 a j , j = 1, 2,
…, n。
（2）产生初始复合形，其各顶点要在可行域内，且满足约束条件。即第
一个顶点产生方法不限，其余 k-1 个顶点可按随机法产生（设复合形 有 k 个顶点）。 xi(0) = a + q i (b - a) i =1, 2, …, k。k为顶点号；qk 为(0,1)区间内的伪随机数，一般可查表 或由电子计算机提供，亦可自编程产生。
2015-4-29
7
检验中心X(c) ，若X(c) 在可行域内，则继续执行步骤
(5)；若X(c)不在可行域内，此时可行域为非凸集，如图所
示，此时转步骤(2), 直至X(c)成为可行点为止。
2015-4-29
8
（5）在最坏点X (H) 和中心点X (c)
的连线方向上取反射点X(R)，即
X(R) =X (c) +α(X (c) –X (H) ) 式 中反射系数α的初值一般取为
2015-4-29 17
3.5.2 拉格朗日乘子法
对于等式约束问题
min f(X) = f (x1,x2,…,xn) s.t. hj (X) = 0, j =1,2,…,p 由数学基础知识可知，可以将其转化为求拉格朗日函数无约 束的极值问题。引入拉格朗日函数
L (X, λ) = f (X) +∑λj hj (X)
2015-4-29
28
除上式外，常用的内点罚函数形式还有：
P( X , r ( k ) ) f ( X ) r ( k ) ln[ gi ( X )] P( X , r
(k ) m
) f (X ) r
(k )
[ g ( X )]2
i 1 i
i 1 m
1
等等，只要它具有在可行域内离边界稍远处其惩 罚项函数极小，而一旦迭代点趋近边界时，函数值 陡然增大这一特点即可。
1 XC k
X
i 1
i
若复合形不满足(a)式，则应转向（3），开始下一次迭代。
2015-4-29
11
2015-4-29
12
2015-4-29
13
2015-4-29
14
2015-4-29
15
2015-4-29
16
可行方向法:
原理： 从可行域内的一个可行点出发，选择一 个可行的搜索方向和步长，使产生的下一 个相对较优的迭代点，既不超出可行域又 使目标函数值有所下降。 最佳可行下降方向： 最优搜索步长：
G[ gi ( X )] r2 H [h j ( X )]
(k ) i 1 j 1
23
m
p
P( X , r1( k ) , r2( k ) )
f
( X ) r1( k )
G[ gi ( X )] r2 H [h j ( X )]
(k ) i 1 j 1
m
p
于是，问题归结为在设计空间Rn中（而不是在可行域 D内）求函数P 的无约束极小,即 min P(X,r1(k),r2(k)), X ∈ Rn G [gi(X)] 和 H[hj(X)] 分别是人为构造的 gi(X)和 hj(X) 的泛函； r1(k)和r2(k)是人为构造的罚参数或罚因子，定义为 正实数。它们随迭代次数k的增加，不断进行调整，每一 次调整，对惩罚函数 P 做一次无约束优化，得到一个无 约束最优解。随着罚因子的不断调整，无约束最优解不 断逼近有约束最优解。
2015-4-29
10
（7）终止判别：反复执行上述过程中，随着反射系数α
的不断减半，复合形逐渐向最优点收缩，复合形越来越小， 直到满足 k 1 2 1 { [ f ( X i ) f ( X c ] } 2 1 (a) k i 1
时，迭代结束。此时复合形中目标函数值最小的顶点 （或用X(C0)点）即为最优解。式中XC 为复合形所有顶点的 点集中心，即 k
2015-4-29
6
（3）计算各顶点的目标函数值，找出最坏点 X(H)、次坏点 X(G)、最好点 X(L)，即
X(H): f(X(H) )=max {f(X(i)), i=1,2,…,k}
X(G): f(X(G))=max {f(X(i)), i=1,2,…,k, k≠H} X(L): f(X(L))= min{f(X(i)), i=1,2,…,k} （4）计算除最坏点X(H) 之外的 k-1个顶点的中心点X(C) ，即 X(C) = [1 / ( k -1)] ∑X( i ) (i =1,2,…,k, k≠H)
引入松弛变量x3，并为保证引入项为正值，均用松弛变 量的平方，即有
g/(X)=ax1+bx2+c-x32 =0
2015-4-29
20
2015-4-29
21
3
2015-4-29
22
3.5.3
惩罚函数法
不等式约束的优化问题也转化为无约束优化问题,这种转化 必须满足一定的条件： 1、不能破坏约束问题的约束条件；
2、使它归结到原约束问题的同一最优解上。
惩罚函数法将有约束优化问题中的各约束函数 gi(X) 和
hj(X) ，以一定的形式附加到原目标函数f(X)上去，构造一
个新的目标函数，称为惩罚函数，其一般形式为
P( X , r1( k ) , r2( k ) )
2015-4-29
f
( X ) r1( k )
2015-4-29
29
上式中，r(k)是一个递减的正数序列，开始较大，逐渐减小，即 r(1) > r(2) > … > r(k) > r(k+1) >… →0 相应于罚因子r(1) 、 r(2) 、…所得到的一系列无约束极值问题的 极小点序列{X(r(k) )}的极限点(k趋于无穷大)，就是原约束问题 的最优点X*。 为什么内点法要使罚因子逐渐减小呢？因为随着r(k) 的逐渐减 小，相当于罚函数P(X, r(k) )中的惩罚项的作用越来越小，那么 函数P(X, r(k) )的最优点X*(r(k) ) 也就是可能从可行域内部越来越 靠近其边界（因通常最优点X*总是在可行域的边界上）。因此， 内点法中，随着 r(k) 的减小逐渐把最优点序列{X*(r(k) )}引向原 问题的最优点X*，这样就将原约束优化问题转化为序列无约束 优化问题。
从而有