惩罚函数外推
第二节 罚函数法
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
惩罚函数法
k k 1
r k 1 cr k
否
X 0 X *(rk )
开始
输入 X 0、r0、c、
k←0
求 min(X , rk )
满足收敛条件？ 是
X * X *(rk ) f ( X *) f X *(rk )
结束
3.外点惩罚函数法
求解策略
外点惩罚函数法简称外点法。这种方法和内点相反，
3.外点惩罚函数法
外点法程序框图：
Yes
X * X *(rk )
Yes
f ( X *) f X *(rk )
结束
开始
输入 X 0, r0, c,1,2
k 0
求 min ( X , rk ) 得X *(rk )
Q max g j ( X *(rk ))
Q 1 ?
No
X * (r k ) X * (r k1) 2
(X , r) f (X ) rmax 0, g j (X ) rhk (X )
j 1
k 1
式中：r为惩罚因子，它是由小到大，且趋近于∞的数列
3.外点惩罚函数法
l
2m
2
即 r0＜r1＜r2＜··· ,hk (X ) 、max 0, g j (X )分别对
应为对应于不等式约束和等k式1 约束函数j1的惩罚项， 其中
当 r , lim(1 1 ) 1。
r 4r
当逐步增大r值，直至趋近于无穷时，逼近原问题的约束最优
解，当r=0.25,0.5,1,2时，惩罚函数 (X , r) 的等值线图
下如
3.外点惩罚函数法
当r逐渐增大时，极值
点 X *(r)的序列将沿一直线轨 迹 ( X *(r), r) 1 X *(r) 在可 行域外逐步逼近2 最优2 点。
一、惩罚函数法(SUMT)
（4）应注意的问题
(a) 在step2中，可用无约束优化问题的算法求解
min
x R n
k
(
x
)
f ( x ) k p( x )
(b) 在实际计算中，判断x* (k ) D 用 g j ( x* (k )) （ j 1,2,, m）或 k p( x) .
(c)
k 1 k
x
)
算法步骤相同
(8) 算法收敛性：
f（x ） f（x ）
k 1
k
p（x ） p（x ）
k 1
k
k（1 x ） （k x ）
k 1
k
结论 1. 若点列{ x } 是由外点法产生的，则有 k
列 { x }的任何极限点一定是所求问题的极小点。 k
都是 R 上的连续函数，则由外点法产生的点 n
解：构造增广函数k ( x)如下： k ( x) （x 1）2 k min2{ x 2,0}
( x 1)2
（x 1）2 k ( x 2)2
if x 2 if x 2
dk (
dx
x)
（2 x 1）
（2 x 1）
2k
(
x
因子的缩小系数）, k : k 1,转 step 2。
(4) 例子：试用内点法（内部惩罚函数法）求解如下优化问题 min f ( x) 1 x3 3 s.t. x 1 0
解：构造增广函数 k ( x)如下：
k(x)
x3
k
1 x1
由
d k ( x)
dx
x2
k
（2）q( x) if x D
罚函数 原理与应用
(3-98)
(3-99)
而把新目标函数F(x,μ )=f(x)+P(x,μ )称之为 增广目标函数
基本原理
增广目标函数的性质与参数μ 有密切的联系：μ 越大，F(x,μ )的无约束极小点就越接近于f(x) 的约束极小点xμ ，可得
1 Xμ 2 2 μ Xμ 2，当μ
而利用图解法不难看出，原问题的约束极小 点正是X=2
例题
例3.24 用罚函数法(外点法)求解：
要求以X(0)=(1,1)为初始点，C=10,迭 代3次
min f ( X ) x 2 x 2 x1 x1 x2 1 0 s.t.
2 1 2 2
例题
2 F ( X , μ k ) x12 2 x2 2 x1 μ(x1 x 1) 2
例题
而原问题的精确极小点与极小值为
1 2 15 X * ( ， )，f ( X *) 1.6666 3 3 9
X (4)已经很接近X*。同时可以看出， F(Xk+1，μk) 单调上升，并趋于f（X*）
我的讲课结束
Thank you all ！
1.罚函数法的基本原理
例3.23 求解：
minf(x) x s.t. – x 2 0
基本原理
利用无约束极小化的算法来求解这个不 等式，假设存在这样一个函数F(x),当x是原 约束的可行域中点时，F(x)与f(x)的值相同； 当x不属于可行域时，则F(x)→∞,所以问题 转化为：
minF(x)
例题
2 k 3, μ 3 1000 , F ( X , μ 3 ) x12 2 x2 2 x1 1000 ( x1 x2 1) 2
以X(3)为出发点，可求得F(X, μ 3)的极小点为
第五章 惩罚函数法
入口 给定：x(0) ∈D,r(0),C,ε1,ε2 k←0 用无约束优化方法求罚函数 * 的优化点 x k F F ( x k* )
x* x k , F * F ( x k )
* *
内 点 法 流 程 图
出口
+
K=0?
-
F F0 F0
2
+
r
( k 1)
Cr
(k )
F0 F x k 1 x k
x∈Rn 任选初始点x(0)，初始法罚因子r(0)>0,罚因子递增系数C>1 对于r(k)为某一值，同过对惩罚函数的无约束求优，可 得最优点 。随着k的增大，得无约束最优点列
在k←∞的过程中，点列将趋近于原问题的最优点
实线为原目标 函数等值线
虚线为罚函数 等值线
总结 由上图可见，两种等值线在可行域内部及边界上是重合 的；而在非可行域中，罚函数的等值线升高了。即只有在 可行域外部惩罚项才起到惩罚的作用。r(k)值越大，惩罚作 用越大。 由上b图可知，在起作用约束边界处罚函数等值线变得越 密集和越陡峭。随r(k)的增大，最优点列将越接近于原约束 优化问题的最优点x*。但须注意，近似的最优点是落在边 界处非可行域一侧。
(0) *
-
k k 1ຫໍສະໝຸດ ㈦内点罚函数的特点内点法只适用于解不等式约束优化问题。由于内点法 需要在可行域内部进行搜索，所以初始点必须在可行域 内部选取可行设计点。 内点法的突出优点在于每个迭代点都是可行点 因此，当迭代达到一定阶段时，尽管尚没有达到最优点， 但也可以被接受为一个较好的近似解。
5.3.4.2 外点法
出口
外 点 法 流 程 图
k←0
用无约束优化方法求罚函数 * 的优化点 x k F F ( x k* )
惩罚函数
内外惩罚函数一、实验目的通过内外点法的学习让我们掌握利用罚函数解决线性规划为解决相应问题的一种思路与策略。
二、问题描述用外点法求解问题：Min f x=(x1−1)2−x22s.t.x2−1≥0用内点法求解问题：Min f x=x1+x2s.t.−x12+x2≥0,x2≥0三、算法介绍外部惩罚函数法：给定初始点x0，初始惩罚因子σ1，放大系数c>1, ε>0,置k：=1(i)以x(k−1)为初始点求解min F(x,σk) 得极小点x(k)(ii)若σk P (x(k))) <ε，stop(iii)σk+1+1= c·σk,置k：=k+1 转(i)内部惩罚函数法：已知f(x),si(x),取β(x)=1/s12(x) + 1/s22(x) +…+ 1/s m2(x)取一初始容许点x0，初始惩罚因子μ1>0,惩罚因子的缩小系数c<1,置k=1(i)以x(k−1)为初始点，求解minf(x)+μkβ(x)得极小点x(k))；(ii)若μkβ(x(k))<ε,stop;(iii)置μk+1=cμk,置k=k+1，转(ii)四、程序计算结果外点法：建立ExteriorPenalty.m:function ExteriorPenaltyX0=[2;3];format long;M0=1;C=8;e1=0.001;e2=0.001;k=0;t=0;kk=0;k1=0;N=100;n=length(X0);while t<N1syms X1X2real;gux1=X2-1;gux2=0;gux1_func=inline(vectorize(gux1),'X1','X2');gux2_func=inline(vectorize(gux2),'X1','X2');if gux1_func(X0(1),X0(2))>=0gux1=0;endif gux2_func(X0(1),X0(2))>=0gux2=0;endfx=(X1-1)^2+X2^2+M0*(gux1^2+gux2^2);fx_func=inline(vectorize(fx),'X1','X2');Xr=X0;t=t+1;while kk<Nkk=kk+1;if k==0H0=eye(2);g0_1=diff(fx,'X1',1);g0_2=diff(fx,'X2',1);g0_1_func=inline(vectorize(g0_1),'X1','X2');g0_2_func=inline(vectorize(g0_2),'X1','X2');g0=[g0_1_func(X0(1),X0(2));g0_2_func(X0(1),X0(2))]; endXi=X0;Sk=H0*g0;syms rreal;X0=X0+r*Sk;fx_r=vpa(fx_func(X0(1),X0(2)),5);fx_r_func=diff(fx_r,r,1);fx_r_func_func=inline(vectorize(fx_r_func),'r');options=optimset('Display','off');r=fzero(fx_r_func_func,1,options);X0=Xi+r*Sk;g0_1=diff(fx,'X1',1);g0_2=diff(fx,'X2',1);g0_1_func=inline(vectorize(g0_1),'X1','X2');g0_2_func=inline(vectorize(g0_2),'X1','X2');g0=[g0_1_func(X0(1),X0(2));g0_2_func(X0(1),X0(2))];if sqrt(sum(g0.^2))<=e1endif k==nk=0;elseg1=[g0_1_func(Xi(1),Xi(2));g0_2_func(Xi(1),Xi(2))]; delta_g=g0-g1;delta_x=X0-Xi;Ak=delta_x*(delta_x')/(delta_x'*delta_g);Bk=H0*delta_g*(H0*delta_g)'*inv(delta_g'*H0*delta_g);H0=H0+Ak-Bk;k=k+1;endendifsqrt(sum((Xi-X0).^2))<e1&abs((fx_func(Xi(1),Xi(2))-fx_func(X0(1), X0(2)))/fx_func(Xi(1),Xi(2)))<e2break;elseM0=M0*C;endenddisp(t);disp(X0);matlab中代码和结果为：因此Min f x=(x1−1)2−x22= 0此时x1=x2=1内点法：function InteriorPenaltyk=0;r=1;c=0.1;format long;e=0.001;N=100;X0=[2;1];Xr=[3;1];disp('0');disp(X0');while sqrt(sum((X0-Xr).^2))>e&k<Nk=k+1;syms X1X2real;f=X1+X2-r*log(-X1^2+X2)-r*log(X1);dfx1=diff(f,X1,1);dfx2=diff(f,X2,1);dfx1x1=diff(f,X1,2);dfx2x2=diff(f,X2,2);dfx1x2=diff(dfx1,X2,1);grads_x1=inline(vectorize(dfx1),'X1','X2');grads_x2=inline(vectorize(dfx2),'X1','X2');hession_11=inline(vectorize(dfx1x1),'X1','X2');hession_12=inline(vectorize(dfx1x2),'X1','X2');hession_22=inline(vectorize(dfx2x2),'X2','X2');inv_hession=inv([hession_11(X0(1),X0(2)),hession_12(X0(1),X0(2)); hession_12(X0(1),X0(2)),hession_22(X0(1),X0(2))]);giads=[grads_x1(X0(1),X0(2));grads_x2(X0(1),X0(2))];Xr=X0;X0=X0-inv_hession*giads;r=r*c;disp(k);disp(X0');enddisp('The result is: ');disp(k);disp(X0');matlab中代码和结果为：因此Min f x=x1+x2= 0此时x1=x2=0。
第11讲 外点惩罚函数法
k
p m
∑
u =1
1 gu (X )
ห้องสมุดไป่ตู้
式中，惩罚因子 r 是一个递增的正数序列 k 且 lim r = ∞
k→∞
2.外点惩罚函数法的一般形式 考虑不等式约束优化设计时：对
minf (X),
k
x ∈R
n
st.
m k
gu (X) ≥ 0, (u =1,2⋯m)
0 , g u ( X )}
2
构造一般形式的外点惩罚函数为：
P(X ,r ) = f (X ) + r
∑ {min[
u =1
其中： （1）当满足所有约束条件时惩罚项为0，即
k
v =1
gu ( X ) = gu ( X ) − δu ≥ 0
(u = 1,2⋯m)
这样用重新定义的约束函数来构造惩罚函数， 得到最优设计方案。 外点惩罚函数法的迭代步骤： 1.给定初始点 X ，初始惩罚因子 迭代精度
0
ε
r
1
，维数n ；
和递增系数 C > 1
2 构造外点惩罚函数 P( X k , r k ) ； 3 选用无约束优化方法来求解惩罚函数极小点
外点惩罚函数法
1.外点法和内点法的区别 内点法将惩罚函数定义于可行域内且求解无 约束优化问题的搜索点总是保持在可行域内，一 般只用于不等式约束情况；外点法即可用于求解 不等式约束优化问题，又可用于求解等式约束优 化问题，主要特点是惩罚函数定义在可行域的外 部，从而在求解系列无约束优化问题的过程中， 从可行域外部逐渐逼近原约束优化问题最优解。
第五章惩罚函数法详解
㈣关于几个参数的选择
⑴初始罚因子r(0)的选取
如果 值选得太大，则在一开始罚函数的惩罚项的 值将远远超出原目标函数的值，因此，它的第一次无约束极 小点将远离原问题的约束最优点。在以后的迭代中，需要很 长时间的搜索才能使序列无约束极小点逐渐向约束最优点逼近。
如果 值选得太小，则在一开始惩罚项的作用甚小，
而在可行域内部惩罚函数
与原目标函数F(x)很相近，
只在约束边界附近罚函数值才突然增高。这样，使其罚函数
在在约束边界附近出现深沟谷地，罚函数的性态变得恶劣。
如下图，对于有深沟谷地性态差的函数，不仅搜索所需的 时间长，而且很难使迭代点进入最优的邻域，以致极易使 迭代点落入非可行域而导致计算的失败。
或
r（0）=1~50
函数
的一系(x,列r(k最) ) 优点，
xk* (k 0,1,2, )
显见，无约束最优点序列将逐渐趋近于原约
束优化问题的最优点x*。
㈡内点罚数法的形式及特点
⑴具有不等式约束的优化问题的数学模型
S.T. :
u=1，2……，p
⑵构造如下形式的内点罚函数
p
(x, r (k) ) F (x) r (k)
而且，当x越趋近于约束边界时，由于惩罚项 r(k) 1
增大，所以罚函数 (x, r(的k) )值越大。当x←b时，罚g１函(x)
数的值将趋近于+∞。因此，当初始点取在可行域内，求
函数 (x, r(k)的) 极小值时，只要适当控制搜索步长，
防止迭代点跨入非可行域，则所搜索到的无约束极小点 x*必可保持在可行域内。
⑹由终止准则，若满足则转步骤⑺，否则转⑸⑺,输出最优解(x*,F*)
入口
给定：x(0) ∈D,r(0),C,ε1,ε2
惩罚函数法的基本原理
惩罚函数法的基本原理惩罚函数法（Punishment-based approach）是一种优化算法，在求解约束最优化问题时有着重要的应用。
它通过将约束条件与目标函数进行结合，将问题转化为无约束最优化问题来求解。
惩罚函数法的核心思想是通过在目标函数中添加惩罚项来使得违反约束的解变得不可行，从而达到求解约束最优化问题的目的。
惩罚函数法的基本原理可以简单地概括为以下几个步骤：1. 确定目标函数：首先需要确定原始约束最优化问题的目标函数。
目标函数是对问题的数学形式化表达，在优化中主要追求最小化或最大化。
2. 引入惩罚项：将约束条件表示为等式或不等式形式，在目标函数中引入一个或多个惩罚项。
惩罚项的设计通常是一个与约束条件违背程度相关的函数，通过量化违背的程度。
惩罚项的选择需要根据具体问题进行合理设计，以确保能够有效地将约束违背的解变得不可行。
3. 调整惩罚参数：惩罚函数法中的一个重要参数是惩罚参数，它用于控制惩罚项在目标函数中的影响程度。
适当的惩罚参数选择可以保证优化算法在搜索解空间时能够在违反约束与优化目标之间取得平衡，避免过度收敛到局部最优解。
4. 构建新的目标函数：将原始目标函数和惩罚项进行加权结合，构建新的目标函数。
这一步通常是将惩罚项与原始目标函数进行加权线性组合，其中加权系数可以根据问题的特性进行调整。
目标函数的设计应该能够准确地描述问题，并能够引导优化算法在搜索过程中逐渐减小约束违背的程度。
5. 优化求解：使用优化算法，通过对构建的新目标函数进行求解，寻找最优解。
常用的优化算法有梯度下降法、遗传算法、模拟退火算法等。
在求解过程中，通过迭代更新变量值，直到达到停止条件。
6. 解的后处理：在获得原始问题的近似最优解后，需要进行结果验证和后处理。
验证结果是否满足原始约束条件，对于不满足约束条件的解进行修正或调整。
惩罚函数法的优点之一是可以将约束问题转化为无约束问题，扩大了求解问题的搜索空间。
同时，通过合理选择和调整惩罚项以及惩罚参数，可以在一定程度上平衡约束与目标之间的矛盾，找到满足约束条件的最优解。
最优化理论第五章-惩罚函数法
课堂练习：
外点法求解
称为SUMT方法 基本步骤：
序列无约束极小化方法
收敛于
1.3. 外点法收敛性
定理2： 定理3：
的最优解。
2. 内点罚函数法
2.1 思想：从内点出发，保持在可行域内部进行搜索。
只适用于不等式约束问题
两种形式：
原始问题的解
2.2 r如何取值？
r太大，问题的解不精确
计算步骤： ∆例题： 解得：
2.3. 收敛性
例：乘子法求解：
3.3. 不等式约束的乘子法
转化为
等式
定义增广Lagrange函数。 求得原问题的解
用配方法整理则有： 增广Lagrange函数变为
一般问题
例题：
则
作业：
1. 阅读MATLAB中optimization toolbox 中的Quasi-Newton Method 和 Least-Squares Method 算法，用Lsqnonlin（）函数 求解
有约束最优化：
可行域
定义：局部极小点，局部严格极小点
一阶条件（必要条件） 二阶条件（必要条件）
惩罚函数法 可行方向法，二次规划
1. 外点罚函数法
1.1 罚函数概念
a 对于等式约束：
对于线性约束可 消元处理
第2项很大
很大的正数
b. 不等式约束
转化为 c.一般情况：
罚回来
过大，计算困难 太小，远离约束问题的最优解
定理：问题
∆ 外点法 内点法
应用序列无约束极小化方法，简单
成为病态矩阵 无法求解
增大
3. 乘子法（Hestenes, Powell）提出
惩罚函数法
显然 p( x) 满恰足前面的条件（1）和（2）。
连续， 也连续。 结论 1 ： 如果 g j ( x ) j = 1,2, L , m ） （ 连续，那么 p( x ) 也连续。
事实上，只须注意： 事实上，只须注意： f1 ( x ) + f 2 ( x ) − f1 ( x ) − f 2 ( x ) min { f 1 ( x ), f 2 ( x )} = 2
m
n
得到其最优解 x * (λ k )，记为 x k + 1。 step 3 . 如果 µ k q( x k + 1 ) ≤ ε , 则 x k + 1 就是问题 min f ( x ) 的最优解， stop;否则转 step 4。 的最优解， （A）：
x∈ D
step 4 . 给定 µ k + 1 < µ k（可取 µ k + 1 = βµ k 这里 β < 1 为惩罚 因子的缩小系数） , 因子的缩小系数） k := k + 1, 转 step 2。
x∈ D
: 证明 ： 因为 x * (λ k ) 是（B） min ϕ k ( x ) 的最优解 。
x∈ R n
所以 ϕ k ( x * (λ k )) ≤ ϕ k ( x ) , ∀ x ∈ R n 。
, 又 x * (λ k ) ∈ D, 即g j ( x * (λ k )) ≥ 0 j = 1,2,L, m ） （ 所以 p( x * (λ k ) ) = 0 。
1 ∑ 例如： 例如： q( x ) = 或 q( x ) = j =1 g ( x ) j
m m
1 等; 2 j =1 g ( x )
罚函数法(SUMT法)
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
( X , M ) f ( X ) M [min(0, gi ( X ))]2
设min( X , M )的最优解为 X (M ) XRn
s.t. gi ( X ) 0
i 1,2, , m
20 若 X (M ) D, 当M很大时， X *(M)也会相当靠近
设min( X , M )的最优解为 X (M ) XRn
s.t. gi ( X ) 0
i 1,2, , m
20 若 X (M ) D, 当M很大时， X *(M)也会相当靠近
(NP) 可行域D的边界，是(NP)的最优解X *的近似解
证明： X ( M ) D, 至少存在 i0 使 gi0 (X(M)) 0
D
g2(X ) 0
g1( X ) 0
X (k)(Mk )
X
x1
线性规划3-6
一.外点法迭代原理
(NP) min f (X )
s.t. gi ( X ) 0
i 1,2, , m
( NP) min f (X )
s.t
.
gi hj
( (
X X
) )
0, 0,
i j
1, 2,L 1, 2,L
m
构造罚函数： ( X , M ) f ( X ) M [min( 0, gi ( X ))]2
罚函数的特点：
罚因子 i1 惩罚项
f (X ),
XD
(X , M) f (X) + 很大的正数, X D
( NP) 求解 min( X , M ) 设其最优解为 X*(M)， XRn
研究 X*(M) 与(NP)的最优解 X* 之间的关系
1 外罚函数法
算法步骤 Step 1
外罚函数法
Step 2
Step 3
举例
外罚函数法
解
举例
外罚函数法
举例
外罚函数法
外罚函数法本思想
外罚函数法
考虑等式约束优化问题
罚函数
min F1 ( x , σ ) n
x∈R ∈
通过求解无约束问题(10.1.3)能够得到等式约束问题 能够得到等式约束问题(10.1.2) 通过求解无约束问题 能够得到等式约束问题 的近似解. 的近似解
基本思想
外罚函数法
考虑不等式约束优化问题
罚函数
i=1
选取罚因子的一般策赂是取定数列满足这种通过求解一系列无约束问题来获得约束问题最优解的方法统称为序列无约束极小化方法sequentialunconstrainedminimizationtechnique简称sumt法
第十章 罚函数法与广义乘子法
可行方向法：在可行域内寻找使目标函数下降的点列. 可行方向法：在可行域内寻找使目标函数下降的点列. 但是, 但是,这类方法对于带非线性约束的最优化问题求解 效果一般都不太理想. 效果一般都不太理想. 罚函数法: 利用原问题的目标函数和约束条件构造 罚函数法 新的目标函数--罚函数 罚函数, 新的目标函数 罚函数 把约束最优化问题转化为 相应的罚函数的无约束最优化问题来求解. 相应的罚函数的无约束最优化问题来求解
上述罚函数的最优解序列是从可行域 S 的外部逼近约束问题 (10.1.1)的最优解的．因此，上述利用罚函数生成一系列外点 的最优解的． 的最优解的 因此， 逼近该约束问题最优解的方法称为外罚函数法(exterior penalty 逼近该约束问题最优解的方法称为外罚函数法 method)或SUMT外点法． 外点法． 或 外点法
惩罚函数法
解出x1,x2
5M 4 M 5 x1 x2 2.5 2M 1 2
此时x1,x2则满足约束条件，是原问题的解。
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法 例：内点法求解约束问题 min f (u ) au(a 0) s.t.g (u ) b u 0(b 0)
§2惩罚函数法
§2惩罚函数法
§2罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
s.t. h (xi)=x1+ x2-5=0
该问题只有等式约束 解：首先建立罚函数：
F ( x, M ) f ( x) Mp( x)
P( x)
(max( 0, g
i 1
l
i
( x )))
2
( h j ( x ))
j 1
m
2
( x1 x 2 5) 2
F ( x, M ) ( x1 4) 2 ( x2 4) 2 M ( x1 x2 5) 2
此时的x1,x2不满足约束条件，不是原问题的解。
当x 不属于 S 时
F§2惩罚函数法 ( x2 4) 2 M ( x1 x2 5) 2 ( x, M ) ( x1 4) 2
F 2( x1 4) 2M ( x1 x 2 5) 0 x1 F 2( x 2 4) 2M ( x1 x 2 5) 0 x 2
*
rk a 2 (b u )
rk a
F (u , rk ) f (u ) rk a (b rk 0
1 1 au rk g (u ) bu
外点惩罚函数法
对于任意给定的惩罚因子r（k）＞0，函数Ф （x，r（k））是 凸的。令函数Ф （x，r（k））的一阶导数为零，可得其无 约束极值点x*（r（k））=1-1/(4r(k))和惩罚函数值为
下表列出了当惩罚因子赋予不同值时的条件最优解。由此 可见，当惩罚因子递增时，其极值点x*（r（k))离约束最优 点x*越来越近。当r（k）→∞时， x*（r（k))→x*=1，趋于 真正的约束最优点。因此，无约束极值点x*（r（k))将沿直 线Ф （x*，r（k））=1/2+x*/2从约束区域外向最优点x*收 敛。
条件，就认为已经达到约束边界。这样只能取得一个接近
于可行域的非可行设计方案。当要求严格满足不等式的约 束条件时，为了最终取得一个可行的最优化设计方案，必
须对那些要求严格满足的约束条件，增加约束欲量—— δ
，定义新的约束条件 g'u(x)=gu(x)+δ ≤0 u=1,2,……m
用外点罚函数法解等式约束优化问题
使用中的问题
外点惩罚函数法的初始点x（0），可以任意选择，因
为不论初始点选在可行域内或外，只要f（x）的无约束极
值点不在可行域内，其函数Ф （x，r（k））的极值点均在 约束可行域外。这样，当惩罚因子的增大倍数不太大时， 用前一次求得的无约束极值点x*r（k-1），作为下次求 minФ （x，r（k））的初始点x（0），对于加快搜索速度是
r(k)与r（0）的选择
r（k）
在外点法中，惩罚因子r（k）通常是按下面递推公式增加的， 即 r（k）=α r（k-1）；其中α 为递增系数一般取5~10。
r（0）的选择：
r（0）过大，惩罚函数比原目标函数大得多，使函数性态遭到破 坏，从而惩罚函数的等值线变形或偏心，求极值困难； r（0）过小，会使迭代次数增加。
罚函数法46732
§2 简单罚函数法（惩罚函数法）罚函数法包括简单罚函数法、内点罚函数法和乘子法。
罚函数法的思想是，通过构造适当的罚函数将约束优化问题转化为一系列无约束优化问题，然后用无约束优化问题的求解方法进行求解。
罚函数法又称为序列无约束极小化技术，简称为SUMT 法。
罚函数的不同构造思想将得到不同的罚函数法。
简单罚函数法是对不可行的点即外点进行惩罚，故又称为SUMT 外点法。
简单罚函数法是利用简单罚函数求解含一般约束的非线性规划问题min ().. ()0,1,, ()0,1,,i j f s t g i m h j p≤===x x x "" (CNP1) 的方法，其中(),(),1,,,(),1,,i j f g i m h j p ==x x x ""是连续函数。
记()max{0,()},1,,i i g g i m +==x x "(), 1,,()|()|, 1,,i i m i g i m c h i m m p +−⎧=⎪=⎨=++⎪⎩x x x""，1()((),,())Tm p c c +=c x x x " 则(CNP1)的可行域{|()0}nS R =∈=x c x 。
2.1 简单罚函数对(CNP1)的可行域{|()0}nS R =∈=x c x ，构造关于()c x 的连续函数0, ()0()(())0, ()0, :()l p p l c ==⎧⎪>≠⎨⎪→+∞∃→+∞⎩c x x c x c x x 则()p x 是对x 的不可行性的一种度量，并且()0p S =⇔∈x x 。
我们称(,)()()F M f Mp =+x x x 为简单罚函数，其中0M >为罚因子。
例如，111()())|()|max{0,()}()m p pm i i j i i j p c g h ααααα+======+∑∑∑x c x x x x ，其中1α≥，则11(,)()max{0,()}()p m i j i j F M f M g h αα==⎡⎤=++⎢⎥⎣⎦∑∑x x x x (2.1)或1()()max ()max{max{0,()},1,,,(),1,,}i i j i m pp c g i m h j p ∞≤≤+=====x c x x x x ""，则(,)()max{max{0,()},1,,,(),1,,}i j F M f M g i m h j p =+==x x x x ""为求解(CNP1)，我们考虑无约束优化问题：min (,)F M xx (UNP)M记(UNP)M 的最优解为()M x 。
惩罚函数的外点法
2013-2014（1）专业课程实践论文惩罚函数的外点法一、算法理论基本原理设原目标函数为(X)f ，在不等式约束(X)0 (1,2,,)u g u m ≥= 条件下外点惩罚函数法求极小，外点法常采用如下形式的泛函：[][]{}2(X)min 0,(X)u u G g g = （1）由此，外点法所构造的相应的惩罚函数形式为：[]{}2(k)(k)1(X,)(X)min 0,(X)mu u r f rg ϕ==+∑ （2）式中，惩罚因子(k)r 是一个递增的正值数列，即：(1)(2)(k)0r r r <<<<< (k)lim k r →∞=+∞惩罚项中：[](X),(X)0(X)(X)min 0,(X)20,(X)0u u u u u u g g g g g g <⎧-==⎨≥⎩若若 （3） 由此可见，当迭代点X 位于可行域内满足约束条件时，惩罚项为零，这时不管(k)r 取多大，新目标函数就是原目标函数，亦即满足约束条件时不受“惩罚”，此时求式（2）的无约束极小，等价于求原目标函数(X)f 在已满足全部约束条件下的极小；而当点X 位于可行域外不满足约束条件时，惩罚项[]{}2(k)1min 0,(X)mu u rg=∑为正值，惩罚函数的值较原目标函数的值增大了，这就构成对不满足约束条件的一种“惩罚”。
由式（2）可知,每一次对罚函数(k)(X,)r ϕ求无约束的极值，其结果将随该次所给定的罚因子(k)r 值而异。
在可行域外，离约束边界越近的地方，约束函数(X)u g 的值越大，[](X)u G g 的值也就越小，惩罚项的作用也就越弱，随着罚因子(k)r 逐次调整增大，有增大惩罚项的趋势，但一般说来泛函值下降得更快一些。
此时尽管(k)r 但泛函值亦趋于零，满足式（3）。
最后当k →∞，(k)r →∞，泛函值和惩罚项值均趋近于零。
外点法在寻优过程中，随着罚因子的逐次调整增大，即取(1)(2)(k)0r r r <<<<< ，所得的最优点序列可以看作是以为参数的一条轨迹，当时，最优点点列{}*()X(1,2,)k 从可行域的外部一步一步地沿着这条轨迹接近可行域，所得的最优点列*()X k 逼近原问题的约束最优点*X 。
外罚函数法典型例题
外罚函数法（External Penalty Method）是一种用于解决约束优化问题的算法。
它通过在目标函数上增加一个与约束违反程度相关的惩罚项，将约束优化问题转化为一系列的无约束优化问题。
下面是一个简单的外罚函数法的典型例题：
例题：假设我们需要找到一个实数x，使得f(x)=x2−4x+4最小化，同时满足约束条件g(x)=x−2≤0。
我们可以使用外罚函数法来解决这个问题。
首先，我们定义一个新的函数
F(x,λ)，其中λ是一个正数，作为外罚项的系数。
F(x,λ)=f(x)+λ⋅g(x)
然后，我们通过不断调整λ的值，并求解F(x,λ)的最小值，来逼近原问题的解。
在本例中，初始时我们可以选择一个较大的λ值，例如λ=100。
然后，我们通过迭代的方式求解F(x,λ)的最小值。
每次迭代中，我们可以使用一些无约束优化算法，例如梯度下降法，来找到F(x,λ)的最小值。
在每次迭代中，我们还需要根据当前的解更新λ的值。
如果当前的解违反了约束条件，即g(x)>0，则将λ的值增加一个较大的量，例如增加10倍。
如果当前的解满足约束条件，即g(x)≤0，则将λ的值减小一个较小的量，例如减小10%。
通过不断调整λ的值并求解F(x,λ)的最小值，我们可以逐渐逼近原问题的解。
最终，当λ的值足够大时，F(x,λ)的最小值将落在约束条件g(x)=x−2≤0的边界上，即x=2。
因此，原问题的解为x=2。
惩罚函数法简介
惩罚函数法简介罚函数法它将有约束最优化问题转化为求解无约束最优化问题：其中M为足够大的正数，起"惩罚"作用，称之为罚因子，F(x,M)称为罚函数。
定理对于某个确定的正数M,若罚函数F(x,M)的最优解x*满足有约束最优化问题的约束条件，则x*是该问题的最优解。
序列无约束最小化方法罚函数法在理论上是可行的，在实际计算中的缺点是罚因子M的取值难于把握，太小起不到惩罚作用；太大则由于误差的影响会导致错误。
改进这些缺点，可根据上述定理加以改进，先取较小的正数M，求出F(x,M)的最优解x*。
当x*不满足有约束最优化问题的约束条件时，放大M(例如乘以10)重复进行，直到x*满足有约束最优化问题的约束条件时为止。
种类传统的罚函数法一般分为外部罚函数法和内部罚函数法。
外部罚函数法是从非可行解出发逐渐移动到可行区域的方法。
内部罚函数法也称为障碍罚函数法，这种方法是在可行域内部进行搜索，约束边界起到类似围墙的作用，如果当前解远离约束边界时，则罚函数值是非常小的，否则罚函数值接近无穷大的方法。
由于进化计算中通常采用外部罚函数法，因此本文主要介绍外部罚函数法。
在进化计算中，研究者选择外部罚函数法的原因主要是该方法不需要提供初始可行解。
需要提供初始可行解则是内部罚函数法的主要缺点。
由于进化算法应用到实际问题中可能存在搜索可行解就是NP难问题，因此这个缺点是非常致命的。
外部罚函数的一般形式为B(x)=f(x)+[∑riGi+∑cjHj]其中B(x)是优化过程中新的目标函数，Gi和Hj分别是约束条件gi(x)和hj(x)的函数，ri和cj是常数，称为罚因子。
Gi和Hj最常见的形式是Gi=max[0,gi(x)]aHj=|hj(x)|b其中a和b一般是1或者2。
理想的情况下，罚因子应该尽量小，但是如果罚因子低于最小值时可能会产生非可行解是最优解的情况（称为最小罚因子规则）。
这是由于如果罚因子过大或者过小都会对进化算法求解问题产生困难。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
#include <stdio.h>#include <math.h>#define m 10float max(float l){float resu;if(l<=0)resu=0;elseresu=l*l;return resu;}float f(float x[],float p){float result,t1;t1=(1-x[0]);result= x[0]*x[0]+x[1]*x[1]+p*max(t1);return result;}float g(float x[]){float re;re=x[0]*x[0]+x[1]*x[1];return re;}void mjtf(int n,float x0[],float h,float s[],float a[],float b[],float p) {int i;float x1[m],x2[m],x3[m],f1,f2,f3;for(i=0;i<n;i++){x1[i]=x0[i];x2[i]=x0[i]+h*s[i];}f1=f(x1,p);f2=f(x2,p);if(f2>=f1){h=(-1)*h;for(i=0;i<n;i++)x3[i]=x1[i];f3=f1;for(i=0;i<n;i++)x1[i]=x2[i];f1=f2;for(i=0;i<n;i++)x2[i]=x3[i];f2=f3;}for(i=0;i<n;i++)x3[i]=x2[i]+h*s[i];f3=f(x3,p);while(f3<f2){h=2*h;for(i=0;i<n;i++)x1[i]=x2[i];f1=f2;for(i=0;i<n;i++)x2[i]=x3[i];f2=f3;for(i=0;i<n;i++)x3[i]=x2[i]+h*s[i];f3=f(x3,p);}for(i=0;i<n;i++){if(x1[i]<x3[i]){a[i]=x1[i];b[i]=x3[i];}else{a[i]=x3[i];b[i]=x1[i];}}}void mhjfgf(int n,float a[],float b[],float flag,float x[],float p) {int i;float x1[m],x2[m],f1,f2,sum;for(i=0;i<n;i++)x1[i]=b[i]-(float)0.618*(b[i]-a[i]);f1=f(x1,p);for(i=0;i<n;i++)x2[i]=a[i]+(float)0.618*(b[i]-a[i]);f2=f(x2,p);do{if(f1<=f2){for(i=0;i<n;i++)b[i]=x2[i];for(i=0;i<n;i++)x2[i]=x1[i];f2=f1;for(i=0;i<n;i++)x1[i]=b[i]-(float)0.618*(b[i]-a[i]);f1=f(x1,p);}else{for(i=0;i<n;i++)a[i]=x1[i];for(i=0;i<n;i++)x1[i]=x2[i];f1=f2;for(i=0;i<n;i++)x2[i]=a[i]+(float)0.618*(b[i]-a[i]);f2=f(x2,p);}sum=0;for(i=0;i<n;i++)sum+=(b[i]-a[i])*(b[i]-a[i]);}while(sqrt(sum)>flag*0.1);for(i=0;i<n;i++)x[i]=(float)0.5*(b[i]+a[i]);}void mbwef(int n,float x0[],float h,float flag,float a[],float b[],float x[],float p) {int i,j,k,r;float x1[m], x11[m],x2[m],f0,f1,f2,fn[m],s[m][m],sum;for(i=0;i<n;i++)for(k=0;k<n;k++)if(i==k)s[i][k]=1;elses[i][k]=0;while(1){for(i=0;i<n;i++){x1[i]=x0[i];x11[i]=x1[i];}for(i=0;i<n;i++){mjtf(n,x1,h,s[i],a,b,p);mhjfgf(n,a,b,flag,x1,p);fn[i]=f(x11,p)-f(x1,p);x11[i]=x1[i];}for(i=0;i<n;i++)x2[i]=2*x1[i]-x0[i];for(i=1;i<n;i++)if(fn[0]<fn[i]){fn[0]=fn[i];r=i;}elser=0;f0=f(x0,p);f1=f(x1,p);f2=f(x2,p);if(f2>=f0||(f0-2*f1+f2)*(f0-f1-fn[0])*(f0-f1-fn[0])>=0.5*fn[0]*(f0-f2)*(f0-f2)) {sum=0;for(i=0;i<n;i++)sum+=(x1[i]-x0[i])*(x1[i]-x0[i]);if(f1<=f2)for(i=1;i<n;i++)x0[i]=x1[i];elsefor(i=1;i<n;i++)x0[i]=x2[i];}else{for(i=r;i<n-1;i++)for(j=0;j<n;j++)s[i][j]=s[i+1][j];for(i=0;i<n;i++)s[n-1][i]=x1[i]-x0[i];mjtf(n,x1,h,s[n-1],a,b,p);mhjfgf(n,a,b,flag,x1,p);sum=0;for(i=0;i<n;i++)sum+=(x1[i]-x0[i])*(x1[i]-x0[i]);for(i=0;i<n;i++)x0[i]=x1[i];}if(sqrt(sum)<=10*flag)break;elsefor(i=0;i<n;i++) /*输出极小点坐标*/x[i]=x1[i];}}void main() /*主程序*/{int i,n,h,k;float flag,x0[m],x00[m],a[m],b[m],x[m],f00,f1,c,p,sum;float f(float x[],float p);float max(float l);void mjtf(int n,float x0[],float h,float s[],float a[],float b[],float p);void mhjfgf(int n,float a[],float b[],float flag,float x[],float p);void mbwef(int n,float x0[],float h,float flag,float a[],float b[],float x[],float p); h=2;k=1;sum=0;printf("请输入维数:\n");scanf("%d",&n);printf("请输入初始点:");for(i=0;i<n;i++){printf("\nx0[%d]=",i);scanf("%f",&x0[i]);}printf("\n请输入惩罚因子:\n");scanf("%f",&p);printf("\n请输入递增系数:\n");scanf("%f",&c);printf("\n请输入精度:\n");scanf("%f",&flag);mbwef(n,x0,h,flag,a,b,x,p);for(i=0;i<n;i++){x0[i]=x[i];x00[i]=x[i];}p=p*c;mbwef(n,x0,h,flag,a,b,x,p);for(i=0;i<n;i++)sum+=(x[i]-x00[i])*(x[i]-x00[i]); sum=sqrt(sum);while(sum>=flag){sum=0;p=p*c;for(i=0;i<n;i++){x0[i]=x[i];x00[i]=x[i];}k=k+1;mbwef(n,x0,h,flag,a,b,x,p);for(i=0;i<n;i++)sum+=(x[i]-x00[i])*(x[i]-x00[i]);sum=sqrt(sum);}printf("\n极小点坐标为:\n");for(i=0;i<n;i++)printf("x[%d]=%f\n",i,x[i]);printf("\n极小值为:\n%f\n",g(x)); printf("迭代次数为:%d\n",k);}。