第三章罚函数法及改进算法
惩罚函数法
k k 1
r k 1 cr k
否
X 0 X *(rk )
开始
输入 X 0、r0、c、
k←0
求 min(X , rk )
满足收敛条件？ 是
X * X *(rk ) f ( X *) f X *(rk )
结束
3.外点惩罚函数法
求解策略
外点惩罚函数法简称外点法。这种方法和内点相反，
3.外点惩罚函数法
外点法程序框图：
Yes
X * X *(rk )
Yes
f ( X *) f X *(rk )
结束
开始
输入 X 0, r0, c,1,2
k 0
求 min ( X , rk ) 得X *(rk )
Q max g j ( X *(rk ))
Q 1 ?
No
X * (r k ) X * (r k1) 2
(X , r) f (X ) rmax 0, g j (X ) rhk (X )
j 1
k 1
式中：r为惩罚因子，它是由小到大，且趋近于∞的数列
3.外点惩罚函数法
l
2m
2
即 r0＜r1＜r2＜··· ,hk (X ) 、max 0, g j (X )分别对
应为对应于不等式约束和等k式1 约束函数j1的惩罚项， 其中
当 r , lim(1 1 ) 1。
r 4r
当逐步增大r值，直至趋近于无穷时，逼近原问题的约束最优
解，当r=0.25,0.5,1,2时，惩罚函数 (X , r) 的等值线图
下如
3.外点惩罚函数法
当r逐渐增大时，极值
点 X *(r)的序列将沿一直线轨 迹 ( X *(r), r) 1 X *(r) 在可 行域外逐步逼近2 最优2 点。
罚函数法与障碍函数法
罚函数法与障碍函数法罚函数法与障碍函数法罚函数法与障碍函数法是求解约束极⼩化问题的较好的算法，其基本原理是在原⽬标函数中加上⼀个罚（障碍）函数，⽽得到⼀个增⼴⽬标函数。
罚（障碍）函数的功能是对⾮可⾏或企图穿越边界⽽逃离可⾏域的点赋予⼀个极⼤的函数值。
可以作⼀个形象的⽐喻：在约束极⼩化问题中，约束条件是⼀条“法律”，凡是不服从这条“法律”的点被处以“罚款”的“经济制裁”，⽽且“罚款”的数额极⾼。
这样，在对新的⽬标函数进⾏⽆约束极⼩化的过程中，就会迫使迭代点逐步逼近（当迭代点在可⾏域外时）或者不能离开可⾏域（当迭代点在可⾏域内时），这样所得的关于增⼴⽬标函数的⽆约束极⼩化的解就会逼近于原⽬标函数的约束极⼩化的解。
也就是说，可以将约束极⼩化问题通过增⼴⽬标函数⽽化成⽆约束极⼩化问题，⽽后者可以⽤前⼏节所介绍的算法来求解。
⼀、罚函数法（外点法）1．罚函数法的基本原理定理4.12 设对给定的参数µ,F(X,µ)的⽆约束极⼩点为Xµ, 那么Xµ成为f(X)的约束极⼩点的充要条件是：Xµ是原问题的可⾏点。
证明必要性显然成⽴，下⾯证明充分性。
设原问题的可⾏域为D,Xµ∈D，则由a(X)的构造可知：a(Xµ)=0, Xµ∈D由于已知Xµ是F(X,µ)的⽆约束极⼩点，故存在Xµ的⼀个领域N(X,ε)，使得F(Xµ,µ)≤0,X∈D∩N(Xµ,ε)所以F(Xµ,µ)= f(Xµ)+µa(Xµ)=f(Xµ)F(X,µ)= f(X)+ µa(Xµ)=f(X)因此f(Xµ)≤f(X)，当X∈D∩N（Xµ,ε）表明，Xµ是原问题的约束极⼩点。
2．罚函数法算法在⽤计算机求解F(X,µ)的⽆约极⼩点时，必须事先给µ的值，例如，令µ=µ0，才能求出F(X,µ)的极⼩点Xµ0。
罚函数-原理与应用
定理3.37
定理3.37 设对给定的参数μ,F(x,μ)的无约
束极小值为xμ。那么，xμ成为f(x)的约束极小点的
充要条件是：xμ是原问题的可行点。
罚函数法算法
2.罚函数算法
1) 取初始点X0为非可行点,μ0＞0(通常取μ0=1), ε＞0,c＞1(通常取
c=10),k=0
2) 以Xk为出发点，求解无约束极小化问题：
= 12 + 222 + 21 + (1 + 2 − 1)2
(, )
= 12 + 222 + 21
+ (1 + − 1)2
例题
= 2, 2 = 100
(1) = (−0.2,0.4), ( (1) ,μ0 ) = 1.5237
任选一种无约束极小化算法，可解得F(X, μ0)的
问题转化为：
minF(x)
min() = 12 + 222 + 21
..
(3-98)
基本原理
F(x)的等价表达式：
F(x,μ)=x+μ[max(0,-0+2)]²
其中，μ是一个充分大的正数。记
α(x)=[max(0,-x+2)]²
(3-98)
(3-99)
通常将μα(x)称之为罚函数，记为
点正是X=2
解题步骤
一般情况下：
设原问题为
minf(x)
(3-100)
s.t. gi(x)≤0,i=1,2,…,m (3-101)
hj(x)=0,j=1,2,…,l (3-102)
则可以构造无约束极小化问题：
minF(x,μ)=f(x)+μα(x) (3-103)
最优化方法 第三章(罚函数法)
这种惩罚策略，对于在无约束的求解过程中企图违反约
束的迭代点给予很大的目标函数值，迫使无约束问题的 极小点或者无限地向可行域D靠近，或者一直保持在可 行域D内移动，直到收敛到原来约束最优化问题的极小 点。
不改变可行域局部极小值，可以将 约束域之外的局部极小值变大。
p ( x) 0, x D p ( x) 0, x D
k k
k 1
k 1
xk 1是F x, M k 1 的最优解.
k 1 k k 1 k 0 M k 1 M k p ( x ) p ( x ) p ( x ) p ( x )
M k 1 M k
(3) f ( x k 1 ) M k p( x k 1 ) F ( x k 1 , M k ) F ( x k , M k ) f ( x k ) M k p( x k )
gi ( x) gi ( x) max gi ( x), 0 = 罚函数p(x)的构造 2 m l p( x) (max gi ( x), 0) 2 h 2 j ( x)
i 1 j 1
(1) p(x)连续 (2) p( x) 0, x D (3) p( x) 0, x D
二、外点法 外点罚函数法算法步骤 1：给定初始点 x 0 ，初始罚因子M1 0 (可取M1 1 ), 精度 0, k : 1. 2：以 x k 1初始点，求解无约束优化问题
min F ( x, M k ) f ( x) M k p( x)
得到极小点 x* ( M k )，记为 x k ， 其中
p( x) (max gi ( x), 0) h 2 j ( x)
2 i 1 j 1 m l
罚函数法
No γk+1 = β γk
闸函数法： （续）
求初始内点： 1 x (1) , k 1, 转2 ； 2 令I k {i | g i ( x ( k ) ) 0}
(k ) 若 I , 则 x 为初始内点。 k 转 3 ； (k ) (k ) 否则，取j使g j ( x ) max{ g i ( x ) | i I k }
2 x
0
0
g ( x , ) 2 最优值(原问题)
3.闸函数法： （续）
定义 ( ) inf{ f ( x) B( x) | x S 0 } 有类似于罚函数法的理论结果： 定理： ( fg ), f , g连续，S 0 Φ , 最优解x S 0 则 1 min{ f ( x) | x S} inf{ ( ) | 0} lim ( )
(t ), (t )的典型取法： (t ) [max {0, t}] p (t ) | t | p
p为正整数。
当p 2时，称2次罚函数.(常用：因2次是最低次的光滑函数)
1.罚函数概念 （续）
Ex. min x s.t. x 2 0
2
( x 2) 2 , x 2 二次罚函数 : ( x) [max{ 0, x 2}] 0, x 2 如图 当 时, min 解析解 : 辅助函数 x ( x 2) 2 x 2 (4 1) x 4 , g ( x, ) f ( x) ( x) x ,x 2 4 1 当x 2时, g ( x, )的驻点x 2 2 故x 2 opt. 当x 2时, g ( x, )的最小值点~ x 2 x2 f ( x) ( x) f ( x ) x 2
罚函数法
外罚函数法算法
Step1: 给出 x0 ∈ Rn (可是不可行点)， > 0(ε =10−4 ) ε 罚因子 σ1(σ1 =1) , 放大系数 C(C =10) , k =1. Step2: 以 xk−1 为初始点求无约束问题： ~ m P( x,σk ) = f ( x) +σk P( x) 得 xk = x(σk ). in ~ Step3: 若 σk P(xk ) < ε , 则 x* = xk ,停； 否则转step4 Step4: 令 σk+1 = Cσk , k = k +1, 转step2.
Q f (xk ) ≤ P(xk ,σk ) ≤ f x
设其极限为 f . ∴ { f (xk )} 亦为单调有界序列， ~ ∴ lim σk P(xk ) = lim [P(xk ,σk ) − f (xk )] = p0 − f 0 k→+∞ k→+∞ ~ Q σk →+∞ ∴ lim P(xk ) = 0 k→+∞ ~ ~ ~ 且 P(x) 连续； P(~) = 0 即 ~ 为可行解 x ∴ x Q x →x
0
( )
*
Q x 为最优解；∴ f x* ≤ f (~) x ~, f (x) 连续； f (~) = lim f (x ) ≤ f (x* ) ∴ x Q xk → x k k→+∞ * ~) 即 ~ 为(3)的整体最优解． ∴ f x = f (x x
k *
( )
( )
外罚函数法评价
(1) 如果有了求解无约束问题的好算法，利用 外罚函数法求解约束问题很方便． (2) 每个近似解 x(σk ) 往往不是可行解，这是某 些实际问题所无法接受的． 内罚函数法可以解决． (3) 由收敛性定理 σk 取越大越好， σk 越大将 而 造成增广目标函数 P( x,σ ) 的Hesse阵条件数越 大，趋于病态，给无约束问题求解增加很大困 难，甚至无法求解．乘子法可解决这个问题．
0422 罚函数法
Page 17
所以
1 r x r r
令 r 0 有：
x( r ) x 1, 0
*
T
则最优解及最优值分别为：
x 1, 0
* T
8 , f . 3
*
3. 算法实现
Page 18
Step1: 给出 x 0 R n (要求是可行点)， 0 104 罚因子 r1 r1 10 , 缩小系数 c 0.1 , 令 k 1. Step2: 以 x k 1 为初始点求无约束问题：
2 2 min f x x1 x2
Page 7
s.t
解：作辅助函数
x1 1 0
2 1 2 2 2
F x, x x max 0, x1 1
2 2 x x x1 1 0 1 2 即：F x , 2 2 2 x1 1 0 x1 x2 x1 1 x1 1 因此： F 2 x1 x1 2 x1 2 x1 1 x1 1 F 2 x2 x2
i 1 j 1
0 是很大的正数．
P ( x ) 0, F ( x , ) f ( x ). 当 x是可行点时， 分析： 当 x不是可行点时， P x 0, 又因 是大正数．
故此 x 很难成为 F x， 的极小点. 因此，按上策略 得到的 F x, 的极小点应充分靠近可行域，逐渐
“围墙”，当迭代点靠近边界时，目标函数值陡然增大,
这相当于对它进行惩罚，从而阻止迭代点穿越边界，
这样就可以把最优解“挡”在可行域内了．
注意： 内点法只适合于不等式约束问题，并且要求 可行域的内点集非空．
惩罚函数法
解出x1,x2
5M 4 M 5 x1 x2 2.5 2M 1 2
此时x1,x2则满足约束条件，是原问题的解。
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法 例：内点法求解约束问题 min f (u ) au(a 0) s.t.g (u ) b u 0(b 0)
§2惩罚函数法
§2惩罚函数法
§2罚函数法
§2惩罚函数法
§2惩罚函数法
§2惩罚函数法
s.t. h (xi)=x1+ x2-5=0
该问题只有等式约束 解：首先建立罚函数：
F ( x, M ) f ( x) Mp( x)
P( x)
(max( 0, g
i 1
l
i
( x )))
2
( h j ( x ))
j 1
m
2
( x1 x 2 5) 2
F ( x, M ) ( x1 4) 2 ( x2 4) 2 M ( x1 x2 5) 2
此时的x1,x2不满足约束条件，不是原问题的解。
当x 不属于 S 时
F§2惩罚函数法 ( x2 4) 2 M ( x1 x2 5) 2 ( x, M ) ( x1 4) 2
F 2( x1 4) 2M ( x1 x 2 5) 0 x1 F 2( x 2 4) 2M ( x1 x 2 5) 0 x 2
*
rk a 2 (b u )
rk a
F (u , rk ) f (u ) rk a (b rk 0
1 1 au rk g (u ) bu
罚函数法
i =1 i =1 j =1
m+ p
m
p
α
p ⎡m α⎤ F ( x , M ) = f ( x ) + M ⎢ ∑ max{0, gi ( x )}α + ∑ h j ( x ) ⎥ j =1 ⎣ i =1 ⎦
(2.1)
或 p( x ) = c ( x )
∞
= max ci ( x ) = max{max{0, gi ( x )}, i = 1," , m, h j ( x ) , j = 1," , p} ，则
k k k k
(2.2)
F ( xk , M k ) → F * ， f ( xk ) → f *
则 M k p ( x ) = F ( x , M k ) − f ( x ) → F − f ，再由 M k → +∞ 得
k k k
*
*
p( x k ) → 0
k k k k
(2.3)
故当 k 充分大时 x ∈ Sδ 。由 Sδ 为紧集，因此{ x }存在收敛子列 { x }k∈J ，设 x → x ( k ∈ J ) 。由已知 条件知 f ( x ) 和 p ( x ) 是连续函数，由(2.3)得 p ( x ) = 0 ，故 x ∈ S ，再由(2.2)得
*
K
知， {F ( x , M k )} 和 { f ( x )} 是单调增序列，并且
k
k
f ( x* ) = F ( x* , M k ) ≥ F ( x k , M k ) ≥ f ( x k )
即 {F ( x , M k )} 和 { f ( x )} 有上界，故 {F ( x , M k )} 和 { f ( x )} 收敛，设
直接-间接法----罚函数法
(x*, r(k) ) 3, 1.632, 1.20, 1.0630, 1
上图表示出 r(k ) 取值不同时所得到的约束最优点 x*(r(k) ) 逐步逼
近原问题最优点 x* 的情形。
例:用内点法求问题 min f x x12 x22 约束最优解。 s.t.g x 1 x1 0
解:用内点法求该问题，首先构造内点惩罚函数：
g
j
X
0(
j
1,
2,
m)
转化后的惩罚函数形式为
x,r
f
m
x r j 1
1
gj x
m
或 X , r f X r ln g j X j 1
m 1
m
g j1 j X 或
ln g j X
j 1
——障碍项。
r 是惩罚因子，它是由大到小，且趋近于0的数列，即
r0 r1 r 2 r k r k1 0
g(x)
1 x
可以看出 (x, r(k) ) 由两部分组成，即 1 2 ，其中：
1 f (x) x
2
r(k) 1 1 x
r(k)
1 x 1
(x, r(k) ) f (x) r(k) 1 x r(k) 1
g(x)
1 x
即： 1 2
是原目标函数，为一直线；
是一族倒数曲线，当 x 1 时, 2 。
由于内点法的迭代过程在可行域内进行，障碍项
的作用是阻止迭代点越出可行域。由障碍项的函数形式
可知，当迭Байду номын сангаас点靠近某一约束边界时，其值趋近0，而
障碍项的值陡然增加，并趋近于无穷大，好像在可行域
的边界上筑起了一道“高墙”，使迭代点始终不能越出
第三章罚函数法及改进算法
第3章罚函数法及改进算法3、1 引言罚函数法就是解决约束优化问题得重要方法,它得基本思想就是用无约束问题代替约束问题,因而无约束问题得目标函数必须就是原来得目标函数与约束函数得某种组合,类似线性规划中得M法求初始可行解,在原来得目标函数上加上由约束函数组成得一个“惩罚项”来迫使迭代点逼近可行域,所以称为罚函数法。
这样把约束问题转化成求解一系列得无约束极小点,通过有关得无约束问题来研究约束极值问题,从而使问题变得简单。
许多非线性约束优化方法都要用罚函数作为评价函数来评价一个点得好坏,这在选择新点确定步长等方面都起着重要得作用,不同得罚项对算法影响很大,根据罚项得不同可以分为以下几类:外罚函数法对于问题(3-1)(3-2)(3-3) 其中为线性连续函数。
定义外罚函数为:(3-4)(3-5) 通常取,这样定义得外罚函数法,当为可行点就是,;当不就是可行点时,。
而且离可行域越远得值越大,它优点就是允许从可行域得外部逐步逼近最优点,但其明显得缺点就是它需要求解一系列无约束极小化问题,计算工作量很大,且由于其收敛速度仅就是线性得,往往需要较长得时间才能找到问题得近似解,再考虑到实际中所使用得终止准则,若实现不当,则算法很难找到约束问题得一个较好可行解,从而不适用于那些要求严格可行性得问题。
内罚函数法它就是针对不等式约束(3-1)(3-3)提出得,基本思想就是在约束区域得边界筑起一道“墙”来,当迭代点靠近边界时,函数值陡然增大,于就是最优点被挡在可行域内部,这样产生得点列每个点都就是可行点。
通常定义内罚函数为:(3-6)(3-7) 要减弱得影响,故令逐渐增大。
内罚函数法得好处就是每次迭代得点都就是可行点,当迭代到一定阶段时,可以被接受为一个较好得近似最优解。
但就是内点罚函数法要求初始点位于可行域得内部,除特殊情况外,确定这样一个初始点并非易事。
此外,由于内点罚函数不就是处处有定义或不一定存在全局极小,故无约束最优化问题中得线性搜索方法不再适用,另外,当接近可行域边界时,内点罚函数法必须修正通常得线性搜索方法。
惩罚函数法算法
x L(x, k , v k ) f (xk ) v (jk ) k h j (xk ) h j (xk ) 0
j 1
l
v(jk 1) v(jk ) k h j (xk ), j 1, 2,
,l
转化求解法（二）：增广乘子法
等式约束下的增广乘子法 Step1 选取初始数据。给定初始点 x 0 ，初始乘子 λ1 ，初始罚因子 1 0 ，放 大系数 1 ，允许误差 0 ，参数 (0, 1)，令 k 1 。
利用序列无约束极小化方法（SUMT）
min G(x, rk ) f (x) rk B(x) s.t. x int S
转化求解法（一）：罚函数法
内罚函数法
Step1 选取初始数据。给定初始点 x0 int S ，初始参数
(0,1)
允许误差
0 ，令 k 1
1 0 ，缩小系数
,m ,l
(1)
其中
f (x) ，gi (x)(i 1, 2,
, m) 和 h j (x)( j 1, 2,
, l)
都是定义在
min s.t.
R n 上的实值函数。记问题（1）的可行域为 S
,m ,l
。
f ( x) gi (x) 0, i 1, 2, h j (x) 0, j 1, 2,
基本是想
把罚函数与Lagrange函数结合起来，构造出更合适的新目标函数， 使得在罚因子适当大的情况下，借助于Lagrange乘子就能逐步达 到原约束问题的最优解。 由于这种方法要借助于Lagrange乘子的迭代进行求解 而又区别于经典的Lagrange乘子法，故称为广义乘子法。
精品课件-优化设计3——惩罚函数法
(4) 求下一个罚因子 r(k+1) 的值：r(k+1) = C·r(k), 以X(0) =X*(r(k))
作为新的初始点，置K=K+1，转（2）。
2019/5/28
31
内点法罚函数常用的收敛判别准则： (1) 点收敛准则： ‖X(k+1)-X(k)‖≤ε (2) 目标函数准则（绝对差）：
2）然后比较复合形各顶点的函数值，找出最坏点 X(b)，和除 X(b)之外 的其它各点的点集中心 X(c)。
3）从 X(b)出发通过 X(c)作一射线，在此射线上找到一个既满足约束条
件，函数值又有改善的新顶点——反射点 X(r)。再舍弃最坏点 X(b)，
代之以反射点 X(r) ，构成新复合形。如此反复进行，直至得到最优
若f (X (R)) ≥ f(X (H))，则将反射系数α减半，转（5），
重新计算反射点。
若直到反射系数α小于一个预先给定的很小正数时，反射点 的函数值仍大于最坏点函数值，则说明该反射方向不好， 此时改用次坏点X (G)代替最坏点X (H)，即X (H)= X(G), 换一 个反射方向，转（4）。
2019/5/28
2019/5/28
30
内点法算法步骤：
(1) 在可行域内找到一个初始内点X(0)，要求该点满足各约束 条件。（给定初始罚因子r(0)>0，罚因子递减系数 C(0<C<1)，通常取C=0.1～0.02），判别收敛的正数ε， 置K=0。
(2) 构造内点罚函数 P(X*,r(k))，用任一种无约束极小化方法 极小化 P(X,r(k))，求出 X*(r(k))。
数值最优化方法-罚函数方法
k k
根据引理，我们还知道 f ( xk ) 单调增加，并且
f ( x k ) P ( x k , k ) f ( x * )
（4.1.3）
惩罚项所具有的性质应该怎么样呢？ 怎么取呢？
想一想 有没有其他形式的惩罚项。
6
一般约束优化问题
min f ( x ) s.t. ci ( x) 0
ci ( x) 0 i I l 1,2,, m
i E 1,2, , l
怎么构造罚函数？
~ P x, f ( x) P x l m ~ P x ci ( x ) min0, ci ( x )
得到 以 xk 为 近 似 最 优 解 ， 停 止 。 否 则 ， 令
~ minP x, k f ( x) k P x
k 1 c k , k k 1 ，转 Step 2。
那么这类方法是否能收敛呢？？
13
~ minP x, k f ( x) k P x
2 2 min f x1 , x2 x1 x2 s.t. x1 x 2 2 0
其中的 表示很大的正数。
2 2 P x1 , x 2 , x1 x 2 x1 x 2 2
2
2 x1 x 2 2 1
当 时， x1 x 2 1 即无约束优化问题最优解的极限为原问题的解。
14
证明 (1)因为 xk 是 P ( x , k ) 的极小点，且 k 1 k ，故
罚函数课件
在线性回归中，L2罚函数将模型参数的平方和作为惩罚项加入到损失函数中。通 过调整惩罚项的系数，可以控制模型复杂度。较小的系数会导致模型复杂度较高 ，容易过拟合；较大的系数则会使模型复杂度降低，提高泛化能力。
支持向量机中的L1罚函数
总结词
L1罚函数，也称为Lasso回归，通过对模型参数施加L1惩罚项，实现特征选择和稀疏表示。
02
罚函数通过对不满足约束条件的解进行惩罚，使得在优化过程中，不满足约束条 件的解逐渐被淘汰，最终得到满足所有约束条件的优化解。
罚函数的分类
根据罚因子是否可调，罚函数可以分为固定罚因子罚函数和 可调罚因子罚函数。固定罚因子罚函数中，罚因子是固定的 ，不可调整；而可调罚因子罚函数中，罚因子可以根据具体 情况进行调整。
Chapter
梯度下降法的基本概念
梯度下降法是一种优化算法，通过迭代地沿着函数梯度 的负方向寻找最小值，从而找到全局最优解。
在机器学习中，梯度下降法常用于训练模型参数，使得 损失函数达到最小值。
梯度下降法的核心是计算损失函数的梯度，并根据梯度 的信息更新模型参数。
梯度下降法的优缺点
优点
简单易行，适用于大规模数据集 ，能够快速收敛到局部最小值。
L1和L2罚函数的比较
01
差异
L1罚函数和L2罚函数的主要差异在于惩罚项的形式不同，L1罚函数对
绝对值进行惩罚，而L2罚函数对平方进行惩罚。此外，L1罚函数会产
生稀疏解，而L2罚函数不会。
02
适用场景
L1罚函数适用于特征选择和稀疏性要求较高的场景，例如变量众多且大
部分无用的回归问题。L2罚函数适用于需要正则化来减少过拟合的场景
在机器学习中，罚函数常用于正则化 ，通过在损失函数中增加对模型复杂 度的惩罚项，以防止过拟合。
最优化方法-罚函数法
������(2)= 0.32,0.625 ，������ ������(2), ������1 = 1.5237
22:06
2.罚函数的基本原理
F(x)的等价表达式： ������ ������, ������ = ������ + ������[max 0, −������ + 2 ]2
其中，μ是一个充分大的数。 记 ������ ������ = [max 0, −������ + 2 ]2
通常把������������ ������ 称为罚函数（Penalty Function），记为 P ������, ������ = ������������ ������
2������1 + 2 + ������ = 0
令൞���������′���2 = 0 即ቐ
4������2+������ = 0
���������′��� = 0
������1 + ������2 − 1 = 0
解得������∗ = ������ , ������ , ������ ������∗ ≈ ������. ������������������������
利用图解法不难看出，原问题的约束极小点正是������∗ = 2.
22:06
2.罚函数的基本原理
约束极小化的一般问题为
������������������������ ������
内点惩罚函数法的改进算法
图3 一维区间搜索示意图
3 内点惩罚函数的改进算法
针对模型 ( 1)及内点惩罚函数构造式 ( 2)可转化为如下的模型 k O (mi n X ,V ) , -∈ D , s. t X
[2 ] [3 ]
:
( 3) 即保证在调用无约束优化方法时 , X ∈ D . 在一维区间搜索中 , 保证 n 维变量搜索区间均在可行域 D 内 . 参见图 3, 对 f 1 (T )曲线 , 将原来的区间 [ A , B ]调整到 [C , D ] , 对 f 2 (T )曲线 , 将假定搜索到区间 [ A′ , -* B′ ]调整到 [C′ , D′ ] ,即将 N 维变量沿 n 个方向的搜索区间均限制在 D 内 , 最终达到 X* ∈ D , 且各 X k (V )∈ D . 3. 1 一维搜索区间改进算法步骤 3. 1. 1 采用常规方法先获得区间 [T 1 ,T 3 ]; 3. 1. 2 判 T 1、T 3二点是否满足 gu ( X )≤ 0 条件 ; 3. 1. 3 由 3. 1. 2 步骤 , 可能的情况为: 3. 1. 3. 1 T 1、T 3二点均满足 gu ( X )≤ 0 条件 , 从函数及约束可行域的连续性可知 , [T 1 ,T 3 ]区间内一切
( 1)
( 2)
现有算法 , 直接将约束优化模型转化为无约束优化模 k k * k - ,V -* (V 型 , 即求 min O (X ) . 求得 X ) , 然后以 X (V )为初点 ,
k+ 1 k k+ 1 - * (V 使V = T V (T< 1) , 再无约束寻优 , 求 X ) , … , 直至
28 点均满足约束 ;
工 科 数 学 第 17 卷
- ) )≤ 0, 该区间搜索无效 ; 3. 1. 3. 2 [T 1 ,T 3 ] 区 间内的一切点均不满足 gu ( X 3. 1. 3. 3 满足约束的可能区间为 [- ∞ ,T 1 ]或 [ T 3 , ∞ ]; 3. 2 一维搜索区间改进算法框图 其框图如图 4 所示 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第3章罚函数法及改进算法3、1 引言罚函数法就是解决约束优化问题得重要方法,它得基本思想就是用无约束问题代替约束问题,因而无约束问题得目标函数必须就是原来得目标函数与约束函数得某种组合,类似线性规划中得M法求初始可行解,在原来得目标函数上加上由约束函数组成得一个“惩罚项”来迫使迭代点逼近可行域,所以称为罚函数法。
这样把约束问题转化成求解一系列得无约束极小点,通过有关得无约束问题来研究约束极值问题,从而使问题变得简单。
许多非线性约束优化方法都要用罚函数作为评价函数来评价一个点得好坏,这在选择新点确定步长等方面都起着重要得作用,不同得罚项对算法影响很大,根据罚项得不同可以分为以下几类:外罚函数法对于问题(3-1)(3-2)(3-3) 其中为线性连续函数。
定义外罚函数为:(3-4)(3-5) 通常取,这样定义得外罚函数法,当为可行点就是,;当不就是可行点时,。
而且离可行域越远得值越大,它优点就是允许从可行域得外部逐步逼近最优点,但其明显得缺点就是它需要求解一系列无约束极小化问题,计算工作量很大,且由于其收敛速度仅就是线性得,往往需要较长得时间才能找到问题得近似解,再考虑到实际中所使用得终止准则,若实现不当,则算法很难找到约束问题得一个较好可行解,从而不适用于那些要求严格可行性得问题。
内罚函数法它就是针对不等式约束(3-1)(3-3)提出得,基本思想就是在约束区域得边界筑起一道“墙”来,当迭代点靠近边界时,函数值陡然增大,于就是最优点被挡在可行域内部,这样产生得点列每个点都就是可行点。
通常定义内罚函数为:(3-6)(3-7) 要减弱得影响,故令逐渐增大。
内罚函数法得好处就是每次迭代得点都就是可行点,当迭代到一定阶段时,可以被接受为一个较好得近似最优解。
但就是内点罚函数法要求初始点位于可行域得内部,除特殊情况外,确定这样一个初始点并非易事。
此外,由于内点罚函数不就是处处有定义或不一定存在全局极小,故无约束最优化问题中得线性搜索方法不再适用,另外,当接近可行域边界时,内点罚函数法必须修正通常得线性搜索方法。
由于内点罚函数法不能处理等式约束,且寻求初始可行点得计算工作量往往太大。
因此,在实际中,为了求解一般得非线性约束优化问题,人们往往将内点罚函数法与外点罚函数法结合起来适用。
混合罚函数法混合罚函数法就是针对问题(3-1)-(3-3)提出来得,当初始点给定后,对等式约束与不被满足得那些不等式约束用外罚函数法,而被满足得那些不等式约束用内罚函数法。
通常定义混合罚函数为:(3-8)(3-9)精确罚函数法对于外点罚函数法与内点罚函数法来说,其工作量很大,收敛慢得主要原因就是它们需要求解一系列得无约束优化问题,而导致相应罚函数得无约束极小化运算越来越难于精确执行,效率差则就是因为需要罚因子趋于无穷大或零所带来得罚函数呈病态问题。
由此自然想到,能否设计出一种罚函数,使得只要令其中得罚参数取适当得有限值后,该罚函数得无约束极小点就恰好就是原约束问题得最优解,从而克服外、内点罚函数法得缺点呢？通常称这样得罚函数为精确罚函数。
对问题(3-1)-(3-3),定义如下,,对于罚函数其中就是罚因子。
如果则在二阶充分条件,,得假定下可证就是罚函数得局部严格极小点。
所以罚函数也常称为精确罚函数。
同理,罚函数也就是精确罚函数。
乘子罚函数法内外罚函数法得缺点就是需要罚因子趋于无穷大才能使求解罚函数得极小与求解原向题等价。
乘子罚函数法具有不要求初始点为严格内点,甚至不要求其为可行点得特点,它利用近似Lagrange乘子,求其近似解,并且逼近最优解,而不需要无穷大得罚因子,因此对它得研究有重要得理论与实用价值。
最早得乘子罚函数(又称为增广Lagrange函数)就是由Henstenes(1969)针对等式约束问题(3-1)(3-2)导出得,其形式为:(3-10) 增广Lagrange函数得另一种等价形式就是在1969年由Powell提出得,它提出对进行平移,即用代替,就是参数,这种平移得好处就是不破坏得方向,由此Powell(1969)得到罚函数:(3-11) 如果定义,则知式(3-10)与(3-11)只相差与无关得项,由于式(3-10)与(3-11)等价,故罚函数(3-10)也称为Henstenes-Powell罚函数。
我们瞧到通常都就是用二次罚函数作为罚项,因此称之为二次罚函数乘子法。
然而,它得缺点就是容易引起罚因子过大,造成罚函数得Hesse矩阵严重病态。
许多非线性约束优化方法都要用某个罚函数作为评价函数来评价一个点得好坏,这在选择新点确定步长等方面都起着重要得作用,因此对不同罚项得研究具有重要得理论与实际价值。
近年来,许多研究者试图通过改变罚项构造出新得罚函数,有效地避免罚因子过大引起得罚函数得Hesse矩阵严重病态得情况。
3、2 优化中得罚函数法对一般约束最优化问题(3-12)(3-13)(3-14) 定义1称(3-15) 为问题(3-12)-(3-14)得优化罚函数,为罚因子,其中罚项(3-16) 其中且满足如下性质:(1) 在中连续可微且为对称凸函数;(2) 对,;当且仅当时,;(3),。
若定义则就是可行点当且仅当。
我们通过得极小点(其中为一定值),得到相应无约束极小点,序列来逼近约束问题(3-12)-(3-14)得极小点。
罚函数算法:步 1 选定初始点为;选取初始惩罚因子(可取),惩罚因子得放大系数(可取);置。
步2 以为初始点,求解无约束问题,其中,设其极小点为。
步3 若,则就就是所要求得最优解,停止;否则转下一步。
步4 置;,转步2。
由罚项得特点,当趋向于无穷时,随着得不断增大,对每个不可行点得惩罚也不断增大并趋向于无穷。
因此,在对应于得无约束极小化问题得最优解处,得值应不断减小,从而保证逐步趋于可行并最终达到问题(3-12)-(3-14)得最优解。
由,得定义及极小点得含义,我们很容易证明下列结论。
引理1 给定,就是(3-15)得解,则也就是约束问题(3-17)(3-18) 得解,其中。
证明由得性质知在就是增函数,且,又因为为对称函数,所以,,由此可得对任何满足式(3-18),由得定义,我们有(3-19) 所以(3-20) 故知就是问题(3-17)-(3-18)得解。
证毕。
由以上引理可知,若取充分小,则当算法迭代结束时,就是问题(3-12)- (3-14)得近似解。
引理2对于由算法所产生得序列总有,(3-21)(3-22)(3-23) 其中。
证明由与可知,又因为就是得极小点,所以对于任意总有,特别有。
由此可证得(3-21)。
因为与分别使与取极小,所以有由上式可得由此可得由于,所以(3-22)成立。
最后,由式(3-21)与(3-22)得式(3-23)成立。
证毕。
定理1设非线性约束问题(3-12)-(3-14)得最优解存在,设由算法产生,且罚参数序列单调递增且趋于,则得任何极限点都就是问题(3-12)-(3-14)得可行域上得最优解。
证明设,又设就是问题(3-12)-(3-14)得最优解,由于就是无约束问题得解,由于可行,即,故有即由此可得,由于,。
故得,且。
即可行,且,但就是问题(3-12)-(3-14)得解,因此也就是问题(3-12)-(3-14)得解。
证毕。
我们现在对于优化中得罚函数法进行一般类型得概况,并证明其收敛性,但就是需要说明得就是其中不同种类得罚函数法在其收敛速度各有其不同。
3、3 改进得罚函数法及收敛性3、3、1 改进得罚函数算法罚函数法就是解决约束优化问题得重要方法,它得基本思想就是把约束优化问题转化成求解一系列得无约束极小化问题。
通过有关得无约束问题来研究约束极值问题,经常采用得方法之一就是在原来得目标函数上加上由约束函数组成得一个“惩罚项”来迫使迭代点逼近可行域,这种方法称为罚函数法。
如何选取罚函数,以加速迭代算法得收敛速度,一直就是约束优化问题研究得热点问题。
罚函数作为评价函数来评价一个点得好坏,这在选择新点确定步长等方面都起着重要作用,不同罚项得选取,构成不同得罚函数,必然会对算法产生不同得影响,因此对不同罚项得研究具有重要得理论与实用价值。
对一般约束最优化问题(3-24)(3-25)(3-26) 通常使用得外函数形式为:其中罚项为:,。
为参数,若取,我们称上述罚函数为二次罚函数。
问题(3-24)-(3-26)得可行域为显然,当为可行点时,;当不就是可行点时,,而且离可行域越远得值越大。
它得优点就是允许从可行域得外部逐步逼近逼近最优点,但按上述定义得罚函数得缺点就是:需要罚因子趋于无穷大,才可能使求解罚函数得极小与求解原问题等价。
为了有效得改善这种罚函数,我们试图构造一种能够加速迭代算法收敛得外罚函数法。
本文提出一种用双曲正弦函数作罚项得罚函数,并由此构建了双曲正弦罚函数法,不仅证明了该罚函数与算法得合理性及迭代点列得收敛性,而且做了数值实验。
结果表明本文中所提出得罚函数及对应得算法可以在罚因子与二次罚函数方法中得罚因子相同得情况下,有着更快得收敛速度。
定义1称(3-27) 为问题(3-24)-(3-26)得双曲正弦罚函数,为罚因子,其中罚项(3-28) 其中,;,。
若定义则就是可行点当且仅当。
我们通过一系列双曲正弦函数得极小点,其中为一定值,得到相应无约束极小点,序列来逼近约束问题(3-24)-(3-26)得极小点。
双曲正弦罚函数算法:步 1 选定初始点为;选取初始惩罚因子(可取),惩罚因子得放大系数(可取);置。
步2 以为初始点,求解无约束问题其中设其极小点为。
步3 若,则就就是所要求得最优解,停止;否则转下一步。
步4 置;,转步2。
3、3、2 收敛性证明及数值试验引理1 设函数与由定义1定义,由算法产生,且罚参数序列单调递增,则证明由得定义知上面得两式相加,得因此,即成立。
由得即成立。
由以及得定义得即成立。
证毕。
引理2 设函数与由定义1定义,由算法产生,且罚参数序列单调递增,记,则也就是约束问题(3-29)得解。
证明设就是问题(3-29)得可行点,我们有因此就是问题(3-29)得解。
证毕。
定理1设非线性约束问题(3-24)-(3-26)得最优解存在,设由算法产生,且罚参数序列单调递增且趋于,则得任何极限点都就是问题(3-24)-(3-26)得可行域上得最优解。
证明设,又设就是问题(3-24)-(3-26)得最优解,由于就是无约束问题,得解,由于可行,即,故有即由此可得,由于,。
故得,且。
即可行,且,但就是问题(3-24)-(3-26)得解,因此也就是问题(3-24)-(3-26)得解。
证毕。
我们通过数值实验来检验本算法得有效性在以下“次数”得就是求解相应无约束问题得次数,“”与“”分别表示双曲正弦罚函数法与二次罚函数法。
就是程序结束时所取罚因子,用matlab 编程实现。